🤖 AI

SENTINEL: A Multi-Level Formal Framework for Safety Evaluation of Foundation Model-based Embodied Agents

O SENTINEL é um novo framework formal multinível que garante a segurança física de agentes incorporados baseados em modelos de fundação ao verificar sistematicamente a compreensão semântica, o planejamento e a execução contra especificações de lógica temporal formal através dos níveis semântico, de plano e de trajetória.

Autores originais: Simon Sinong Zhan, Philip Wang, Yao Liu, Yiyan Peng, Zinan Wang, Qineng Wang, Zhian Ruan, Xiangyu Shi, Xinyu Cao, Frank Yang, Zhenyang Ni, Kangrui Wang, Ruohan Zhang, Huajie Shao, Manling Li, Qi Zhu

Publicado 2026-07-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Simon Sinong Zhan, Philip Wang, Yao Liu, Yiyan Peng, Zinan Wang, Qineng Wang, Zhian Ruan, Xiangyu Shi, Xinyu Cao, Frank Yang, Zhenyang Ni, Kangrui Wang, Ruohan Zhang, Huajie Shao, Manling Li, Qi Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô novinho em folha para ajudar nas tarefas de casa. Você quer que ele faça um sanduíche para você, arrume seu quarto ou talvez apenas lhe entregue um copo de água. Este é o emocionante mundo dos "agentes incorporados" — robôs que podem ver, pensar e se mover no mundo real (ou virtual). Para tornar esses robôs inteligentes o suficiente para entender suas instruções bagunçadas, cientistas estão dando a eles "modelos de fundação", que são como cérebros gigantes e superinteligentes treinados em quase tudo o que os humanos já escreveram. Mas aqui está o problema: só porque um robô é inteligente, não significa que ele seja seguro. Um robô superinteligente pode descobrir a maneira mais rápida de lhe trazer uma bebida, mas se ele não perceber que despejar água ao lado de um laptop é uma má ideia, ele pode causar um curto-circuito. A grande questão que os cientistas estão fazendo é: Como garantimos que esses robôs brilhantes não acabem acidentalmente queimando a casa ou quebrando nossas coisas enquanto tentam ser prestativos?

É aqui que entra um novo framework chamado SENTINEL. Pense no SENTINEL como um inspetor de segurança muito rigoroso e superlógico para cérebros de robôs. Em vez de apenas perguntar ao robô: "Você acha que isso é seguro?" (o que é como perguntar a uma criança se ela acha que pular de um telhado é ok — ela pode dizer que sim porque não entende a gravidade), o SENTINEL usa uma "linguagem matemática" especial chamada lógica temporal. Esta linguagem é como um conjunto de regras inquebráveis que descrevem exatamente o que deve acontecer, o que não deve acontecer e em que ordem. Por exemplo, em vez de dizer "tenha cuidado com o fogo", o SENTINEL escreve uma regra que diz: "Se o fogão estiver ligado, então papel nunca deve estar a menos de um metro dele".

Os pesquisadores construíram um sistema de teste que verifica a segurança do robô em três estágios diferentes, algo como um posto de controle de segurança de três camadas em um aeroporto. Primeiro, no Nível Semântico, eles verificam se o robô realmente entende as regras de segurança que você deu a ele. Ele traduziu suas palavras ("Não misture água sanitária e amônia") nas regras matemáticas corretas? Segundo, no Nível de Plano, eles observam a lista de tarefas do robô antes de ele começar a se mover. Se o plano diz "Ligar o micro-ondas, depois colocar uma colher de metal dentro", o SENTINEL detecta esse erro imediatamente, como um professor percebendo uma resposta errada em uma prova antes de o aluno entregá-la. Finalmente, no Nível de Trajetória, eles observam o robô realizar a tarefa em uma simulação. Mesmo que o plano parecesse ok, talvez o braço do robô tenha feito um movimento muito amplo e derrubado um vaso. O SENTINEL assiste a todo o filme das ações do robô para garantir que nada dê errado em tempo real.

Em seus experimentos, a equipe testou este sistema em robôs virtuais em cozinhas e salas de estar digitais. Eles descobriram que, embora grandes e poderosos modelos de IA sejam ótimos para descobrir como realizar uma tarefa, eles frequentemente deixam passar detalhes de segurança, a menos que sejam verificados com essas regras matemáticas rigorosas. Quando o SENTINEL deu aos robôs feedbacks específicos sobre o porquê de um plano ser inseguro (como apontar o momento exato em que uma colher de metal estava prestes a entrar em um micro-ondas), os robôs aprenderam a corrigir seus erros muito melhor do que quando eram apenas informados de que "isso é inseguro" por outra IA. O estudo sugere que, para tornar os robôs verdadeiros ajudantes seguros, precisamos nos afastar de suposições e começar a usar essas verificações de segurança matemáticas precisas em cada etapa do processo de pensamento do robô. Não se trata apenas de ser inteligente; trata-se de ser cuidadoso, e o SENTINEL é a ferramenta que nos ajuda a ensinar os robôs a serem ambos.

Resumo Técnico: SENTINEL

Declaração do Problema

A integração de Modelos de Fundação (FMs) em agentes incorporados expandiu as capacidades de planejamento e interação humano-robô, mas simultaneamente ampliou os riscos de segurança. Os benchmarks de avaliação existentes para agentes baseados em FM focam primariamente em métricas de conclusão de tarefas (ex: taxas de sucesso) e frequentemente tratam perigos físicos meramente como falhas de tarefa, em vez de violações de segurança distintas. Os métodos atuais de avaliação de segurança dependem fortemente de regras heurísticas ou de juízes baseados em FM subjetivos (LLM-as-Judge), que carecem de definições rigorosas e falham em distinguir falhas ocorridas em diferentes estágios do pipeline do agente: incompreensão semântica, geração de plano inseguro ou execução física insegura. Além disso, esses métodos muitas vezes não conseguem localizar o nível específico no qual uma violação de segurança se origina.

Metodologia

Os autores propõem o SENTINEL (Safety EvaluatioN framework with Temporal logics for INterpretable Embodied foundation modeL-based agents), um framework formal multinível que fundamenta a segurança física em especificações de lógica temporal. O framework opera em ambientes de simulação (VirtualHome e AI2-THOR) e avalia agentes através de três níveis progressivos:

1. Especificação de Segurança Formal

O SENTINEL codifica restrições de segurança em linguagem natural em fórmulas de Lógica Temporal, especificamente Lógica Temporal Linear (LTL) e Lógica de Árvore de Computação (CTL).

Invariantes de Estado: Restrições que proíbem estados inseguros em todos os momentos (ex: $G(\neg p)$ para evitar colisões).
Restrições de Ordenação: Restrições que impõem uma sequência de ações adequada (ex: $G(p \to F q)$ para "eventualmente desligar").
Classificação: As regras de segurança são categorizadas em invariantes de estado e restrições de ordenação, mapeadas para proposições atômicas derivadas de propriedades de objetos na simulação.

2. Pipeline de Avaliação Multinível

O framework emprega um pipeline de três estágios para filtrar progressivamente as falhas e localizar as violações:

Avaliação de Nível Semântico:
- Objetivo: Avaliar a capacidade do FM de traduzir requisitos de segurança em linguagem natural para fórmulas LTL formais.
- Método: O agente é instruído com restrições de segurança e gera fórmulas LTL candidatas. Estas são comparadas com especificações LTL de referência usando verificações sintáticas e verificação de equivalência semântica (via autômatos de Büchi e contenção de linguagem).
- Saída: Métricas sobre erros de sintaxe, não equivalência semântica e interpretação bem-sucedida.
Avaliação de Nível de Plano:
- Objetivo: Verificar planos de ação de alto nível e submetas contra as restrições LTL antes da execução.
- Método: O agente gera um plano de alto nível (submetas de marcos/milestones). Este plano é verificado contra as fórmulas LL para detectar ordenações simbólicas inseguras ou precondições ausentes. Uma Busca em Largura (BFS) é usada para validar a executabilidade do plano dentro do espaço de ação.
- Saída: Identificação de planos inseguros que satisfazem os objetivos da tarefa, mas violam as restrições de segurança.
Avaliação de Nível de Trajetória:
- Objetivo: Avaliar a execução física dos planos, levando em conta resultados ramificados e a dinâmica do ambiente.
- Método: Múltiplas trajetórias de execução são amostradas do simulador com base no plano de alto nível. Essas trajetórias são fundidas em uma Árvore de Computação ( $T$ ). Os requisitos de segurança são elevados de LTL para CTL para avaliar propriedades de tempo de ramificação.
- Verificação: Um verificador de modelo CTL verifica propriedades (ex: $AG \phi$ para "todos os caminhos sempre satisfazem $\phi$ ") contra a árvore.
- Saída: Detecção de violações dependentes da execução e geração de caminhos de contraexemplo (estados ou sequências específicas que causam a falha).

3. Refinamento Baseado em Feedback

O SENTINEL utiliza os contraexemplos gerados durante a verificação de nível de trajetória para fornecer feedback verificável ao agente. Este loop de feedback permite que o agente refine seus planos iterativamente, visando melhorar a segurança sem modificar a arquitetura subjacente do agente.

Principais Contribuições

Especificações de Segurança Formais e Interpretáveis: O trabalho fundamenta requisitos de segurança intuitivos em LTL e CTL, permitindo a categorização explícita (invariantes de estado, dependências temporais) e verificação formal em vez de julgamento heurístico.
Avaliação de Segurança Formal Unificada Multinível: O SENTINEL é o primeiro framework a avaliar formalmente a segurança progressivamente através da interpretação semântica, geração de plano e execução física. Este design permite a localização de falhas em estágios específicos (compreensão vs. raciocínio vs. execução).
Análise Empírica Cross-Level: Os autores aplicam o SENTINEL ao VirtualHome e AI2-THOR, estendendo tarefas com requisitos focados em segurança. Eles demonstram que as violações de segurança frequentemente derivam de diferentes níveis (ex: má interpretação semântica vs. erros de controlador de baixo nível) e que a avaliação formal expõe modos de falha invisíveis para benchmarks de apenas sucesso de tarefa.

Resultados Experimentais

Os autores avaliaram múltiplos LLMs de Código Fechado (GPT-5, Claude-Opus, Gemini) e de Código Aberto (DeepSeek, Qwen, Mistral, Llama), bem como Modelos de Linguagem-Visão (VLMs).

Nível Semântico: Modelos maiores demonstraram desempenho significativamente superior na tradução de linguagem natural para LTL em comparação com modelos menores de código aberto. No entanto, mesmo modelos fortes tiveram dificuldades com proibições condicionais em comparação com proibições globais.
Nível de Plano: Modelos com maiores taxas de equivalência semântica geralmente mantiveram maiores taxas de segurança no nível de plano. No entanto, a adição de orientação de segurança explícita (prompts LTL) melhorou as métricas de segurança, mas não eliminou todas as violações.
Nível de Trajetória:
- LLMs vs. VLMs: Agentes baseados em VLM geralmente alcançaram taxas de segurança mais altas do que LLMs puramente de texto, provavelmente devido ao ancoramento visual ajudar a detectar perigos físicos. No entanto, os VLMs frequentemente exibiram taxas de sucesso de tarefa mais baixas, indicando um trade-off entre segurança e capacidade.
- Falhas de Execução: Uma queda significativa de "Sucesso & Segurança" foi observada dos resultados de nível de plano para o nível de trajetória, sugerindo que muitas falhas originam-se de argumentos de ação de baixo nível e da falta de mecanismos de segurança nos controladores.
Melhoria de Segurança: Em um experimento de loop de refinamento, o feedback de contraexemplo verificável do SENTINEL levou a melhorias significativamente maiores nas métricas de segurança (aproximadamente o dobro da melhoria da baseline LLM-as-Judge) enquanto mantinha ganhos comparáveis de sucesso de tarefa. A análise mostrou que as baselines LLM-as-Judge frequentemente perderam trajetórias verdadeiramente inseguras (taxa de erro de 83% em um estudo), enquanto as verificações formais do SENTINEL foram mais confiáveis.
Eficiência: A verificação baseada em CTL sobre uma árvore de computação fundida mostrou-se mais eficiente do que a verificação LTL independente, com acelerações aumentando conforme o número de trajetórias crescia.

Significância e Alegações

O artigo afirma que o SENTINEL fornece uma base rigorosa para avaliar sistematicamente a segurança de agentes incorporados baseados em FM. Ao ir além de julgamentos heurísticos ou subjetivos, o framework oferece:

Localização: A capacidade de identificar se uma falha de segurança decorre de má compreensão de instruções, geração de planos inseguros ou execução insegura de ações.
Feedback Acionável: A geração de contraexemplos verificáveis que podem impulsionar melhorias de segurança significativas através de loops de refinamento.
Escalabilidade: O uso de CTL sobre árvores de computação amostradas oferece um compromisso prático, fornecendo detecção empírica escalável de violações sem a inviabilidade da verificação de modelo de estado total em ambientes físicos complexos.

Os autores enfatizam que o SENTINEL oferece detecção empírica em vez de verificação certificada, pois opera em uma árvore de computação finita montada a partir de trajetórias amostradas. Eles reconhecem que violações perdidas ainda são possíveis se a contagem de amostras for insuficiente, mas argumentam que esta abordagem é mais próxima da verificação de modelo estatística e é necessária dado o caráter de caixa-preta dos FMs e a complexidade dos ambientes físicos. O framework é apresentado como um passo em direção a benchmarks de segurança verificáveis e recompensas de aprendizado por reforço conscientes da segurança.