Pre-Execution Safety Gate & Task Safety Contracts for LLM-Controlled Robot Systems

Título: SafeGate: Um Portão de Segurança Neurosimbólico e Contratos de Segurança de Tarefa para Sistemas Robóticos Controlados por LLM

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) têm sido cada vez mais utilizados para converter comandos em linguagem natural em código executável por robôs. No entanto, essa abordagem apresenta duas lacunas críticas de segurança:

1. Falta de Validação Pré-Execução: A maioria dos sistemas carece de "portões de segurança" (gates) que detectem comandos inseguros ou defeituosos antes que sejam traduzidos em código de controle do robô.
2. Transições de Estado Inseguras: Mesmo comandos que parecem seguros inicialmente podem gerar transições de estado perigosas durante a execução se não houver monitoramento contínuo de restrições.
3. Limitações das Abordagens Atuais: Métodos existentes baseados em verificação de restrições (como lógica temporal) são "cegos" estruturalmente para riscos não previstos pelos engenheiros e processam indiscriminadamente comandos que deveriam ser rejeitados ou solicitarem esclarecimentos.

2. Metodologia: Arquitetura SafeGate

O artigo propõe o SafeGate, uma arquitetura neurosimbólica de seis estágios baseada nos padrões de segurança ISO 13482 e ISO 12100. O sistema atua como um intermediário entre o comando do usuário e o planejador do robô, dividindo-se em fases pré-execução e execução:

Fase Pré-Execução (Estágios 1-4):

• Estágio 1: Matriz de Análise de Perigos (Hazard Analysis Matrix): O LLM analisa o comando de linguagem natural cruzando três níveis (Tarefa, Ambiente, Usuário) com quatro categorias de perigo (Físico, Psicológico, Operacional e Consequencial). O objetivo é identificar perigos previsíveis e "desconhecidos" (informações faltantes sobre o usuário ou ambiente).
• Estágio 2: Camada de Vinculação de Perigos (Hazard Binding Layer): Traduz o relatório de perigos em modelos estruturados, vinculando-os a uma Biblioteca de Modelos de Perigo (Hazard Template Library - HTL). Se um perigo não for coberto pela biblioteca, o sistema o marca como "não vinculado".
• Estágio 3: Portão de Decisão Determinístico (Deterministic Decision Gate): Um componente lógico (não probabilístico) toma uma decisão tripartite baseada em regras de prioridade:
  • REJEITAR: Se houver um perigo grave e inevitável (ex: "jogar uma faca em alguém").
  • DEFERIR (Adiar): Se houver perigos graves com prevenção desconhecida, perigos não mapeados na biblioteca ou informações críticas faltantes (ex: não saber se o usuário tem mobilidade reduzida). O sistema solicita esclarecimento ao humano.
  • AUTORIZAR: Se todos os perigos forem preveníveis, mapeados e as informações estiverem completas.
• Estágio 4: Compilação de Contratos de Segurança de Tarefa: Para tarefas autorizadas, o sistema gera um Contrato de Segurança formal composto por:
  • Invariantes: Condições que devem ser verdadeiras em todos os estados.
  • Guardas: Pré-condições que devem ser satisfeitas antes de uma ação específica.
  • Condições de Aborto: Gatilhos para parada imediata se um estado perigoso for detectado.

Fase de Execução (Estágios 5-6):

• Estágio 5: Verificação Estática de Planos: Antes da execução física, um solucionador SMT (Z3) verifica simbolicamente se o plano gerado pelo LLM satisfaz todas as condições do contrato (invariantes, guardas e abortos). Se falhar após tentativas de reparo, o plano é rejeitado.
• Estágio 6: Monitoramento de Contrato em Tempo Real: Durante a execução do robô, o sistema verifica continuamente as guardas (antes da ação) e invariantes/abortos (após a ação). Qualquer violação resulta na parada imediata e absorvente do robô.

3. Principais Contribuições

1. Portão de Segurança Neurosimbólico Pré-Execução: Integração de LLMs para análise semântica com lógica determinística para tomada de decisão, garantindo que comandos inseguros nunca cheguem ao planejador de tarefas.
2. Contratos de Segurança de Tarefa: Introdução de uma especificação formal (invariantes, guardas, abortos) que transforma a segurança em restrições executáveis e verificáveis, não apenas em verificações pós-fato.
3. Mecanismo de Deferrimento Inteligente: Capacidade do sistema de identificar quando falta informação crítica e solicitar esclarecimentos ao usuário, em vez de assumir riscos ou rejeitar tarefas benignas.
4. Benchmarks Abrangentes: Criação de um conjunto de dados com 230 tarefas de robótica anotadas por especialistas, cobrindo manipulação, navegação e assistência, além de experimentos em simulação (AI2-THOR) e robôs físicos.

4. Resultados Experimentais

O SafeGate foi avaliado contra frameworks existentes (SELP, RoboGuard) e LLMs base (GPT-4o, Gemini) em 230 tarefas e 30 cenários de simulação.

• Desempenho em Tarefas Seguras vs. Inseguras:
  • O SafeGate alcançou 92,8% de taxa de aceitação de tarefas seguras (AR-S%) e 0,0% de aceitação de tarefas inseguras (AR-U%).
  • Em contraste, frameworks baseados em restrições (SELP, RoboGuard) aceitaram entre 26% e 39% de comandos inseguros.
  • LLMs puros (GPT-4o, Gemini) aceitaram 0% de tarefas inseguras, mas foram excessivamente cautelosos, deferindo (recusando sem motivo) 48% a 79% das tarefas seguras, tornando-os impraticáveis.
• Precisão e Recall: O SafeGate obteve o melhor F1-Score (97,1%), combinando recall perfeito (100% de detecção de perigos) com alta precisão (94,3%), minimizando falsos positivos.
• Simulação AI2-THOR: O SafeGate teve 0% de taxa de colisão (CR%) em todos os cenários, incluindo perigos compostos, informações incompletas e consequências futuras. Outros sistemas falharam drasticamente em cenários de "informação incompleta" ou "estado consequencial".
• Robôs Reais: Os experimentos validaram a eficácia dos contratos de segurança na execução real e a capacidade do sistema de solicitar a criação de novos modelos de perigo para casos não mapeados.

5. Significância e Conclusão

O trabalho demonstra que a segurança em sistemas robóticos controlados por LLM não pode depender apenas da capacidade de geração do modelo ou de verificações de código pós-geração. A introdução de um portão de decisão determinístico e contratos de segurança formais permite:

• Prevenir a execução de comandos intrinsecamente perigosos.
• Lidar com a ambiguidade do mundo real através do deferimento inteligente (solicitar ajuda humana).
• Garantir a segurança contínua durante a execução através de monitoramento em tempo real.

O SafeGate representa um avanço crucial para a implantação segura de robôs de serviço em ambientes domésticos e assistivos, equilibrando a flexibilidade da linguagem natural com a rigidez necessária para a segurança física. O trabalho futuro visa explorar a capacidade de reparar comandos defeituosos em vez de apenas rejeitá-los.