ProbGuard: Probabilistic Runtime Monitoring for LLM Agent Safety

Resumo Técnico: ProbGuard

1. O Problema

Os Agentes de Grandes Modelos de Linguagem (LLMs) estão cada vez mais presentes em domínios críticos, como robótica, assistentes virtuais e automação de veículos autônomos. No entanto, a natureza estocástica (aleatória) da tomada de decisão desses agentes introduz riscos de segurança difíceis de prever.

• Limitação das Abordagens Atuais: Frameworks existentes de monitoramento em tempo real (como AgentSpec e GuardAgent) são predominantemente reativos. Eles detectam violações de segurança apenas quando o comportamento inseguro já ocorreu ou está iminente.
• Falta de Previsão: Essa abordagem reativa falha em lidar com dependências de longo prazo. Em cenários como direção autônoma, esperar até que uma colisão seja iminente para intervir pode ser tarde demais. É necessário um mecanismo que antecipe riscos antes que o estado inseguro seja alcançado.

2. Metodologia (ProbGuard)

O ProbGuard é um framework de monitoramento em tempo real proativo que utiliza previsão de risco probabilístico para antecipar violações de segurança. O sistema opera em duas fases principais:

A. Construção Offline do Modelo:

1. Abstração de Predicados: O framework mapeia estados concretos do agente (complexos e contínuos) para um conjunto finito de estados simbólicos baseados em predicados booleanos definidos por especialistas de domínio (ex: porta_microondas == aberta, velocidade > limite).
2. Aprendizado de DTMC: A partir de traços de execução (logs de interações), o sistema aprende uma Cadeia de Markov de Tempo Discreto (DTMC). Este modelo probabilístico captura a dinâmica de transição entre os estados simbólicos.
3. Garantias Estatísticas (PAC): Para garantir a confiabilidade do modelo aprendido, o ProbGuard utiliza análise PAC (Probably Approximately Correct). Isso fornece limites teóricos sobre o desvio entre o modelo aprendido e a dinâmica real do sistema, garantindo que as previsões de risco sejam estatisticamente fundamentadas.
4. Especificações de Segurança: As propriedades de segurança são definidas em Lógica de Árvore de Computação (CTL), permitindo raciocínio sobre múltiplos futuros possíveis (ex: "Em todos os caminhos, o agente nunca entra em um estado de colisão").

B. Monitoramento em Tempo Real (Online):

1. Predição de Risco: Durante a execução, o monitor abstrai o estado atual do agente e consulta o DTMC aprendido para estimar a probabilidade de que a execução futura atinja um estado inseguro.
2. Intervenção Proativa: Se a probabilidade estimada de violação exceder um limiar definido pelo usuário ($\theta$), o sistema dispara uma intervenção antes que a violação ocorra.
3. Mecanismos de Intervenção: O framework é agnóstico à política de execução, permitindo:
   • Parada (Stop): Interromper a execução imediatamente.
   • Reflexão (Reflect): Inserir um alerta de risco no prompt do LLM, guiando o agente a reavaliar e corrigir sua trajetória.

3. Contribuições Principais

• Monitoramento Proativo Probabilístico: Transição de uma vigilância reativa para uma abordagem que prevê riscos futuros baseando-se em modelos estocásticos aprendidos.
• Garantias Formais e Estatísticas: Integração de análise PAC para garantir que o modelo aprendido seja uma aproximação confiável da realidade, e uso de CTL para especificação formal de propriedades de segurança.
• Implementação Prática e Open-Source: O framework foi implementado sobre o LangChain (para agentes gerais) e integrado ao Apollo Autonomous Driving Platform. O código é aberto para reprodutibilidade.
• Abstração Semântica: Uso de predicados para reduzir a complexidade do espaço de estados, tornando a verificação de modelos viável em tempo real.

4. Resultados Experimentais

O ProbGuard foi avaliado em dois domínios críticos: Veículos Autônomos e Agentes Corporificados (Household).

• Veículos Autônomos (Simulador Apollo):

  • O sistema conseguiu prever violações de leis de trânsito e riscos de colisão com antecedência.
  • Tempo de Aviso Antecipado (AWT): As advertências foram emitidas com até 38,66 segundos de antecedência em relação à ocorrência da violação.
  • Comparado ao estado da arte (REDriver), o ProbGuard forneceu previsões mais estáveis e explicáveis (probabilidades normalizadas entre 0 e 1), superando a dificuldade de definir limiares em escalas de variáveis incompatíveis.

• Agentes Corporificados (SafeAgentBench):

  • Redução de Comportamentos Inseguros: O ProbGuard reduziu comportamentos inseguros em até 65,37%.
  • Manutenção de Tarefas: A taxa de conclusão de tarefas foi preservada em até 80,4%, demonstrando um equilíbrio eficaz entre segurança e utilidade.
  • Modos de Intervenção: O modo "Reflexão" (re-prompting) mostrou-se superior ao modo "Parada" em termos de utilidade, permitindo que o agente se corrigisse sem abortar a tarefa.
  • Overhead: O custo computacional foi mínimo (5–30 ms para agentes corporificados e ~100 ms para direção autônoma), o que é aceitável para sistemas em tempo real.

5. Significado e Impacto

O trabalho do ProbGuard representa um avanço significativo na segurança de IA, preenchendo a lacuna entre a verificação formal tradicional (que muitas vezes é estática) e o monitoramento dinâmico de agentes estocásticos.

• Mudança de Paradigma: Move a segurança de "detectar e corrigir" para "prever e prevenir".
• Escalabilidade: A abordagem baseada em abstração e aprendizado de modelos permite que o sistema se adapte a diferentes domínios sem a necessidade de reescrever regras manuais complexas para cada nova tarefa.
• Confiança: Ao fornecer garantias probabilísticas (PAC) e explicações interpretáveis (probabilidades de risco), o framework aumenta a confiança na implantação de agentes LLM em ambientes de alto risco, como saúde, transporte e manipulação física.

Em suma, o ProbGuard oferece uma infraestrutura robusta para garantir que agentes autônomos operem de forma segura, antecipando falhas antes que elas se materializem, sem comprometer significativamente a capacidade de realizar tarefas complexas.