Resumo Técnico: Alucinação como Exploração: Agentes Multimodais Portadores de Evidência

1. Declaração do Problema

As avaliações atuais de agentes multimodais frequentemente tratam a alucinação como um erro de qualidade da resposta (por exemplo, uma legenda incorreta) e a injeção de prompt como uma falha no seguimento de instruções. No entanto, quando um agente multimodal controla ferramentas (por exemplo, clicar, enviar e-mails, transferir fundos), uma alucinação pode se tornar uma falha de autorização. Se um modelo perceber falsamente uma pré-condição — como a localização de um botão, um e-mail de destinatário ou um campo de documento — ele pode acionar uma chamada de ferramenta privilegiada baseada em uma afirmação visual não suportada.

As defesas existentes falham porque colapsam observação, interpretação, instrução e permissão em uma única string de texto livre do modelo. Consequentemente, a filtragem de prompts não consegue distinguir entre uma injeção maliciosa e a própria crença falsa do modelo. O artigo identifica a Conversão de Alucinação para Ação (H2AC) como o modo de falha crítico: uma afirmação perceptiva não suportada que satisfaz uma pré-condição de ação necessária, alterando assim a decisão de execução de "bloquear" para "permitir".

2. Metodologia: Agentes Multimodais Portadores de Evidência (ECA)

Os autores propõem Agentes Multimodais Portadores de Evidência (ECA), uma arquitetura que separa a interpretação de tarefas da autorização de ações. O ECA trata o texto livre do modelo como evidência inadmissível para predicados de alta confiança.

Arquitetura Central

1. Esquemas de Ação ($G_a$): Cada chamada de ferramenta é decomposta em predicados específicos e críticos para a ação (por exemplo, ui_element, ocr_text, safe_source). Esses esquemas definem as condições exatas necessárias para que uma ação seja segura.
2. Verificadores Confinados: Em vez de confiar no Modelo de Linguagem Multimodal de Grande Escala (MLLM) para verificar fatos, o ECA emprega verificadores separados e confinados (por exemplo, analisadores DOM, motores OCR, analisadores de Árvore de Acessibilidade) para gerar certificados de evidência tipada.
   • Um certificado é um registro estruturado $e = (\tau, v, r, s, \nu, \kappa, t, \lambda)$ contendo tipo, valor, região, fonte, verificador, confiança, tempo e um rótulo de confiança.
   • Crucialmente, o componente que propõe a ação (o MLLM) não pode certificar os fatos que a autorizam.
3. Portão de Política Determinístico ($\Pi$): Um portão avalia a ação proposta contra o esquema de ação. Ele concede permissão somente se cada predicado necessário no esquema for correspondido por um certificado com o tipo, escopo, rótulo de confiança e confiança apropriados.
   • Permitir: Todos os predicados são suportados por certificados confiáveis.
   • Perguntar: A evidência está incompleta, mas a ação é reversível.
   • Bloquear: A evidência contradiz a ação ou a proveniência necessária está ausente.

Fundamentação Teórica

O sistema baseia-se em princípios de Controle de Fluxo de Informação. A segurança do sistema é decomposta em riscos residuais:

• $\epsilon_p$: A taxa de falsos positivos dos verificadores (certificando um predicado falso).
• $\delta_{schema}$: A probabilidade de o esquema de ação omitir um predicado crítico.
• $\delta_{impl}$: A probabilidade de uma violação de implementação.
  A probabilidade de uma ação insegura ocorrer é limitada pela soma desses resíduos, em vez da probabilidade do modelo alucinar.

3. Principais Contribuições

1. Formalização da H2AC: O artigo define a Conversão de Alucinação para Ação como o mecanismo pelo qual afirmações perceptivas não suportadas se tornam autoridade de ação.
2. Arquitetura ECA: Um design inovador que impõe um "portão de certificado", exigindo evidência tipada para predicados críticos para a ação, em vez de confiar no texto do modelo.
3. Avaliação Multinível:
   • Red-Teaming Adversarial: 1.900 ataques em 19 categorias visando verificadores de DOM, OCR e Árvore de Acessibilidade.
   • Execução Derivada de Conteúdo: Avaliações ponta a ponta (E2E) e de prova de conceito (PoC) em navegador usando extração real de DOM, OCR e AX.
   • Reprodução de Certificado-Oráculo: 7.488 rastreamentos usando certificados assumidos como corretos para isolar a lógica do portão de erros do verificador.
4. Defesa Estrutural vs. Neural: Demonstra que o portão estrutural (ECA) supera o julgamento neural (juízes LLM) sob este modelo de ameaça.
5. Endurecimento Direcionado: Quatro correções específicas (cruzamento de proveniência de DOM, detecção de confusáveis UTS #39, verificação de integridade AX-DOM, endurecimento de OCR com hash perceptual) que reduzem significativamente as taxas de violação.

4. Resultados Experimentais

O artigo relata resultados em três níveis de evidência, enfatizando que o "zero no nível do portão" é uma propriedade de design condicional à correção do verificador.

• Red-Teaming Adversarial de Verificador:
  • Taxa inicial de violação do portão: 15%.
  • Após quatro etapas de endurecimento direcionado: 1,3% (limite superior corrigido por Bonferroni de 2,3%).
• Prova de Conceito (PoC) Ponta a Ponta (E2E) e Navegador:
  • Pipeline E2E de 200 tarefas: 0% de Taxa de Ação Insegura (UAR) (limite superior de Wilson 95% de 2,67%).
  • PoC de navegador de 120 tarefas: 0% de UAR (limite superior de Wilson 95% de 4,3%).
  • Reprodução de analisador real de 500 ativos: 0% de UAR.
• Auditoria Direta de HACR:
  • Em um subconjunto estratificado de 500 tarefas, 100% das afirmações críticas para a ação não suportadas alcançaram a execução para agentes ingênuos, e 49,6% para defesas baseadas apenas em prompt.
  • O ECA bloqueou 100% (0/1.103) das afirmações críticas para a ação não suportadas no portão de certificados.
• Comparação com Juízes Neuronais:
  • Variantes do juiz GPT-5.4 alcançaram UARs entre 79% e 99% em tarefas inseguras.
  • Probes adversariais estilo Progent mostraram uma UAR de 23,3% para o juiz versus 0% para o ECA.
  • Juízes neuronais falharam em distinguir efetivamente entre instruções confiáveis e pré-condições alucinadas.

5. Significado e Alegações

O artigo afirma que polir o monólogo de segurança de um modelo é uma alavanca fraca quando fatos alucinados de documentos ou interfaces de usuário podem satisfazer esquemas de ação. A contribuição principal é uma fronteira de autorização de linguagem para ação que exige que afirmações do contexto multimodal sejam representadas como predicados tipados antes de poderem afetar privilégios de ferramenta.

• Alegações Modestas: Os autores afirmam explicitamente que o ECA não resolve a alucinação ou todo o mau uso de agentes. A alegação de segurança é condicional: se os esquemas omitirem predicados críticos, implementações contornarem o portão ou verificadores certificarem predicados falsos, o ECA pode falhar.
• Resíduos Auditáveis: A vantagem do ECA é que as falhas não estão ocultas em crenças opacas do modelo, mas expostas como resíduos mensuráveis ($\epsilon_p, \delta_{schema}, \delta_{impl}$).
• Escopo: O trabalho foca no caminho de ataque de "pré-condição falsa", que contorna classificadores de instrução. Não alega robustez contra novos ataques a verificadores, implantação ao vivo em escala total de múltiplas interações ou ecossistemas de ferramentas arbitrários sem reparo de esquema.

Em resumo, o ECA desloca a fronteira de confiança do planejador (o MLLM) para a camada de evidência (verificadores), convertendo crenças opacas do modelo em resíduos auditáveis e impedindo que afirmações visuais não suportadas autorizem silenciosamente ações privilegiadas.