Resumen Técnico: Alucinación como Explotación: Agentes Multimodales Portadores de Evidencia

1. Declaración del Problema

Las evaluaciones actuales de agentes multimodales suelen tratar la alucinación como un error de calidad de respuesta (por ejemplo, una descripción errónea) y la inyección de prompts como un fallo en el seguimiento de instrucciones. Sin embargo, cuando un agente multimodal controla herramientas (por ejemplo, hacer clic, enviar correos electrónicos, transferir fondos), una alucinación puede convertirse en un fallo de autorización. Si un modelo percibe falsamente un precondición —como la ubicación de un botón, un correo electrónico de destinatario o un campo de documento— puede desencadenar una llamada a herramienta privilegiada basada en una afirmación visual no respaldada.

Las defensas existentes fallan porque colapsan la observación, la interpretación, la instrucción y el permiso en una única cadena de texto libre del modelo. En consecuencia, el filtrado de prompts no puede distinguir entre una inyección maliciosa y la propia creencia falsa del modelo. El artículo identifica la Conversión de Alucinación a Acción (H2AC) como el modo de fallo crítico: una afirmación perceptual no respaldada que satisface un precondición requerida para la acción, cambiando así la decisión de ejecución de "bloquear" a "permitir".

2. Metodología: Agentes Multimodales Portadores de Evidencia (ECA)

Los autores proponen Agentes Multimodales Portadores de Evidencia (ECA), una arquitectura que separa la interpretación de tareas de la autorización de acciones. ECA trata el texto libre del modelo como evidencia inadmisible para predicados de alta confianza.

Arquitectura Central

1. Esquemas de Acción ($G_a$): Cada llamada a herramienta se descompone en predicados específicos y críticos para la acción (por ejemplo, ui_element, ocr_text, safe_source). Estos esquemas definen las condiciones exactas requeridas para que una acción sea segura.
2. Verificadores Restringidos: En lugar de confiar en el Modelo de Lenguaje Multimodal Grande (MLLM) para verificar hechos, ECA emplea verificadores separados y restringidos (por ejemplo, analizadores DOM, motores OCR, analizadores de Árbol de Accesibilidad) para generar certificados de evidencia tipada.
   • Un certificado es un registro estructurado $e = (\tau, v, r, s, \nu, \kappa, t, \lambda)$ que contiene tipo, valor, región, fuente, verificador, confianza, tiempo y una etiqueta de confianza.
   • Crucialmente, el componente que propone la acción (el MLLM) no puede certificar los hechos que la autorizan.
3. Puerta de Política Determinista ($\Pi$): Una puerta evalúa la acción propuesta contra el esquema de acción. Otorga permiso solo si cada predicado requerido en el esquema es coincidente con un certificado que tenga el tipo, alcance, etiqueta de confianza y confianza apropiados.
   • Permitir: Todos los predicados están respaldados por certificados confiables.
   • Preguntar: La evidencia es incompleta pero la acción es reversible.
   • Bloquear: La evidencia contradice la acción o falta la procedencia requerida.

Fundamento Teórico

El sistema se basa en principios de Control de Flujo de Información. La seguridad del sistema se descompone en riesgos residuales:

• $\epsilon_p$: La tasa de falsos positivos de los verificadores (certificar un predicado falso).
• $\delta_{schema}$: La probabilidad de que el esquema de acción omita un predicado crítico.
• $\delta_{impl}$: La probabilidad de una elusión de implementación.
  La probabilidad de que ocurra una acción insegura está acotada por la suma de estos residuos, en lugar de la probabilidad de que el modelo alucine.

3. Contribuciones Clave

1. Formalización de H2AC: El artículo define la Conversión de Alucinación a Acción como el mecanismo mediante el cual las afirmaciones perceptuales no respaldadas se convierten en autoridad de acción.
2. Arquitectura ECA: Un diseño novedoso que impone una "puerta de certificados", requiriendo evidencia tipada para predicados críticos de la acción en lugar de confiar en el texto del modelo.
3. Evaluación Multinivel:
   • Red Team Adversarial: 1.900 ataques en 19 categorías dirigidos a verificadores de DOM, OCR y Árbol de Accesibilidad.
   • Ejecución Derivada de Contenido: Evaluaciones de prueba de concepto (PoC) de extremo a extremo (E2E) y navegador utilizando extracción real de DOM, OCR y AX.
   • Reproducción de Certificados Oráculo: 7.488 trazas utilizando certificados asumidos como correctos para aislar la lógica de la puerta de los errores del verificador.
4. Defensa Estructural vs. Neural: Demuestra que el enclavamiento estructural (ECA) supera al juicio neural (jueces LLM) bajo este modelo de amenaza.
5. Endurecimiento Dirigido: Cuatro correcciones específicas (cruce de procedencia DOM, detección de confusables UTS #39, verificación de integridad AX-DOM, endurecimiento de OCR con hash perceptual) que reducen significativamente las tasas de elusión.

4. Resultados Experimentales

El artículo reporta resultados en tres niveles de evidencia, enfatizando que el "cero a nivel de puerta" es una propiedad de diseño condicional a la corrección del verificador.

• Red Team Adversarial de Verificadores:
  • Tasa inicial de elusión de puerta: 15%.
  • Tras cuatro pasos de endurecimiento dirigidos: 1.3% (límite superior corregido por Bonferroni 2.3%).
• Prueba de Concepto (PoC) de Navegador y de Extremo a Extremo (E2E):
  • Pipeline E2E de 200 tareas: 0% de Tasa de Acción Insegura (UAR) (límite superior Wilson del 95% 2.67%).
  • PoC de navegador de 120 tareas: 0% UAR (límite superior Wilson del 95% 4.3%).
  • Reproducción de analizador real de 500 activos: 0% UAR.
• Auditoría Directa HACR:
  • En un subconjunto estratificado de 500 tareas, el 100% de las afirmaciones críticas de acción no respaldadas alcanzaron la ejecución para agentes ingenuos, y el 49.6% para defensas basadas solo en prompts.
  • ECA bloqueó el 100% (0/1.103) de las afirmaciones críticas de acción no respaldadas en la puerta de certificados.
• Comparación con Jueces Neuronales:
  • Las variantes de juez GPT-5.4 lograron UARs entre 79% y 99% en tareas inseguras.
  • Las sondas adversarias estilo Progent mostraron un 23.3% UAR para el juez frente al 0% para ECA.
  • Los jueces neuronales no lograron distinguir efectivamente entre instrucciones confiables y precondiciones alucinadas.

5. Significado y Afirmaciones

El artículo afirma que pulir el monólogo de seguridad de un modelo es una palanca débil cuando los hechos de documentos o interfaces de usuario alucinados pueden satisfacer esquemas de acción. La contribución principal es una frontera de autorización de lenguaje a acción que requiere que las afirmaciones del contexto multimodal se representen como predicados tipados antes de que puedan afectar los privilegios de las herramientas.

• Afirmaciones Modestas: Los autores declaran explícitamente que ECA no resuelve la alucinación ni todo el mal uso de agentes. La afirmación de seguridad es condicional: si los esquemas omiten predicados críticos, las implementaciones eluden la puerta, o los verificadores certifican predicados falsos, ECA puede fallar.
• Residuos Auditables: La ventaja de ECA es que los fallos no están ocultos en creencias opacas del modelo, sino que se exponen como residuos medibles ($\epsilon_p, \delta_{schema}, \delta_{impl}$).
• Alcance: El trabajo se centra en la ruta de ataque de "precondición falsa", que elude los clasificadores de instrucciones. No afirma robustez frente a nuevos ataques a verificadores, despliegues en vivo a gran escala de múltiples turnos, o ecosistemas de herramientas arbitrarios sin reparación de esquemas.

En resumen, ECA desplaza la frontera de confianza del planificador (el MLLM) a la capa de evidencia (verificadores), convirtiendo la creencia opaca del modelo en residuos auditables y evitando que afirmaciones visuales no respaldadas autoricen silenciosamente acciones privilegiadas.