Riepilogo Tecnico: Allucinazione come Sfruttamento: Agenti Multimodali Portatori di Prove

1. Enunciato del Problema

Le valutazioni attuali degli agenti multimodali spesso trattano l'allucinazione come un errore di qualità della risposta (ad esempio, una didascalia errata) e l'iniezione di prompt come un fallimento nel seguire le istruzioni. Tuttavia, quando un agente multimodale controlla strumenti (ad esempio, clic, invio di email, trasferimento di fondi), un'allucinazione può diventare un fallimento di autorizzazione. Se un modello percepisce falsamente una precondizione—come la posizione di un pulsante, un indirizzo email del destinatario o un campo di un documento—potrebbe attivare una chiamata a strumento privilegiato basata su un'affermazione visiva non supportata.

Le difese esistenti falliscono perché collassano osservazione, interpretazione, istruzione e permesso in un'unica stringa di testo libero generata dal modello. Di conseguenza, il filtraggio dei prompt non può distinguere tra un'iniezione malevola e la falsa convinzione del modello stesso. Il documento identifica la Conversione Allucinazione-Azione (H2AC) come la modalità di fallimento critica: un'affermazione percettiva non supportata che soddisfa una precondizione richiesta per un'azione, modificando di conseguenza la decisione di esecuzione da "blocca" a "consenti".

2. Metodologia: Agenti Multimodali Portatori di Prove (ECA)

Gli autori propongono gli Agenti Multimodali Portatori di Prove (ECA), un'architettura che separa l'interpretazione dei compiti dall'autorizzazione delle azioni. ECA tratta il testo libero generato dal modello come prova inammissibile per predicati ad alta fiducia.

Architettura Principale

1. Schemi d'Azione ($G_a$): Ogni chiamata a strumento è scomposta in predicati specifici e critici per l'azione (ad esempio, ui_element, ocr_text, safe_source). Questi schemi definiscono le condizioni esatte richieste affinché un'azione sia sicura.
2. Verificatori Vincolati: Invece di affidarsi al Modello Linguistico Multimodale (MLLM) per verificare i fatti, ECA impiega verificatori separati e vincolati (ad esempio, parser DOM, motori OCR, parser dell'Albero di Accessibilità) per generare certificati di prova tipizzati.
   • Un certificato è un record strutturato $e = (\tau, v, r, s, \nu, \kappa, t, \lambda)$ contenente tipo, valore, regione, fonte, verificatore, confidenza, tempo e un'etichetta di fiducia.
   • Crucialmente, il componente che propone l'azione (l'MLLM) non può certificare i fatti che la autorizzano.
3. Cancello di Politica Deterministico ($\Pi$): Un cancello valuta l'azione proposta rispetto allo schema d'azione. Concede il permesso solo se ogni predicato richiesto nello schema è corrisposto da un certificato con il tipo, l'ambito, l'etichetta di fiducia e la confidenza appropriati.
   • Consenti: Tutti i predicati sono supportati da certificati affidabili.
   • Chiedi: Le prove sono incomplete ma l'azione è reversibile.
   • Blocca: Le prove contraddicono l'azione o manca la provenienza richiesta.

Fondamento Teorico

Il sistema si basa sui principi del Controllo del Flusso di Informazioni. La sicurezza del sistema è scomposta in rischi residui:

• $\epsilon_p$: Il tasso di falsi positivi dei verificatori (certificare un predicato falso).
• $\delta_{schema}$: La probabilità che lo schema d'azione ometta un predicato critico.
• $\delta_{impl}$: La probabilità di un aggiramento dell'implementazione.
  La probabilità che si verifichi un'azione non sicura è limitata dalla somma di questi residui, piuttosto che dalla probabilità che il modello allucini.

3. Contributi Chiave

1. Formalizzazione di H2AC: Il documento definisce la Conversione Allucinazione-Azione come il meccanismo mediante il quale affermazioni percettive non supportate diventano autorità d'azione.
2. Architettura ECA: Un design innovativo che impone un "cancello di certificato", richiedendo prove tipizzate per i predicati critici per l'azione invece di affidarsi al testo del modello.
3. Valutazione Multilivello:
   • Red-Teaming Avversario: 1.900 attacchi su 19 categorie mirati ai verificatori DOM, OCR e dell'Albero di Accessibilità.
   • Esecuzione Derivata dai Contenuti: Valutazioni end-to-end (E2E) e proof-of-concept (PoC) nel browser utilizzando estrazione reale di DOM, OCR e AX.
   • Riproduzione di Certificati Oracle: 7.488 tracce utilizzando certificati assunti corretti per isolare la logica del cancello dagli errori dei verificatori.
4. Difesa Strutturale vs. Neurale: Dimostra che il gating strutturale (ECA) supera il giudizio neurale (giudici LLM) sotto questo modello di minaccia.
5. Rafforzamento Mirato: Quattro fix specifici (incrocio della provenienza DOM, rilevamento confondibile UTS #39, verifica dell'integrità AX-DOM, rafforzamento OCR con hash percettivo) che riducono significativamente i tassi di aggiramento.

4. Risultati Sperimentali

Il documento riporta risultati su tre livelli di prova, sottolineando che lo "zero a livello di cancello" è una proprietà di design condizionata alla correttezza dei verificatori.

• Red-Teaming Avversario dei Verificatori:
  • Tasso iniziale di aggiramento del cancello: 15%.
  • Dopo quattro passaggi di rafforzamento mirato: 1,3% (limite superiore corretto con Bonferroni 2,3%).
• Proof-of-Concept (PoC) End-to-End (E2E) e nel Browser:
  • Pipeline E2E da 200 task: 0% Tasso di Azione Non Sicura (UAR) (limite superiore di Wilson al 95% 2,67%).
  • PoC nel browser da 120 task: 0% UAR (limite superiore di Wilson al 95% 4,3%).
  • Riproduzione con parser reale da 500 asset: 0% UAR.
• Audit Diretto HACR:
  • Su un sottoinsieme stratificato di 500 task, il 100% delle affermazioni critiche per l'azione non supportate ha raggiunto l'esecuzione per agenti ingenui, e il 49,6% per difese basate solo su prompt.
  • ECA ha bloccato il 100% (0/1.103) delle affermazioni critiche per l'azione non supportate al cancello dei certificati.
• Confronto con Giudici Neurali:
  • Le varianti del giudice GPT-5.4 hanno raggiunto UAR tra il 79% e il 99% su task non sicuri.
  • Sonde avversarie di stile Progent hanno mostrato un 23,3% UAR per il giudice contro lo 0% per ECA.
  • I giudici neurali non sono riusciti a distinguere efficacemente tra istruzioni affidabili e precondizioni allucinate.

5. Significato e Affermazioni

Il documento afferma che raffinare il monologo di sicurezza di un modello è una leva debole quando fatti allucinati di documenti o interfacce utente possono soddisfare gli schemi d'azione. Il contributo principale è un confine di autorizzazione linguaggio-azione che richiede che le affermazioni provenienti dal contesto multimodale siano rappresentate come predicati tipizzati prima di poter influenzare i privilegi degli strumenti.

• Affermazioni Modeste: Gli autori dichiarano esplicitamente che ECA non risolve l'allucinazione o tutti gli abusi degli agenti. L'affermazione di sicurezza è condizionale: se gli schemi omettono predicati critici, le implementazioni aggirano il cancello o i verificatori certificano predicati falsi, ECA può fallire.
• Residui Verificabili: Il vantaggio di ECA è che i fallimenti non sono nascosti in credenze del modello opache, ma sono esposti come residui misurabili ($\epsilon_p, \delta_{schema}, \delta_{impl}$).
• Ambito: Il lavoro si concentra sul percorso di attacco "falsa precondizione", che aggira i classificatori di istruzioni. Non rivendica robustezza contro nuovi attacchi ai verificatori, distribuzione live multi-turno su larga scala o ecosistemi di strumenti arbitrari senza riparazione degli schemi.

In sintesi, ECA sposta il confine di fiducia dal pianificatore (l'MLLM) al livello di prove (verificatori), convertendo la credenza opaca del modello in residui verificabili e impedendo che affermazioni visive non supportate autorizzino silenziosamente azioni privilegiate.