Riepilogo Tecnico: DiffuseAgent-MI

1. Definizione del Problema

Gli agenti visione-linguaggio (VLM) integrati con strumenti hanno fatto progressi significativi nel ragionamento visivo compositivo e multi-step. Tuttavia, persiste un problema crito di affidabilità: l'infedeltà (unfaithfulness). In domini ad alto rischio (ad es. imaging medico, interpretazione di figure scientifiche), un agente può produrre una risposta numericamente corretta mentre il suo percorso di ragionamento dichiarato diverge dai calcoli interni che hanno effettivamente generato la risposta.

Gli approcci attuali si dividono generalmente in due silos indipendenti:

1. Interpretabilità Meccanicistica: Si concentra sull'identificazione di unità di feature sparse (direzioni nello spazio latente) che supportano causalmente le predizioni, spesso utilizzando viste distribuzionali (ad es. vincoli minimi KL) per definire campioni fedeli.
2. Agenti Auto-Evolutivi: Migliorano le prestazioni riflettendo sugli output e aggiornando le policy tramite ricompense. Tuttavia, queste ricompense sono tipicamente a livello di risposta, fallendo nel distinguere tra una traiettoria corretta ma infedele e una veramente fedele.

Il problema centrale affrontato è la mancanza di un framework unificato che assicuri che la spiegazione dell'agente nomini le specifiche unità di feature che guidano realmente la predizione, colmando così il divario tra rappresentazione interna e spiegazione esterna.

2. Metodologia: DiffuseAgent-MI

DiffuseAgent-MI è un agente auto-evolutivo che integra un modello di energia basato sulla distribuzione con il ragionamento integrato con strumenti e un ciclo di verifica-riparazione. L'architettura opera attraverso tre componenti sinergiche:

A. Modello di Energia KL-Minimale (Fondamento Distribuzionale)

L'agente impiega un modello di energia $E_\phi$ definito sullo spazio delle unità di feature per governare il fondamento percettivo.

• Principio: Basandosi sulla visione distribuzionale della fedeltà, un campione fedele è quello che soddisfa un vincolo di unità di feature target minimizzando al contempo la perturbazione del prior nativo (minimizzazione della divergenza KL).
• Formulazione:
  $$E_\phi(x; c) = -\log p_0(x) + \lambda \ell(\langle \Phi(x), c \rangle, \alpha)$$
  Dove $p_0$ è il prior dell'immagine, $\Phi(x)$ è l'attivazione dell'unità di feature, $c$ è l'unità interpretabile scelta e $\ell$ è un vincolo morbido (soft constraint).
• Funzione: Il campionamento dal modello di diffusione sotto $\exp(-E_\phi)$ ricondiziona le generazioni verso il prior nativo ancorato all'unità scelta $c$. Ciò fornisce un obiettivo di ottimizzazione concreto per la fedeltà, assicurando che il campione si trovi vicino al prior condizionato dall'unità.

B. Auto-Evoluzione Integrata con Strumenti con Ricompensa Consapevole della Fedeltà

Il solver intercala il ragionamento con strumenti esterni (visual QA, localizzazione, captioning) e aggiorna la sua policy tramite auto-ricompensa.

• Struttura della Ricompensa: La funzione di ricompensa include esplicitamente il termine di energia:
  $$\pi_{t+1} = \arg \max_\pi \mathbb{E}_{z \sim A_\pi} [r(z) - \beta E_\phi(x^\star; c)]$$
  Qui, $r(z)$ è la ricompensa del compito, e $\beta$ pesa la fedeltà rispetto alla correttezza della risposta.
• Meccanismo: Penalizzando i campioni che deviano significativamente dal prior pur essendo vincolati a un'unità debole, la policy è scoraggiata dal generare razionali plausibili ma non radicati. Il miglioramento è indirizzato verso un comportamento fedele, non solo verso una maggiore accuratezza.

C. Ciclo di Verificatore e Riparazione (Fondamento a Livello di Traiettoria)

Un verificatore $V$ valuta se ogni step della traiettoria di ragionamento è radicato nelle unità di feature nominate.

• Processo: Il verificatore emette un punteggio di fedeltà e un flag binario $f$.
• Ramo di Riparazione: Se $f$ indica un passaggio infedele, il ramo di riparazione rafforza l'enfasi sull'unità di feature ($c \leftarrow c + \eta \nabla_c E_\phi$) e ricampiona.
• Complementarità: Il modello di energia garantisce la fedeltà distribuzionale (il campione è vicino al prior condizionato su $c$), mentre il verificatore garantisce la fedeltà della traiettoria (il ragionamento nomina esplicitamente le unità utilizzate).

3. Contributi Chiave

1. Energia Fondata sulla Distribuzione: Introduzione di un modello di energia KL-minimale sulle unità di feature che ricondiziona le generazioni di diffusione, convertendo la "fedeltà" da un'astratta aspirazione a un problema di ottimizzazione ben definito su misure di probabilità.
2. Auto-Evoluzione Integrata con Strumenti: Un framework in cui il ciclo di auto-miglioramento è esplicitamente guidato da un termine di energia, assicurando che gli aggiornamenti della policy diano priorità al comportamento fedele insieme alla correttezza della risposta.
3. Ciclo Verificatore-Più-Riparazione: Un meccanismo che fornisce feedback a livello di traiettoria. Quando uno step viene segnalato come infedele, il sistema ricondiziona l'energia e ricampiona, chiudendo efficacemente il cerchio tra vincoli distribuzionali e verifica del ragionamento esplicito.
4. Complementarità Teorica: Dimostrazione formale (Teorema 3.1) che né il modello di energia né il verificatore da soli sono sufficienti; l'energia previene lo shift della distribuzione, mentre il verificatore controlla il ragionamento dichiarato. Solo la loro combinazione assicura sia la fedeltà distribuzionale che quella della traiettoria.

4. Risultati Sperimentali

Il metodo è stato valutato su GeoQA, SciVis, VQA-v2 e un set in-house Multimodal Reasoning (MMR).

• Accuratezza: DiffuseAgent-MI ha superato i precedenti agenti auto-evolutivi, migliorando l'accuratezza fino a 5.1 punti su GeoQA (83.4% vs 78.3% per il baseline più forte) e di 4.1 punti su MMR. I guadagni sono stati più significativi nei compiti che richiedono ragionamento spaziale e causale multi-step.
• Metriche di Fedeltà:
  • MI-Faith (Allineamento AUROC): Migliorato dal 75.4% (Agent0-VL) al 94.7%.
  • MI-Interp (Accordo di Interpretabilità Umana): Migliorato dal 70.5% all'88.9%, più che raddoppiando l'interpretabilità del baseline ReAct.
• Efficienza: L'incremento relativo di calcolo rispetto a un agente semplice è stato minimo (1.12×), poiché il termine di energia agisce come una leggera correzione di punteggio e il verificatore è un piccolo classificatore.
• Studi di Ablazione:
  • Rimuovendo il termine di energia, la fedeltà è crollata (MI-Faith sceso al 71.6%) lasciando l'accuratezza quasi intatta.
  • Rimuovendo il verificatore o il ramo di riparazione, il radicamento a livello di traiettoria è degradato, confermando che i soli vincoli distribuzionali non possono controllare il ragionamento dichiarato.

5. Significato e Rivendicazioni

L'articolo sostiene che DiffuseAgent-MI rappresenti un passo significativo verso agenti visivi affidabili e spiegabili, unificando l'interpretabilità meccanicistica con l'auto-miglioramento dell'agente.

• Colmare il Divario: Affronta il problema dell'unfaithfulness dove risposte corrette derivano da processi interni infedeli, un problema critico nelle applicazioni sensibili alla sicurezza.
• Operazionalizzare la Fedeltà: Trattando la fedeltà come un problema di ottimizzazione distribuzionale (vincolo morbido KL-minimale) piuttosto che come una spiegazione post-hoc, il metodo fornisce un modo rigoroso per allineare le rappresentazioni interne con le spiegazioni esterne.
• Complementarità: Il lavoro dimostra che il fondamento distribuzionale (tramite energia) e la verifica della traiettoria sono complementari; uno assicura che il campione sia valido rispetto al prior, mentre l'altro assicura che la narrativa del ragionamento corrisponda al calcolo effettivo.

Gli autori segnalano limitazioni, specificamente che le garanzie sono relative allo spazio di unità di feature scelto e alla definizione di unità attive del verificatore. Se l'estrattore di feature sottostante è errato, le garanzie ereditano tale errore. Il lavoro futuro suggerisce di estendere questo a unità apprese continuamente e specifiche per il compito e ai modelli di generazione autoregressiva.