ORCA: An Agentic Reasoning Framework for Hallucination and Adversarial Robustness in Vision-Language Models

1. Il Problema

I Modelli Vision-Language di grandi dimensioni (LVLM) hanno mostrato capacità multimodali eccezionali, ma soffrono di due vulnerabilità critiche che ne limitano l'affidabilità nelle applicazioni reali (es. diagnostica medica, telerilevamento):

• Allucinazioni Intrinseche: I modelli tendono a generare contenuti visivi non esistenti a causa di errori intrinseci, bias nei dati di addestramento o pattern di co-occorrenza appresi. Questo è particolarmente problematico a livello di oggetti (es. affermare la presenza di un oggetto che non c'è).
• Vulnerabilità Adversarial: I LVLM sono suscettibili ad attacchi adversarial (perturbazioni impercettibili su immagini o prompt) che possono indurre previsioni errate con alta confidenza.
• Limitazioni delle Soluzioni Esistenti: I metodi attuali per mitigare questi problemi (come il hallucination-aware decoding, l'addestramento adversarial o le correzioni post-hoc) richiedono spesso l'accesso ai pesi del modello, costosi ri-addestramenti, o sono limitati a pipeline di inferenza statiche che non si adattano a fallimenti imprevisti.

2. Metodologia: Il Framework ORCA

Gli autori propongono ORCA (Observe–Reason–Critique–Act), un framework di ragionamento agentic che opera esclusivamente al momento dell'inferenza (test-time) senza modificare i modelli sottostanti.

Principi Chiave:

• Architettura Agente-Strumentale: ORCA utilizza un agente basato su LLM (es. LLaMA-3.2-Vision-Instruct) che non accede direttamente alle immagini grezze né ai pesi interni dei modelli visivi. L'agente interagisce esclusivamente tramite testo con una suite di modelli visivi pre-addestrati (incluso un LVLM di base e strumenti leggeri come detector di oggetti o VQA, con parametri $\le$ 3B).
• Loop Iterativo (Observe–Reason–Critique–Act):
  1. Observe (Osservare): L'agente invia query iniziali agli strumenti visivi selezionati per raccogliere evidenze (es. captioning, rilevamento oggetti).
  2. Reason (Ragionare): Valuta individualmente le risposte per verificare coerenza con la query dell'utente.
  3. Critique (Critica): Esegue un controllo di consistenza collettiva. Se le risposte dei diversi modelli sono coerenti, la decisione viene finalizzata. Se emergono incongruenze (es. un detector non vede un oggetto mentre il LVLM lo descrive), l'agente entra in un ciclo di raffinamento.
  4. Act (Agire): Per risolvere le incongruenze, l'agente genera query evidenziali guidate dagli attributi. Chiede ai modelli di descrivere attributi specifici (colore, posizione, conteggio) per costruire nuove domande di verifica incrociata.
• Memoria e Tracciabilità: Tutte le interazioni, le critiche e le decisioni vengono registrate in un buffer di memoria, permettendo un processo decisionale auditabile (tracciabile).
• Robustezza Emergente: La diversità architetturale degli strumenti visivi e il meccanismo di verifica incrociata basata su inconsistenze riducono la vulnerabilità a singoli modelli o attacchi specifici, fornendo robustezza adversarial senza addestramento specifico.

3. Contributi Chiave

1. Framework di Inferenza Senza Addestramento: ORCA migliora l'accuratezza fattuale e la robustezza adversarial dei LVLM pre-addestrati senza richiedere accesso ai pesi del modello, ri-addestramento o dati aggiuntivi.
2. Mitigazione dell'Allucinazione e Robustezza Adversarial: Dimostra che un approccio basato su agenti può ridurre le allucinazioni intrinseche e, in modo emergente, resistere a perturbazioni adversarial esterne.
3. Processo Decisionale Auditabile: Fornisce tracce di ragionamento intermedie che permettono agli esseri umani di comprendere e verificare il processo decisionale del sistema.
4. Generalizzabilità: Il framework è agnostico rispetto al modello e funziona efficacemente su diverse architetture LVLM (mPLUG-Owl, MiniGPT-4, Qwen-VL-Chat) e diversi tipi di task (VQA binaria, captioning).

4. Risultati Sperimentali

Gli autori hanno valutato ORCA su tre scenari: immagini pulite (benigne), immagini perturbate senza difesa, e immagini perturbate con difese tradizionali applicate.

• Riduzione delle Allucinazioni (Benchmark POPE):

  • ORCA ha migliorato le prestazioni degli LVLM standalone da +3.64% a +40.67% in termini di accuratezza e F1-score su diversi sottoinsiemi (Random, Popular, Concurrence).
  • Su mPLUG-Owl, l'accuratezza nel subset Random è passata dal 54.00% al 94.67%.
  • Nel benchmark MME, ORCA ha portato tutti i modelli a un punteggio totale di 180.00, raddoppiando le prestazioni dei baseline più deboli.

• Robustezza Adversarial:

  • Sotto attacchi come Adversarial Illusions e AttackVLM, ORCA ha mantenuto prestazioni elevate, ottenendo un guadagno medio di accuratezza di +20.11% rispetto agli LVLM standalone.
  • Ha dimostrato capacità di difesa anche su task generativi (benchmark AMBER), riducendo drasticamente i punteggi di allucinazione (es. CHAIR e Hal) anche in presenza di perturbazioni.

• Combinazione con Difese Tradizionali:

  • Quando combinato con tecniche di pre-processing come la compressione JPEG o il feature squeezing, ORCA ha fornito ulteriori miglioramenti, con guadagni che vanno da +1.20% a +48.00% rispetto alle prestazioni standalone sotto attacco.

5. Significato e Implicazioni

Il lavoro di ORCA segna un passo avanti significativo verso sistemi multimodali più affidabili e sicuri:

• Paradigma Shift: Sposta l'enfasi dalla semplice scalabilità del modello (più parametri) alla progettazione di meccanismi di interazione e ragionamento strutturato. La robustezza deriva dalla diversità architetturale e dalla validazione incrociata, non solo dalla dimensione del modello.
• Applicabilità in Ambienti Reali: Essendo un metodo training-free e model-agnostic, ORCA è ideale per scenari ad alto rischio (medicina, sicurezza) dove l'accesso ai modelli proprietari è limitato o il ri-addestramento è proibitivo.
• Trasparenza: La capacità di generare tracce di ragionamento auditabili risponde alla crescente necessità di spiegabilità (XAI) nell'IA critica.
• Limiti e Futuro: L'attuale implementazione comporta una latenza di inferenza maggiore (circa 33 volte più lenta degli LVLM standalone), un compromesso accettabile per applicazioni dove l'affidabilità è prioritaria rispetto alla velocità. Il lavoro futuro si concentrerà sull'ottimizzazione dell'efficienza e sull'estensione a allucinazioni più complesse (attributi e relazioni).

In sintesi, ORCA dimostra che l'integrazione di agenti di ragionamento con strumenti visivi eterogenei offre una via promettente per costruire sistemi AI multimodali resilienti sia agli errori interni che agli attacchi esterni.