Discovering Failure Modes in Vision-Language Models using RL

1. Il Problema

I Modelli Vision-Language (VLM) hanno raggiunto prestazioni elevate su molti benchmark multimodali, ma tendono a commettere errori su concetti visivi semplici che gli umani gestiscono con facilità (es. conteggio, ragionamento spaziale, comprensione del punto di vista).
Le sfide principali identificate dagli autori sono:

• Limiti dei metodi manuali: I precedenti studi hanno identificato manualmente queste debolezze, ma tale approccio è costoso, non scalabile e soggetto a bias cognitivi umani (che tendono a focalizzarsi su oggetti salienti trascurando dettagli sottili).
• Limiti dei metodi automatici esistenti: Le soluzioni recenti che utilizzano LLM come "interrogatori" (questioner) operano spesso in un regime "open-loop" (statico). Non adattano le loro domande in base alle risposte del modello target, risultando in failure mode generici che non catturano le sfumature specifiche di un determinato modello.

L'obiettivo è sviluppare un framework completamente automatico per scoprire i punti ciechi (failure modes) di qualsiasi VLM candidato su una distribuzione di dati data, senza intervento umano.

2. Metodologia

Gli autori propongono un framework basato sul Reinforcement Learning (RL) che tratta la scoperta dei fallimenti come un problema di ottimizzazione sequenziale. Il sistema è composto da tre agenti principali:

1. Questioner (Agente RL): Un VLM che agisce come agente RL. Il suo compito è generare un insieme di domande ($Q$) per un'immagine data ($I$) in modo da indurre il modello target a rispondere in modo errato. L'agente viene addestrato utilizzando l'algoritmo Group Relative Policy Optimization (GRPO).
2. Answerer (Modello Target): Il VLM candidato i cui punti deboli devono essere scoperti. I suoi parametri sono congelati durante l'addestramento.
3. Verifier (Modello di Verifica): Un VLM con forti capacità di ragionamento (es. Qwen3-VL-30B-Thinking) che valuta le domande e le risposte per generare il segnale di ricompensa.

Funzione di Ricompensa:
La ricompensa ($R_Q$) è progettata per massimizzare la scoperta di errori mantenendo la qualità delle domande. È definita come:
$$R_Q = \Delta_Q \cdot V_Q \cdot (1 - C_Q) - P_Q$$
Dove:

• $V_Q$ (Validità): 1 se la domanda è grammaticalmente corretta, atomica, basata sull'immagine e oggettiva; altrimenti 0.
• $C_Q$ (Correttezza): 1 se la risposta del modello target è corretta; 0 se è errata. L'agente viene ricompensato solo se il modello target sbaglia ($C_Q=0$).
• $\Delta_Q$ (Diversità): Un componente che penalizza la ridondanza. È composto da:
  • Diversità Semantica: Penalizza domande semanticamente simili a quelle già generate e fallite (calcolata tramite similarità coseno degli embedding).
  • Diversità Lessicale: Penalizza la ripetizione dei prefissi delle domande (es. evitare di usare sempre "Quanti...") per forzare varietà strutturale.
• $P_Q$ (Penalità): Una penalità per le domande non valide per accelerare la convergenza verso domande ben formate.

Pipeline di Tassonomia:
Per analizzare i fallimenti scoperti, gli autori introducono una pipeline automatizzata in quattro fasi (Primitive, Topic Modelling, Skill Extraction, Meta-skill Identification) che mappa le domande fallite in una gerarchia di competenze visive e meta-competenze.

3. Contributi Chiave

1. Framework RL Automatizzato: Un sistema che addestra un agente "interrogatore" per adattarsi dinamicamente alle debolezze specifiche di un modello target, superando i limiti dei benchmark statici.
2. Scoperta di Nuovi Failure Mode: Il metodo ha identificato 36 nuovi failure mode (competenze) che non erano stati rilevati da studi precedenti o benchmark statici, inclusi concetti come "Rilevamento della Prominenza", "Valutazione delle Minacce" e "Tracciamento del Percorso".
3. Generazione di Query Complesse: Il framework genera domande composizionalmente complesse che richiedono ragionamento multi-hop e l'integrazione di più competenze visive simultaneamente.
4. Valutazione Estesa: Confronto rigoroso contro baseline competitive (Zero-shot, SFT, Expert Iteration, ConMe) su metriche di validità, tasso di scoperta dei fallimenti (FDR), diversità semantica e lessicale, e copertura delle competenze.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su immagini COCO e vari modelli VLM (serie Qwen2.5-VL e Qwen3-VL).

• Potenza (Failure Discovery Rate - FDR): L'approccio RL ha ottenuto un FDR significativamente superiore rispetto alle baseline.

  • RL: 47.58%
  • RL+SFT (fine-tuning iniziale): 50.73%
  • ConMe (baseline avanzata): 39.89%
  • SFT: 37.02%
    Questo dimostra che l'adattamento dinamico tramite RL è più efficace nel trovare errori reali rispetto ai metodi statici o iterativi non basati su RL.

• Diversità e Complessità:

  • Le domande generate da RL mostrano una diversità lessicale molto più alta (0.53 vs 0.30 di ConMe), indicando una varietà maggiore nei tipi di domande ("Quanti", "Dove", "Cosa", ecc.).
  • Il numero di competenze uniche scoperte è superiore: 131 competenze per RL contro 89 per SFT.
  • Le domande RL richiedono in media più competenze simultanee (3.30 vs 3.10), evidenziando la capacità di stress-testare il ragionamento fine-grained.

• Evoluzione durante l'Addestramento: L'analisi temporale mostra che l'agente RL segue implicitamente un "curriculum": inizia sfruttando vulnerabilità facili (ragionamento numerico, azioni) e progressivamente scopre competenze più elusive e complesse (ragionamento spaziale, riconoscimento culturale) man mano che l'addestramento procede.

• Generalizzabilità: Il framework funziona bene su diverse combinazioni di modelli (Questioner e Answerer di diverse dimensioni, 3B-8B), mantenendo alta la diversità delle scoperte anche quando il modello target diventa più potente.

5. Significato e Impatto

Questo lavoro rappresenta un cambio di paradigma nella valutazione dei VLM:

• Da Statico ad Adattivo: Sposta l'attenzione dai benchmark fissi, creati manualmente, a un processo di scoperta continuo e adattivo guidato dall'RL.
• Scalabilità: Elimina la necessità di annotazione umana per la creazione di dataset di stress-test, rendendo possibile la valutazione approfondita di modelli proprietari o su larga scala.
• Diagnosi Profonda: Permette di identificare non solo se un modello fallisce, ma come e perché, rivelando punti ciechi cognitivi specifici (es. incapacità di gestire relazioni spaziali complesse o negazioni) che altrimenti rimarrebbero nascosti.
• Futuro: Apre la strada a cicli di feedback dove i failure mode scoperti possono essere utilizzati per il fine-tuning mirato, migliorando la robustezza dei sistemi VLM.

In sintesi, il paper dimostra che l'uso del Reinforcement Learning per generare domande adattive è uno strumento superiore per mappare sistematicamente le vulnerabilità dei modelli Vision-Language, superando i limiti della curiosità umana e dei metodi statici.