Multimodal QUD: Inquisitive Questions from Scientific Figures

1. Enunciato del Problema

I modelli visione-linguaggio (VLM) attuali e i benchmark scientifici (ad es. ChartQA, FigureQA) valutano principalmente il ragionamento percettivo—la capacità di estrarre valori espliciti o contare elementi da una figura. Questi benchmark non riescono a catturare la curiosità scientifica e il ragionamento a livello di discorso, dove le figure nei documenti di ricerca spesso innescano domande implicite che richiedono l'integrazione di pattern visivi con il contesto testuale per essere risolte.

I dataset esistenti non distinguono tra domande che possono essere risposte da una figura da sola e quelle che richiedono un ragionamento cross-modale (testo + figura). Di conseguenza, i modelli generano spesso domande generiche e di basso livello o non riescono a "radicare" il loro ragionamento nel contenuto specifico di una figura, affidandosi invece a prior visivi o pattern testuali generici.

2. Metodologia

A. Quadro Teorico: QUD Multimodale

Gli autori estendono la teoria linguistica delle Domande in Discussione (QUD) al dominio multimodale. Nella teoria QUD standard, il discorso è organizzato attorno a domande implicite sollevate e risolte da affermazioni.

• Estensione: In questo quadro, le figure agiscono come partecipanti al discorso che sollevano domande implicite ($Q_F$) che il testo circostante ($C_F$) aiuta a risolvere.
• Tassonomia: Gli autori definiscono sei tipi di domanda adattati al discorso multimodale:
  1. Causa: Perché si verifica un pattern?
  2. Confronto: In che modo gli elementi differiscono?
  3. Estensione: In quale misura si verifica un fenomeno?
  4. Conseguenza: Quali sono le implicazioni?
  5. Procedurale: Come viene realizzata un metodo?
  6. Concetto: Cosa significa una rappresentazione visiva?
• Distinzione: Classificano le domande in Guidate dalla Figura (rispondibili dalla figura da sola, es. Confronto, Estensione) e Integrazione (che richiedono testo + figura, es. Causa, Conseguenza).

B. Il Dataset MQUD

Gli autori hanno costruito MQUD, un dataset di 1.250 QUD multimodali validati derivati da 56 documenti scientifici nei campi di NLP, Machine Learning e Astronomia.

• Generazione: Le domande candidate sono state generate utilizzando GPT-4o, condizionati sulla figura, didascalia, abstract e paragrafi testuali rilevanti.
• Annotazione: 17 autori originali dei documenti (esperti di dominio) hanno annotato i dati su sette dimensioni:
  • Salienza: La domanda è rilevante per l'argomento centrale del documento?
  • Utilità della Figura: La figura è necessaria per risolvere la domanda?
  • Fonte della Risposta: La figura da sola può rispondere, o è richiesto il testo?
  • Correttezza e Qualità: Fattualità e qualità linguistica.
• Scala: 703 domande sono state annotate da umani; le restanti 547 sono state annotate da un giudice LLM validato (GPT-5-mini) con un alto accordo (88% di precisione sulla correttezza).

C. Diagnostici per l'Aggancio (Grounding)

Per misurare se i modelli comprendono genuinamente il contenuto delle figure, gli autori hanno introdotto due diagnostici riutilizzabili:

1. Guadagno di Informazione Relativo (rIG): Misura quanto è più difficile prevedere una domanda quando la figura viene rimossa ($L_{solo-testo} - L_{multimodale}$). Un rIG alto indica che il modello si affida alla figura.
2. Diagnostico di Scambio della Figura: Testa l'aggancio specifico al contenuto. Al modello viene fornito il testo corretto ma una figura errata dello stesso documento.
   • Ipotesi: Se un modello ha un vero aggancio, una figura errata dovrebbe danneggiare le prestazioni più della mancanza totale di figura (perché il modello si aspetta segnali visivi specifici). Se si affida a prior visivi generici, una figura errata potrebbe comunque aiutare.

D. Addestramento del Modello

Gli autori hanno eseguito il fine-tuning di Qwen3.5-9B utilizzando LoRA sul dataset MQUD. L'obiettivo dell'addestramento era generare la domanda implicita ($Q_F$) dato il contesto di innesco (Titolo, Abstract, Figura, Didascalia).

3. Contributi Chiave

1. Dataset MQUD: Il primo dataset che mira esplicitamente alle domande inquisitive che nascono dalle interazioni figura-testo nei documenti scientifici, annotato dagli autori originali per l'utilità scientifica.
2. Quadro QUD Multimodale: Un'estensione formale della teoria QUD al discorso multimodale, che distingue tra domande guidate dalla figura e di tipo integrazione.
3. Nuovi Diagnostici: Introduzione delle metriche rIG e Scambio Figura per testare rigorosamente se i VLM possiedono un aggancio specifico al contenuto e non solo sensibilità visiva.
4. Evidenza Empirica: Dimostrazione che il fine-tuning su MQUD sposta il comportamento del modello da query visive generiche a un'indagine scientifica profonda e consapevole del contesto.

4. Risultati

Prestazioni sui Diagnostici

• Aggancio Specifico al Contenuto (Test di Scambio):
  • Baseline (Zero-shot GPT-4o/Qwen): Ha mostrato un "bias generico". Quando veniva fornita una figura errata, la perdita era inferiore rispetto alla mancanza totale di figura ($\Delta < 0$), il che significa che si affidavano a segnali visivi generici piuttosto che a contenuti specifici. Solo il 18% dei casi ha mostrato un aggancio specifico al contenuto (una figura errata ha danneggiato più della mancanza di figura).
  • Modello SFT: Dopo il fine-tuning, il 76% dei casi ha mostrato un aggancio specifico al contenuto ($\Delta > 0$). Il modello è stato penalizzato per figure non corrispondenti, dimostrando di aver imparato a fare affidamento su dettagli visivi specifici.
• Guadagno di Informazione Visiva (rIG):
  • Il punteggio rIG è aumentato da 0,60 (Base) a 0,97 (SFT), indicando che il modello è diventato significativamente più dipendente dalla figura per la generazione di domande.
  • Ablazione: Un modello SFT solo testo ha ottenuto alti tassi di scambio (76%) ma un rIG basso (0,27), dimostrando che alti tassi di scambio da soli non garantiscono un aggancio visivo; il modello deve effettivamente utilizzare le informazioni visive.

Qualità delle Domande

• Profondità: Le domande generate dall'SFT sono state preferite dagli esperti umani rispetto alle baseline nel 75% dei casi per "profondità" e nel 78% per "diversità".
• Stile: Il modello base produceva spesso meta-commentari verbosi prima di porre una domanda. Il modello SFT ha generato domande concise e radicate nella figura (ad es. chiedendo perché esiste un pattern piuttosto che cosa sia il pattern).
• Confronto con GPT-4o: Sebbene GPT-4o sia sensibile alle figure (rIG = 0,72), manca di un aggancio specifico al contenuto (18% di positività nello scambio). Il fine-tuning ha colmato questo divario, ottenendo sia alta sensibilità che specificità.

5. Significato

• Avanzamento dell'IA Scientifica: Questo lavoro va oltre il semplice "visual QA" (leggere un grafico) per arrivare alla "ideazione scientifica" (chiedere perché un grafico sia importante). Questo è cruciale per lo sviluppo di agenti AI che possano realmente assistere nella scoperta scientifica.
• Audit dei VLM: I diagnostici proposti (rIG e Scambio) forniscono un metodo robusto per verificare se i VLM stanno allucinando o radicando genuinamente il loro ragionamento nei dati visivi, un passo critico per applicazioni scientifiche affidabili.
• Teoria del Discorso: Collega con successo la teoria linguistica del discorso (QUD) con la visione artificiale, offrendo un nuovo paradigma per comprendere come umani e macchine elaborano la letteratura scientifica multimodale.
• Applicazioni Future: Il quadro e il dataset servono come fondamento per costruire assistenti avanzati alla lettura scientifica, benchmark QA più rigorosi e strumenti per auditare le capacità di ragionamento dei grandi modelli multimodali.