Multimodal QUD: Inquisitive Questions from Scientific Figures

1. Énoncé du problème

Les modèles vision-langage (VLM) actuels et les benchmarks scientifiques (par exemple, ChartQA, FigureQA) évaluent principalement le raisonnement perceptif — la capacité à extraire des valeurs explicites ou à compter des éléments à partir d'une figure. Ces benchmarks échouent à capturer la curiosité scientifique et le raisonnement au niveau du discours, où les figures dans les articles de recherche déclenchent souvent des questions implicites nécessitant l'intégration de motifs visuels et de contexte textuel pour être résolues.

Les jeux de données existants ne distinguent pas entre les questions pouvant être répondues par une figure seule et celles nécessitant un raisonnement intermodal (texte + figure). Par conséquent, les modèles génèrent souvent des questions génériques de bas niveau ou échouent à « ancrer » leur raisonnement dans le contenu spécifique d'une figure, s'appuyant plutôt sur des priors visuels ou des motifs textuels génériques.

2. Méthodologie

A. Cadre théorique : QUD Multimodal

Les auteurs étendent la théorie linguistique des Questions Under Discussion (QUD) au domaine multimodal. Dans la théorie QUD standard, le discours est organisé autour de questions implicites soulevées et résolues par des assertions.

• Extension : Dans ce cadre, les figures agissent comme des participants au discours qui soulèvent des questions implicites ($Q_F$) que le texte environnant ($C_F$) aide à résoudre.
• Taxonomie : Les auteurs définissent six types de questions adaptés au discours multimodal :
  1. Cause : Pourquoi un motif se produit-il ?
  2. Comparaison : Comment les éléments diffèrent-ils ?
  3. Étendue : Dans quelle mesure un phénomène se produit-il ?
  4. Conséquence : Quelles sont les implications ?
  5. Procédural : Comment une méthode est-elle réalisée ?
  6. Concept : Que signifie une représentation visuelle ?
• Distinction : Ils catégorisent les questions en Pilotées par la Figure (répondables par la figure seule, par exemple Comparaison, Étendue) et Intégration (nécessitant texte + figure, par exemple Cause, Conséquence).

B. Le jeu de données MQUD

Les auteurs ont construit MQUD, un jeu de données de 1 250 QUD multimodaux validés, dérivés de 56 articles scientifiques couvrant le TALN, l'apprentissage automatique et l'astronomie.

• Génération : Des questions candidates ont été générées à l'aide de GPT-4o, conditionnées par la figure, la légende, le résumé et les paragraphes de texte pertinents.
• Annotation : 17 auteurs originaux des articles (experts du domaine) ont annoté les données selon sept dimensions :
  • Saillance : La question est-elle pertinente pour l'argument central de l'article ?
  • Utilité de la figure : La figure est-elle nécessaire pour résoudre la question ?
  • Source de la réponse : La figure seule peut-elle y répondre, ou le texte est-il requis ?
  • Exactitude et Qualité : Facticité et qualité linguistique.
• Échelle : 703 questions ont été annotées par des humains ; les 547 restantes ont été annotées par un juge LLM validé (GPT-5-mini) avec un fort accord (88 % de précision sur l'exactitude).

C. Diagnostics pour l'ancrage

Pour mesurer si les modèles comprennent véritablement le contenu des figures, les auteurs ont introduit deux diagnostics réutilisables :

1. Gain d'information relatif (rIG) : Mesure à quel point il est plus difficile de prédire une question lorsque la figure est retirée ($L_{texte-seul} - L_{multimodal}$). Un rIG élevé indique que le modèle s'appuie sur la figure.
2. Diagnostic d'échange de figure : Teste l'ancrage spécifique au contenu. Le modèle reçoit le texte correct mais une mauvaise figure issue du même article.
   • Hypothèse : Si un modèle possède un véritable ancrage, une mauvaise figure devrait nuire davantage aux performances que l'absence totale de figure (car le modèle s'attend à des indices visuels spécifiques). S'il s'appuie sur des priors visuels génériques, une mauvaise figure pourrait encore aider.

D. Entraînement du modèle

Les auteurs ont affiné Qwen3.5-9B en utilisant LoRA sur le jeu de données MQUD. L'objectif de l'entraînement était de générer la question implicite ($Q_F$) étant donné le contexte déclencheur (Titre, Résumé, Figure, Légende).

3. Contributions clés

1. Jeu de données MQUD : Le premier jeu de données ciblant explicitement les questions inquisitives découlant des interactions figure-texte dans les articles scientifiques, annoté par les auteurs originaux pour son utilité scientifique.
2. Cadre QUD Multimodal : Une extension formelle de la théorie QUD au discours multimodal, distinguant les questions pilotées par la figure des questions de type intégration.
3. Diagnostics novateurs : Introduction des métriques rIG et Échange de figure pour tester rigoureusement si les VLM possèdent un ancrage spécifique au contenu plutôt qu'une simple sensibilité visuelle.
4. Preuve empirique : Démonstration que l'affinement sur MQUD déplace le comportement des modèles des requêtes visuelles génériques vers une enquête scientifique profonde et consciente du contexte.

4. Résultats

Performance sur les diagnostics

• Ancrage spécifique au contenu (Test d'échange) :
  • Ligne de base (Zero-shot GPT-4o/Qwen) : A montré un « biais générique ». Lorsqu'une mauvaise figure était fournie, la perte était inférieure à celle d'une absence totale de figure ($\Delta < 0$), ce qui signifie qu'elles s'appuyaient sur des indices visuels génériques plutôt que sur un contenu spécifique. Seuls 18 % des cas ont montré un ancrage spécifique au contenu (une mauvaise figure a nui davantage que l'absence de figure).
  • Modèle SFT : Après affinement, 76 % des cas ont montré un ancrage spécifique au contenu ($\Delta > 0$). Le modèle a été pénalisé pour les figures non correspondantes, prouvant qu'il avait appris à s'appuyer sur des détails visuels spécifiques.
• Gain d'information visuel (rIG) :
  • Le score rIG est passé de 0,60 (Base) à 0,97 (SFT), indiquant que le modèle est devenu significativement plus dépendant de la figure pour la génération de questions.
  • Ablation : Un modèle SFT uniquement textuel a atteint des taux d'échange élevés (76 %) mais un rIG faible (0,27), prouvant que des taux d'échange élevés seuls ne garantissent pas un ancrage visuel ; le modèle doit effectivement utiliser l'information visuelle.

Qualité des questions

• Profondeur : Les questions générées par SFT ont été préférées par les experts humains aux lignes de base dans 75 % des cas pour la « profondeur » et 78 % pour la « diversité ».
• Style : Le modèle de base produisait souvent un méta-commentaire verbeux avant de poser une question. Le modèle SFT a généré des questions concises et ancrées dans la figure (par exemple, demandant pourquoi un motif existe plutôt que quoi est le motif).
• Comparaison avec GPT-4o : Bien que GPT-4o soit sensible aux figures (rIG = 0,72), il manque d'ancrage spécifique au contenu (18 % de positivité à l'échange). L'affinement a comblé cet écart, atteignant à la fois une haute sensibilité et une haute spécificité.

5. Importance

• Avancement de l'IA scientifique : Ce travail va au-delà du simple « QA visuel » (lire un graphique) pour atteindre l'« idéation scientifique » (demander pourquoi un graphique importe). Cela est crucial pour développer des agents IA capables d'assister véritablement à la découverte scientifique.
• Audit des VLM : Les diagnostics proposés (rIG et Échange) fournissent une méthode robuste pour auditer si les VLM hallucinent ou ancrent véritablement leur raisonnement dans des données visuelles, une étape critique pour des applications scientifiques fiables.
• Théorie du discours : Il comble avec succès la théorie linguistique du discours (QUD) et la vision par ordinateur, offrant un nouveau paradigme pour comprendre comment les humains et les machines traitent la littérature scientifique multimodale.
• Applications futures : Le cadre et le jeu de données servent de fondation pour construire des assistants de lecture scientifique avancés, des benchmarks QA plus rigoureux et des outils pour auditer les capacités de raisonnement des grands modèles multimodaux.