SPARTA: Scalable and Principled Benchmark of Tree-Structured Multi-hop QA over Text and Tables

1. Problématique

Le domaine de la Réponse aux Questions sur Table et Texte (Table-Text QA) vise à construire des systèmes capables de raisonner conjointement sur des données structurées (tableaux) et non structurées (textes). Cependant, les benchmarks existants (comme HybridQA, OTT-QA, TAT-QA) souffrent de trois limitations majeures qui empêchent une évaluation rigoureuse des modèles actuels :

1. Profondeur de raisonnement limitée : Les questions sont souvent superficielles, nécessitant rarement plus de deux "sauts" (hops) de raisonnement. Elles manquent d'opérations analytiques avancées telles que l'agrégation, le regroupement (GROUP BY) ou le filtrage conditionnel (HAVING), pourtant courantes dans les requêtes réelles.
2. Bruit d'annotation : Les benchmarks sont construits manuellement, ce qui entraîne un taux d'erreur élevé (jusqu'à 30 % dans certains cas). Les erreurs incluent des modalités redondantes, des ensembles de réponses incomplets ou des réponses incorrectes.
3. Échelle des données : Les benchmarks reposent sur de petits tableaux web (souvent < 20 lignes), ne reflétant pas la complexité des bases de données réelles qui peuvent contenir des milliers de lignes.

2. Méthodologie : Le Framework SPARTA

SPARTA propose un framework de construction de benchmarks end-to-end et automatisé pour générer des paires question-réponse à grande échelle, avec une validation humaine légère. Le processus se déroule en trois étapes principales :

A. Construction de la Base de Faits de Référence

Le système unifie les preuves hétérogènes dans une base de données relationnelle unique appelée Reference Fact Database.

• Tables Sources ($ST$) : Les tableaux originaux (ex: salaires NBA, métadonnées de films).
• Tables d'Ancrage ($GT$) : Des tables générées automatiquement à partir de passages textuels non structurés. Chaque tuple représente un fait atomique extrait du texte, permettant d'interroger le texte via SQL.
• Résultat : Une base unifiée où les requêtes SQL peuvent mélanger librement les modalités (texte et tableau) sans besoin de pointeurs vers des spans de texte originaux.

B. Génération de Requêtes (Query Generation)

Un Grand Modèle de Langage (LLM) génère des requêtes SQL imbriquées complexes. Pour garantir que les requêtes soient exécutables et réalistes, SPARTA introduit deux techniques novatrices :

1. Enforcement de Structure Réaliste (Realistic-Structure Enforcement) : Au lieu de générer la requête en une seule passe, le système impose une traversée post-order (post-order traversal) de l'arbre de la requête. Cela signifie que les sous-requêtes "feuilles" sont construites et validées d'abord, puis enveloppées progressivement par des prédicats externes. Cela imite la façon dont un analyste humain construit des requêtes complexes.
2. Raffinement Basé sur la Provenance (Provenance-based Refinement) : Si une requête générée retourne un résultat vide (souvent dû à des prédicats trop restrictifs), le système utilise une technique de provenance "why-not". Il identifie dynamiquement quel prédicat a filtré les tuples attendus et informe le LLM pour qu'il réécrive uniquement la clause problématique (par exemple, en assouplissant un seuil de salaire). Cela évite les boucles infinies de génération et garantit des résultats non vides.

C. Véralisation de la Question (Question Verbalisation)

Une fois la requête SQL validée et exécutée, un second LLM (basé sur AST-ICL) transforme la requête SQL en une question naturelle fluide. Une validation humaine légère vérifie la justesse du couple (Question, Réponse), réduisant considérablement le temps d'annotation par rapport aux méthodes manuelles (1/4 du temps de HybridQA).

3. Contributions Clés

• SPARTA Benchmark : Un ensemble de données massif et diversifié couvrant plusieurs domaines (NBA, Cinéma, Médical) avec des tableaux contenant des milliers de lignes.
• Support de Raisonnement Arborescent : Contrairement aux chaînes linéaires simples, SPARTA génère des requêtes avec des structures en arbre (multi-branches, profondeurs variées) et des types de nesting complexes (Types N, A, J, JA).
• Pipeline de Génération Robuste : L'intégration de la traversée post-order et du raffinement par provenance permet de générer des requêtes SQL exécutables, sémantiquement cohérentes et naturelles, tout en minimisant les appels LLM inutiles.
• Audit de Qualité : Le benchmark présente un taux d'erreur d'annotation de 0 % sur les échantillons testés, contrairement aux 20-30 % observés sur les benchmarks précédents.

4. Résultats Expérimentaux

Les expériences évaluent des modèles de l'état de l'art (ODYSSEY, HProPro) sur SPARTA, comparés à leur performance sur HybridQA et OTT-QA.

• Chute de Performance Drastique : Les modèles performants sur les benchmarks existants (ex: >70 F1 sur HybridQA) chutent de plus de 30 points F1 sur SPARTA.
  • Exemple : ODYSSEY passe de 69.5 % (HybridQA) à 35.6 % (SPARTA Oracle).
• Faiblesses Identifiées :
  • Raisonnement Multi-hop Arborescent : La performance se dégrade fortement à mesure que la profondeur (depth) ou la largeur (breadth) de l'arbre de requête augmente.
  • Opérations Analytiques : Les modèles échouent massivement sur les clauses GROUP BY, HAVING, et les agrégations.
  • Raisonnement Cross-Modal : L'intégration de données textuelles non structurées avec des tableaux structurés cause une baisse significative des performances par rapport à l'utilisation de tableaux seuls.
  • Logique Négative et Plages : Les modèles ont des difficultés spécifiques avec les opérateurs de négation (NOT IN, NOT EXISTS) et les conditions de plages numériques complexes.
• Coût de Génération : La méthode "Post-Order + Provenance" est la plus efficace, réduisant le nombre d'appels LLM de 42,8 % par rapport à une construction post-order simple et de 66,2 % par rapport à une génération "One-Shot".

5. Signification et Impact

SPARTA met en lumière les faiblesses fondamentales des systèmes actuels de raisonnement cross-modal. Il démontre que les modèles actuels, bien qu'efficaces pour l'extraction d'information simple, ne possèdent pas encore les capacités de raisonnement logique profond, de gestion de la complexité structurelle (arbres de requêtes) et d'opérations analytiques nécessaires pour traiter des scénarios réalistes.

Ce travail établit un nouveau standard pour l'évaluation des systèmes QA, forçant la communauté à développer des architectures capables de :

1. Gérer des bases de données de grande échelle.
2. Exécuter des raisonnements multi-étapes complexes et structurés.
3. Intégrer de manière fluide et précise des données textuelles et tabulaires.

Le code, les données et les modèles de base sont disponibles publiquement, offrant une plateforme reproductible pour les recherches futures en raisonnement sur données hybrides.