Résumé Technique : GRAB – Ponts Latents pour le Questionnement sur Tables Multiples

Énoncé du Problème

Le questionnement sur les tables (Table Question Answering ou TQA) exige que les modèles de langage répondent à des questions en langage naturel fondées sur des données structurées. Bien que les grands modèles de langage (LLM) aient montré un potentiel, les approches standards traitent généralement les tables comme du texte non structuré en sérialisant les lignes et les colonnes en séquences unidimensionnelles. Cette stratégie échoue à préserver la sémantique relationnelle critique, telle que l'organisation ligne-colonne, l'invariance par permutation, les en-têtes hiérarchiques et les dépendances inter-cellules. Par conséquent, les LLM peinent dans les contextes multi-tables où le raisonnement nécessite de naviguer à travers des dépendances de jointure et d'agréger des preuves distribuées à travers des tables liées. De plus, l'adaptation des LLM aux données tabulaires via un ajustement fin complet (full fine-tuning) ou des méthodes économes en paramètres (type LoRA) risque de provoquer une spécialisation excessive et un oubli catastrophique, tout en échouant souvent à modéliser explicitement la structure de graphe sous-jacente des bases de données relationnelles.

Méthodologie : Le Pipeline GRAB

Les auteurs proposent GRAB (Graph-Relational Attention Bridge), un pipeline conçu pour connecter l'apprentissage profond relationnel à des LLM gelés sans modifier les poids du LLM. L'architecture se compose de trois composants principaux :

1. Constructeur de Graphe Relationnel ($\gamma$) :
   Au lieu de linéariser les tables, la méthode élève les données relationnelles en un graphe tripartite hétérogène explicite $G = (V_R \cup V_C \cup V_V, E_{RV} \cup E_{CV})$.

   • Nœuds : Le graphe comprend des nœuds de Ligne ($V_R$), des nœuds de Classe-de-Colonne ($V_C$) et des nœuds de Groupe-de-Valeur ($V_V$).
   • Structure : Les métadonnées de clés étrangères sont utilisées pour fusionner les colonnes de différentes tables dans des nœuds de classe-de-colonne partagés, rendant les jointures explicites. Les valeurs répétées sont canonicalisées en nœuds de groupe-de-valeur partagés.
   • Initialisation : Les nœuds de ligne et de colonne sont initialisés via les plongements textuels (embeddings) de leurs en-têtes/contenus. Les nœuds de valeur servent d'ancres structurelles, initialisés de manière déterministe basés sur les identifiants de groupe-de-valeur et les types de colonnes, plutôt que sur le texte brut des cellules.

2. Encodeur de Graphe :
   Un réseau de neurones sur graphe (GNN) traite le graphe construit via un passage de messages. L'encodeur maintient des états cachés distincts pour les lignes, les colonnes et les valeurs. Il met à jour ces états en agrégeant des messages à travers des matrices d'incidence ligne-valeur et colonne-valeur. Ce processus permet à l'information de se propager à travers les tables via les nœuds de valeur partagés et les classes de colonnes, capturant les dépendances structurelles comme la cooccurrence et les chemins de jointure en un nombre limité de sauts (hops).

3. Pont Latent Conditionné par la Requête :
   Pour interfacer le graphe avec le LLM, un rééchantillonneur latent (inspiré des Perceiver Resamplers) compresse le graphe de taille variable en une séquence fixe de $K$ jetons mous (soft tokens) ($Z$).

   • Conditionnement : Contrairement au préfixe statique, ce pont est conditionné par la requête. Il utilise l'attention croisée entre des requêtes latentes apprenables et la concaténation des plongements de nœuds du graphe et des plongements de la question en langage naturel ($H_Q$).
   • Sortie : Le pont produit un préfixe structurel compact et pertinent pour la tâche, qui est injecté dans le LLM gelé aux côtés du texte sérialisé de la table.

Paradigme d'Entraînement :
Le LLM reste strictement gelé. Seuls l'encodeur de graphe léger et le pont latent (totalisant environ 91 millions de paramètres) sont entraînés. L'objectif est de minimiser la log-vraisemblance négative auto-régressive de la réponse cible, conditionnée par la question, le texte sérialisé et les jetons structurels mous.

Contributions Clés

1. Architecture : L'introduction de GRAB, un encodeur de table basé sur un GNN qui élève les données relationnelles en un graphe tripartite et interface avec des LLM gelés via des jetons latents conditionnés par la requête.
2. Taxonomie de Diagnostic : La conception d'une taxonomie de test de stress qui isole la localisation de l'évidence structurelle de l'arithmétique exacte, fournissant un nouvel outil pour diagnostiquer les échecs des LLM en TQA.
3. Validation Empirique : Démonstration que GRAB surpasse systématiquement les baselines de sérialisation seule et les modèles spécialisés de TQA sur 13 benchmarks de tables simples et multiples.

Résultats Expérimentaux

Les auteurs ont évalué GRAB sur une suite de benchmarks incluant StructQA, HiTab, WTQ, WikiSQL, HCTQA, TabMWP, MultiHiertt, SCITAT, MMQA, TQA-Bench, Atis, GeoQuery et Spider.

• Gains de Performance : GRAB surpasse significativement les baselines de sérialisation seule, avec les améliorations les plus notables dans les scénarios structurellement exigeants.
  • Jointures Multi-tables : Sur Spider (génération SQL), GRAB a obtenu un gain de +13,3 en F1 de cellule par rapport à la baseline gelée.
  • Configurations Complexes : Sur HCTQA, GRAB a amélioré le F1 de +17,5 points par rapport à la baseline zero-shot.
  • Efficacité : Malgré l'entraînement de seulement ~91M de paramètres, GRAB approche ou dépasse la performance d'un LLM ajusté via LoRA (qui met à jour les poids de l'architecture principale) et surpasse des modèles spécialisés comme TableLlama et MultiTabQA.
• Analyse de Test de Stress :
  • Tâches Structurelles : GRAB a montré des gains massifs (+14 à +46 F1) sur les tâches nécessitant la localisation d'évidence (LOOKUP) et le comptage (COUNT), où le graphe lie explicitement les lignes via des valeurs partagées.
  • Limites Arithmétiques : Les gains étaient minimes sur les tâches d'arithmétique exacte (AVG), confirmant que le pont structurel aide à localiser les lignes pertinentes mais ne remplace pas la nécessité pour le LLM d'effectuer un calcul symbolique précis.
• Études d'Ablation :
  • La suppression du conditionnement par la question a réduit les performances, validant la nécessité d'une allocation latente dynamique.
  • La suppression du texte sérialisé a provoqué un effondrement des performances, indiquant que le pont latent agit comme un supplément structurel plutôt que comme un remplacement de l'évidence textuelle.
  • Un seul passage de message (message-passing layer) s'est avéré suffisant, suggérant que la structure tripartite expose efficacement la cooccurrence et l'appartenance.

Signification et Revendications

L'article pose que les tables doivent être traitées comme une modalité distincte et structurée plutôt que comme du simple texte. Les auteurs affirment que GRAB offre un juste milieu pratique entre la sérialisation textuelle pure (qui sous-utilise la structure relationnelle) et les pipelines symboliques (qui manquent de la flexibilité des LLM).

Les revendications clés incluent :

• Biais Structurel : L'injection d'un biais structurel explicite via un encodeur de graphe est plus économe en paramètres que l'ajustement brutal (brute-force) des poids du LLM pour apprendre la structure à partir du texte.
• Compatibilité avec les LLM Gelés : L'approche préserve les capacités de raisonnement général du LLM pré-entraîné tout en ajoutant un biais inductif pour les jointures et l'agrégation inter-lignes.
• Scalabilité : La méthode permet un entraînement efficace sur un seul GPU, démocratisant le raisonnement multi-tables sans le coût computationnel d'une adaptation complète du modèle.
• Direction Future : Le travail suggère une voie vers des "interfaces de fondation pour les tables", où des encodeurs relationnels pré-entraînés peuvent être réutilisés sur différents jeux de données, de manière analogue aux encodeurs de vision dans les modèles vision-langage.

Les auteurs restent modestes quant aux limites, reconnaissant que l'approche dépend toujours de la fenêtre de contexte du LLM sous-jacent pour les valeurs exactes, et que la surcharge de construction du graphe peut être significative pour des schémas très connectés et de grande taille. Ils notent également que l'implémentation actuelle suppose que les tables pertinentes sont déjà récupérées, laissant le lien de schéma et la récupération comme points d'intégration futurs.