Résumé technique : Amélioration du raisonnement sur les tableaux par des récompenses d'état de tableau déterministes

Énoncé du problème

Les modèles de langage à grande échelle (LLM) et les modèles vision-langage (VLM) éprouvent des difficultés avec le raisonnement multi-étapes sur des tableaux structurés. Le problème central réside dans l'absence de supervision explicite pour les états de raisonnement intermédiaires. Dans les agents utilisant des outils (par exemple, Chain-of-Table, Tree-of-Table), l'agent manipule un tableau via une séquence d'opérations (filtrer, projeter, trier, agréger, joindre). Sans signal pour évaluer la qualité de ces tableaux intermédiaires, les erreurs s'accumulent silencieusement : l'agent peut perdre des preuves pertinentes pour la requête, conserver du contenu non pertinent, ou appliquer des opérations de manière excessive.

Les solutions existantes échouent à résoudre ce problème de manière propre :

• Les récompenses basées sur la réponse finale sont trop rares pour guider les transformations intermédiaires.
• Les vérificateurs basés sur l'exécuteur nécessitent des environnements exécutables (par exemple, des exécuteurs SQL) indisponibles pour des tâches complexes comme les jointures multi-tableaux ou l'analyse ouverte.
• Les modèles de récompense appris nécessitent des données de préférence coûteuses et sont fragiles d'un domaine à l'autre.
• Les récompenses de similarité sémantique (basées sur les plongements) tronquent souvent les tableaux sérialisés longs, détruisant l'information d'état, et échouent à capturer les différences exactes numériques ou symboliques.

Méthodologie

L'article introduit TABROUGE et le cadre RE-TAB pour combler ces lacunes en utilisant une approche déterministe sans entraînement.

1. TABROUGE : Une récompense d'état déterministe

TABROUGE adapte la métrique de la plus longue sous-séquence commune (LCS) issue du résumé de texte (ROUGE-L) pour évaluer les états tabulaires.

• Mécanisme : Après chaque action, l'état du tableau intermédiaire $T_{l+1}$ est sérialisé en une séquence textuelle déterministe utilisant le format "[en-tête] est [valeur]".
• Notation : La récompense est calculée comme la LCS entre la requête $Q$ et le tableau sérialisé, normalisée par la longueur du tableau sérialisé :
  $$r_{\text{TABROUGE}}(a_l, T_{l+1}, Q) = \frac{\text{LCS}(Q, \text{Enc}(T_{l+1}))}{|\text{Enc}(T_{l+1})|}$$
• Raison d'être de la conception :
  • Précision lexicale : Contrairement aux plongements, elle préserve les chaînes exactes numériques et symboliques sans troncature.
  • Intégrité structurelle : La LCS préservant l'ordre récompense le couplage en-tête-valeur au niveau des lignes, ce que les métriques de type sac de mots (comme BM25) manquent.
  • Anti-piratage : Le dénominateur pénalise le "gonflement" (par exemple, la duplication des tokens de la requête), rendant le piratage par "colonne écho" non rentable car il gonfle le numérateur et le dénominateur au même rythme.

2. RE-TAB : Un cadre sans entraînement

RE-TAB utilise TABROUGE comme signal plug-and-play pour deux niveaux de contrôle :

• Rétroaction au niveau de l'étape : La récompense scalaire est ajoutée à l'invite après chaque action, conditionnant l'étape suivante à la qualité cumulative de l'état plutôt qu'à la simple confiance des tokens. Elle sert également de critère d'arrêt par variance glissante ; lorsque le signal de récompense se stabilise (la variance tombe en dessous d'un seuil), l'agent cesse d'explorer et s'engage vers une réponse.
• Sélection au niveau de la trajectoire (mise à l'échelle au moment du test) : L'agent échantillonne plusieurs trajectoires de raisonnement indépendantes. Le signal agrégé de supervision d'état (somme des récompenses par étape) est utilisé pour classer et sélectionner la meilleure trajectoire ($\tau^*$), remplaçant le vote standard basé sur la confiance de l'action ou le vote majoritaire uniforme.

Contributions clés

1. TABROUGE : Une récompense déterministe de requête vers état qui ne nécessite ni modèles appris ni exécuteurs. Elle fournit un signal évolutif ancré dans la paire requête-tableau, spécifiquement conçu pour les états de tableau sérialisés.
2. Cadre RE-TAB : Une implémentation en deux phases qui intègre TABROUGE pour la rétroaction étape par étape et le classement des trajectoires. Il fonctionne comme un "wrapper" sans entraînement autour des agents existants utilisant des outils.
3. Validation empirique : Évaluation complète sur six architectures de base (allant de petits modèles à poids ouverts aux modèles de pointe comme GPT-5.4) et trois benchmarks (WTQ, MMQA, MMTU).
4. Analyse des modes de défaillance : Une caractérisation détaillée de là où la supervision lexicale est fiable et où elle peut échouer (par exemple, sous-récompense des paraphrases, colonnes renommées), définissant les limites de son application.

Résultats

• Gains de précision : Sur six architectures et trois benchmarks, RE-TAB améliore la précision d'une moyenne de 26,7 points de pourcentage (pp) par rapport aux bases de référence sans récompense.
• Efficacité : Le cadre réduit le nombre d'échantillons de mise à l'échelle au moment du test (TTS) nécessaires pour atteindre 95 % de précision jusqu'à 33 % par rapport au vote basé sur la confiance de l'action.
• Comparaison avec les modèles entraînés : Bien qu'il ne possède aucun paramètre appris, TABROUGE égale ou dépasse les performances des Modèles de Récompense de Processus (PRM) entraînés tels que Qwen2.5-Math-PRM-72B et TaTToo sur 4 des 5 ensembles d'évaluation.
• Faisabilité post-entraînement : Des expériences préliminaires utilisant l'optimisation de politique relative de groupe (GRPO) avec TABROUGE comme signal de récompense montrent un gain supplémentaire de 8,34 pp par rapport au cadre sans entraînement, suggérant son utilité pour le fine-tuning au niveau de la politique.
• Robustesse : La méthode reste efficace sur différentes tailles de modèles, y compris les modèles de pointe où les défaillances d'état intermédiaire persistent.

Importance et affirmations

L'article positionne TABROUGE non pas comme un vérificateur sémantique universel, mais comme un signal de contrôle déterministe limité à la supervision d'état de tableau sérialisé. Son importance réside dans :

• Évolutivité : Il fournit un signal ancré pour le raisonnement sur les tableaux sans besoin d'exécuteurs coûteux ni de collecte de données de préférence à grande échelle.
• Transparence : Il rend explicite la vision du "modèle du monde" du raisonnement sur les tableaux en supervisant la qualité des états intermédiaires, alignant les agents de tableau sur le raisonnement basé sur l'état utilisé dans les agents vision et langage.
• Praticité : Il offre une solution "plug-and-play" qui améliore la qualité du raisonnement et réduit les coûts en tokens pour les agents existants utilisant des outils, sans réentraîner le modèle de base.

Les auteurs reconnaissent les limites, notant que TABROUGE repose sur une sérialisation fixe et peut sous-récompenser les états sémantiquement corrects mais lexicalement incohérents (par exemple, paraphrases ou conversions d'unités). Cependant, ils soutiennent que, en tant que signal de classement relatif au sein d'une trajectoire, ces problèmes n'annulent pas les gains principaux, et que la méthode reste fiable pour la majorité des tâches de raisonnement sur les tableaux.