💬 NLP

Gold-Guided Programmatic Distillation for Financial Reasoning over Hybrid Tables and Text

Ce document propose un cadre de distillation programmatique guidé par l'or qui transfère un raisonnement numérique fiable de modèles de langage de grande taille vers des modèles étudiants compacts en utilisant des programmes Python vérifiés par exécution au lieu de rationales en langage naturel sujettes à l'erreur, atteignant ainsi des performances de pointe sur le benchmark de raisonnement financier TAT-QA.

Auteurs originaux : Yun Dong, Erica Zhao, Elana Chen

Publié 2026-07-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yun Dong, Erica Zhao, Elana Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle massif et complexe où la moitié des indices sont écrits sous forme d'histoire et l'autre moitié est cachée dans un tableur désordonné. C'est le quotidien d'un ordinateur qui tente de répondre à des questions financières. Pendant longtemps, les scientifiques ont appris aux ordinateurs à « réfléchir » en leur demandant de détailler leurs étapes en langage clair, comme un élève montrant son raisonnement lors d'un examen de mathématiques. C'est ce qu'on appelle la « Chaîne de Pensée » (Chain-of-Thought). Mais voici le hic : les ordinateurs sont terribles en mathématiques lorsqu'ils essaient de les faire de tête tout en rédigeant des phrases. Ils se laissent souvent distraire, mélangent les chiffres ou inventent simplement des réponses qui semblent bonnes mais qui sont fausses. C'est comme demander à un brillant conteur d'être aussi un calculateur humain ; il échoue généralement sur la partie mathématique.

Pour corriger cela, les chercheurs ont commencé à apprendre aux ordinateurs à écrire du code plutôt que des phrases. Le code est comme une recette stricte qu'un ordinateur peut suivre parfaitement sans s'embrouiller. Mais il y a un nouveau problème : comment apprendre à un petit ordinateur rapide à écrire ces recettes parfaites si le seul professeur dont vous disposez est un ordinateur géant, lent, et qui fait encore parfois des erreurs ? Si le professeur donne une mauvaise recette, l'élève apprend la mauvaise méthode. Ce document s'attaque précisément à ce problème. Il pose la question suivante : peut-on apprendre à un petit ordinateur à devenir un magicien des mathématiques en ne le laissant apprendre que des recettes parfaites du professeur, puis en l'aidant à corriger celles que le professeur a ratées ?

Le Livre de Recettes d'Or

Les chercheurs, une équipe de Georgia Tech et de Stanford, ont conçu un plan ingénieux en deux étapes appelé « Distillation Programmatique Guidée par l'Or » (Gold-Guided Programmatic Distillation). Voyez cela comme un maître chef (le « Professeur », un modèle gigantesque de 72 milliards de paramètres) essayant d'enseigner à un jeune apprenti (l'« Élève », un modèle plus petit de 7 milliards de paramètres) comment cuisiner un plat financier complexe.

Étape 1 : Le Filtre Strict
D'habitude, quand un professeur montre quelque chose à un élève, il dit simplement : « Voici comment j'ai fait ». Mais dans ce monde, le professeur est autorisé à faire des erreurs. C'est pourquoi les chercheurs ont ajouté un « Guide d'Or » magique. Avant que le professeur n'écrive une recette (un programme Python), on lui montre secrètement le corrigé de l'exercice. Le professeur tente ensuite d'écrire une recette qui mène exactement à cette réponse.

Voici le tour de magie : l'équipe ne s'est pas contentée de croire le professeur sur parole. Ils ont soumis chaque recette écrite par le professeur à un « test de goût » strict (un programme informatique qui exécute le code). Si la recette contenait une faute de frappe, plantait ou ne donnait pas exactement le bon chiffre, elle était jetée à la poubelle. Seules les recettes qui fonctionnaient parfaitement et correspondaient à la réponse d'or étaient conservées dans un « Livre de Recettes d'Or » spécial. L'élève, plus petit, a ensuite été entraîné uniquement sur ces recettes parfaites. Cela a permis de garantir que l'élève n'apprenne jamais de mauvaises habitudes.

Étape 2 : La Tournée de Retouches
Mais qu'en est-il des questions difficiles où même le géant professeur n'a pas réussi à écrire une recette fonctionnelle ? Le professeur abandonnait simplement, laissant ces questions sans solution. Les chercheurs ne voulaient pas laisser ces questions de côté. Ils ont donc introduit une « Étape de Récupération ».

Ils ont pris les questions auxquelles le professeur avait échoué et ont demandé à l'élève de réessayer. L'élève générait cinq recettes différentes pour la même question. Comme précédemment, ils ont soumis les cinq recettes au test de goût. Si n'importe laquelle des recettes de l'élève fonctionnait parfaitement, elle était sauvegardée. Cela signifiait que l'élève pouvait « s'enseigner à lui-même » comment résoudre les problèmes que le professeur n'avait pas pu traiter, apprenant ainsi de ses propres succès. Ils ont ensuite réentraîné l'élève sur ce nouveau lot de recettes parfaites auto-découvertes.

Petits mais Puissants

L'équipe a testé cette méthode sur un célèbre puzzle financier appelé TAT-QA, qui mélange tableaux et textes. Ils ont comparé leur petit élève entraîné contre le géant professeur, d'anciens modèles informatiques et d'autres systèmes d'IA intelligents.

Les résultats ont été surprenants. Le petit élève, après cet entraînement spécial, a obtenu un score de 87,00 sur une mesure appelée « Correspondance Exacte » (Exact Match, ce qui signifie obtenir la réponse exacte) et 87,18 sur une mesure appelée « F1 » (qui regarde la proximité de la réponse).

Pour mettre cela en perspective :

Le géant professeur de 72 milliards de paramètres, même avec les indices du « Guide d'Or », n'a obtenu que 78,46.
Le meilleur système d'IA précédent (TAT-LLM) a obtenu 82,67.
L'élève non entraîné commençait à un niveau bas de 46,33.

Le petit élève n'a pas seulement rattrapé son retard ; il a en fait battu le géant professeur et les meilleurs systèmes précédents. Les chercheurs ont constaté que l'élève devenait particulièrement doué pour les parties les plus difficiles : effectuer des calculs avec des chiffres trouvés à la fois dans les tableaux et dans les récits.

Pourquoi cela importe

L'article suggère que cette méthode est un moyen puissant de rendre les ordinateurs plus petits et plus rapides fiables en mathématiques sans avoir besoin de la puissance de calcul massive des modèles géants. En filtrant chaque erreur et en laissant l'élève apprendre de ses propres succès récupérés, ils ont créé un système qui est à la fois intelligent et précis.

Cependant, les auteurs précisent avec prudence que le problème n'est pas résolu à 100 %. Même avec le meilleur élève, il reste des erreurs : parfois la réponse est juste, mais l'unité (comme « million » vs « milliard ») est incorrecte, ou la réponse est tout simplement fausse. Mais comparé à auparavant, le nombre d'erreurs a chuté de manière spectaculaire, passant de centaines d'erreurs à un peu plus d'une centaine.

Les chercheurs concluent que cette approche « Guidée par l'Or » est une voie prometteuse. Ils suggèrent qu'à l'avenir, nous pourrons construire des systèmes capables de décider d'eux-mêmes s'ils doivent utiliser une simple recherche de données ou une recette de code complexe, rendant l'IA financière encore plus utile et digne de confiance. Pour l'instant, cependant, ils ont prouvé qu'un petit robot bien entraîné peut surpasser un géant non raffiné lorsqu'il s'agit de broyer des chiffres.

Résumé Technique : Distillation Programmatique Guidée par l'Or pour le Raisonnement Financier

Énoncé du Problème

Le questionnement (QA) financier sur des données hybrides textuelles et tabulaires présente un double défi : il nécessite l'intégration d'informations provenant de multiples sources et l'exécution de calculs numériques précis. Bien que les grands modèles de langage (LLM) puissent générer des étapes de raisonnement intermédiaires via le prompting de type "Chain-of-Thought" (CoT), leurs rationales en langage naturel sont sujettes aux hallucinations arithmétiques. Cette imprécision rend le texte libre inefficace comme source de supervision pour distiller les capacités de raisonnement vers des modèles plus compacts. Bien que les approches de type "Program-of-Thought" (PoT) atténuent les erreurs arithmétiques en déléguant le calcul à des interpréteurs externes, le transfert de ces traces de raisonnement fiables des grands modèles enseignants vers des modèles étudiants compacts reste difficile, particulièrement lorsque les traces intermédiaires sont imparfaites ou lorsque l'enseignant échoue à résoudre des exemples complexes.

Méthodologie

Les auteurs proposent la Distillation Programmatique Guidée par l'Or (Gold-Guided Programmatic Distillation), un cadre conçu pour transférer un raisonnement numérique fiable d'un grand modèle enseignant vers un modèle étudiant compact en utilisant des programmes Python vérifiés par exécution. Le cadre opère en deux phases principales :

1. Distillation Pilotée par l'Enseignant (Phase 1)

Synthèse Guidée par l'Or : Un grand modèle enseignant (Qwen2.5-72B-Instruct) synthétise des programmes Python exécutables pour résoudre des tâches de QA financière. Crucialement, l'enseignant est guidé par des dérivations d'or (étapes de raisonnement de vérité terrain) injectées dans le prompt afin de garantir des calculs multi-étapes précis.
Vérification par Exécution : Les programmes générés sont exécutés dans un interprète Python sécurisé (sandbox). Seuls les programmes qui compilent sans erreur et produisent la réponse numérique exacte (incluant l'échelle correcte) sont conservés.
Entraînement de l'Étudiant : Un modèle étudiant compact (Qwen2.5-7B-Instruct) est entraîné via un ajustement fin supervisé (SFT) en utilisant l'adaptation de faible rang (LoRA) sur ce jeu de données filtré de haute qualité. L'étudiant apprend à générer des programmes conditionnés uniquement par le contexte et la requête, sans accès à la dérivation d'or.

2. Récupération Itérative et Auto-Amélioration (Phase 2)

Réexamen des Échecs : Les exemples que l'enseignant n'a pas réussi à résoudre sont placés dans un ensemble d'échecs ( $D_{wrong}$ ).
Échantillonnage de l'Étudiant : Le modèle étudiant de la Phase 1 échantillonne plusieurs programmes candidats pour ces exemples difficiles en utilisant une température de décodage plus élevée.
Filtrage de Récupération : Les candidats sont filtrés par le même processus de vérification basé sur l'exécution. Les programmes qui s'exécutent correctement et produisent la réponse d'or sont ajoutés à un ensemble de récupération ( $D_{rec}$ ).
Raffinement : L'étudiant subit un second cycle d'ajustement LoRA sur le jeu de données augmenté ( $D_{Total} = D_T \cup D_{rec}$ ), lui permettant d'apprendre à partir de traces auto-générées vérifiées par exécution qui étendent la couverture originale de l'enseignant.

Inférence

Lors de l'inférence, l'étudiant entraîné génère un programme exécutable pour une requête donnée. Un interprète Python exécute ce code pour produire la réponse numérique finale, garantissant que toute l'arithmétique est effectuée de manière déterministe plutôt que par la logique interne du modèle.

Contributions Clés

Distillation Programmatique Guidée par l'Or : Un cadre novateur qui exploite les dérivations de vérité terrain pour guider la synthèse de programmes côté enseignant, garantissant que seuls les programmes de haute qualité, vérifiés par exécution, sont utilisés pour la distillation.
Mécanisme de Récupération Itérative : Une extension de l'échantillonnage de rejet (RFT) et de STaR qui permet au modèle étudiant de récupérer et d'incorporer des solutions pour les exemples que l'enseignant n'a pas résolus, élargissant ainsi le signal de supervision.
Supervision Vérifiée par Exécution : L'approche remplace les rationales de langage naturel peu fiables par du code exécutable comme signal de supervision, traitant directement le problème des erreurs arithmétiques dans le raisonnement financier.

Résultats Expérimentaux

Le cadre a été évalué sur le jeu de données TAT-QA, un benchmark pour le raisonnement financier hybride (textuel et tabulaire).

Performance : Le meilleur modèle étudiant (Qwen2.5-7B avec adaptation LoRA Attention+MLP) a atteint 87,00 Exact Match (EM) et 87,18 F1 sur l'ensemble de test.
Comparaison : Ce résultat surpasse substantiellement :
- Le modèle enseignant 72B avec indices de dérivation (78,46 EM).
- La base la plus forte des LLM précédents, TAT-LLM (82,67 EM).
- Les bases spécifiques à la tâche comme TAGOP (47,05 EM).
- L'étudiant 7B non entraîné (46,33 EM).
Impact des Composants :
- Qualité de l'Enseignant : Fournir des dérivations d'or à l'enseignant a augmenté sa propre performance de 69,55 à 78,46 EM, améliorant directement la qualité du jeu de données de distillation.
- Configuration LoRA : L'adaptation des couches de projection Attention et MLP a été systématiquement plus performante que l'adaptation de l'attention seule.
- Récupération de la Phase 2 : L'étape de récupération itérative a amélioré l'EM de test du modèle Attention+MLP de 84,72 (Round 1) à 87,00 (Round 2), démontant la valeur de la récupération des exemples échus par l'enseignant.
Analyse d'Erreur : Le cadre réduit significativement les erreurs de prédiction de réponse, de prédiction d'échelle et les échecs conjoints par rapport à la base de référence, avec les gains les plus importants observés dans les tâches nécessitant un raisonnement sur des preuves mixtes (tabulaires et textuelles).

Signification et Revendications

L'article affirme que la distillation programmatique vérifiée par exécution fournit un cadre efficace et extensible pour entraîner des modèles plus petits à effectuer un raisonnement numérique fiable. En déchargeant la charge de l'arithmétique vers l'exécution de code déterministe et en utilisant des dérivations d'or pour filtrer les données de supervision, les auteurs démontrent que des modèles compacts peuvent surpasser des modèles enseignants beaucoup plus grands dans des tâches de QA financière complexes.

Les auteurs notent modestement que, bien que l'approche produise de fortes améliorations, elle ne résout pas totalement tous les types d'erreurs (prédiction de réponse, échelle et échecs conjoints), et que l'évaluation est limitée à un sous-ensemble filtré de TAT-QA adapté à la génération de programmes. Des travaux futurs sont suggérés pour explorer des mécanismes de routage sensibles à la tâche afin de distinguer les requêtes nécessitant un raisonnement programmatique de celles nécessitant une simple extraction, et pour évaluer le cadre sur des benchmarks financiers plus larges comme FinQA et ConvFinQA.