💬 NLP

Gold-Guided Programmatic Distillation for Financial Reasoning over Hybrid Tables and Text

Dit artikel stelt een met goud geleid programmatisch distillatiekader voor dat betrouwbare numerieke redenering van grote taalmodellen overdraagt naar compacte studentmodellen met behulp van uitvoerbaar geverifieerde Python-programma's in plaats van foutgevoelige natuurlijke taalredeneringen, waarmee het de beste prestaties bereikt op de TAT-QA financiële redeneerbenchmark.

Oorspronkelijke auteurs: Yun Dong, Erica Zhao, Elana Chen

Gepubliceerd 2026-07-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yun Dong, Erica Zhao, Elana Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, lastige puzzel probeert op te lossen waarbij de helft van de aanwijzingen in een verhaal is geschreven en de andere helft verborgen zit in een rommelig spreadsheet. Dit is het dagelijkse leven van een computer die financiële vragen probeert te beantwoorden. Lange tijd hebben wetenschappers computers geleerd om te "denken" door hen te vragen hun stappen in gewone mensentaal uit te schrijven, zoals een leerling die zijn berekeningen laat zien tijdens een wiskundetoets. Dit wordt "Chain-of-Thought" genoemd. Maar hier is de crux: computers zijn verschrikkelijk in wiskunde wanneer ze proberen dat in hun hoofd te doen terwijl ze zinnen schrijven. Ze raken vaak afgeleid, halen cijfers door elkaar, of verzinnen gewoon antwoorden die goed klinken maar fout zijn. Het is alsof je een briljante verhalenverteller vraagt om ook een menselijke rekenmachine te zijn; meestal falen ze op het wiskundige deel.

Om dit op te lossen, begonnen onderzoekers computers te leren om code te schrijven in plaats van zinnen. Code is als een strikt recept dat een computer perfect kan volgen zonder in de war te raken. Maar er is een nieuw probleem: hoe leer je een kleine, snelle computer deze perfecte recepten te schrijven als de enige leraar die je hebt een gigantische, trage computer is die soms nog steeds fouten maakt? Als de leraar een slecht recept geeft, leert de student het verkeerde pad. Dit paper pakt precies dat probleem aan. Het vraagt: Kunnen we een kleine computer leren een wiskundige tovenaar te zijn door hem alleen te laten leren van de perfecte recepten van de leraar, en hem vervolgens te helpen de recepten te herstellen die de leraar fout heeft gedaan?

Het Gouden Receptenboek

De onderzoekers, een team van Georgia Tech en Stanford, bedachten een slim tweestapsplan genaald "Gold-Guided Programmatic Distillation." Denk aan een meesterkok (de "Leraar", een enorm model met 72 miljard parameters) die een jonge leerling (de "Student", een kleiner model met 7 miljard parameters) probeert te leren hoe hij een complexe financiële gerecht moet bereiden.

Stap 1: De Strikte Filter
Normaal gesproken, wanneer een leraar een student laat zien hoe iets moet, zegt hij gewoon: "Hier is hoe ik het deed." Maar in deze wereld mag de leraar fouten maken. Daarom voegden de onderzoekers een magische "Gold Guide" toe. Voordat de leraar een recept (een Python-programma) schrijft, krijgt hij geheim de juiste antwoordenlijst te zien. De leraar probeert vervolgens een recept te schrijven dat precies naar dat antwoord leidt.

Hier is de magische truc: Het team nam niet simpelweg het woord van de leraar aan. Ze haalden elk recept dat de leraar schreef door een strikte "smaaktest" (een computerprogramma dat de code uitvoert). Als het recept een typefout bevatte, crashte of niet tot exact het juiste getal leidde, werd het bij het vuilnis gezet. Alleen de recepten die perfect werkten en overeenkwamen met het gouden antwoord, werden bewaard in een speciaal "Gouden Receptenboek". De kleine student werd vervolgens alleen getraind op deze perfecte recepten. Dit zorgde ervoor dat de student nooit een slechte gewoonte aanleerde.

Stap 2: De Comeback Tour
Maar hoe zit het met de moeilijke vragen waar zelfs de gigantische leraar geen werkend recept voor kon schrijven? De leraar zou dan gewoon opgeven, waardoor die vragen onopgelost bleven. De onderzoekers wilden die niet achterlaten. Ze introduceerden een "Recovery Stage" (Herstelfase).

Ze namen de vragen waar de leraar faalde en vroegen de student om het opnieuw te proberen. De student genereerde vijf verschillende moggende recepten voor dezelfde vraag. Net als voorheen haalden ze alle vijf de recepten door de smaaktest. Als enig van de recepten van de student perfect werkte, bewaarden ze het. Dit betekende dat de student zichzelf kon "onderwijzen" hoe hij de problemen moest oplossen die de leraar niet kon, effectief lerend van zijn eigen successen. Vervolgens trainden ze de student opnieuw op deze nieuwe batch zelf ontdekte, perfecte recepten.

De Resultaten: Klein maar Krachtig

Het team testte dit op een beroemde financiële puzzelset genaamd TAT-QA, die tabellen en tekst combineert. Ze vergeleken hun kleine, getrainde student met de gigantische leraar, oudere computermodellen en andere slimme AI-systemen.

De resultaten waren verrassend. De kleine student scoorde, na deze speciale training, 87,00 op een maatstaf genaamd "Exact Match" (wat betekent dat het antwoord exact juist is) en 87,18 op een maatstaf genaamd "F1" (die kijkt naar hoe dicht het antwoord erbij ligt).

Om dit in perspectief te plaatsen:

De gigantische leraar met 72 miljard parameters scoorde, zelfs met de "Gold Guide" hints, slechts 78,46.
Het vorige beste AI-systeem (TAT-LLM) scoorde 82,67.
De ongetrainde kleine student begon op een lage 46,33.

De kleine student haalde niet alleen in, maar versloeg zelfs de gigantische leraar en de beste eerdere systemen. De onderzoekers ontdekten dat de student vooral goed werd in de moeilijkste delen: het doen van wiskunde met getallen die in zowel tabellen als verhalen worden gevonden.

Waarom dit ertoe doet

Het paper suggereert dat deze methode een krachtige manier is om kleinere, snellere computers betrouwbaar te maken in wiskunde zonder de enorme rekenkracht van de gigantische modellen nodig te hebben. Door elke enkele fout weg te filteren en de student te laten leren van zijn eigen herstelde successen, creëerden ze een systeem dat zowel slim als precies is.

De auteurs merken echter voorzichtig op dat het probleem niet 100% is opgelost. Zelfs met de beste student zijn er nog steeds fouten—soms is het antwoord wel juist, maar de eenheid (zoals "miljoen" versus "miljard") is fout, of is het antwoord gewoon simpelweg fout. Maar vergeleken met voorheen is het aantal fouten drastisch gedaald, van honderden fouten naar net boven de honderd.

De onderzoekers concluderen dat deze "Gold-Guided" aanpak een veelbelovende weg vooruit is. Ze suggeren dat we in de toekomst systemen kunnen bous die zelf kunnen beslissen of ze een eenvoudige opzoekactie of een complex code-recept moeten gebruiken, wat financiële AI nog nuttiger en betrouwbaarder maakt. Voor nu hebben ze echter bewezen dat een kleine, goed getrainde robot een gigantische, onverfijnde een in staat is om de cijfers te kraken.

Technische Samenvatting: Goud-Geleide Programmatische Distillatie voor Financieel Redeneren

Probleemstelling

Financiële vraagbeantwoording (QA) over hybride tabel- en tekstuele data vormt een dubbele uitdaging: het vereist het integreren van informatie uit meerdere bronnen en het uitvoeren van precieze numerieke berekeningen. Hoewel Large Language Models (LLMs) tussenliggende redeneerstappen kunnen genereren via Chain-of-Thought (CoT) prompting, zijn hun natuurlijke taalrationales gevoelig voor rekenkundige hallucinaties. Deze onbetrouwbaarheid maakt vrije tekst tot een ineffectieve bron van supervisie voor het distilleren van redeneervermogens naar kleinere modellen. Hoewel Program-of-Thought (PoT) benaderingen rekenfouten verminderen door berekeningen te delegeren aan externe interpreters, blijft het overdragen van deze betrouwbare redeneersporen van grote teacher-modellen naar compacte student-modellen moeilijk, vooral wanneer de tussenliggende sporen imperfect zijn of wanneer de teacher er niet in slaagt complexe voorbeelden op te lossen.

Methodologie

De auteurs stellen Gold-Guided Programmatic Distillation voor, een framework dat ontworpen is om betrouwbaar numeriek redeneren van een grote teacher naar een compacte student over te dragen met behulp van executie-geverifieerde Python-programma's. Het framework werkt in twee primaire fasen:

1. Teacher-gestuurde Distillatie (Fase 1)

Goud-geleide Synthese: Een grote teacher model (Qwen2.5-72B-Instruct) synthetiseert uitvoerbare Python-programma's om financiële QA-taken op te lossen. Cruciaal is dat de teacher wordt gestuurd door gouden derivaties (ground-truth redeneerstappen) die in de prompt worden geïnjecteerd om nauwkeurige meerstapsberekeningen te garanderen.
Executie-verificatie: De gegenereerde programma's worden uitgevoerd in een gesandboxed Python-interpreter. Alleen programma's die zonder fouten compileren en exact het gouden numerieke antwoord produceren (inclusclusief de juiste schaal), worden behouden.
Student Training: Een compact student model (Qwen2.5-7B-Instruct) wordt getraind via Supervised Fine-Tuning (SFT) met behulp van Low-Rank Adaptation (LoRA) op deze gefilterde, hoogwaardige dataset. De student leert programma's te genereren die uitsluitend geconditioneerd zijn op de context en de query, zonder toegang tot de gouden derivatie.

2. Iteratieve Herstel en Zelfverbetering (Fase 2)

Herbezoeken van Falen: Voorbeelden die de teacher niet kon oplossen, worden geplaatst in een failure set ( $D_{wrong}$ ).
Student Sampling: Het Fase-1 student model samplet meerdere kandidaat-programma's voor deze moeilijke voorbeelden bij een hogere decoding temperatuur.
Herstel-filtering: Kandidaten worden gefilterd via hetzelfde executie-gebaseerde verificatieproces. Programma's die correct worden uitgevoerd en het gouden antwoord opleveren, worden toegevoegd aan een herstelset ( $D_{rec}$ ).
Verfijning: De student ondergaat een tweede ronde van LoRA fine-tuning op de uitgebreide dataset ( $D_{Total} = D_T \cup D_{rec}$ ), waardoor het kan leren van de executie-geverifieerde zelfgegenereerde sporen die verder gaan dan de oorspronkelijke dekking van de teacher.

Inferentie

Tijdens inferentie genereert het getrainde student model een uitvoerbaar programma voor een gegeven query. Een Python-interpreter voert deze code uit om het uiteindelijke numerieke antwoord te produceren, wat ervoor zorgt dat alle aritmetiek deterministisch wordt uitgevoerd in plaats van door de interne logica van het model.

Belangrijkste Bijdragen

Gold-Guided Programmatic Distillation: Een nieuw framework dat ground-truth derivaties gebruikt om de programmasynthese aan de teacher-zijde te sturen, waardoor gegarandeerd wordt dat alleen hoogwaardige, executie-geverifieerde programma's voor distillatie worden gebruikt.
Iteratief Herstelmechanisme: Een uitbreiding van rejection sampling fine-tuning (RFT) en STaR die het student model in staat stelt om de oplossingen voor voorbeelden die de teacher niet kon oplossen te herstellen en te incorporeren, waardoor de supervisiesignaal wordt uitgebreid.
Executie-geverifieerde Supervisie: De aanpak vervangt onbetrouwbare natuurlijke taalrationales door uitvoerbare code als het supervisiesignaal, wat het probleem van rekenkundige fouten in financieel redeneren direct aanpakt.

Experimentele Resultaten

Het framework werd geëvalueerd op de TAT-QA dataset, een benchmark voor hybride tabel- en tekstuele financiële redenering.

Prestaties: Het best presterende student model (Qwen2.5-7B met Attention+MLP LoRA adaptatie) behaalde 87.00 Exact Match (EM) en 87.18 F1 op de testset.
Vergelijking: Dit resultaat presteert aanzienlijk beter dan:
- De 72B teacher met derivatie-hints (78.46 EM).
- De sterkste eerdere LLM-gebaseerde baseline, TAT-LLM (82.67 EM).
- Taakspecifieke baselines zoals TAGOP (47.05 EM).
- De ongetunede 7B student (46.33 EM).
Impact van Componenten:
- Teacher Kwaliteit: Het verstrekken van gouden derivaties aan de teacher verhoogde de eigen prestatie van de teacher van 69.55 naar 78.46 EM, wat de kwaliteit van de gedistilleerde dataset direct verbeterde.
- LoRA Configuratie: Het adapteren van zowel de attention als de MLP projectielagen presteerde consequent beter dan alleen attention-adaptatie.
- Fase 2 Herstel: De iteratieve herstelfase verbeterde de test EM van het Attention+MLP model van 84.72 (Ronde 1) naar 87.00 (Ronde 2), wat de waarde aantoont van het herstellen van door de teacher gefaalde voorbeelden.
Foutanalyse: Het framework verminderde fouten in antwoordvoorspelling, schaalvoorspelling en gezamenlijke falen aanzienlijk vergeleken met de baseline, waarbij de meest significante winsten werden waargenomen bij taken die redeneren over gemengde tabel- en tekstuele bewijslast vereisen.

Betekenis en Claims

Het artikel claimt dat executie-geverifieerde programmatische distillatie een effectief en uitbreidbaar framework biedt voor het trainen van kleinere modellen om betrouwbaar numeriek te redeneren. Door de last van de aritmetiek te verschuiven naar deterministische code-executie en het gebruik van gouden derivaties om supervisiedata te filteren, laten de auteurs zien dat compacte modellen veel grotere teacher-modellen kunnen overtreffen in complexe financiële QA-taken.

De auteurs merken bescheiden op dat hoewel de aanpak sterke verbeteringen oplevert, het niet alle fouttypen (antwoordvoorspelling, schaal en gezamenlijke falen) volledig oplost, en de evaluatie beperkt is tot een gefilterde subset van TAT-QA die geschikt is voor programmatische generatie. Toekomstig werk wordt gesuggereerd om taakbewuste routingmechanismen te verkennen om onderscheid te maken tussen queries die programmatisch redeneren vereisen versus eenvoudige extractie, en om het framework te evalueren op bredere financiële benchmarks zoals FinQA en ConvFinQA.