💬 NLP

Gold-Guided Programmatic Distillation for Financial Reasoning over Hybrid Tables and Text

Dieses Paper schlägt ein Gold-gesteuertes programmatisches Destillations-Framework vor, das zuverlässiges numerisches Denken mittels der Ausführung verifizierter Python-Programme anstelle von fehleranfälligen natürlichen Sprach-Rationalen von großen Sprachmodellen auf kompakte Studentenmodelle überträgt und dabei eine State-of-the-Art-Leistung auf dem TAT-QA-Benchmark für Finanzanalysen erzielt.

Ursprüngliche Autoren: Yun Dong, Erica Zhao, Elana Chen

Veröffentlicht 2026-07-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yun Dong, Erica Zhao, Elana Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, kniffliges Rätsel zu lösen, bei dem die Hälfte der Hinweise in einer Geschichte geschrieben steht und die andere Hälfte in einer unordentlichen Tabellenkalkulation verborgen ist. Dies ist der Alltag eines Computers, der versucht, Finanzfragen zu beantworten. Lange Zeit haben Wissenschaftler versucht, Computern das „Denken“ beizubringen, indem sie sie bitten, ihre Schritte in einfachem Englisch aufzuschreiben, so wie ein Schüler seinen Rechenweg in einer Mathearbeit zeigt. Dies nennt man „Chain-of-Thought“ (Gedankenkette). Aber hier liegt der Haken: Computer sind schlecht in Mathe, wenn sie versuchen, es im Kopf zu erledigen, während sie Sätze schreiben. Sie lassen sich oft ablenken, vertauschen Zahlen oder erfinden einfach Antworten, die gut klingen, aber falsch sind. Es ist, als würde man einem brillanten Geschichtenerzähler auch noch zum menschlichen Taschenrechner machen; meistens scheitern sie am mathematischen Teil.

Um dies zu beheben, begannen Forscher, Computer das Schreiben von Code statt Sätzen beizubringen. Code ist wie ein strenges Rezept, dem ein Computer perfekt folgen kann, ohne verwirrt zu werden. Aber es gibt ein neues Problem: Wie bringt man einem kleinen, schnellen Computer bei, diese perfekten Rezepte zu schreiben, wenn der einzige Lehrer, den man hat, ein riesiger, langsamer Computer ist, der manchmal immer noch Fehler macht? Wenn der Lehrer ein schlechtes Rezept gibt, lernt der Schüler den falschen Weg. Dieses Paper befasst sich genau mit diesem Problem. Es fragt: Können wir einen kleinen Computer zu einem Mathe-Magier machen, indem wir ihn nur von den perfekten Rezepten des Lehrers lernen lassen und ihm dann helfen, die jene zu korrigieren, die der Lehrer falsch gemacht hat?

Das Goldene Rezeptbuch

Die Forscher, ein Team vom Georgia Tech und Stanford, entwickelten einen cleveren zweistufigen Plan namens „Gold-Guided Programmatic Distillation“. Denken Sie an einen Meisterkoch (den „Lehrer“, ein riesiges 72-Milliarden-Parameter-Modell), der versucht, einem jungen Lehrling (dem „Schüler“, einem kleineren 7-Milliarden-Parameter-Modell) beizubringen, wie man ein komplexes Finanzgericht kocht.

Schritt 1: Der strenge Filter
Normalerweise, wenn ein Lehrer einem Schüler zeigt, wie man etwas macht, sagt er einfach: „Hier ist, wie ich es gemacht habe.“ Aber in dieser Welt darf der Lehrer Fehler machen. Deshalb fügten die Forscher einen magischen „Gold Guide“ hinzu. Bevor der Lehrer ein Rezept (ein Python-Programm) schreibt, wird ihm heimlich der korrekte Lösungsschlüssel gezeigt. Der Lehrer versucht dann, ein Rezept zu schreiben, das exakt zu dieser Antwort führt.

Hier liegt der magische Trick: Das Team hat dem Wort des Lehrers nicht einfach blind vertraut. Sie ließen jedes einzelne Rezept, das der Lehrer schrieb, durch einen strengen „Geschmackstest“ (ein Computerprogramm, das den Code ausführt) laufen. Wenn das Rezept einen Tippfehler hatte, abstürzte oder nicht exakt die richtige Zahl ergab, wurde es weggeworfen. Nur die Rezepte, die perfekt funktionierten und exakt mit der goldenen Antwort übereinstimmten, wurden in einem speziellen „Goldenen Rezeptbuch“ gespeichert. Der kleine Schüler wurde dann nur auf diesen perfekten Rezepten trainiert. Dies stellte sicher, dass der Schüler nie eine schlechte Angewohnheit lernte.

Schritt 2: Die Comeback-Tour
Aber was ist mit den schwierigen Fragen, bei denen selbst der riesige Lehrer kein funktionierendes Rezept schreiben konnte? Der Lehrer würde dann einfach aufgeben und die Fragen ungelöst lassen. Die Forscher wollten diese jedoch nicht zurücklassen. Sie führten eine „Recovery Stage“ (Erholungsphase) ein.

Sie nahmen die Fragen, bei denen der Lehrer versagte, und baten den Schüler, es erneut zu versuchen. Der Schüler generierte fünf verschiedene mögliche Rezepte für dieselbe Frage. Genau wie zuvor ließen sie alle fünf durch den Geschmackstest laufen. Wenn irgendeines der Rezepte des Schülers perfekt funktionierte, speicherten sie es. Dies bedeutete, dass der Schüler „sich selbst lehren“ konnte, wie man die Probleme löst, die der Lehrer nicht lösen konnte, indem er effektiv aus seinen eigenen Erfolgen lernte. Sie trainierten den Schüler dann erneut mit dieser neuen Charge selbst entdeckter, perfekter Rezepte.

Klein, aber oho

Das Team testete dies an einem berühmten Finanzrätsel-Datensatz namens TAT-QA, der Tabellen und Texte mischt. Sie verglichen ihren kleinen, trainierten Schüler mit dem riesigen Lehrer, älteren Computermodellen und anderen smarten KI-Systemen.

Die Ergebnisse waren überraschend. Der kleine Schüler erreichte nach diesem speziellen Training einen Wert von 87,00 auf ein Maß namens „Exact Match“ (was bedeutet, die Antwort exakt richtig zu bekommen) und 87,18 auf ein Maß namens „F1“ (das betrachtet, wie nah die Antwort ist).

Um dies in Perspektive zu setzen:

Der riesige 72-Milliarden-Parameter-Lehrer erreichte, selbst mit den „Gold Guide“-Hinweisen, nur 78,46.
Das vorherige beste KI-System (TAT-LLM) erreichte 82,67.
Der ungetrainierte kleine Schüler startete bei einem niedrigen 46,33.

Der kleine Schüler holte nicht nur auf, er schlug sogar den riesigen Lehrer und die besten vorherigen Systeme. Die Forscher fanden heraus, dass der Schüler besonders gut in den schwierigsten Teilen wurde: das Rechnen mit Zahlen, die sowohl in Tabellen als auch in Geschichten zu finden sind.

Warum das wichtig ist

Das Paper legt nahe, dass diese Methode ein leistungsstarker Weg ist, um kleinere, schnellere Computer zuverlässig in Mathematik zu machen, ohne die massive Rechenleistung der riesigen Modelle zu benötigen. Indem sie jeden einzelnen Fehler herausfilterten und den Schüler von seinen selbst wiedergefundenen Erfolgen lernen ließen, schufen sie ein System, das sowohl intelligent als auch präzise ist.

Die Autoren weisen jedoch vorsichtig darauf hin, dass das Problem nicht zu 100 % gelöst ist. Selbst mit dem besten Schüler gibt es immer noch Fehler – manchmal ist die Antwort richtig, aber die Einheit (wie „Million“ vs. „Milliarde“) ist falsch, oder die Antwort ist schlichtweg falsch. Aber im Vergleich zu vorher sank die Anzahl der Fehler drastisch von Hunderten von Fehlern auf etwas mehr als hundert.

Die Forscher kommen zu dem Schluss, dass dieser „Gold-Guided“-Ansatz ein vielversprechender Weg nach vorne ist. Sie schlagen vor, dass wir in Zukunft Systeme bauen könnten, die selbst entscheiden können, ob sie eine einfache Abfrage oder ein komplexes Code-Rezept verwenden, was Finanz-KI noch hilfreicher und vertrauenswürdiger macht. Für den Moment haben sie jedoch bewiesen, dass ein kleiner, gut trainierter Roboter einen riesigen, ungeschliffenen überlisten kann, wenn es darum geht, Zahlen zu berechnen.

Technisches Resümee: Gold-geleitete programmatische Destillation für finanzielles Reasoning

Problemstellung

Die Beantwortung von Finanzfragen (Question Answering, QA) über hybride tabellarische und textuelle Daten stellt eine doppelte Herausforderung dar: Sie erfordert die Integration von Informationen aus multiplen Quellen und die Durchführung präziser numerischer Berechnungen. Während Large Language Models (LLMs) durch Chain-of-Thought (CoT)-Prompting Zwischenschritte der Argumentation generieren können, sind ihre natürlichen Sprachrationalen anfällig für arithmetische Halluzinationen. Diese Unzuverlässigkeit macht freien Text zu einer ineffektiven Überwachungsquelle für die Destillation von Reasoning-Fähigkeiten in kleinere Modelle. Obwohl Program-of-Thought (PoT)-Ansätze arithmetische Fehler minimieren, indem sie die Berechnung an externe Interpreter delegieren, bleibt der Transfer dieser zuverlässigen Reasoning-Spuren von großen Lehrer-Modellen auf kompakte Schüler-Modelle schwierig – insbesondere wenn die intermediären Spuren unvollkommen sind oder das Lehrer-Modell komplexe Beispiele nicht lösen kann.

Methodik

Die Autoren schlagen die Gold-geleitete programmatische Destillation vor, ein Framework, das darauf ausgelegt ist, zuverlässiges numerisches Reasoning von einem großen Lehrer-Modell auf ein kompaktes Schüler-Modell mittels ausführbarer Python-Programme zu übertragen. Das Framework operiert in zwei primären Phasen:

1. Lehrer-gesteuerte Destillation (Phase 1)

Gold-geleitete Synthese: Ein großes Lehrer-Modell (Qwen2.5-72B-Instruct) synthetisiert ausführbare Python-Programme, um Finanz-QA-Aufgaben zu lösen. Entscheidend ist, dass das Lehrer-Modell durch Gold-Ableitungen (Ground-Truth-Reasoning-Schritte) geleitet wird, die in den Prompt injiziert werden, um präzise mehrstufige Berechnungen zu gewährleisten.
Ausführungsverifizierung: Die generierten Programme werden in einem sandboxed Python-Interpreter ausgeführt. Nur Programme, die ohne Fehler kompilieren und exakt die goldene numerische Antwort (einschließlich der korrekten Größenordnung) produzieren, werden beibehalten.
Schüler-Training: Ein kompaktes Schüler-Modell (Qwen2.5-7B-Instruct) wird mittels Supervised Fine-Tuning (SFT) unter Verwendung von Low-Rank Adaptation (LoRA) auf diesem gefilterten, hochwertigen Datensatz trainiert. Das Schüler-Modell lernt, Programme ausschließlich unter der Bedingung des Kontextes und der Anfrage zu generieren, ohne Zugriff auf die Gold-Ableitung zu haben.

2. Iterative Rekuperation und Selbstverbesserung (Phase 2)

Wiederaufnahme von Fehlern: Beispiele, bei denen das Lehrer-Modell versagt hat, werden in einen Fehler-Datensatz ( $D_{wrong}$ ) verschoben.
Schüler-Sampling: Das Phase-1-Schüler-Modell sampelt mehrere Kandidaten-Programme für diese schwierigen Beispiele bei einer höheren Decoding-Temperatur.
Rekuperations-Filterung: Die Kandidaten werden durch denselben auf Ausführung basierenden Verifizierungsprozess gefiltert. Programme, die korrekt ausgeführt werden und die goldene Antwort liefern, werden zu einem Rekuperations-Datensatz ( $D_{rec}$ ) hinzugefügt.
Verfeinerung: Das Schüler-Modell durchläuft eine zweite Runde des LoRA-Fine-Tunings auf dem erweiterten Datensatz ( $D_{Total} = D_T \cup D_{rec}$ ), wodurch es lernt, aus den ausführungsverifizierten selbstgenerierten Spuren zu lernen, die über die ursprüngliche Abdeckung des Lehrers hinausgehen.

Inferenz

Während der Inferenz generiert das trainierte Schüler-Modell ein ausführbares Programm für eine gegebene Anfrage. Ein Python-Interpreter führt diesen Code aus, um die endgültische numerische Antwort zu produzieren, wodurch sichergestellt wird, dass alle Arithmetik deterministisch durch die Code-Ausführung und nicht durch die interne Logik des Modells erfolgt.

Zentrale Beiträge

Gold-geleitete programmatische Destillation: Ein neuartiges Framework, das Ground-Truth-Ableitungen nutzt, um die programmatische Synthese auf der Lehrer-Seite zu leiten, wodurch sichergestellt wird, dass nur hochwertige, ausführungsverifizierte Programme für die Destillation verwendet werden.
Iterativer Rekuperationsmechanismus: Eine Erweiterung des Rejection Sampling Fine-Tuning (RFT) und STaR, die es dem Schüler-Modell ermöglicht, Lösungen für Beispiele zu rekonstruieren und zu integrieren, die das Lehrer-Modell nicht gelöst hat, wodurch das Überwachungssignal erweitert wird.
Ausführungsverifizierte Überwachung: Der Ansatz ersetzt unzuverlässige natürliche Sprachrationalen durch ausführbaren Code als Überwachungssignal und adressiert damit direkt das Problem der arithmetischen Fehler im finanziellen Reasoning.

Experimentelle Ergebnisse

Das Framework wurde auf dem TAT-QA-Datensatz evaluiert, einem Benchmark für hybrides tabellarisches und textuelles finanzielles Reasoning.

Performance: Das am besten abschneidende Schüler-Modell (Qwen2.5-7B mit Attention+MLP LoRA Adaptation) erreichte 87,00 Exact Match (EM) und 87,18 F1 auf dem Testset.
Vergleich: Dieses Ergebnis übertrifft deutlich:
- Das 72B Lehrer-Modell mit Ableitungs-Hinweisen (78,46 EM).
- Das stärkste vorherige LLM-basierte Baseline-Modell, TAT-LLM (82,67 EM).
- Aufgaben-spezifische Baselines wie TAGOP (47,05 EM).
- Das untrainierte 7B Schüler-Modell (46,33 EM).
Auswirkung der Komponenten:
- Lehrer-Qualität: Die Bereitstellung von Gold-Ableitungen steigerte die Performance des Lehrers von 69,55 auf 78,46 EM, was die Qualität des destillierten Datensatzes direkt verbesserte.
- LoRA-Konfiguration: Die Anpassung sowohl der Attention- als auch der MLP-Projektionsschichten schnitt konsistent besser ab als eine reine Attention-Anpassung.
- Phase-2-Rekuperation: Die iterative Rekuperationsphase verbesserte das Test-EM des Attention+MLP-Modells von 84,72 (Runde 1) auf 87,00 (Runde 2), was den Wert der Rekuperation von vom Lehrer fehlgeschlagenen Beispielen demonstriert.
Fehleranalyse: Das Framework reduzierte Fehler bei der Antwortvorhersage, der Größenordnungsvorhersage und bei kombinierten Fehlern im Vergleich zur Baseline signifikant, wobei die größten Gewinne bei Aufgaben beobachtet wurden, die Reasoning über gemischte tabellarische und textuelle Evidenz erfordern.

Bedeutung und Ansprüche

Das Paper behauptet, dass die ausführungsverifizierte programmatische Destillation ein effektives und erweiterbares Framework darstellt, um kleinere Modelle für zuverlässiges numerisches Reasoning zu trainieren. Durch die Verlagerung der Arithmetik auf die deterministische Code-Ausführung und die Nutzung von Gold-Ableitungen zur Filterung der Überwachungsdaten zeigen die Autoren, dass kompakte Modelle wesentlich größere Lehrer-Modelle in komplexen Finanz-QA-Aufgaben übertreffen können.

Die Autoren merken bescheiden an, dass der Ansatz zwar starke Verbesserungen liefert, aber nicht alle Fehlertypen (Antwortvorhersage, Größenordnung und kombinierte Fehler) vollständig löst, und dass die Evaluierung auf einer gefilterten Teilmenge von TAT-QA beschränkt ist, die für die Programgenerierung geeignet ist. Zukünftige Arbeiten sollen die Untersuchung von aufgabenbewussten Routing-Mechanismen zur Unterscheidung zwischen Anfragen, die programmatisches Reasoning erfordern, gegenüber einfacher Extraktion, sowie die Evaluierung des Frameworks auf breiteren Finanz-Benchmarks wie FinQA und ConvFinQA, untersuchen.