🤖 machine learning

Error-Driven Prompt Optimization for Arithmetic Reasoning

Dieser Beitrag stellt ein fehlergesteuertes Prompt-Optimierungsframework vor, das die Fähigkeiten von kleinen, lokal betriebenen Sprachmodellen im Bereich des arithmetischen Schlussfolgerns erheblich verbessert und es ihnen ermöglicht, in datenschutzkonformen industriellen Umgebungen ohne kostspieliges Fine-Tuning größere Modelle wie GPT-3.5 Turbo zu übertreffen.

Ursprüngliche Autoren: Árpád Pándy, Róbert Lakatos, András Hajdu

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Árpád Pándy, Róbert Lakatos, András Hajdu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein lokaler Buchhalter vs. der Cloud-Riese

Stellen Sie sich vor, Sie haben einen sehr klugen, aber etwas vergesslichen lokalen Buchhalter (ein Small Language Model oder SLM), der in Ihrem sicheren Büro arbeitet. Sie haben auch einen Super-Genie-Berater (ein Large Language Model wie GPT-3.5), der in einem riesigen Cloud-Büro lebt.

Das Problem? Ihr Unternehmen arbeitet mit sensiblen Finanzdaten. Sie können diese Daten nicht an den Cloud-Berater senden, wegen Datenschutzbestimmungen. Sie müssen alles in Ihrem lokalen Büro behalten.

Allerdings ist Ihr lokaler Buchhalter schrecklich in Mathe. Wenn Sie fragen: „Wie hoch ist die prozentuale Umsatzänderung?", rät er vielleicht die Zahl oder verwechselt die Einheiten (er sagt „Millionen" statt „Prozent"). Er ist schnell und privat, aber für ernsthafte Arbeit nicht genau genug.

Dieses Papier stellt eine clevere Trainingsmethode vor, um diesen vergesslichen lokalen Buchhalter in einen Mathe-Zauberer zu verwandeln, ohne seine Daten in die Cloud zu senden oder teure Neu-Trainierungen zu bezahlen.

Die Strategie: „Code, nicht raten"

Die Forscher erkannten, dass es das Problem war, den Buchhalter einfach nur über die Mathematik „nachdenken" zu lassen. Stattdessen lehrten sie den Buchhalter, sich wie ein Programmierer zu verhalten.

Der alte Weg: „Hier ist eine Tabelle mit Zahlen. Nenne mir die Antwort." (Der Buchhalter rät).
Der neue Weg: „Hier ist eine Tabelle. Schreibe ein kurzes Computerskript (Python-Code), das die Mathematik für dich erledigt, und führe es dann aus."

Das ist so, als würde man dem Buchhalter einen Taschenrechner geben, anstatt ihn zu bitten, im Kopf eine schriftliche Division durchzuführen. Der Computercode ist perfekt in Mathe; der Buchhalter muss nur die Anweisungen korrekt schreiben.

Das Geheimnis: Lernen aus Fehlern (die „fehlergetriebene" Schleife)

Selbst mit dem Taschenrechner machte der Buchhalter noch Fehler. Manchmal schrieb er die falsche Formel oder verwechselte die „Skalierung" (er sagte, die Antwort sei in „Tausendern", obwohl sie in „Prozent" sein sollte).

Die Hauptinnovation des Papiers ist ein systematischer „Fehler-Detektiv"-Prozess:

Test durchführen: Der Buchhalter versucht, 497 Finanzfragen zu lösen.
Fehler aufdecken: Das System betrachtet die Fragen, die der Buchhalter falsch beantwortet hat.
Hinweise gruppieren: Anstatt jeden Fehler einzeln zu betrachten, gruppiert das System ähnliche Fehler zusammen.
- Analogie: Stellen Sie sich einen Lehrer vor, der einen Test korrigiert. Anstatt zu sagen: „Sie haben Frage 5 falsch beantwortet", bemerkt er: „Oh, jeder Schüler, der Frage 5 falsch beantwortet hat, hat auch Frage 12 falsch beantwortet, weil alle vergessen haben, durch 100 zu teilen."
Eine Regel aufstellen: Für jede Gruppe von Fehlern schreiben die Forscher eine spezifische Regel, um sie zu beheben.
- Beispielregel: „Wenn die Frage nach einer 'prozentualen Änderung' fragt, muss die Antwort in 'Prozent' und nicht in 'Dollar' angegeben werden."
Noch einmal versuchen: Sie fügen diese Regel den Anweisungen des Buchhalters hinzu und führen den Test erneut durch.
Wiederholen: Sie suchen weiterhin die größte Gruppe verbleibender Fehler, schreiben eine neue Regel und testen, bis die Fehler keine Verbesserung mehr zeigen.

Die Ergebnisse: Den Großen schlagen

Indem sie diesen Zyklus „Fehler finden, Regel aufstellen, wiederholen" befolgten, erreichten die Forscher etwas Überraschendes:

Der Ausgangspunkt: Der lokale Buchhalter (Qwen3 4B) startete mit einer Genauigkeit von etwa 30 % (kaum besser als Raten).
Die Verbesserung: Nach dem Hinzufügen von nur drei spezifischen Regeln, die aus ihrer Fehleranalyse abgeleitet wurden, stieg die Genauigkeit auf 70,8 %.
Der Sieg: Dieser lokale, private Buchhalter übertroffen den riesigen Cloud-Berater (GPT-3.5 Turbo), der nur 66,2 % erreichte.

Die Falle „zu viele Regeln"

Das Papier entdeckte auch eine wichtige Grenze. Stellen Sie sich vor, Sie geben Ihrem Buchhalter ein Regelbuch.

Zu wenige Regeln: Er macht einfache Fehler.
Die richtige Anzahl von Regeln: Er ist perfekt.
Zu viele Regeln: Der Buchhalter wird verwirrt. Das Regelbuch wird so dick und komplex, dass er beginnt, die Regeln zu ignorieren oder sie zu vermischen.

Die Forscher fanden eine „optimale Anzahl" von Regeln. Das Hinzufügen weiterer Regeln nach diesem Punkt verschlechterte die Leistung tatsächlich. Es ist wie der Versuch, ein 50-seitiges Handbuch für eine einfache Aufgabe auswendig zu lernen; man wird einfach überwältigt.

Zusammenfassung der Behauptungen

Datenschutz zuerst: Sie können eine hochpräzise KI für sensible Daten (Finanzen, Gesundheit) entwickeln, die vollständig auf Ihrem eigenen Computer bleibt (On-Premises).
Kein teures Training: Sie müssen nicht Millionen für das Neu-Training des Modells ausgeben. Sie müssen nur seine Fehler analysieren und einfache Textregeln schreiben, um sie zu beheben.
Klein kann Groß schlagen: Ein kleines, effizientes Modell kann, wenn es durch die richtigen „fehlergetriebenen" Regeln geleitet wird, bei der arithmetischen Reasoning eine bessere Leistung erbringen als ein riesiges, teures Modell.
Die Methode: Der Schlüssel liegt in der Code-Generierung (das KI-Modell schreibt Code, um die Mathematik zu erledigen) kombiniert mit einer iterativen Prompt-Optimierung (systematisches Beheben spezifischer Fehlertypen der KI).

Kurz gesagt zeigt das Papier, dass man kein größeres Gehirn braucht, um Matheprobleme zu lösen; man braucht nur eine bessere Reihe von Anweisungen, die dem Gehirn helfen, seine spezifischen Blindstellen zu vermeiden.

Technische Zusammenfassung: Fehlergetriebene Prompt-Optimierung für arithmetische Schlussfolgerungen

Problemstellung

Während Large Language Models (LLMs) bei der natürlichen Sprachverarbeitung hervorragend abschneiden, bleibt ihre Fähigkeit, präzise arithmetische Schlussfolgerungen auf strukturierten tabellarischen Daten durchzuführen, fragil und führt häufig zu inkonsistenten oder falschen numerischen Ausgaben. Diese Einschränkung ist besonders kritisch für regulierte Sektoren wie Finanzen und Gesundheitswesen, wo Datenschutzbestimmungen vorschreiben, dass sensible Informationen in sicheren, lokalen Umgebungen verbleiben müssen, was die Nutzung von API-basierten Cloud-Modellen ausschließt. Obwohl Small Language Models (SLMs) eine datenschutzkonforme Alternative bieten, weisen sie häufig grundlegende Einschränkungen bei arithmetischen Aufgaben auf und schneiden oft selbst schlechter ab als größere Modelle, wenn sie lokal ohne spezialisierte Optimierung eingesetzt werden.

Methodik

Die Arbeit schlägt einen systematischen, fehlergetriebenen Optimierungsrahmen vor, der darauf ausgelegt ist, einen Code-Generierungs-Agenten (CGA) zu verbessern, der auf lokalen SLMs läuft. Die Methodik integriert drei Kernkomponenten:

Aufgabenzerlegung und Code-Generierung: Anstatt eine direkte Antwort zu generieren, wird die Aufgabe als Code-Generierung neu definiert. Das SLM generiert ausführbaren Python-Code basierend auf einer umstrukturierten Tabelle (konvertiert in eine annotierte Werteliste) und der Benutzeranfrage. Ein deterministischer Executor führt diesen Code aus, um das Endergebnis zu erzeugen, wodurch semantische Interpretation und arithmetische Berechnung getrennt werden.
Fehlergetriebene Regelinduktion: Die zentrale Innovation ist eine iterative Schleife, die Vorhersagefehler identifiziert, clustert und behebt, ohne kostspieliges Fine-Tuning des Modells.
- Feature-Extraktion: Gescheiterte Vorhersagen werden analysiert, um Merkmale wie Berechnungsmuster, Code-Berechnungsmuster, Skalendiskrepanzen, Wertübereinstimmungen und spezifische Fehlertypen (z. B. Auswahl, Berechnung, Skala, Vorzeichen, Syntax, Laufzeit) zu extrahieren.
- Clustering: Der HDBSCAN-Algorithmus clustert diese fehlerhaften Vorhersagen basierend auf dem Hamming-Abstand, um Gruppen zu identifizieren, die eine gemeinsame Grundursache teilen.
- Regelformulierung: Für die größten Fehlercluster formulieren Domänenexperten spezifische Domänenspezifische Prompt-Regeln (DSPR), um die identifizierte Grundursache zu adressieren (z. B. die Klärung, dass „prozentuale Veränderung" eine „Prozent"-Skala impliziert).
- Validierung: Neue Prompt-Regeln werden mittels des McNemar-Tests auf dem spezifischen Fehlercluster validiert. Eine Regel wird nur akzeptiert, wenn sie eine statistisch signifikante Verbesserung erzielt ( $\Delta EM \geq 50\%$ und $p \leq 0,0625$ ) und die globale Leistung steigert.
Optimale Regelmenge ( $K_{opt}$ ): Der Rahmen strebt eine optimale Anzahl von Regeln an. Die Autoren gehen davon aus, dass zwar initiale Regeln häufige Fehler beheben, das Hinzufügen zu vieler Regeln ( $K > K_{opt}$ ) jedoch zu kognitiver Überlastung und Regelkonflikten führt, was die Leistung verschlechtert.

Hauptbeiträge

Fehlergetriebener Optimierungsrahmen: Ein neuartiger Algorithmus (Algorithmus 1), der die Identifizierung von Fehlergrundursachen und die iterative Verfeinerung von Prompt-Regeln automatisiert und es SLMs ermöglicht, „aus Fehlern zu lernen", ohne Parameter zu aktualisieren.
Leistung, die größere Modelle übertrifft: Die Studie zeigt, dass ein 4-Milliarden-Parameter-SLM (Qwen3 4B), ausgestattet mit dieser fehlergetriebenen Prompt-Optimierung und dem CGA-Rahmen, in einer datenschutzkonformen, lokalen Umgebung eine höhere Genauigkeit erreicht als das deutlich größere GPT-3.5 Turbo.
Theoretische Einsicht in Regel-Sättigung: Die Arbeit formalisiert das Konzept einer optimalen Regelmenge ( $K_{opt}$ ) und argumentiert, dass die Optimierung von SLMs ein Gleichgewicht zwischen Informationsgehalt und kognitiver Last erfordert, das sich von einfachen Regelakkumulationsstrategien für größere Modelle unterscheidet.

Ergebnisse

Der Rahmen wurde am TAT-QA-Datensatz evaluiert, wobei speziell nach Fragen zur arithmetischen Berechnung gefiltert wurde.

Basisleistung: Das Basis-Qwen3-4B-Modell erreichte mit einem vereinfachten Prompt einen Exact-Match (EM)-Score von 59,96%.
Iterative Verbesserung: Durch drei akzeptierte Iterationen der Regelhinzufügung (Behandlung von „prozentualer Veränderung"-Skalen, „Änderung in Prozent" als Subtraktion und „Jahresdurchschnitt"-Berechnungen) verbesserte sich die Leistung des Modells schrittweise.
Endleistung: Der optimierte Qwen3-4B-Agent erreichte eine finale Exact-Match (EM)-Genauigkeit von 70,82%.
Vergleich: Dieses Ergebnis übertrifft die GPT-3.5-Turbo-Baseline (66,27%) unter denselben Bedingungen für Code-Generierungs-Agenten und Tabellenumstrukturierung. Die Arbeit stellt jedoch fest, dass das SLM, obwohl es das größere Modell in der gesamten EM erreichte, seine rohe numerische Wertgenauigkeit (ohne Berücksichtigung der Skala) leicht unterbot (77,06% vs. 78,92%), was darauf hindeutet, dass die Regelanpassung das Format effektiv steuert, die Lücke in der grundlegenden arithmetischen Robustheit jedoch möglicherweise nicht vollständig schließt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die wahrgenommenen arithmetischen Einschränkungen lokal eingesetzter SLMs nicht fundamental sind, sondern Artefakte der Inferenzstrategie darstellen. Durch die Kombination von Aufgabenzerlegung (Code-Generierung) mit systematischer, fehlergetriebener Prompt-Optimierung ist es möglich, zuverlässige, interpretierbare und industriell einsetzbare KI-Assistenten zu entwickeln, die vollständig lokal operieren.

Die Autoren betonen, dass dieser Ansatz eine viable Alternative zu kostspieligem Fine-Tuning oder zur Abhängigkeit von externen APIs für sensible Datenworkflows bietet. Die Studie kommt zu dem Schluss, dass die Entwicklung vertrauenswürdiger KI für tabellarische Schlussfolgerungen durch eine „Blaupause" systematischer Fehleranalyse und prägnanter Regelinduktion erreichbar ist, wodurch kleine Modelle in spezifischen, datenschutzbeschränkten Domänen größere Gegenstücke übertreffen können. Die Arbeit unterstreicht, dass die Optimierung von SLMs eine eigenständige Disziplin ist, die ein sorgfältiges Management der Regelkomplexität erfordert, um kognitive Überlastung zu vermeiden.