🤖 machine learning

Explaining and Tuning Transformer-based LLMs in Arithmetic Tasks with Human Strategies

Diese Arbeit zeigt, dass Transformer-basierte große Sprachmodelle eine verbesserte arithmetische Leistung erzielen können, indem sie menschenähnliche Lernstrategien wie Aufgabenzerlegung und kognitive Befähigung anwenden, was auf gemeinsame kognitive Prozesse zwischen LLMs und menschlichen Lernenden hindeutet und gleichzeitig die Zuverlässigkeit des Modells durch erklärbare KI-Verifizierung erhöht.

Ursprüngliche Autoren: Luyu Qiu, Jianing Li, Hwanhee Kim, Xiaoyong Wei, Yueyuan Zheng, Janet Hsiao, Lei Chen

Veröffentlicht 2026-07-21

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Luyu Qiu, Jianing Li, Hwanhee Kim, Xiaoyong Wei, Yueyuan Zheng, Janet Hsiao, Lei Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der schlaue Roboter und das Matheproblem

Stellen Sie sich eine Welt vor, in der Computer gelernt haben, fast jedes Buch, jede Website und jedes jemals geschriebene Gespräch zu lesen. Das sind sogenannte Large Language Models (LLMs), und sie sind wie superintelligente Roboter, die Geschichten schreiben, Fragen beantworten und mit Ihnen chatten können. Sie basieren auf einer speziellen Architektur namens „Transformer“, die wie ein riesiger Scheinwerfer wirkt und dem Roboter hilft, gleichzeitig auf die wichtigsten Wörter in einem Satz zu achten. Man könnte meinen, dass ein Roboter, der so viel über Sprache weiß, auch gut in Mathe wäre. Aber hier kommt die Wendung: Während diese Roboter Zauberer mit Worten sind, stolpern sie oft über einfache Matheaufgaben, wie etwa das Addieren zweier Zahlen. Es ist wie bei einem Menschen, der ein wunderschönes Gedicht schreiben kann, aber nicht ausrechnen kann, wie viel Wechselgeld er im Geschäft zurückbekommen sollte. Das ist eine große Sache, denn wenn wir diesen Robotern wichtige Aufgaben anvertrauen wollen – etwa beim Helfen von Ärzten oder bei der Verwaltung von Geld –, müssen wir wissen, ob sie die Grundlagen korrekt beherrschen. Wissenschaftler versuchen herauszufinden, warum diese klugen Roboter bei einfacher Mathematik scheitern und, noch wichtiger, wie man sie lehrt, besser zu werden.

Die Geschichte des Papers: Roboter lehren, wie Menschen zu denken

In dieser Studie beschlossen die Forscher, das Matheproblem wie ein zu lösendes Rätsel zu behandeln. Sie haben dem Roboter nicht einfach nur mehr Daten zugeworfen und gehofft, dass es klappt. Stattdessen stellten sie eine faszinierende Frage: Lernen diese KI-Roboter Mathematik auf die gleiche Weise wie Menschen?

Um das herauszufinden, nahmen sie ein Standard-„Vanilla“-Transformer-Modell (eine Basiskonfiguration der KI) und brachten ihm die ganzzahlige Arithmetik bei – das Addieren, Multiplizieren und Dividieren ganzer Zahlen. Sie entdeckten, dass die KI nicht einfach nur rät; sie lernte tatsächlich, aber sie hatte Schwierigkeiten mit der Reihenfolge der Operationen und der Komplexität der Schritte.

Der „Lego“-Aufbau
Die Forscher erkannten, dass die KI, genau wie Menschen, große, beängstigende Matheprobleme in kleinere, leichtere Schritte zerlegen muss. Sie unterteilten die Aufgaben in winzige „Teilaufgaben“.

Für die Addition: Stellen Sie sich vor, Sie addieren zwei lange Zahlen. Sie schauen sich nicht einfach das Ganze an; Sie addieren die letzten Ziffern, dann die nächsten und übertragen dabei eventuelle „zusätzliche“ Zahlen (wie eine übertragene 1) zur nächsten Spalte. Die Forscher fanden heraus, dass die KI die einfachen Teile (das Addieren der letzten Ziffern) sehr schnell lernte, aber verwirrt war, wenn sie diese „übertragenen“ Zahlen merken und für die nächsten Schritte verwenden musste. Es ist wie das Lernen des Gehens, bevor man laufen kann.
Für die Multiplikation: Dies ist noch kniffliger. Wenn man große Zahlen multipliziert, muss man eine Reihe kleinerer Multiplikationen durchführen und diese dann alle zusammenaddieren. Das Paper stellte fest, dass die KI versuchte, alles auf einmal zu machen, und dadurch überfordert wurde. Als die Forscher der KI jedoch beibrachten, das Ergebnis in umgekehrter Reihenfolge zu schreiben (beginnend mit der letzten Ziffer und rückwärts arbeitend, so wie Menschen es oft auf dem Papier tun), verbesserte sich die Leistung der KI signifikant bei einfachen Aufgaben mit einstelligen Multiplikatoren. Aber hier ist der Haken: Bei komplexer Multiplikation mit mehreren Ziffern reichte das Umkehren der Ziffern allein nicht aus; die KI kämpfte immer noch, weil die Zwischenschritte für ein einlagiges Modell zu schwer waren.

Die „menschlichen“ Tricks
Der spannendste Teil des Papers ist, dass die Forscher Strategien testeten, die menschliche Lehrer nutzen, um Schülern zu helfen, und diese funktionierten auch bei der KI!

Chain of Thought (CoT): Anstatt die KI zu fragen: „Was ist 57257 mal 51422?“ und eine magische Antwort zu erwarten, baten sie sie, ihren Rechenweg Schritt für Schritt aufzuzeigen. Sie sagten der KI, sie solle die große Multiplikation zuerst in kleinere, leichtere Multiplikationen zerlegen. Das ist genau das, was ein menschlicher Lehrer einem Schüler sagt: „Gerate nicht in Panik; mach einfach einen Schritt nach dem anderen.“ Wenn die KI CoT in Kombination mit dem Umkehren der Ergebnisziffern verwendete, sprang ihre Genauigkeit signifikant an (sie erreichte etwa 79 %). Um nahezu perfekte Ergebnisse zu erzielen, fanden die Forscher heraus, dass sie CoT mit dem Umkehren der Ziffern und dem „Tieferlegen“ des Modells kombinieren mussten.
Umkehrung der Ausgabe: Wie bereits erwähnt, half das Rückwärts schreiben des Ergebnisses (beginnend mit der Einerstelle) der KI bei der Multiplikation, sich auf die richtigen Zahlen zu konzentrieren, aber dieser Trick hat Grenzen. Er funktionierte gut bei einfacheren Aufgaben, reichte aber für komplexe Multiplikationen mit mehreren Ziffern nicht aus. Interessanterweise wurde die Sache bei der Division sogar schlechter, wenn die Ziffern umgekehrt wurden. Das liegt daran, dass Divisionsrechnungen natürlicherweise von den höheren Stellen (den großen Zahlen auf der linken Seite) ausgehen, was der menschlichen Erfahrung entspricht. Der Versuch, die Reihenfolge bei der Division umzukehren, verwirrte das Modell.
Tiefere Modelle: Sie fanden auch heraus, dass es der KI half, „tiefer“ zu werden (mehr Denk-Schichten hinzuzufügen), um die komplexen Zwischenschritte der Division und die schwere Arbeit der Multiplikation zu bewältigen. Dies gab dem Modell die zusätzliche „Gehirnschmalz“, die nötig war, um Zwischenergebnisse im Blick zu behalten, ohne den Faden zu verlieren.

Was sie fanden (und was nicht)
Die Forscher sagten nicht nur „es funktioniert“, sondern sie blickten in das Gehirn des Roboters, um zu sehen, wie es funktionierte. Sie nutzten eine Technik namens „Visualisierung“, um zu beobachten, welche Teile des Aufmerksamkeitsmechanismus der KI aufleuchteten. Sie sahen, dass die KI spezifische „Attention Heads“ (kleine interne Arbeiter) besaß, die lernten, bestimmte Aufgaben zu erledigen, wie zum Beispiel „Base Multiply“ oder „Make Carry“.

Die gute Nachricht: Die KI kann diese Muster lernen. Wenn ihr die richtige Struktur gegeben wird (wie das Zerlegen von Aufgaben, die Nutzung von CoT, das Umkehren von Ziffern, wo angemessen, und die Anpassung der Modelltiefe), arbeitet sie fast perfekt.
Die schlechte Nachricht: Ohne diese menschenähnlichen Strategien hat die KI Schwierigkeiten. Zum Beispiel erreicht eine einfache KI bei einer Standard-5-stelligen Multiplikationsaufgabe vielleicht nur 13 % richtig. Mit den „menschlichen“ Tricks kombiniert erreicht sie jedoch 100 %.
Das „Warum“: Das Paper legt nahe, dass das Scheitern der KI nicht daran liegt, dass sie „dumm“ ist, sondern dass sie versucht, das Problem auf eine Weise zu lösen, die nicht zur Struktur der Mathematik passt. Es ist, als würde man versuchen, ein Auto zu fahren, indem man es von hinten schiebt, anstatt das Lenkrad zu benutzen. Außerdem hängt die „richtige“ Art zu fahren vom Fahrzeug ab: Bei der Multiplikation möchte man vielleicht rückwärts fahren, aber bei der Division muss man vorwärts fahren.

Das große Ganze
Dieses Paper deutet darauf hin, dass Transformer-basierte KI-Modelle einige Lernmuster mit menschlichen Schülern teilen könnten. Beide lernen zuerst einfache Dinge und kombinieren diese dann, um schwierigere Probleme zu lösen. Durch den Einsatz von Techniken der „Erklärbaren KI“ (XAI) konnten die Forscher genau sehen, wo die KI feststeckte, und dies korrigieren.

Die Studie kommt zu dem Schluss, dass aktuelle KI-Modelle zwar fantastisch in der Sprache sind, aber etwas Hilfe bei der Mathematik benötigen. Die gute Nachricht ist jedoch, dass wir keine neue Art von Roboter erfinden müssen; wir müssen sie nur lernen, wie wir zu denken. Indem wir Strategien wie das Zerlegen von Problemen, das Aufzeigen unseres Rechenwegs und das Ordnen unserer Gedanken (und das Wissen, wann man die Reihenfolge umkehrt und wann nicht) anwenden, können wir diese KI-Modelle viel zuverlässiger machen. Dies ist ein großer Schritt nach vorn, um KI sicher und vertrauenswürdig zu machen, insbesondere für die wichtigen Aufgaben, bei denen es darauf ankommt, die Mathematik richtig zu beherrschen. Das Paper behauptet nicht, alle mathematischen Probleme des Universums gelöst zu haben, aber es hat einen klaren Weg aufgezeigt: Wenn wir die KI wie einen Schüler behandeln, der einen guten Lehrer braucht, kann sie die Mathematik lernen, die wir von ihr verlangen.

Technisches Resümee: Erläuterung und Optimierung von Transformer-basierten LLMs bei arithmetischen Aufgaben mittels menschlicher Strategien

1. Problemstellung

Trotz der Erzielung von Spitzenleistungen in komplexen Aufgaben der natürlichen Sprachverarbeitung (NLP) weisen Transformer-basierte Large Language Models (LLMs) erhebliche Defizite bei elementaren arithmetischen Aufgaben auf, wie etwa der einfachen ganzzahligen Berechnung. Diese Diskrepanz wirft Bedenken hinsichtlich der Zuverlässigkeit und Sicherheit der Modelle auf. Im Gegensatz zu typischen NLP-Aufgaben, die vielfältige gültige Ausgaben erlauben, besitzen arithmetische Probleme eine einzige definitive Antwort, bei der jede Ziffer entscheidend ist. Darüber hinaus erfordern arithmetische Operationen oft eine Verarbeitung von der am wenigsten signifikanten Stelle aus (z. B. bei der Multiplikation) oder beinhalten komplexe Zwischenschritte (z. B. Überträge und Reste), die von der standardmäßigen Verarbeitung von links nach rechts in der natürlichen Sprache abweichen. Bestehende Methoden der erklärbaren KI (XAI) behandeln Transformer oft als Black Boxes oder konzentrieren sich auf spezifische Instanzen, wodurch sie die intrinsischen Korrelationen und internen Mechanismen versäumen, die für eine systematische arithmetische Berechnung erforderlich sind.

2. Methodik

Die Autoren schlagen ein umfassendes Problemanalyse-Framework vor, das in der Kognitionswissenschaft und Pädagogischen Psychologie verwurzelt ist, um die Leistung von Transformern bei der Ganzzahlarithmetik zu untersuchen, zu erklären und zu verbessern. Die Methodik besteht aus drei Kernkomponenten:

2.1 Umfassendes Problemanalyse-Framework

Das Framework zerlegt den Lernprozess in drei Stadien:

Subtask-Dekomposition (Unteraufgaben-Zerlegung): Arithmetische Aufgaben werden in wohldefinierte Unteraufgaben zerlegt (z. B. Basis-Addition, Übertrag erstellen, Übertrag verwenden), um zu identifizieren, welche spezifischen Komponenten für das Modell schwierig sind.
Lernkurvenanalyse: Die Autoren analysieren die Trainingsverlustkurven pro Ziffer, um die Lerngeschwindigkeit spezifischer Ausgabeziffern und Unteraufgaben zu beobachten und diese mit menschlichen Lernmustern zu vergleichen (z. B. schnelleres Lernen bei einfacheren Unteraufgaben).
Modell-Visualisierung: Aufmerksamkeitskarten (Attention Maps) werden visualisiert, um zu bestimmen, wie spezifische Attention Heads zu verschiedenen Unteraufgaben beitragen und ob die internen Mechanismen des Modells mit der spezialisierten menschlichen Funktionsweise übereinstimmen.

2.2 Transfer menschlicher Strategien und Kapazitäten

In Anlehnung an die Pädagogische Psychologie untersucht die Studie, ob für menschliche Lernende effektive Strategien auch die Leistung von LLMs verbessern:

Komputationale Strategien: Umformulierung arithmetischer Regeln, um sie an die Verarbeitung des Modells anzupassen, wie etwa das Umkehren der Reihenfolge der Antwortziffern (Verarbeitung von der am wenigsten signifikanten zur höchst signifikanten Stelle), um dies mit der Fähigkeit des Self-Attention-Mechanismus zur Handhabung von Abhängigkeiten in Einklang zu bringen.
Chain of Thought (CoT): Zerlegung komplexer Multi-Digit-Operationen in eine Sequenz einfacherer Zwischenschritte (z. B. Zerlegung einer $m \times m$ Multiplikation in $m \times u$ Schritte).
Kognitive Befähigung (Cognitive Empowerment): Erhöhung der Modelltiefe (Anzahl der Layer), um die Kapazität des Arbeitsgedächtnisses zu erweitern und komplexe Zwischenergebnisse verarbeiten zu können.

2.3 Experimenteller Aufbau

Die Studie verwendet einen Single-Layer Decoder-only Transformer (mit Multi-Head Self-Attention und Feed-Forward-Layern), der auf Ganzzahladdition, -multiplikation und -division trainiert wurde. Der Input besteht aus Operanden und Operatoren, und das Modell sagt die Antwortziffern autoregressiv voraus. Die Experimente umfassen Ablationsstudien zu Attention Heads, Variation der Anzahl der Ziffern (1 bis 15) und Tests verschiedener Datenformate (ordinal vs. umgekehrt, mit und ohne CoT).

3. Zentrale Erkenntnisse und Ergebnisse

3.1 Lernmuster und Subtask-Spezialisierung

Menschähnliches Lernen: LLMs zeigen Lernmuster, die denen von Menschen ähneln, indem sie schneller auf einfacheren Unteraufgaben konvergieren (z. B. Berechnung der am wenigsten signifikanten Ziffer ohne Übertrag) und langsamer bei komplexen Aufgaben, die kaskadierende Abhängigkeiten erfordern.
Spezialisierung der Attention Heads: Die Visualisierung zeigt, dass distinkte Attention Heads auf spezifische Unteraufgaben spezialisiert sind. Beispielsweise kann ein Head bei der Addition die "Basis-Addition" übernehmen, während ein anderer für "Übertrag verwenden" zuständig ist.
Sättigung der Head-Anzahl: Die Leistung verbessert sich signifikant mit zunehmender Anzahl der Attention Heads und sättigt bei drei Heads. Mit weniger als drei Heads werden mehrere Aufgaben in einen einzigen Head gezwungen, was zu Verwirrung und geringerer Genauigkeit führt. Mit drei oder mehr Heads ist die Aufgabenverteilung klar definiert.

3.2 Einfluss von Datenformat und Strategien

Umgekehrte Ziffern: Das Umkehren der Ausgabereihenfolge (Verarbeitung von der am wenigsten signifikanten Ziffer) verbessert die Leistung bei Multiplikationsaufgaben erheblich, da das Modell zuvor generierte Ziffern für aktuelle Berechnungen nutzen kann. Diese Strategie ist jedoch bei Divisionen weniger effektiv oder sogar kontraproduktiv, da diese natürlich von der höchst signifikanten Stelle aus erfolgt.
Chain of Thought (Coft): CoT-Prompting zerlegt komplexe $m \times m$ Multiplikationen und $m \div m$ Divisionen effektiv in einfachere Schritte, was die Vorhersage schwierigkeit drastisch reduziert und die Genauigkeit erhöht.
Modelltiefe: Eine Erhöhung der Anzahl der Layer verbessert die Kapazität des Modells, Zwischenreste und komplexe Abhängigkeiten zu handhaben, insbesondere bei Divisionsaufgaben, bei denen Single-Layer-Modelle Schwierigkeiten haben.

3.3 Quantitative Verbesserungen

Multiplikation: Standardmäßige Transformer haben Schwierigkeiten mit Multi-Digit-Multiplikation (z. B. Abfall auf ~13 % Genauigkeit bei 4-stelliger Multiplikation). Durch die Kombination von umgekehrten Ziffernformaten, erhöhter Tiefe und CoT erreicht die Genauigkeit nahezu 100 %.
Division: Ähnliche Verbesserungen werden beobachtet, wobei CoT und erhöhte Tiefe die Akkumulation von Fehlern bei der Berechnung von Resten adressieren.
Ablationsstudien: Das Entfernen spezifischer Attention Heads (z. B. Head 2 bei der Multiplikation) verursacht signifikante Verluststeigerungen, was die kritische Rolle spezifischer Heads bei bestimmten Unteraufgaben (z. B. Basis-Multiplikation) bestätigt.

4. Zentrale Beiträge

Problemanalyse-Framework: Die Arbeit schlägt ein neuartiges Framework vor, das Subtask-Dekomposition, Lernkurvenanalyse und Visualisierung kombiniert, um zu erklären, wie Transformer-basierte LLMs Arithmetik handhaben, und damit über die Black-Box-Evaluierung hinausgeht.
Leistungssteigerung durch menschliche Strategien: Die Autoren zeigen, dass die Anwendung menschlicher kognitiver Strategien (umgekehrte Verarbeitung, CoT) und Kapazitätserweiterungen (Erhöhung der Tiefe) die arithmetische Genauigkeit signifikant verbessert, was auf einen gemeinsamen kognitiven Prozess zwischen LLMs und menschlichen Lernenden hindeutet.
Interpretierbarkeit und mechanistischer Einblick: Die Arbeit liefert eine detaillierte, visuelle Erklärung der internen Mechanismen von Transformern in der Arithmetik, identifiziert spezifische Attention Heads, die für distinkte Unteraufgaben verantwortlich sind, und validiert diese Ergebnisse durch Ablationsstudien.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass Transformer-basierte LLMs kognitive Prozesse mit menschlichen Lernenden in der Arithmetik teilen, insbesondere in der Art und Weise, wie sie Aufgaben dekomponieren und Unteraufgaben sequenziell lernen. Durch die Nutzung von XAI-Verifizierungen argumentieren die Autoren, dass das Verständnis dieser internen Mechanismen entscheidend für die Verbesserung der Modellzuverlässigkeit ist.

Die Bedeutung dieser Arbeit liegt in ihrem Potenzial, das Vertrauen in LLMs für kritische und hochsensible Anwendungen zu fördern. Indem sie zeigt, dass die Leistungsunterschiede in der Arithmetik keine inhärenten Einschränkungen der Architektur sind, sondern Fragen des Datenformats, der Aufgabenzerlegung und der Kapazität, bietet das Paper einen Weg auf, Modelle für höhere Zuverlässigkeit zu optimieren. Die Ergebnisse tragen zum breiteren Feld des Modellverständnisses und der Interpretierbarkeit bei und legen eine Basis für die Analyse komplexerer Aufgaben und Architekturen. Die Autoren positionieren ihre Arbeit bescheiden als eine Untersuchung der Ähnlichkeiten zwischen LLMs und menschlichen Lernenden, gestützt durch empirische Evidenz, statt als einen definitiven Beweis für menschenähnliches Bewusstsein.