💬 NLP

T1: Tool-integrated Verification for Test-time Compute Scaling in Small Language Models

Dieses Paper stellt Tool-integrated Verification (T1) vor, ein Framework, das die Skalierung der Test-Time-Compute für kleine Sprachmodelle verbessert, indem es auswendiglernungsintensive Verifizierungsaufgaben an externe Tools auslagert und es einem 1B-Modell ermöglicht, ein signifikant größeres 8B-Modell beim MATH-Benchmark zu übertreffen.

Ursprüngliche Autoren: Minki Kang, Jongwon Jeong, Jaewoong Cho

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Minki Kang, Jongwon Jeong, Jaewoong Cho

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „kleine Gehirn“ vs. die „große Matheprüfung“

Stellen Sie sich vor, Sie haben einen sehr klugen, aber kleinen Schüler (ein Small Language Model, oder sLM). Dieser Schüler ist gut darin, Geschichten zu schreiben und allgemeine Ideen zu verstehen, aber er hat Schwierigkeiten mit schweren Aufgaben, wie komplexer Mathematik oder dem Erinnern an obskure Fakten.

Kürzlich entdeckten Forscher einen Trick namens Test-Time Compute Scaling. Anstatt den Schüler größer zu machen (was teuer und langsam ist), lassen Sie ihn eine Prüfung mehrfach ablegen, viele verschiedene Antworten generieren und dann die beste auswählen.

Der Haken: Um die beste Antwort auszuwählen, benötigen Sie einen Richter.

Der alte Weg: Sie engagieren einen riesigen, superklugen Professor (ein Large Language Model), um die Arbeit des kleinen Schülers zu bewerten. Das funktioniert gut, macht aber eigentlich den Zweck zunicht, einen kleinen, günstigen Schüler einzusetzen.
Das neue Problem: Was passiert, wenn der kleine Schüler versucht, seine eigene Arbeit zu bewerten? Die Arbeit zeigt, dass das „Gehirn“ des kleinen Schülers überlastet wird, wenn die Mathematik schwieriger wird (wie beim Addieren von dreistelligen Zahlen). Er kann sich nicht alle Rechenfakten merken, also macht er Fehler bei der Bewertung, genau wie er es bereits bei der Lösung der Aufgabe getan hat.

Die Lösung: T1 (Das „Taschenrechner- + Lehrer-Team“)

Die Autoren schlagen ein neues System namens T1 (Tool-Integrated Verification) vor. Betrachten Sie dies als die Gabe eines Taschenrechners und eines Faktencheckers für den kleinen Schüler, bevor er versucht, seine eigene Arbeit zu bewerten.

So funktioniert T1 in zwei einfachen Schritten:

Schritt 1: Der „Taschenrechner-Filter“ (Werkzeugbasierter Verifizierer)

Bevor der kleine Schüler sich die Antworten überhaupt ansieht, nutzt er ein externes Werkzeug (wie einen Code-Interpreter oder eine Suchmaschine), um die schwierigen Teile zu prüfen.

Die Analogie: Stellen Sie sich vor, der Schüler prüft eine Mathearbeit. Anstatt zu versuchen, $237 + 321$ im Kopf zu rechnen (wo er Fehler machen könnte), ist er gezwungen, ein winziges Stück Code zu schreiben, damit ein Computer die Rechnung übernimmt.
Das Ergebnis: Der Computer sagt sofort: „Diese Antwort ist falsch, weil die Mathematik fehlerhaft ist“, und wirft diese Antwort in den Müll. Der kleine Schüler muss sein Gehirn nicht anstrengen, um sich die Zahlen zu merken; das Werkzeug erledigt das für ihn.

Schritt 2: Die „Lehrer-Rezension“ (Belohnungsmodell)

Nun muss der kleine Schüler nur noch die Antworten bewerten, die den Taschenrechner-Filter bestanden haben. Er nutzt sein eigenes „Lehrergehirn“ (ein Reward Model), um zu prüfen, ob die Logik Sinn ergibt, ob der Textfluss stimmt und ob die Argumentation fundiert ist.

Die Analogie: Da der Taschenrechner bereits die Antworten mit schlechter Mathematik aussortiert hat, kann sich der Schüler voll und ganz auf die Logik konzentenrieren. „Okay, die Mathematik ist richtig, aber wurde die spezifische Frage, die gestellt wurde, auch beantwortet?“

Warum das funktioniert (Die „Gedächtnis“-Magie)

Die Arbeit beweist eine faszinierende Theorie: Kleine Modelle scheitern an der Verifizierung, weil sie zu viele Fakten auswendig lernen müssen.

Ohne Werkzeuge: Um eine Matheaufgabe zu verifizieren, muss das kleine Modell die Antwort auf $237 + 321$ innerhalb seines eigenen Kopfes „erinnern“. Wenn die Probleme schwieriger werden, geht sein Gedächtnis zur Neige.
Mit Werkzeugen: Das Modell muss die Antwort nicht auswendig wissen. Es muss nur wissen, wie man den Taschenrechner fragt. Dies befreit sein Gehirn, um sich auf die schwierigere Aufgabe der logischen Argumentation zu konzentrieren.

Die Ergebnisse: Klein schlägt Groß

Die Forscher testeten dies auf schwierigen Mathematik-Benchmarks (wie MATH und GSM8K).

Das schockierende Ergebnis: Ein winziges 1-Milliarde-Parameter-Modell (der kleine Schüler), das T1 verwendet, schnitt besser ab als ein viel größeres 8-Milliarde-Parameter-Modell (der große Schüler), das keine Werkzeuge verwendet.
Die Erkenntnis: Indem es die „langweilige Speicherarbeit“ an Werkzeuge auslagert, wird das kleine Modell zu einem viel besseren Richter. Es kann nun seine eigene Arbeit so gut verifizieren, dass es Modelle schlägt, die achtmal größer sind.

Zusammenfassung

Betrachten Sie T1 als die Gabe eines spezialisierten Werkzeugsatzes an einen kleinen, effizienten Arbeiter. Anstatt zu versuchen, ein „Supermensch“ zu sein, der alles weiß und alles macht, nutzt der Arbeiter einen Taschenrechner, um die schwere Arbeit (Mathematik/Fakten) zu bewältigen, und nutzt dann seinen eigenen Verstand, um das Urteil (Logik) zu fällen. Dies ermöglicht es kleinen, günstigen Modellen, ein Niveau zu erreichen, das ohne massive, teure Computer bisher als unmöglich galt.

Technisches Resümee: Tool-integrierte Verifizierung für das Test-Time-Compute-Scaling in Small Language Models (sLMs)

Problemstellung

Jüngste Fortschritte beim Test-Time-Compute-Scaling haben gezeigt, dass die Zuweisung zusätzlicher Rechenleistung während der Inferenz die Argumentationsfähigkeiten von Small Language Models (sLMs) signifikant verbessern kann. Bestehende Ansätze zum Scaling verlassen sich jedoch stark auf große Sprachmodelle (LLMs), die als Verifizierer fungieren (z. B. Process Reward Models oder Critic-Modelle), um die beste Lösung aus mehreren Kandidaten auszuwählen. Diese Abhängigkeit von großen Verifizierern untergräbt die Effizienz- und Kostenvorteile der Verwendung von sLMs.

Ein kritischer Engpass, der in dieser Arbeit identifiziert wurde, ist die Unfähigkeit von sLMs, ihre eigenen generierten Ausgaben zuverlässig zu verifizieren, insbesondere bei Aufgaben, die das Auswendiglernen von arithmetischen Fakten oder Faktenwissen erfordern. Während größere Modelle Lösungen allein durch Chain-of-Thought-Argumentation verifizieren können, haben sLMs selbst bei steigender Komplexität Schwierigkeiten mit einfachen Berechnungen. Die Autoren hypothetisieren, dass dieses Versagen auf die begrenzte Kapazität der sLMs zurückzuführen ist, die enorme Anzahl an Berechnungsfakten zu memorieren, und nicht auf eine mangelnde logische Argumentationsfähigkeit.

Methodik: Tool-Integrierte Verifizierung (T1)

Um den Memorierungs-Engpass zu adressieren, schlagen die Autoren die Tool-Integrierte Verifizierung (T1) vor, ein zweistufiges Framework, das darauf ausgeftet ist, memorierungslastige Schritte an externe Tools auszulagern, während das sLM für die abschließende Verifizierung beibehalten wird.

Das zweistufige Framework

Tool-basierte Filterstufe (ToolV):
- Das sLM generiert ausführbaren Code (z. B. Python) oder Retrieval-Abfragen basierend auf der Kandidatenlösung.
- Ein externes Tool (wie ein Code-Interpreter oder ein Knowledge-Retriever) führt den Code aus oder ruft Fakten ab, um die numerische Genauigkeit und die faktische Konsistenz zu verifizieren.
- Diese Stufe fungiert als binärer Filter ( $f(x, y; T, \theta) \in \{0, 1\}$ ), der Lösungen mit Berechnungsfehlern oder falschen Fakten verwirft.
Reward-Model-basierte Scoring-Stufe:
- Die verbleibenden gefilterten Lösungen werden von einem Reward-Modell (entweder einem Process Reward Model [PRM] oder einem Generative Reward Model [GenRM]) bewertet.
- Die endgültige Ausgabe wird als der Kandidat mit dem höchsten Score des Reward-Modells ausgewählt.

Wissensdestillation (Knowledge Distillation)

Um die Leistung beider Stufen zu verbessern, setzen die Autoren Wissensdestillation von einem größeren Teacher-Modell (z. B. GPT-4o-mini) ein.

ToolV-Destillation: Das sLM wird darauf feinjustiert, Tool-Calling-Abfragen (Code) zu generieren und Verifizierungsergebnisse basierend auf den Outputs des Teachers zu extrahieren.
RM-Destillation: Das sLM wird darauf feinjustiert, Verifizierungs-Rationales und Scores zu generieren, indem es die Evaluation des Teachers imitiert.
Multi-LoRA: Separate Low-Rank Adaptation (LoRA) Adapter werden für die tool-basierten und die reward-basierten Aufgaben verwendet, um die unterschiedlichen Zielsetzungen während des Fine-Tunings effizient zu verwalten.

Theoretische Analyse

Das Paper liefert theoretische Garantien, die den T1-Ansatz stützen:

Reduktion der Memorierung: Mittels informationstheoretischer Analyse beweisen die Autoren, dass ein optimaler Verifizierer ohne Tools eine Datensatzgröße von proportional $O(M^3)$ memorieren muss (wobei $M$ der Zahlenbereich ist), um einen nahezu Null-Fehler-Zustand zu erreichen. Durch die Nutzung eines externen Tools zur Durchführung der Berechnung sinkt die benötigte gegenseitige Information (Mutual Information), die in den Modellparametern gespeichert werden muss, auf Null, da das Tool die Verifizierungslogik übernimmt.
Scaling-Performance: Die Autoren modellieren den Verifizierer als imperfect Filter mit Rauschen. Sie zeigen auf, dass die Verwendung eines tool-basierten Filters die Wahrscheinlichkeit erhöht, das Ground-Truth-Label in einem Best-of-N-Selektionsprozess korrekt zu identifizieren. Theoretisch verbessert dies die Monotonie der Test-Time-Scaling-Performance und stellt sicher, dass eine Erhöhung der Anzahl der generierten Lösungen ( $N$ ) bessere Ergebnisse liefert, wenn ein zuverlässiger Filter vorhanden ist.

Experimentelle Ergebnisse

Experimente wurden auf mathematischen Argumentations-Benchmarks (MATH500, GSM8K) und wissensintensiven Aufgaben (MMLU-Pro Subset) durchgeführt.

Leistungssteigerungen: T1 ermöglicht es sLMs, signifikant größere Modelle zu übertreffen. Konkret übertrifft ein Llama-3.2 1B Modell, das T1 unter Test-Time-Scaling nutzt, das Llama-3.1 8B Modell im MATH500-Benchmark.
Integration mit Verifizierern: T1 verbessert die Genauigkeit sowohl von PRMs als auch von GenRMs. In Kombination mit einem destillierten PRM ermöglicht T1 einem 1B-Modell, die Leistung eines 8B-Modells zu erreichen oder zu übertreffen, und zwar mit weniger generierten Lösungen.
Filtereffektivität: Die Analyse zeigt, dass ToolV effektiv Lösungen herausfiltert, die durch Berechnungsfehler verursacht wurden, welche generative Verifizierer allein oft übersehen.
Recheneffizienz: Selbst wenn man den Token-Overhead für die Generierung von Code berücksichtigt (eine Steigerung des Rechenbudgets um etwa das 1,14-fache), bietet T1 eine überlegene Performance im Vergleich dazu, lediglich die Größe des Verifizierers zu skalieren oder größere Modelle ohne Tools zu verwenden.
Dateneffizienz: Der tool-basierte Verifizierer behält eine wettbewerbsfähige Leistung bei, selbst wenn er mit nur 10 % der Trainingsdaten destilliert wurde, was seine Effizienz unterstreicht.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Integration von Tools nicht nur vorteilhaft, sondern notwendig ist, um eine erfolgreiche Verifizierung in sLMs unter Test-Time-Scaling zu ermöglichen. Die Kernbeiträge sind:

Identifikation des Engpasses: Die systematische Identifizierung von memorierungslastigen Schritten als primären Fehlerpunkt für die sLM-Verifizierung.
Framework-Vorschlag: Einführung von T1, einem nahtlosen zweistufigen Framework, das externe Tools mit sLMs sowohl für generative Verifizierer als auch für PRMs integriert.
Theoretische Rechtfertigung: Beweis, dass die Auslagerung an Tools die Memorierungslast reduziert und die Scaling-Performance theoretisch verbessert garantiert.
Empirische Validierung: Demonstration, dass kleine Modelle (z. B. 1B Parameter) durch die Nutzung von Tools Argumentationsfähigkeiten erreichen können, die mit viel größeren Modellen (z. B. 8B+) vergleichbar sind, wodurch die Effizienz des Einsatzes von sLMs gewahrt bleibt.

Die Autoren kommen zu dem Schluss, dass T1 einen praktischen Weg bietet, um die Performance von sLMs in komplexen Argumentationsaufgaben zu steigern, ohne die prohibitiven Kosten einer Skalierung der Modellparameter in Kauf nehmen zu müssen, vorausgesetzt, die Verifizierungslast wird auf externe Tools verlagert.