🤖 machine learning

CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks

Dieses Paper stellt CalibForge vor, ein autonomes System, das effektive Terminal-Trainingsaufgaben durch die Verwendung von adversarieller Solver-Kalibrierung synthetisiert, um eine „lernbare Zone“ zu identifizieren, in der Aufgaben lösbar, aber dennoch anspruchsvoll sind, was im Vergleich zu traditionellen Datenkuratierungsmethoden zu signifikanten Leistungssteigerungen über mehrere Agenten-Benchmarks hinweg führt.

Ursprüngliche Autoren: Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

Veröffentlicht 2026-08-07

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie man Dinge in einer digitalen Werkstatt repariert. Sie geben ihm einen Werkzeugkasten und eine Liste von Aufgaben, aber es gibt einen Haken: Wenn die Aufgabe zu einfach ist, wird der Roboter gelangweilt und lernt nichts; wenn sie zu schwer ist, gibt der Roboter sofort auf und lernt ebenfalls nichts. Der „Goldlöckchen“-Sweetspot für das Lernen ist eine Herausforderung, die der Roboter lösen kann, wenn er sich wirklich konzentriert, an der er aber scheitert, wenn er unaufmerksam oder verwirrt ist. Dies ist das Kernproblem beim Training von KI-Agenten: Wie erschafft man eine riesige Bibliothek von Aufgaben, die perfekt auf diese Lernzone abgestimmt sind?

Lange Zeit haben Forscher versucht, diese Aufgabenbibliotheken aufzubauen, indem sie lediglich sicherstellten, dass die Aufgaben ausführbar sind und eine klare richtige oder falsche Antwort haben. Aber nur weil eine Aufgabe lösbar ist, bedeutet das noch lange nicht, dass sie ein guter Lehrer ist. Eine Aufgabe könnte so simpel sein, dass jeder Roboter sie sofort löst, oder so fehlerhaft, dass kein Roboter sie jemals lösen kann. Die große Frage lautet: Wie finden wir die Aufgaben, die gerade schwer genug sind, um den Roboter intelligenter zu machen?

Hier kommt ein neues System namens CalibForge ins Spiel. Betrachten Sie CalibForge nicht als einen bloßen Aufgaben-Generator, sondern als einen schelmischen Spielleiter, der „adversarielle“ Spiele gegen den Roboter spielt. Anstatt nur zu prüfen, ob eine Aufgabe funktioniert, stellt CalibForge ein Team aus verschiedenen „Solver“-Robotern (einige sehr klug, andere etwas weniger intelligent) ein, um die Aufgabe zu testen. Wenn der kluge Roboter sie löst, der dumme aber scheitert, ist die Aufgabe perfekt – sie liegt in der Lernzone! Wenn alle sie lösen, ist die Aufgabe zu einfach, also macht CalibForge sie schwieriger. Wenn alle an ihr scheitern, ist die Aufgabe fehlerhaft, also repariert CalibForge sie. Durch das ständige Anpassen der Aufgaben basierend darauf, wie diese verschiedenen Roboter reagieren, baut CalibForge eine riesige Bibliothek aus 5.431 perfekt kalibrierten Herausforderungen auf. Wenn neue Roboter mit dieser Bibliothek trainiert werden, werden sie signifikant besser darin, reale Computerprobleme zu lösen, was beweist, dass die „Goldlöckchen“-Zone das Geheimrezept für das Lehren von KI ist.

Das Problem: Zu einfach, zu schwer oder genau richtig?

In der Welt der Künstlichen Intelligenz, speziell für „Terminal-Agenten“ (Roboter, die Befehle in ein Computer-Terminal tippen, um Code zu reparieren oder Server zu verwalten), haben Forscher riesige Bibliotheken von Übungsproblemen erstellt. Das Ziel ist es, diese Agenten darauf zu trainieren, komplexe, reale Engineering-Aufgaben zu bewältigen. Es gibt jedoch einen Fehler in der Art und Weise, wie diese Probleme normalerweise erstellt werden.

Die meisten Systeme prüfen lediglich zwei Dinge:

Kann es gemacht werden? (Ist die Computerumgebung korrekt aufgesetzt?)
Gibt es eine richtige Antwort? (Hat die Aufgabe einen klaren Pass/Fail-Test?)

Aber das ist so, als würde man einem Schüler einen Mathetest geben, bei dem jede Frage entweder „Was ist 2+2?“ (zu einfach) oder „Löse diese Gleichung, die noch gar nicht erfunden wurde“ (unmöglich) ist. Beides hilft dem Schüler nicht beim Lernen. Das Paper argumentt, dass wir Aufgaben benötigen, die solver-relativ lernbar sind. Das bedeutet, eine Aufgabe sollte von einem fähigen Agenten lösbar sein, aber nicht von einem schwächeren Agenten. Sie muss direkt an der Grenze der Fähigkeiten des Agenten liegen, um ihn dazu zu zwingen, sein Gehirn zu dehnen, um erfolgreich zu sein.

Die Lösung: Der adversarielle Spielleiter

Die Autoren entwickelten CalibForge, ein autonomes System, das wie ein unerbittlicher Spielleiter agiert. Es schreibt nicht nur Aufgaben; es kalibriert sie durch einen Prozess namens Adversarial Solver Calibration.

So funktioniert die Magie Schritt für Schritt:

Der Hinweis: CalibForge beginnt mit einer vagen Idee, wie zum Beispiel „repariere eine defekte Datenbank“ oder „stelle verlorene Daten wieder her“.
Der Entwurf: Ein „Author Agent“ (eine kluge KI) schreibt eine vollständige Aufgabe, einschließlich Anweisungen, einer virtuellen Computernumgebung und eines Tests, um zu sehen, ob die Arbeit erledigt ist.
Der Stresstest: Bevor die Aufgabe behalten wird, schickt CalibForge sie an ein Gremium von „Solver Agents“, um zu versuchen, sie zu lösen.
Die Kalibrierungsschleife: Dies ist das Geheimrezept. CalibForge nutzt zwei spezifische Strategien, um zu entscheiden, ob eine Aufgabe gut genug ist:
- Multi-Solver Calibration: Es sendet die Aufgabe an eine Gruppe verschiedener KI-Modelle. Wenn alle sie lösen, ist die Aufgabe zu einfach, also macht CalibForge sie schwieriger. Wenn niemand sie löst, ist die Aufgabe fehlerhaft, also repariert CalibForge sie. Eine Aufgabe wird nur behalten, wenn es eine Uneinigkeit gibt: mindestens ein Solver ist erfolgreich, während mindestens ein anderer scheitert. Dies beweist, dass die Aufgabe in der „Lernzone“ liegt.
- Contrastive Calibration: Es sendet die Aufgabe an einen „Strong Solver“ (eine sehr kluge KI) und einen „Weak Solver“ (eine weniger leistungsfähige KI). Die Aufgabe wird nur behalten, wenn der Strong Solver besteht und der Weak Solver scheitert. Dies stellt sicher, dass die Aufgabe schwer genug ist, um den Smarten herauszufordern, aber nicht so schwer, dass sie unmöglich ist.

Wenn eine Aufgabe diese strengen Kriterien nicht erfüllt, wirft CalibForge sie nicht einfach weg. Es schaut nach, warum die Solver gescheitert oder erfolgreich waren, und geht dann zurück, um die Anweisungen, die Umgebung oder die Tests neu zu schreiben. Es wiederholt diese Schleife bis zu 50 Mal, bis die Aufgabe perfekt kalibriert ist.

Die Ergebnisse: Eine Bibliothek perfekter Herausforderungen

Mit dieser Methode baute CalibForge einen Datensatz von 5.431 hochgradig kalibrierten Terminal-Aufgaben auf. Die Forscher trainierten daraufhin zwei verschiedene KI-Modelle (ein Modell mit 30 Milliarden Parametern und ein Modell mit 35 Milliarden Parametern).

Die Ergebnisse waren beeindruckend. Die Modelle, die mit den Aufgaben von CalibForge trainiert wurden, schnitten signifikant besser ab als Modelle, die mit anderen bestehenden Datensätzen trainiert wurden:

Auf Terminal-Bench 2.0 (einem Standardtest für Terminal-Agenten) erreichten die Modelle 32,58 % und 47,57 % und übertrafen damit die bisherigen Bestleistungen deutlich.
Die Verbesserungen beschränkten sich nicht nur auf die Trainingsdaten. Bei Tests auf völlig anderen, realen Software-Engineering-Herausforderungen (SWE-bench Pro und Doc2Repo) zeigten die Modelle massive Gewinne und verbesserten sich gegenüber ihren Basisversionen um jeweils 27,68 bzw. 30,04 Prozentpunkte.

Warum das wichtig ist

Das Paper legt nahe, dass der Schlüssel zum Bau besserer KI-Agenten nicht darin besteht, ihnen einfach mehr Daten zu geben, sondern ihnen die richtigen Arten von Daten. Indem CalibForge das Verhalten verschiedener Solver als Feedbackschleife nutzt, stellt es sicher, dass jede Aufgabe in der Bibliothek eine echte Lerngelegenheit darstellt.

Die Autoren zeigen explizit auf, dass es nicht ausreicht, einfach nur mehr Solver-Feedback hinzuzufügen oder einen einzelnen Solver zur Überprüfung der Aufgaben zu verwenden. Der „Goldlöckchen“-Effekt – bei dem eine Aufgabe für einige schwer, für andere aber einfach ist – ist das, was das Lernen vorantreibt. Dieser Ansatz verwandelt den Prozess der Aufgabenerstellung von einer statischen „Schreiben und Hoffen“-Methode in ein dynamisches, selbstkorrigierendes System, das aktiv nach dem perfekten Schwierigkeitsgrad sucht.

Kurz gesagt: CalibForge beweist, dass man, wenn man einen superintelligenten Roboter trainieren will, ihm nicht einfach einen Stapel Hausaufgaben geben sollte. Man sollte ihm einen Stapel Hausaufgaben geben, der perfekt darauf abgestimmt ist, dass er nachdenkt, kämpft und schließlich Erfolg hat.

Technisches Resümee: CalibForge: Adversarial Solver Calibration für die Skalierung lernbarer Terminal-Aufgaben

Problemstellung

Das Training von Terminal-Agenten erfordert ausführbare und verifizierbare Aufgaben, die nicht bloß lösbar, sondern im Hinblick auf das Lernen angemessen herausfordernd sind. Während bestehende Synthesesysteme bereits Fortschritte bei der Konstruktion von Terminal-Aufgaben erzielt haben, reicht die bloße Ausführbarkeit allein nicht aus, um zu bestimmen, ob eine Aufgabe trivial, effektiv unlösbar oder innerhalb einer „lernbaren Zone“ im Verhältnis zu einer spezifischen Solver-Einstellung angesiedelt ist. Aktuelle Methoden verlassen sich oft nur auf die Autorenschaft und Validierung oder auf Feedback eines einzelnen Solvers, was versagt, wenn es darum geht, die nuancierten Verhaltensbeweise zu erfassen, die für die Steuerung der Aufgabenkonstruktion hin zu effektiven Trainingsdaten erforderlich sind. Die zentrale Herausforderung besteht darin, wie das Solver-Verhalten (Erfolge, Misserfolge und Trajektorien) systematisch genutzt werden kann, um Kandidatenaufgaben zu revidieren, um sicherzustellen, dass sie weder zu einfach noch zu schwer für das Ziel-Lernregime sind.

Methodik: CalibForge

Die Autoren präsentieren CalibForge, ein autonomes System zur Synthese von Terminal-Aufgaben, das die Aufgabenkonstruktion als konsolidierte adversarielle Autor–Solver-Schleife behandelt. Das System nutzt verifiziertes Solver-Verhalten als Feedback zur Konstruktionszeit, um Kandidatenaufgaben durch adversarielle Solver-Kalibrierung zu revidieren.

1. Aufgaben-Autorenschaft und Validierung

Ausgehend von einem „Clue“ (Hinweis) führt ein Autorens-Agent (DeepSeek-V4-Pro) eine Web-Recherche durch, um konkrete technische Probleme (z. B. versionsspezifische Bugs, Abhängigkeitskonflikte) zu identifizieren. Er konstruiert eine Kandidatenaufgabe $\tau$ , die besteht aus:

Instruktion: Die Aufgabenbeschreibung.
Umgebung: Definiert durch ein Dockerfile und initiale Dateien.
Verifizierung: Tests zur Validierung der Lösung.

Vor dem Eintritt in die Kalibrierungsschleife durchlaufen Kandidaten eine zweistufige Validierung:

Strukturelle Validierung: Überprüft Build-Kontext-Dateien, die Initialisierung der Umgebung und stellt sicher, dass alle Tests im Ausgangszustand fehlschlagen.
Selbst-Lösung: Der Autorens-Agent versucht, die Aufgabe in einer isolierten Sandbox zu lösen, um sicherzustellen, dass die Lösung ausführbar ist und mit der Instruktion sowie den Tests konsistent ist.

2. Adversarielle Solver-Kalibrierung

Valide Kandidaten treten in eine mehrstufige Kalibrierungsschleife ein, die durch eine Spezifikation $\gamma$ gesteuert wird. In jeder Runde versuchen Solver die Aufgabe, und der Autorens-Agent nutzt die Ergebnisse und die vollständigen Interaktionstrajektorien, um die Aufgabe zu revidieren. Die Schleife terminiert, wenn ein Retentionskriterium $C_\gamma$ erfüllt ist oder nach einer maximalen Anzahl von Runden ( $R_{max}=50$ ). CalibForge verwendet zwei unterschiedliche Kalibrierungsstrategien:

Multi-Solver-Kalibrierung: Zielt auf Diskrepanzen innerhalb eines heterogenen Solver-Pools ab (z. B. DeepSeek-V4-Flash, GLM-5, Kimi K2.5).
- Kriterium: Behalte die Aufgabe bei, wenn mindestens ein Solver erfolgreich ist und mindestens einer fehlschlägt ( $0 < \sum y_i < K$ ).
- Ziel: Ein breiteres Spektrum an Lösungspfaden und Fehlermodi zu erfassen und die Abhängigkeit von den Fähigkeiten eines einzelnen Solvers zu reduzieren.
Kontrastive Solver-Kalibrierung: Zielt auf eine ausgewiesene Strong-Pass/Weak-Fail-Relation ab.
- Kriterium: Behalte die Aufgabe bei, wenn ein ausgewählter stärkerer Solver (DeepSeek-V4-Pro) erfolgreich ist und ein ausgewählter schwächerer Solver (DeepSeek-V4-Flash) scheitert ( $y_s=1 \land y_w=0$ ).
- Ziel: Eine solver-relative lernbare Zone zu operationalisieren, in der die Aufgabe nach den spezifizierten Einstellungen nachweislich lösbar, aber nicht trivial ist.

Falls das Kriterium nicht erfüllt ist, nutzt der Autorens-Agent Feedback-Zusammenfassungen (Pass/Fail, Schrittanzahl, Selbstbewertung, Fehlerdiagnose) und vollständige Trajektorien, um die Aufgabe zu revidieren (z. B. Entfernen prozeduraler Hinweise, Klärung ambivalenter Anforderungen oder Verallgemeinerung zu präskriptiver Verifizierer), bevor er erneut prüft.

Zentrale Beiträge

Verhaltensbasierte Kalibrierung auf Umgebungsebene: Das Paper formuliert ein Konstruktionsprinzip, bei dem die Lernbarkeit einer Aufgabe als solver-relativ behandelt wird. Es nutzt verifiziertes Solver-Verhalten nicht nur zur Evaluierung, sondern auch zur Bestimmung der Retention und zur Steuerung der mehrstufigen Revision.
CalibForge-System: Ein autonomes Synthesesystem, das das oben genannte Prinzip mittels einer konsolidierten adversariellen Schleife implementiert. Es führt Multi-Solver und Kontrastive Solver Kalibrierungsstrategien ein, um Diskrepanzen zwischen Solvern bzw. Strong-Pass/Weak-Fail-Relationen zu adressieren.
Kalibrierter Datensatz: Die Konstruktion von 5.431 kalibrierten Terminal-Aufgaben (1.263 via Multi-Solver, 4.168 via kontrastiver Kalibrierung). Diese Aufgaben decken 16 Domänenkategorien ab, mit einem Fokus auf Software Engineering, Systemadministration und wissenschaftliches Rechnen, was eine breitere Domänenabdeckung bietet als bisherige Datensätze.

Experimentelle Ergebnisse

Die Autoren haben zwei Qwen-Backbones (Qwen3-30B-A3B-Instruct und Qwen3.5-35B-A3B) auf Trajektorien feinjustiert, die aus dem CalibForge-Datensatz destilliert wurden, und diese gegen Baselines (Endless Terminals, SETA-Env, CLI-Gym, TermiGen, TerminalTraj) unter Verwendung eines identischen Destillations- und Trainingsprotokolls evaluiert.

Performance auf Benchmarks

Terminal-Bench 2.0:
- CalibForge-30B-A3B erreichte 32,58 % Genauigkeit (vs. 26,22 % für die beste Baseline, TerminalTraj).
- CalibForge-35B-A3B erreichte 47,57 % Genauigkeit (vs. 40,82 % für TerminalTraj).
- Die Verbesserungen gegenüber den Basismodellen betrugenen sich auf 24,71 bzw. 8,47 Prozentpunkte.
Out-of-Distribution (OOD) Transfer:
- SWE-bench Pro: CalibForge-35B-A3B erreichte 44,32 % (Resolved Rate), eine Verbesserung von 3,03 Punkten gegenüber seinem Basismodell und der höchste Wert unter den evaluierten Datenquellen.
- Doc2Repo: CalibForge-35B-A3B erreichte 48,77 % (Pass Rate), eine Verbesserung von 3,85 Punkten gegenüber seinem Basismodell.

Ablationsstudien

Solver-Feedback vs. Kalibrierung: „No Solver“ (nur Autorenschaft + Validierung) lieferte 22,47 % Genauigkeit. „Single Solver“-Feedback verbesserte dies auf 24,34 %. Jedoch erreichten die Multi-Solver und Kontrastive Solver Kalibrierung 29,21 % bzw. 31,09 %. Dies zeigt, dass die Gewinne durch die Kalibrierungsstrategie (Lokalisierung der Schwierigkeit relativ zu den Solver-Einstellungen) getrieben werden und nicht bloß durch das Hinzufügen von Solver-Feedback oder die Erhöhung des Trajektorienvolumens.
Effektivität der Revision: Bei der kontrastiven Kalibrierung erfüllten anfangs nur 19 % der Kandidaten die Ziel-Relation (Strong-Pass/Weak-Fail) nach der strukturellen Validierung. Durch feedbackgesteuerte Revision und erneutes Probing wurden letztlich 96 % der Kandidaten beibehalten, was zeigt, dass viele anfängliche Mismatch-Zustände korrigierbar und keine intrinsischen Defekte sind.

Bedeutung und Ansprüche

Das Paper behauptet, dass solver-relative Lernbarkeit ein praktisches und effektives Ziel für die Konstruktion von Agent-Trainingsdaten ist. Indem die Aufgabenkonstruktion als adversarielle Schleife behandelt wird, in der das Solver-Verhalten die Revision leitet, produziert CalibForge Aufgaben, die nachweislich lösbar, aber herausfordernd genug sind, um Lernen zu fördern.

Die Autoren betonen:

Ausführbare Validität ist unzureichend: Eine Aufgabe kann valide, aber trivial oder unlösbar für den Ziel-Agenten sein. Die Kalibrierung macht die „lernbare Zone“ beobachtbar und handlungsfähig.
Kalibrierung treibt Transfer voran: Die Verbesserungen bei OOD-Benchmarks (SWE-bench Pro, Doc2Repo) legen nahe, dass die durch die solver-kalibrierten Terminal-Aufgaben erlernten Fähigkeiten effektiv auf komplexe, langfristige Software-Engineering- und Repository-Generierungsaufgaben übertragbar sind.
Diversität ist multidimensional: Der CalibForge-Datensatz bietet Diversität nicht nur in der Domänenabdeckung, sondern auch in Capability-Tags, Umgebungskomplexität und Verifikationslogik, wodurch die engen Domänenkonzentrationen früherer Datensätze vermieden werden.

Die Ergebnisse stützen die Schlussfolgerung, dass eine adversarielle Solver-Kalibrierung eine effektivere und übertragbarere Supervision liefert als die reine Autorenschaft und Validierung oder das Feedback eines einzelnen Solvers, und somit einen skalierbaren Weg zur Konstruktion hochwertiger Trainingsdaten für Terminal-Agenten eröffnet.