💬 NLP

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

Dieses Paper führt die funktionsbewusste Fill-in-the-Middle (FIM) Mid-Training-Methode ein, einen selbstüberwachten Ansatz, der die strukturelle Ähnlichkeit zwischen Coding-Agent-Schleifen und Funktionsaufrufen nutzt, um die Leistung von Coding-Agenten auf Benchmarks wie SWE-Bench signifikant zu steigern und gleichzeitig die allgemeinen Coding- und Tool-Use-Fähigkeiten bewahrt, die durch Standard-Post-Training oft beeinträchtigt werden.

Ursprüngliche Autoren: Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

Veröffentlicht 2026-07-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, Fehler in einer riesigen, unordentlichen Bibliothek aus Code zu beheben. Normalerweise bringen wir diese Roboter bei, indem wir sie Bücher von Anfang bis Ende lesen lassen, von links nach rechts. Aber es gibt ein Problem: Wenn ein Roboter tatsächlich einen Fehler behebt, liest er nicht einfach nur vorwärts. Er macht einen Schritt, schaut sich an, was passiert ist (vielleicht hat ein Werkzeug eine Fehlermeldung ausgegeben), und entscheidet dann, was als Nächstes zu tun ist. Es ist eine Schleife: Aktion → Beobachtung → Nächster Schritt.

Die Autoren dieser Arbeit haben etwas Cooles bemerkt: Diese Roboterschleife sieht exakt wie ein Funktionsaufruf in normalem Computercode aus.

Die Aktion des Roboters ist wie ein Funktionsaufruf einer anderen Funktion.
Die Beobachtung des Roboters ist wie der Rückgabewert, den diese Funktion liefert.
Der nächste Schritt des Roboters ist wie der Rest des Codes, der diesen Wert verwendet.

Die große Idee? Anstatt den Code einfach nur vorwärts zu lesen, brachten die Autoren ihrem Robotermodell ein „Lückentext-Spiel“ mit diesen Funktionsaufrufen bei. Sie nennen dies Function-Aware Fill-in-the-Middle (FIM) Mid-Training.

Das Spiel: „Rate das fehlende Teil“

Stellen Sie sich eine Geschichte vor, in der eine Figur (der „Aufrufer“) einen Freund (den „Aufgerufenen“) bittet, eine Aufgabe zu erledigen, aber die eigentliche Arbeit des Freundes ist verborgen. Der Roboter muss erraten, was der Freund getan hat, und erklären, warum er es getan hat, basierend auf dem Kontext davor und danach.

Um dieses Spiel effektiv zu machen, haben die Autoren nicht einfach zufällige Wörter versteckt. Sie nutzten eine spezielle Karte des Codes (einen „Program Dependency Graph“), um die perfekten Rätsel zu finden. Sie suchten nach Funktionen, die:

Komplex genug waren, um eine gute Herausforderung zu sein (nicht zu einfach, nicht unmöglich).
Vorhersehbar genug waren, damit der Roboter sie tatsächlich aus den umgebenden Hinweisen ableiten konnte.

Sie brachten dem Roboter auch bei, eine „Begründungsnotiz“ (einen Chain-of-Thought) zu schreiben, bevor er den fehlenden Code schreibt, was ihn dazu zwingt, nachzudenken, bevor er handelt – genau wie ein menschlicher Programmierer.

Die Ergebnisse: Funktioniert es?

Die Autoren testeten dies an drei verschiedenen Robotern (Modellen): zwei aus der Qwen2.5-Coder-Familie (7 Milliarden und 14 Milliarden Parameter) und eines aus der neueren Qwen3-Familie (8 Milliarden Parameter). Sie trainierten diese Roboter auf einem massiven Datensatz von 2,6 Milliarden Token (Wörtern und Symbolen), der aus 968 realen Python-Code-Repositories stammt.

Hier ist, was sie herausfanden:

Besser im Beheben von Fehlern: Bei einem Test auf einem berühmten Benchmark namens SWE-Bench-Verified (der reale Softwareprobleme simuliert), verbesserten sich die Roboter signifikant.
- Das 7B-Modell verbesserte sich um +2,8 %.
- Das 14B-Modell verbesserte sich um +3,0 %.
- Das 8B-Modell verbesserte sich um +3,2 %.
Noch besser bei leichteren Aufgaben: Auf einer leichteren Version des Tests (SWE-Bench-Lite) waren die Gewinne sogar noch höher, wobei das 8B-Modell um +5,4 % sprang.
Es funktioniert überall: Diese Verbesserungen traten auch auf, wenn die Roboter danach mit verschiedenen Methoden weiter trainiert wurden. Dies deutet darauf an, dass das „Fill-in-the-Middle“-Training ihnen ein solides Fundament gab, das Bestand hatte, egal wie sie später noch verfeinert wurden.

Die Überraschung: Es hat andere Fähigkeiten nicht zerstört

Normalerweise trainiert man einen Roboter zu einem Super-Spezialisten (wie einem Bug-Fixing-Agenten), und er vergisst dabei andere Dinge, wie das Schreiben von einfachem Code oder die Nutzung von Werkzeugen. Die Autoren befürchteten, dass dies passieren würde.

Aber das „Mid-Training“ hat die anderen Fähigkeiten der Roboter sogar gerettet!

Ohne dieses zusätzliche Training wurden die Roboter schlechter im eigenständigen Code schreiben (sie fielen in Benchmarks wie LiveCodeBench ab).
Mit dem FIM-Training blieben sie nicht nur gleich, sondern wurden sogar besser (+11,1 % auf LiveCodeBench).
Obwohl die Trainingsdaten nur aus Python-Code bestanden, wurden die Roboter auch besser darin, Werkzeuge in völlig anderen Kontexten zu nutzen (wie τ-bench und BFCL), was darauf hindeutet, dass sie eine allgemeine Fähigkeit zum „Nachdenken über Ursache und Wirkung“ gelernt haben, die auf andere Aufgaben übertragbar ist.

Was sie explizit ausgeschlossen haben

Die Autoren waren vorsichtig zu betonen, was diese Methode nicht ist:

Es geht nicht nur darum, einen klugen Lehrer zu kopieren: Sie testeten, ob der Roboter lediglich die Antworten eines leistungsfähigen KI-Modells (Gemini-3-Flash) auswendig lernte, das bei der Generierung der Trainingsdaten half. Sie fanden heraus, dass sich der Roboter selbst dann verbesserte, wenn er seine eigenen Begründungsnotizen generierte. Der Zauber liegt also nicht im bloßen „Kopieren des Lehrers“, sondern in der Struktur des Spiels selbst.
Es ist kein Allheilmittel für alles: Die Methode funktioniert am besten, wenn der Code modular ist (in saubere Funktionen unterteilt). Wenn der Code ein riesiges, unordentliches Skript ist, in dem alles vermischt ist, funktioniert die Methode nicht so gut, weil sie keine klaren „Funktionsaufruf“-Rätsel finden kann.
Es ist noch nicht für alle Sprachen bewiesen: Die Trainingsdaten waren nur Python. Obwohl die Roboter in anderen Bereichen besser wurden, geben die Autoren zu, dass sie noch nicht bewiesen haben, dass dies auch für Java, C++ oder Rust gilt.

Wie sicher sind sie sich?

Die Autoren sind sehr zuversichtlich in ihre Zahlen, da sie die Tests dreimal mit unterschiedlichen Random Seeds durchgeführt haben, um sicherzustellen, dass die Ergebnisse nicht nur Glück waren. Sie haben die Verbesserungen präzise gemessen (z. B. +2,8 %, +3,0 %) und gezeigt, dass die Roboter konsistent mehr Probleme lösten und weniger Fehler machten, wenn sie feststeckten.

Sie legen nahe, dass dieses „Mid-Training“ ein entscheidendes fehlendes Bindeglied ist. Es ist, als würde man dem Roboter vor dem Einsatz in der echten Welt ein spezifisches Krafttraining geben, um sicherzustellen, dass er die richtigen „Muskeln“ hat, um die komplexe Schleife aus „Handeln, Beobachten und Fortfahren“ zu bewältigen, ohne dabei seine anderen Fähigkeiten zu verlieren.

Technisches Resümee: Funktionsbewusstes Fill-in-the-Middle als Mid-Training für Coding-Agent-Foundation-Modelle

Problemstellung

Coding-Agenten, die darauf ausgelegt sind, reale Software-Engineering-Probleme zu lösen, verlassen sich auf eine spezifische Konditionierungsstruktur: die Aufrechterhaltung einer Historie ( $h_t$ ), das Sampling einer Aktion ( $a_t$ ), den Erhalt einer externen Beobachtung ( $o_{t+1}$ ) und die Fortsetzung des Reasonings basierend auf dem vollständigen Trace. Während das Standard-Code-Pretraining (Links-nach-Rechts Next-Token-Prediction) Modelle zwar mit Code vertraut macht, optimiert es selten für diesen spezifischen „Aktion $\to$ Beobachtung $\to$ Fortsetzung“-Zyklus. Folglich entsteht eine Lücke zwischen dem Pretraining des Basismodells und den Anforderungen agentischer Post-Training-Pipelines (z. B. SWE-Gym, R2E-Gym).

Darüber hinaus ist das im Standard-Code-Pretraining verwendete Fill-in-the-Middle (FIM)-Ziel mit dem Agenten-Reasoning aus drei Gründen nicht kompatibel:

Willkürliche Grenzen: Random-Span-Maskierung schneidet oft mitten durch Ausdrücke und versäumt es so, funktionale Abhängigkeiten zu erfassen.
Mangel an Reasoning: Standard-FIM erfordert eine direkte Generierung ohne zwischengeschaltete Reasoning-Schritte (Chain-of-Thought), im Gegensatz zum „Denken-dann-Handeln“-Muster von Agenten.
Amortisiertes Signal: Wenn FIM in massives Pretraining aufgelöst wird, wird der strukturelle Prior über Billionen von nicht verwandten Tokens verdünnt, bevor das agentische Post-Training beginnt.

Methodik

Die Autoren schlagen Function-Aware FIM Mid-Training vor, eine dedizierte selbstüberwachte Phase, die zwischen Pretraining und agentischem Post-Training eingefügt wird. Dieser Ansatz nutzt die strukturelle Isomorphie zwischen einem Schritt eines Coding-Agenten und einer Funktionsaufrufstelle in gewöhnlichem Code:

Kontext/Historie: Der Code vor dem Aufruf, der die Intention etabliert.
Aktion/Aufruf: Der Funktionsaufruf selbst.
Beobachtung/Rückgabe: Der vom Callee berechnete Wert (außerhalb des unmittelbaren Scopes).
Fortsetzung: Nachfolgender Code, der den Rückgabewert konsumiert.

Kernkomponenten

Funktionsbewusste Zielauswahl (Function-Aware Target Selection):
Anstatt zufälliger Spans wählt die Methode Maskierungsziele auf Funktions-Granularität unter Verwendung von Program Dependency Graph (PDG)-Analysen aus.
- Komplexitätswert ( $\hat{H}$ ): Misst die intrinsische Schwierigkeit basierend auf Lines of Code (LoC), McCabe'scher zyklomatischer Komplexität und Verschachtelungstiefe.
- Inferenzierbarkeit ( $\hat{I}$ ): Misst, wie gut eine Funktion aus ihrem Kontext rekonstruierbar ist, indem Signale von Caller-Argumenten, Callee-Abhängigkeiten, Typsignaturen, Docstrings und Class-Siblings aggregiert werden.
- Selektionskriterium: Die Ziele werden über eine harmonische Mittelwert-ähnliche Kombination von $\hat{H}$ und $\hat{I}$ ausgewählt, wobei Ziele bestraft werden, die entweder zu trivial oder selbst mit vollem Kontext nicht lernbar sind.
Chain-of-Thought (CoT) Augmentierung:
Für ausgewählte Targets wird das Modell trainiert, eine schrittweise Begründung (Rationale) vor dem Funktionskörper zu generieren.
- Generierung: Ein Frontier-Modell (Gemini-3-Flash) generiert die Rationale und einen Kandidaten-Körper basierend nur auf dem Kontext der maskierten Datei (ohne Zugriff auf den Ground Truth).
- Filterung: Ein Judge-Modell filtert Paare basierend auf Durchführbarkeit und Qualität.
- Trainingsformat: Das Trainings-Prompt folgt <fim_prefix> ... <fim_suffix> ... <fim_middle> <rationale> <body>. Dies zwingt das Modell dazu, die „Denken-dann-Handeln“-Struktur zu erlernen.
Datenkuratierung:
Der Korpus besteht aus 968 dekontaminierten Python-Repositories von GitHub (2,6 Mrd. Tokens). Repositories, die sich mit SWE-Bench-Quellen überschneiden, wurden entfernt, und Commits wurden auf Zeitpunkte vor den SWE-Bench-Basis-Commits beschränkt, um Test-Zeit-Leakage zu verhindern.

Zentrale Beiträge

Strukturelle Analogie: Die Rahmung von Funktionsaufrufstellen als das internetweite Analogon zum Agenten-Aktions-Beobachtungs-Fortsetzungs-Loop, was die funktionale FIM-Granularität als selbstüberwachten Prior motiviert.
Pipeline-Design: Eine Mid-Training-Pipeline, die PDG-basierte Selektion, ein Komplexitäts-Inferenzierbarkeits-Doppelkriterium und eingebettete CoT-Rationales kombiniert.
Robustheitsvalidierung: Demonstration konsistenter Gewinne über verschiedene Modellgrößen (Qwen2.5-Coder 7B/14B, Qwen3-8B), verschiedene Post-Training-Pipelines (R2E-Gym, SWE-Smith, SWE-Lego) und verschiedene Basismodell-Familien hinweg.
Domänenübergreifender Transfer: Nachweis, dass ein reines Python-Mid-Training die Leistung bei Nicht-Coding-Tool-Use-Benchmarks ( $\tau$ -bench, BFCL) verbessert und allgemeine Coding-Fähigkeiten (LiveCodeBench) bewahrt, die während des agentischen Post-Trainings typischerweise erodieren.
Open Release: Veröffentlichung des 968-Repository-dekontaminierten Korpus, der Selektions-Pipeline und der mid-trainierten Checkpoints.

Experimentelle Ergebnisse

In-Domain Agent Performance

Die Methode wurde auf SWE-Bench-Verified und SWE-Bench-Lite evaluiert.

Qwen2.5-Coder-7B: +2,8 % Gewinn auf Verified, +3,7 % auf Lite (gegenüber nur Post-Training).
Qwen2.5-Coder-14B: +3,0 % Gewinn auf Verified, +4,0 % auf Lite.
Qwen3-8B: +3,2 % Gewinn auf Verified, +5,4 % auf Lite.
Pipeline-Unabhängigkeit: Gewinne wurden über R2E-Gym, SWE-Smith und SWE-Lego Pipelines hinweg beobachtet, was zeigt, dass der Prior nicht spezifisch für eine einzelne Datenverteilung ist.

Erhaltung von Fähigkeiten und Domänenübergreifender Transfer

Es wurde festgestellt, dass agentisches Post-Training allein die Nicht-Ziel-Fähigkeiten signifikant verschlechtert (z. B. sank LiveCodeBench für das 14B-Modell um 13,1 Punkte).

Restaurierung: Das Hinzufügen von Mid-Training vor dem Post-Training stellte die LiveCodeBench-Leistung um +11,1 Punkte wieder her und schloss damit fast die Lücke zum Instruction-Tuned-Maximum.
Tool-Nutzung: Trotz der Tatsache, dass der Korpus nur Python-Code und keine Tool-Use-Trajektorien enthielt, verbesserte das Mid-Training die Leistung auf $\tau$ -bench (+3,9) und BFCL (+2,4). Dies dient als Beleg dafür, dass der Funktionsaufruf-Induktionsbias auf allgemeines Tool-Use-Reasoning transferiert.

Verhaltensanalyse

Die Analyse der Agenten-Trajektorien ergab:

Erholung von Fehlern: Der mid-trainierte Agent erholte sich von negativen Beobachtungen (z. B. Stack Traces) mit einer Rate von 28,8 % im Vergleich zu 24,8 % beim Baseline-Modell.
Iterate-and-Verify: Das Modell nahm eine Policy mit mehr Edits und längeren Trajektorien an (23,6 Schritte vs. 15,1), wodurch die „No-Patch“-Fehler um eine Größenordnung reduziert wurden.
Granularität: Die Gewinne waren am ausgeprägtesten bei Aufgaben, die das Reasoning über Funktionen-Abhängigkeiten innerhalb einer einzelnen Datei erforderten (+9,1 Punkte bei Multi-Funktions-Aufgaben), was die Hypothese der strukturellen Isomorphie bestätigt.

Bedeutung und Behauptungen

Das Paper behauptet, dass Quellcode in Form von Funktionsaufrufstellen einen „internetweiten Vorrat an agentenrelevantem Signal“ enthält. Durch das explizite Training der Modelle, bidirektional über diese Abhängigkeiten mittels funktionsbewusster FIM zu raisonieren, installiert die Methode einen strukturellen Prior, der:

Agenten-Performance verbessert: Steigert direkt die Erfolgsraten auf Software-Engineering-Benchmarks.
Katastrophales Vergessen mildert: Verhindert die Erosion allgemeiner Coding- und Tool-Use-Fähigkeiten, die oft durch spezialisiertes agentisches Post-Training verursacht wird.
Generalisiert: Die Vorteile übertragen sich auf verschiedene Modellfamilien und zu Nicht-Coding-Tool-Use-Aufgaben, was darauf hindeutet, dass der gelernte Induktionsbias fundamental für den agentischen Reasoning-Loop ist und nicht spezifisch für die Python-Code-Generierung.

Die Autoren weisen auf Limitationen hin, einschließlich der Abhängigkeit von einem reinen Python-Korpus, der Nutzung eines Frontier-Teachers (Gemini-3-Flash) für die CoT-Generierung (obwohl Self-CoT die meisten Gewinne wiederherstellt) und der Annahme modularer Codestrukturen.