Technische Samenvatting: Function-Aware Fill-in-the-Middle als Mid-Training voor Coding Agent Foundation Models

Probleemstelling

Coding agents die zijn ontworpen om real-world software engineering problemen op te lossen, vertrouwen op een specifieke conditioneringstructuur: het onderhouden van een historie ($h_t$), het samplen van een actie ($a_t$), het ontvangen van een externe observatie ($o_{t+1}$), en het voortzetten van de redenering op basis van de volledige trace. Hoewel standaard code-pretraining (links-naar-rechts next-token prediction) modellen blootstelt aan code, optimaliseert dit zelden voor deze specifieke "actie $\to$ observatie $\to$ continuatie" lus. Hierdoor ontstaat er een kloof tussen de base model pretraining en de eisen van agentic post-training pipelines (bijv. SWE-Gym, R2E-Gym).

Bovendien is de standaard Fill-in-the-Middle (FIM) doelstellingen die gebruikt worden in code-pretraining niet afgestemd op agent-redeneren om drie redenen:

1. Willekeurige Grenzen: Random-span masking snijdt vaak door expressies heen, waardoor functionele afhankelijkheden niet worden gevangen.
2. Gebrek aan Redenering: Standaard FIM vereist directe generatie zonder tussenliggende redeneerstappen (Chain-of-Thought), in tegenstelling tot het "denk-dan-doe" patroon van agents.
3. Geamortiseerd Signaal: Wanneer FIM wordt opgelost in massieve pretraining, wordt de structurele prior verdund over biljoenen ongerelateerde tokens voordat de agentic post-training begint.

Methodologie

De auteurs stellen Function-Aware FIM Mid-Training voor, een specifieke zelfgesuperviseerde fase die wordt ingevoegd tussen pretraining en agentic post-training. Deze aanpak maakt gebruik van de structurele isomorfie tussen de stap van een coding agent en een functie-aanroeplocatie in gewone code:

• Context/Historie: Pre-call code die de intentie vaststelt.
• Actie/Call: De functie-aanroep zelf.
• Observatie/Return: De waarde die door de callee wordt berekend (buiten de directe scope).
• Continuatie: Downstream code die de return waarde consumeert.

Kerncomponenten

1. Function-Aware Target Selectie:
   In plaats van willekeurige spans, selecteert de methode masking targets op function granulariteit met behulp van Program Dependency Graph (PDG) analyse.

   • Complexiteitsscore ($\hat{H}$): Meet intrinsieke moeilijkheid op basis van Lines of Code (LoC), McCabe Cyclomatic Complexity en nesting depth.
   • Inferentie-score ($\hat{I}$): Meet hoe herstelbaar een functie is vanuit zijn context, door signalen te aggregeren van caller arguments, callee dependencies, type signatures, docstrings en class siblings.
   • Selectiecriterium: Targets worden geselecteerd via een harmonisch gemiddelde-achtige combinatie van $\hat{H}$ en $\hat{I}$, waarbij targets worden afgestraft die ofwel te triviaal ofwel onleerbaar zijn, zelfs met volledige context.

2. Chain-of-Thought (CoT) Augmentatie:
   Voor geselecteerde targets wordt het model getraind om een stapsgewijze rationale te genereren voordat de functie body.

   • Generatie: Een frontier model (Gemini-3-Flash) genereert de rationale en een kandidaat body gebaseerd alleen op de gemaskeerde file context (zonder toegang tot de ground truth).
   • Filtering: Een judge model filtert paren op basis van haalbaarheid en kwaliteit.
   • Trainingsformaat: De trainingsprompt volgt <fim_prefix> ... <fim_suffix> ... <fim_middle> <rationale> <body\>. Dit dwingt het model om de "denk-dan-doe" structuur te leren.

3. Data Curatie:
   De corpus bestaat uit 968 gedetoxificeerde Python repositories van GitHub (2.6B tokens). Repositories die overlappen met SWE-Bench bronnen zijn verwijderd, en commits zijn beperkt tot vóór de SWE-Bench base commits om test-time leakage te voorkomen.

Belangrijkste Bijdragen

1. Structurele Analogie: Het kaderen van functie-aanroeplocaties als de internet-schaal analoog van de agent actie–observatie–continuatie lus, wat function-granulair FIM motiveert als een zelfgesuperviseerde prior.
2. Pipeline Design: Een mid-training pipeline die PDG-gebaseerde selectie, een complexity–inferability dubbel criterium en ingebedde CoT rationales combineert.
3. Robuustheid Validatie: Het demonstreren van consistente winst over verschillende modelgroottes (Qwen2.5-Coder 7B/14B, Qwen3-8B), verschillende post-training pipelines (R2E-Gym, SWE-Smith, SWE-Lego) en verschillende base model families.
4. Cross-Domain Transfer: Het aantonen dat een Python-only mid-training corpus de prestaties op niet-coderende tool-use benchmarks ($\tau$-bench, BFCL) verbetert en algemene coderingscapaciteiten (LiveCodeBench) behoudt die typisch eroderen tijdens agentic post-training.
5. Open Release: Het vrijgeven van de 968-repository gedetoxificeerde corpus, de selectie pipeline en mid-getrainde checkpoints.

Experimentele Resultaten

In-Domain Agent Prestaties

De methode werd geëvalueerd op SWE-Bench-Verified en SWE-Bench-Lite.

• Qwen2.5-Coder-7B: +2.8% winst op Verified, +3.7% op Lite (vs. alleen post-training).
• Qwen2.5-Coder-14B: +3.0% winst op Verified, +4.0% op Lite.
• Qwen3-8B: +3.2% winst op Verified, +5.4% op Lite.
• Pipeline Onafhankelijkheid: Winsten werden waargenomen over R2E-Gym, SWE-Smith en SWE-Lego pipelines, wat aangeeft dat de prior niet specifiek is voor één enkele data distributie.

Behoud van Capaciteiten en Cross-Domain Transfer

Het werd gevonden dat agentic post-training alleen aanzienlijke degradatie veroorzaakt in niet-doel gerichte capaciteiten (bijv. LiveCodeBench daalde met 13.1 punten voor het 14B model).

• Herstel: Het toevoegen van mid-training vóór post-training herstelde de LiveCodeBench prestaties met +11.1 punten, waarmee de kloof naar de instruction-tuned ceiling bijna werd gedicht.
• Tool Use: Ondanks dat de corpus alleen Python code bevat en geen tool-use trajecten, verbeterde mid-training de prestaties op $\tau$-bench (+3.9) en BFCL (+2.4). Dit dient als bewijs dat de function-call inductieve bias overdraagt naar algemene tool-use redenering.

Gedragsanalyse

Analyse van agent trajecten onthulde:

• Herstel van Fouten: De mid-getrainde agent herstelde van negatieve observaties (bijv. stack traces) met een snelheid van 28.8% vergeleken met 24.8% voor de baseline.
• Iterate-and-Verify: Het model nam een beleid aan van meer edits en langere trajecten (23.6 stappen vs. 15.1), wat "no-patch" failures met een orde van grootte verminderde.
• Granulariteit: Winsten waren het meest uitgesproken op taken die redeneren over cross-function dependencies binnen een enkel bestand vereisen (+9.1 punten op multi-function taken), wat de structurele isomorfie hypothese bevestigt.

Betekenis en Claims

Het paper claimt dat broncode een "internet-schaal aanbod van agent-relevante signalen" bevat in de vorm van functie-aanroeplocaties. Door modellen expliciet te trainen om bidirectioneel over deze afhankelijkheden te redeneren via function-aware FIM, installeert de methode een structurele prior die:

1. Agent Prestaties Verbetert: Verhoogt direct de succesratio's op software engineering benchmarks.
2. Catastrophic Forgetting Mitigeert: Voorkomt de erosie van algemene coderings- en tool-use capaciteiten die vaak worden veroorzaakt door gespecialiseerde agentic post-training.
3. Generaliseert: De voordelen dragen over naar verschillende model families en naar niet-coderende tool-use taken, wat suggereert dat de geleerde inductieve bias fundamenteel is aan de agent redeneerlus in plaats van specifiek aan Python code generatie.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van een Python-only corpus, de afhankelijkheid van een frontier teacher (Gemini-3-Flash) voor CoT generatie (hoewel self-CoT de meeste winsten herstelt), en de assumptie van modulaire code structuren.