Technische Samenvatting: Leren van Adaptieve Parallelle Executie voor Efficiënte Code-lokalisatie

Probleemstelling

Code-lokalisatie—het identificeren van specifieke code-entiteiten (bestanden, functies, fragmenten) die nodig zijn om een softwareprobleem op te lossen—is een kritieke bottleneck in geautomatiseerde softwareontwikkelingspipelines. Recente studies wijzen uit dat state-of-the-art agents meer dan 50% van hun computationele middelen aan deze taak besteden. Huidige benaderingen vertrouwen doorgaans op sequentiële tool-executie, waarbij agents iteratief queries verfijnen en resultaten stap voor stap inspecteren.

Dit sequentiële paradigma staat voor een fundamentele afruil onder strikte computationele budgetten (beperkt aantal interactierondes):

1. Informatie-uithongering: Agents putten hun interactiequota uit voordat er voldoende contextuele bewijslast is verzameld, wat leidt tot een scherpe degradatie van de nauwkeurigheid.
2. Inefficiënte Parallellisme: Hoewel parallelle tool-executie (het aanroepen van meerdere tools in één enkele ronde) een oplossing biedt om de informatiedichtheid te verhogen, dwingen naïeve implementaties vaak een vaste breedte van parallellisme af. Dit resulteert in hoge redundantie; het artikel merkt op dat 34,9% van de geforceerde parallelle tool-aanroepen in bestaande systemen redundant is, geen incrementele winst in informatie biedt en daarmee middelen verspilt en ruis introduceert.

De kernuitdaging is het bereiken van omvattende doch niet-redundante parallellisme: het maximaliseren van de informatiedekking om uithongering te voorkomen, terwijl het verkennen van reeds onderzochte of irrelevante code wordt geëlimineerd.

Methodologie: FuseSearch

De auteurs stellen FuseSearch voor, een minimalistische code-lokalisatie-agent die parallelle code-lokalisatie herformuleert als een gezamenlijke kwaliteit–efficiëntie-optimalisatietaak.

1. Minimalistisch Tool-set

FuseSearch werkt zonder hulp-infrastructuur (bijv. code-grafen, AST's of taal-specifieke parsers). Het vertrouwt op drie taal-agnostische, read-only tools:

• grep: Regex-gebaseerde patroonzoekopdrachten in de inhoud van bestanden.
• glob: Bestandsnaam-patroonmatching.
• read_file: Het lezen van bestandinhoud met optionele specificatie van regelbereik.

2. Dual-Objective Formulering

Het framework optimaliseert twee complementaire metrieken:

• Lokalisatiekwaliteit ($F1$): Gemeten via precisie, recall en F1-scores op zowel bestands- als functieniveau.
• Tool-efficiëntie ($e$): Gedefinieerd als de ratio van unieke informatie-winst ten opzichte van het totaal aantal aanroepen.
  • Voor elke tool-aanroep $i$ wordt de informatie-winst $g_i$ berekend door de geretourneerde entiteiten te vergelijken met de cumulatieve geschiedenis van ontdekte entiteiten ($H$).
  • $g_i = \frac{|E_i \setminus H|}{|E_i|}$ als $|E_i| > 0$, anders $0$.
  • Efficiëntie $e$ is de gemiddelde informatie-winst over alle $k$ tool-aanroepen in een traject: $e = \frac{1}{k} \sum g_i$.

3. Gezamenlijke Optimalisatie Trainingspipeline

FuseSearch maakt gebruik van een tweestaps-trainingsaanpak om adaptieve parallelle strategieën te leren:

• Fase 1: Supervised Fine-Tuning (SFT) met Dual-Metric Filtering

  • Een capabel teacher-model (Kimi-K2-Instruct) synthetiseert trainings-trajecten.
  • Om een hoogwaardige initialisatie te garanderen, worden trajecten gefilterd om alleen die te behouden die voldoen aan zowel $F1 \geq \rho_F$ als $e \geq \rho_e$.
  • Dit produceert een dataset van $\sim$6K hoogwaardige trajecten die gebruikt worden om base-modellen (Qwen3-4B en Qwen3-30B) te finetunen, wat een baseline vestigt voor betrouwbare parallelle executie (2–8 tools per ronde).

• Fase 2: Reinforcement Learning (RL) met Gezamenlijke Beloning

  • Met behulp van Group Relative Policy Optimization (GRPO) wordt het model verder geoptimaliseerd om zowel $F1$ als $e$ te maximaliseren.
  • De beloningsfunctie is ontworpen als:
    $$R(\tau) = \alpha \cdot F1(\tau) + \gamma \cdot (F1(\tau) \cdot e(\tau))$$
  • Ontwerp-ratio: De lineaire term ($\alpha \cdot F1$) zorgt voor een basisbeloning voor correcte lokalisatie. De multiplicatieve term ($\gamma \cdot F1 \cdot e$) fungeert als een "soft gate", die de beloning alleen versterkt wanneer een hoge kwaliteit wordt behaald met een hoge efficiëntie. Dit voorkomt dat het model optimaliseert voor efficiëntie ten koste van nauwkeurigheid (bijv. het lezen van irrelevante maar nieuwe bestanden) of nauwkeurigheid ten koste van massale redundantie.

4. Adaptieve Parallellisme

In tegen tegenstelling tot benaderingen met een vaste breedte, leert FuseSearch om de zoekbreedte dynamisch te moduleren op basis van de context van de taak. Het trainingsproces evolueert van een exploratie-fase (brede parallellisme om context te verzamelen) naar een verfijningsfase (gerichte, doelgerichte aanroepen), waardoor de balans tussen exploratiebreedte en precisie effectief wordt beheerd.

Belangrijkste Bijdragen

1. Tool-efficiëntie Metriek: De introductie van "tool-efficiëntie" om de nieuwheid van informatie in code-zoekopdrachten te kwantificeren, geïntegreerd in een efficiëntie-bewust trainingsframework (SFT + RL) om zowel de effectiviteit van de zoekopdracht als de computationele efficiëntie gezamenlijk te optimaliseren.
2. FuseSearch Agent: Een minimalistische lokalisatie-agent die slechts drie read-only tools gebruikt en hiermee de prestaties evenaart of overtreft van complexe systemen die afhankelijk zijn van graaf-navigatie of AST-parsing.
3. Efficiëntie-gedreven Kwaliteitsverbetering: Demonstratie dat efficiëntie-bewuste training de lokalisatiekwaliteit van nature verbetert door ruisige, redundante signalen te elimineren, wat hoog-presterende, kosteneffectieve agents mogelijk maakt.

Experimentele Resultaten

Geëvalueerd op SWE-bench Verified (386 voorbeelden), demonstreert FuseSearch-4B (getraind) superieure prestaties vergeleken met zowel sequentiële baselines als andere agent-gebaseerde methoden:

• Lokalisatiekwaliteit:
  • Bereikte 84,7% bestandsniveau F1 en 56,4% functie-niveau F1.
  • Presteert aanzienlijk beter dan de beste sequentiële baseline (RepoSearcher) (bijv. +46,5% bestands F1).
  • Matcht de prestaties van propriëtaire modellen (Claude Haiku 4.5) terwijl het open-source modellen (Qwen3-4B) gebruikt.
• Efficiëntiewinsten:
  • 93,6% snelheidswinst in wall-clock tijd vergeleken met sequentiële executie.
  • 67,7% reductie in interactierondes.
  • 68,9% reductie in token-consumptie.
• Downstream Impact: Wanneer gebruikt als pre-search module voor een hoofd-agent (Kimi-K2), verminderde FuseSearch de interactierondes met 23,1% en de end-to-end taakduur met 28,5% zonder de solution pass rates op te offeren.

Betekenis en Claims

Het artikel betoogt dat efficiëntie-bewuste training een cruciale stap is richting productie-waardige geautomatiseerde softwareontwikkeling. Door parallelle executie niet alleen te herformuleren als een latentie-reductietactiek, maar als een gezamenlijk optimalisatieprobleem, toont FuseSearch aan dat:

• Redundante exploratie een primaire oorzaak is van zowel hoge kosten als gedegradeerde nauwkeurigheid.
• Leren onderscheiden tussen "nieuwe" en "redundante" informatie compacte modellen (4B parameters) in staat stelt om grotere, sequentiële of infrastructuur-zware agents te overtreffen.
• Adaptieve parallellisme, evoluerend van brede exploratie naar gerichte verfijning, de sleutel is tot het overwinnen van informatie-uithongering onder strikte computationele budgetten.

De auteurs concluderen dat hun aanpak de creatie van agents mogelijk maakt die niet alleen accuraat zijn, maar ook computationeel praktisch, waarmee de "kosten–nauwkeurigheid-afruil" wordt aangepakt die momenteel de inzetbaarheid van geautomatiseerde lokalisatie in tijdgevoelige omgevingen beperkt.