Technisches Resümee: Erlernen adaptiver paralleler Ausführung für effiziente Code-Lokalisierung

Problemstellung

Code-Lokalisierung – die Identifizierung spezifischer Code-Entitäten (Dateien, Funktionen, Snippets), die zur Behebung eines Softwarefehlers erforderlich sind – stellt einen kritischen Flaschenhals in automatisierten Softwareentwicklungs-Pipelines dar. Jüngste Studien zeigen, dass State-of-the-Art-Agenten über 50 % ihrer Rechenressourcen für diese Aufgabe aufwenden. Aktuelle Ansätze verlassen sich typischerweise auf eine sequenzielle Werkzeugausführung, bei der Agenten Abfragen iterativ verfeinern und Ergebnisse schrittweise untersuchen.

Dieses sequentielle Paradigma steht unter einem engen Budget für Rechenkapazitäten (begrenzte Interaktionsrunden) vor einem grundlegenden Zielkonflikt:

1. Informationsmangel (Information Starvation): Agenten erschöpfen ihr Interaktionskontingent, bevor sie ausreichend kontextuelle Evidenz gesammelt haben, was zu einem starken Abfall der Genauigkeit führt.
2. Ineffiziente Parallelisierung: Während die parallele Werkzeugausführung (Aufruf mehrerer Werkzeuge in einem einzigen Turn) eine Lösung bietet, um die Informationsdichte zu erhöhen, erzwingen naive Implementierungen oft eine feste Breite der Parallelität. Dies führt zu hoher Redundanz; die Arbeit stellt fest, dass 34,9 % der erzwungenen parallelen Werkzeugaufrufe in bestehenden Systemen redundant sind, also keine inkrementelle Informationsgewinnung bieten und stattdessen Ressourcen verschwenden und Rauschen einführen.

Die zentrale Herausforderung besteht darin, eine umfassende, aber nicht-redundante Parallelisierung zu erreichen: die Maximierung der Informationsabdeckung, um Informationsmangel zu vermeiden, bei gleichzeitiger Eliminierung der Untersuchung bereits untersuchter oder irrelevanter Codes.

Methodik: FuseSearch

Die Autoren schlagen FuseSearch vor, einen minimalistischen Code-Lokalisierungs-Agenten, der die parallele Code-Lokalisierung als ein gemeinsames Qualitäts–Effizienz-Optimierungsproblem umformuliert.

1. Minimalistisches Werkzeugset

FuseSearch operiert ohne zusätzliche Infrastruktur (z. B. Code-Graphen, ASTs oder sprachspezifische Parser). Es stützt sich auf drei sprachunabhängige, schreibgeschützte Werkzeuge:

• grep: Regex-basierte Mustersuche in Dateiinhalten.
• glob: Dateipfad-Musterabgleich.
• read_file: Lesen von Dateiinhalten mit optionaler Zeilenbereichsspezifikation.

2. Dual-Ziel-Formulierung

Das Framework optimiert zwei komplementäre Metriken:

• Lokalisierungsqualität ($F1$): Gemessen über Präzision, Recall und F1-Scores sowohl auf Datei- als auch auf Funktionsebene.
• Werkzeugeffizienz ($e$): Definiert als das Verhältnis des einzigartigen Informationsgewinns zur Gesamtzahl der Aufrufe.
  • Für jeden Werkzeugaufruf $i$ wird der Informationsgewinn $g_i$ berechnet, indem die zurückgegebenen Entitäten mit der kumulativen Historie der entdeckten Entitäten ($H$) verglichen werden.
  • $g_i = \frac{|E_i \setminus H|}{|E_i|}$ falls $|E_i| > 0$, sonst $0$.
  • Effizienz $e$ ist der Mittelwert des Informationsgewinns über alle $k$ Werkzeugaufrufe in einer Trajektorie: $e = \frac{1}{k} \sum g_i$.

3. Gemeinsame Optimierungs-Trainingspipeline

FuseSearch verwendet einen zweistufigen Trainingsansatz, um adaptive parallele Strategien zu erlernen:

• Stufe 1: Supervised Fine-Tuning (SFT) mit Dual-Metrik-Filterung

  • Ein leistungsfähiges Teacher-Modell (Kimi-K2-Instruct) synthetisiert Trainings-Trajektorien.
  • Um eine hochwertige Initialisierung zu gewährleisten, werden Trajektorien gefiltert, sodass nur solche beibehalten werden, die beide Bedingungen $F1 \geq \rho_F$ und $e \geq \rho_e$ erfüllen.
  • Dies erzeugt einen Datensatz von $\sim$6K hochwertigen Trajektorien, die zur Feinabstimmung von Basismodellen (Qwen3-4B und Qwen3-30B) verwendet werden, um eine Baseline für zuverlässige parallele Ausführung (2–8 Werkzeuge pro Turn) zu etablieren.

• Stufe 2: Reinforcement Learning (RL) mit gemeinsamem Reward

  • Unter Verwendung von Group Relative Policy Optimization (GRPO) wird das Modell weiter optimiert, um sowohl $F1$ als auch $e$ zu maximieren.
  • Die Reward-Funktion ist wie folgt gestaltet:
    $$R(\tau) = \alpha \cdot F1(\tau) + \gamma \cdot (F1(\tau) \cdot e(\tau))$$
  • Design-Begründung: Der lineare Term ($\alpha \cdot F1$) stellt einen Basis-Reward für korrekte Lokalisierung sicher. Der multiplikative Term ($\gamma \cdot F1 \cdot e$) fungiert als „Soft Gate“, das Rewards nur dann verstärkt, wenn eine hohe Qualität bei hoher Effizienz erreicht wird. Dies verhindert, dass das Modell die Effizienz auf Kosten der Genauigkeit optimiert (z. B. das Lesen irrelevanter, aber neuer Dateien) oder die Genauigkeit auf Kosten massiver Redundanz.

4. Adaptive Parallelität

Im Gegensatz zu Ansätzen mit fester Breite lernt FuseSearch, die Suchbreite basierend auf dem Aufgabenkontext dynamisch zu modulieren. Der Trainingsprozess entwickelt sich von einer Explorationsphase (breite Parallelität zur Kontextgewinnung) hin zu einer Verfeinerungsphase (fokussierte, gezielte Aufrufe) und balanciert so effektiv die Explorationsbreite mit der Präzision.

Wichtigste Beiträge

1. Werkzeugeffizienz-Metrik: Die Einführung der „Werkzeugeffizienz“, um den Informationsneuheitsgrad in der Codesuche zu quantifizieren, integriert in einen effizienzbewussten Trainingsrahmen (SFT + RL), der die Sucheffektivität und die Recheneffizienz gemeinsam optimiert.
2. FuseSearch Agent: Ein minimalistischer Lokalisierungs-Agent, der nur drei schreibgeschützte Werkzeuge nutzt und dabei komplexe Systeme übertrifft oder diese erreicht, die auf Graph-Navigation oder AST-Parsing angewiesen sind.
3. Effizienzgetriebene Qualitätsverbesserung: Der Nachweis, dass effizienzbewusstes Training die Lokalisierungsqualität durch die Eliminierung verrauschter, redundanter Signale natürlich verbessert und so hochperformante, kosteneffiziente Agenten ermöglicht.

Experimentelle Ergebnisse

Evaluierung auf SWE-bench Verified (386 Beispiele): FuseSearch-4B (trainiert) demonstriert eine überlegene Leistung im Vergleich zu sowohl sequentiellen Baselines als auch anderen agentenbasierten Methoden:

• Lokalisierungsqualität:
  • Erreichte 84,7 % Datei-F1 und 56,4 % Funktions-F1.
  • Übertrifft die beste sequentielle Baseline (RepoSearcher) um eine signifikante Marge (z. B. +46,5 % Datei-F1).
  • Erreicht die Leistung proprietärer Modelle (Claude Haiku 4.5) unter Verwendung von Open-Source-Modellen (Qwen3-4B).
• Effizienzgewinne:
  • 93,6 % Beschleunigung in der Wandzeit (Wall-clock time) im Vergleich zur sequentiellen Ausführung.
  • 67,7 % Reduktion der Interaktionsrunden.
  • 68,9 % Reduktion des Token-Verbrauchs.
• Downstream-Auswirkungen: Als Pre-Search-Modul für einen Hauptagenten (Kimi-K2) eingesetzt, reduzierte FuseSearch die Interaktionsrunden um 23,1 % und die End-to-End-Aufgabenzeit um 28,5 %, ohne die Lösungsrate zu beeinträchtigen.

Bedeutung und Ansprüche

Die Arbeit argumentet, dass effizienzbewusstes Training ein entscheidender Schritt in Richtung produktionsreifer automatisierter Softwareentwicklung ist. Durch die Umformulierung der parallelen Ausführung – nicht nur als Latenzreduktions-Taktik, sondern als gemeinsames Optimierungsproblem – zeigt FuseSearch, dass:

• Redundante Exploration eine primäre Ursache für sowohl hohe Kosten als auch degradierte Genauigkeit ist.
• Das Erlernen der Unterscheidung zwischen „neuartigen“ und „redundanten“ Informationen es kompakten Modellen (4 Milliarden Parameter) ermöglicht, größere, sequentielle oder infrastrukturintensive Agenten zu übertreffen.
• Adaptive Parallelität, die sich von breiter Exploration zu fokussierter Verfeinerung entwickelt, der Schlüssel zur Überwindung des Informationsmangels unter engen Budgets für Rechenkapazitäten ist.

Die Autoren kommen zu dem Schluss, dass ihr Ansatz die Erstellung von Agenten ermöglicht, die nicht nur präzise, sondern auch rechentechnisch praktikabel sind, und damit das „Cost–Accuracy-Trade-off“ adressiert, welches die Einsetzbarkeit automatisierter Lokalisierung in zeitkritischen Umgebungen derzeit begrenzt.