CodeScout: Contextual Problem Statement Enhancement for Software Agents

Das Paper stellt CodeScout vor, einen Ansatz zur kontextuellen Verfeinerung von Problemstellungen durch eine leichte Vorab-Analyse des Codebases, der die Erfolgsrate von Software-Agenten auf der SWEBench-Verified-Benchmark um 20 % steigert, indem er unpräzise Anfragen in umfassende, handlungsorientierte Aufgaben umwandelt.

Das Wesentliche

CodeScout: Der erfahrene Detektiv vor dem Einsatz

Stell dir vor, du hast einen sehr intelligenten, aber manchmal etwas ungeduldigen Assistenten (einen KI-Agenten), der dir helfen soll, Fehler in einem riesigen, komplizierten Computerprogramm zu finden.

Das Problem ist oft nicht, dass der Assistent dumm ist. Das Problem ist, dass du ihm eine Aufgabe stellst, die so vage ist wie: "Hey, das hier funktioniert nicht mehr." Ohne weitere Details.

Das Problem: Der "Stolperstein" der vagen Anweisungen

Wenn du einem Menschen so eine vage Aufgabe gibst, würde er wahrscheinlich erst einmal nachfragen: "Was genau passiert? Wann ist es passiert? Hast du schon mal versucht, es zu reproduzieren?"

Aber der KI-Assistent tut das nicht. Er stürzt sich sofort auf die Arbeit. Da er nicht weiß, wo er suchen soll, rennt er wild durch den riesigen Code-Wald.

• Er sucht hier, er sucht dort.
• Er probiert eine Lösung aus, scheitert, probiert sie nochmal.
• Er wird stur und versucht immer wieder dasselbe, obwohl es nicht funktioniert.

Das nennt man im Papier "Over-Exploration" (übermäßiges Herumirren) oder "Stubbornness" (Sturheit). Der Assistent verbringt viel Zeit und Energie, findet aber den Fehler nicht, weil ihm die Landkarte fehlt.

Die Lösung: CodeScout – Der Vor-Ort-Ermittler

Hier kommt CodeScout ins Spiel. CodeScout ist kein neuer Assistent, der den alten ersetzt. Es ist eher wie ein erfahrener Detektiv, der bevor der eigentliche Ermittler (der KI-Assistent) loslegt, eine kurze, gezielte Erkundungstour unternimmt.

Stell dir das so vor:

1. Der ursprüngliche Auftrag: Ein Entwickler sagt: "Der Login-Button ist kaputt."
2. CodeScout schaut sich die Szene an: Bevor der KI-Assistent losrennt, analysiert CodeScout kurz das gesamte Gebäude (den Code). Es sucht nach Hinweisen: "Aha, der Login-Button hängt an dieser spezifischen Schraube in diesem Raum. Und hier ist ein alter Bauplan, der zeigt, dass eine Änderung vor zwei Wochen etwas beschädigt hat."
3. Der neue, klare Auftrag: CodeScout nimmt die vage Aussage und verwandelt sie in eine perfekte, detaillierte Anleitung. Es sagt dem KI-Assistenten nun:
   • "Gehe direkt in Raum X."
   • "Schau dir Schraube Y an."
   • "Hier ist der genaue Fehler: Die Schraube wurde falsch gedreht."
   • "Versuche es so zu reparieren."

Warum ist das so genial?

• Keine Umstrukturierung nötig: CodeScout muss nicht den KI-Assistenten selbst umbauen. Es ist wie ein "Stecker", den man einfach vor den Assistenten steckt. Der Assistent bleibt derselbe, bekommt aber plötzlich eine viel bessere Landkarte.
• Schneller zum Ziel: Statt 21 Schritte zu rennen und sich zu verirren (wie im Beispiel im Papier), findet der Assistent mit der CodeScout-Hilfe den Fehler in nur 6 Schritten.
• Bessere Zusammenarbeit: Es zeigt, dass es oft besser ist, zuerst gut hinzuschauen und zu verstehen, bevor man loslegt.

Das Ergebnis im echten Leben

Die Forscher haben CodeScout an echten Software-Problemen getestet. Das Ergebnis war beeindruckend:

• Die KI-Assistenten haben 20 % mehr Fehler gefunden als vorher.
• Sie haben bis zu 27 zusätzliche Probleme gelöst, die sie vorher gar nicht hätten lösen können.
• Besonders wichtig: Selbst wenn der KI-Assistent nicht der allerstärkste ist, hilft CodeScout ihm, sich wie ein Genie zu verhalten, weil die Aufgabe so klar formuliert ist.

Zusammenfassung in einem Satz:
CodeScout verwandelt das "Ich weiß nicht, was los ist"-Gefühl in einen klaren "Geh genau hierhin und mach das"-Plan, damit die KI nicht mehr im Dunkeln tappend herumrennt, sondern zielgerichtet zum Erfolg findet.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers "CodeScout: Contextual Problem Statement Enhancement for Software Agents" auf Deutsch:

1. Problemstellung

Aktuelle KI-gestützte Code-Assistenz-Tools und Software-Engineering-Agenten (basierend auf Large Language Models, LLMs) scheitern häufig nicht an mangelnden Reasoning-Fähigkeiten der Modelle selbst, sondern an schlecht definierten Problemstellungen (Underspecified Problem Statements).

• Ursache: Entwickler liefern oft kurze, kontextabhängige Beschreibungen, denen wichtige Informationen wie Reproduktionsschritte, technische Details oder klare Erwartungen fehlen.
• Folge: Agenten geraten in ineffiziente Verhaltensmuster:
  • Über-Exploration: Sie verlieren sich in zu vielen Details, da der Kontext fehlt.
  • Stuck-Loops: Sie wenden denselben Fix wiederholt an, ohne ihn zu testen oder weiterzuentwickeln.
  • Nicht-konvergierende Trajektorien: Die Lösungswege werden länger und führen oft nicht zum Ziel.
• Herausforderung: Herkömmliche Methoden zur Kontextsuche (z. B. reine Code-Retrieval) identifizieren zwar relevante Dateien, liefern aber keine strategische Anleitung oder tiefgreifendes Verständnis der Problemstruktur vor der eigentlichen Ausführung.

2. Methodik: CodeScout

CodeScout ist ein Ansatz zur kontextuellen Verfeinerung von Problemstellungen, der als vorgelagerter Schritt (Pre-Exploration) vor der Ausführung des eigentlichen Agenten stattfindet. Das System wandelt vage Benutzeranfragen in umfassende, handlungsorientierte Problemstellungen um, ohne die Architektur des darunterliegenden Agenten zu ändern.

Der Prozess läuft in drei Hauptphasen ab (basierend auf einem Repository-Wissensgraphen):

1. Repository-Wissensgraph-Konstruktion:

   • Das Zielsystem wird analysiert, um einen gerichteten Graphen $G(R)$ zu erstellen, der Code-Entitäten (Klassen, Funktionen, Variablen) und ihre semantischen Beziehungen (Importe, Vererbung, Aufrufe) abbildet. Dies geschieht mittels AST-Parsing (Abstract Syntax Tree).

2. High-Level Scoping (Eingrenzung):

   • Ein LLM-Agent analysiert die ursprüngliche Problemstellung $P_0$ zusammen mit dem Graphen $G(R)$.
   • Ziel ist die Identifikation relevanter Exploration-Ziele (z. B. spezifische Dateien, Klassen oder Funktionen), die höchstwahrscheinlich mit dem Fehler zusammenhängen.
   • Die Anzahl der Ziele wird auf ca. 15 begrenzt, um die Recheneffizienz zu gewährleisten.

3. Feingranulare Kontextanalyse & Synthese:

   • Für jedes identifizierte Ziel wird der Quellcode analysiert. Das LLM extrahiert strukturierte Erkenntnisse:
     • Rolle im Issue: Wie trägt dieser Code zum Fehler bei?
     • Hinweise zur Fehlerlokalisierung: Wo muss der Fix wahrscheinlich erfolgen?
     • Technische Einblicke: Implementierungsmuster und Architekturentscheidungen.
     • Alternative Hypothesen: Andere mögliche Ursachen.
   • Relevanzfilterung: Die extrahierten Erkenntnisse werden bewertet und gefiltert, um Rauschen zu vermeiden.
   • Problem-Synthese: Die gefilterten Erkenntnisse werden mit der ursprünglichen Problemstellung kombiniert, um eine angereicherte Problemstellung ($P_{aug}$) zu generieren. Diese enthält:
     • Verbesserte Fehlerbeschreibung.
     • Detaillierte Reproduktionsschritte.
     • Erwartetes Verhalten.
     • Explorationshinweise (welche Dateien/Klassen zu prüfen sind).
     • Fix-Hinweise mit Konfidenzschätzungen.

3. Hauptbeiträge

1. CodeScout Framework: Ein systematischer Ansatz zur Verbesserung der Eingabequalität durch repository-bewusste Analyse. Er demonstriert, dass strukturierte Voranalyse die Leistung von Agenten signifikant steigern kann.
2. Empirische Validierung: Der Ansatz wurde auf dem SWEBench-Verified-Benchmark getestet und zeigte konsistente Verbesserungen über verschiedene Agenten-Frameworks (SWE-agent, OpenHands, Mini-SWE-Agent) und verschiedene LLMs (DeepSeek R1, GPT-5-mini, Qwen3 Coder).
3. Analyse der Agenten-Trajektorien: Die Studie zeigt, wie CodeScout das Verhalten von Agenten verändert: Es reduziert die Anzahl der Schritte bis zur Lösung, verbessert die Lokalisierung des Fehlers und führt zu gezielteren Suchstrategien.
4. Kosteneffizienz-Strategie: Es wurde gezeigt, dass kleinere, günstigere Modelle effektiv für die Vorverarbeitung (Enhancement) genutzt werden können, um die Leistung größerer, teurerer Modelle (die den eigentlichen Fix durchführen) zu steigern.

4. Ergebnisse

Die Evaluation auf SWEBench-Verified ergab folgende signifikante Verbesserungen im Vergleich zu Baseline-Methoden (ohne CodeScout):

• Lösungsrate: Eine Steigerung von 20 % bei der Anzahl der gelösten Issues.
• Absolute Zahlen: Bis zu 27 zusätzliche Issues wurden erfolgreich behoben.
• Lokalisierung: Die Genauigkeit, mit der Agenten die richtigen Dateien und Funktionen identifizieren, verbesserte sich deutlich, insbesondere bei schwächeren Agenten-Modellen.
• Effizienz: Die Agenten benötigten weniger Schritte, um Lösungen zu finden (z. B. Reduktion von 21 auf 6 Schritte in einem Django-Beispiel), da sie mit einem klaren, kontextreichen Plan starteten.
• Cross-Synthesis: Schwächere Laufzeit-Modelle profitierten am meisten von stärkeren Modellen, die die Problemstellung vorverarbeiteten (z. B. +51,9 % Verbesserung für DeepSeek R1, wenn von Qwen3 Coder angereichert).

5. Bedeutung und Fazit

CodeScout adressiert einen kritischen Engpass in der KI-gestützten Softwareentwicklung: Die Qualität der Eingabe (Problemstellung) ist oft der limitierende Faktor, nicht die Kapazität des Modells.

• Paradigmenwechsel: Statt zu erwarten, dass Agenten "springen" und sofort Probleme lösen, zwingt CodeScout sie, erst zu "schauen" und ein umfassendes Verständnis aufzubauen.
• Plug-and-Play: Der Ansatz ist agnostisch gegenüber der Agenten-Architektur und erfordert keine Modifikation der bestehenden Agenten-Scaffolds.
• Zukunftsperspektive: Die Arbeit unterstreicht, dass Investitionen in das vorherige Problemverständnis (Computation für Pre-Exploration) eine ebenso wichtige Ergänzung zur Steigerung der Modellkapazität sind. Dies führt zu zuverlässigeren, effizienteren und strategisch agierenden KI-Assistenten in der Softwareentwicklung.

Zusammenfassend beweist CodeScout, dass die systematische Anreicherung von Problemstellungen durch tiefgehende Code-Analyse ein vielversprechender Weg ist, um die Grenzen aktueller agentic AI-Systeme zu überwinden.