BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing?

Die Arbeit stellt BeyondSWE vor, ein umfassendes Benchmark-System, das die aktuellen Grenzen von Code-Agenten bei komplexen, realen Aufgaben über einzelne Repositorien hinaus aufzeigt, und untersucht mit dem Framework SearchSWE, dass Suchvervollständigungen die Leistung nicht konsistent verbessern.

Das Wesentliche

🚗 Die große Reise: Vom Reparatur-Handwerker zum Architekten

Stell dir vor, du hast einen Roboter-Mechaniker (das ist der aktuelle KI-Code-Agent), der darauf trainiert wurde, Autos zu reparieren.

Das bisherige Problem:
Bisher haben wir diesen Roboter nur in einer garage getestet, in der er nur einen einzigen, spezifischen Defekt an einem einzigen Auto beheben musste.

• Beispiel: „Das Licht im linken Scheinwerfer von Auto Nr. 5 ist kaputt. Hier ist das Handbuch für dieses Auto. Bitte tausche die Birne."
• Die KI war darin ziemlich gut. Aber das ist nicht das echte Leben!

Die neue Realität (BeyondSWE):
Im echten Leben ist ein Software-Ingenieur nie nur in einer Garage. Er muss:

1. Über die Grenzen schauen: Er muss wissen, wie andere Autos (andere Software-Projekte) gebaut sind, um Lösungen zu kopieren.
2. Fachwissen haben: Er muss verstehen, wie ein Motor aus der Formel-1 funktioniert (wissenschaftliche Domänen wie Quantenphysik), nicht nur wie ein normaler Motor läuft.
3. Alles umrüsten: Wenn die Reifenhersteller plötzlich neue Reifen machen (Updates von Bibliotheken wie NumPy oder Pydantic), muss er alle Autos im Park umrüsten, nicht nur eines.
4. Neu bauen: Er muss manchmal ein ganz neues Auto von Grund auf bauen, nur basierend auf einer Skizze auf einem Zettel (ein Dokument), ohne dass ein Auto schon da ist.

Die Forscher haben sich gefragt: Kann unser Roboter-Mechaniker das auch?

📏 Der neue Prüfstand: BeyondSWE

Um das herauszufinden, haben die Autoren einen neuen, viel härteren Prüfstand namens BeyondSWE gebaut. Statt nur einen kleinen Defekt zu reparieren, haben sie 500 echte, knifflige Aufgaben gestellt, die in vier Kategorien unterteilt sind:

1. Der Detektiv (CrossRepo): „Das Problem liegt in deinem Auto, aber die Lösung findest du im Handbuch eines anderen Autos."
2. Der Spezialist (DomainFix): „Repariere dieses Auto, aber du musst verstehen, wie Quantenmechanik funktioniert."
3. Der Umzugs-Manager (DepMigrate): „Wir wechseln von alten zu neuen Reifen. Bitte rüste alle 100 Autos im Park so um, dass sie mit den neuen Reifen fahren können."
4. Der Architekt (Doc2Repo): „Hier ist eine Skizze für ein neues Auto. Baue es komplett neu, ohne dass ein Schrauber schon da war."

📉 Das Ergebnis: Die KI stolpert

Das Ergebnis war ernüchternd: Selbst die klügsten Roboter (die fortschrittlichsten KI-Modelle) scheiterten an fast der Hälfte dieser Aufgaben.

• Sie schafften es nur in 45 % der Fälle.
• Es gab keinen „Super-Roboter", der bei allen Aufgaben gut war. Manche waren gut beim Umrüsten, aber schlecht beim Bauen von Grund auf.

Das zeigt: Unsere KIs sind wie ausgezeichnete Schrauber, die aber noch keine echten Ingenieure sind. Ihnen fehlt das große Ganze.

🔍 Die Lösung? Ein Such-Assistent (SearchSWE)

Die Forscher dachten: „Vielleicht fehlt ihnen nur die Fähigkeit, im Internet nachzuschauen, wie man das macht."
Also bauten sie SearchSWE. Das ist wie ein Roboter, der nicht nur schraubt, sondern auch ein Smartphone hat, mit dem er Google, Foren und Handbücher durchsucht, während er arbeitet.

Das überraschende Ergebnis:
Das Smartphone half nicht immer!

• Manchmal war es super hilfreich (z. B. bei Fachwissen).
• Aber oft verwirrte es den Roboter. Er las zu viel, fand widersprüchliche Informationen oder alte Handbücher für neue Autos und baute dann etwas Falsches.
• Es ist, als würdest du einem Schrauber sagen: „Suche im Internet nach einer Lösung", und er liest dann 50 verschiedene Forenbeiträge, verliert den Fokus und vergisst, wie das Werkzeug in seiner Hand aussieht.

💡 Die große Erkenntnis

Die Arbeit sagt uns:

1. Code allein reicht nicht: KIs müssen lernen, wie echte Entwickler zu denken – also zu suchen, zu lesen, zu zweifeln und dann zu bauen.
2. Suchen und Bauen sind noch nicht vereint: Unsere KIs können gut suchen ODER gut bauen, aber sie können beides noch nicht gut gleichzeitig kombinieren.
3. Die Zukunft: Wir brauchen KIs, die nicht nur Code tippen, sondern wie ein erfahrener Ingenieur arbeiten: Sie wissen, wann sie nachschauen müssen, wann sie das Handbuch ignorieren sollen und wie sie das Gesehene in die Tat umsetzen.

Kurz gesagt: Unsere KI-Programmierer sind noch keine „Senior Engineers". Sie sind fleißige Lehrlinge, die gerade lernen, dass das echte Leben viel komplexer ist als eine einzelne Garage. Der Weg dorthin ist lang, aber dieser neue Prüfstand (BeyondSWE) zeigt uns genau, wo sie noch üben müssen.

Technische Zusammenfassung

1. Problemstellung

Aktuelle Benchmarks für Code-Agenten (wie SWE-bench) konzentrieren sich fast ausschließlich auf das Beheben von Fehlern innerhalb eines einzelnen Repositorys („Single-Repo"). Diese Aufgaben sind oft lokal begrenzt auf einzelne Funktionen und setzen voraus, dass der gesamte notwendige Kontext im bereitgestellten Codebase enthalten ist.

Dies steht in starkem Kontrast zur realen Softwareentwicklung, bei der Entwickler:

• Probleme lösen, die über mehrere Repositorys hinweg verteilt sind (Cross-Repository-Reasoning).
• Fachspezifisches Wissen aus Domänen wie Bioinformatik oder Quantenphysik benötigen.
• Abhängigkeitsmigrationen durchführen müssen (z. B. das Umstellen ganzer Codebasen auf neue Major-Versionen von Bibliotheken).
• Komplette Repositories basierend auf natürlichsprachlichen Spezifikationen generieren müssen.

Die zentrale Forschungsfrage lautet: Können aktuelle Code-Agenten diese komplexeren, realweltlichen Szenarien bewältigen, die über das einfache Beheben von Bugs in einem einzigen Repository hinausgehen?

2. Methodik

A. BeyondSWE: Ein neues Benchmark

Die Autoren stellen BeyondSWE vor, ein umfassendes Benchmark, das die Evaluierung entlang zweier Achsen erweitert:

1. Auflösungsbereich (Resolution Scope): Von isolierten Funktionskorrekturen bis hin zu repositoryweiten Refactorings und der Generierung ganzer Systeme.
2. Wissensbereich (Knowledge Scope): Von rein lokalem Code bis hin zur Notwendigkeit externer Ressourcen (andere Repos, Fachdokumentation, Web).

Das Benchmark umfasst 500 reale Instanzen aus 246 GitHub-Repositorys und ist in vier Szenarien unterteilt:

• CrossRepo: Behebung von Issues durch Nutzung von Code/Lösungen aus externen Repositorys.
• DomainFix: Lösung von Problemen, die spezialisiertes Domänenwissen (z. B. Quantenphysik, Bioinformatik) erfordern.
• DepMigrate: Migration ganzer Codebasen aufgrund von Breaking Changes in Abhängigkeiten (z. B. Pydantic v1 zu v2, NumPy 1.x zu 2.x).
• Doc2Repo: Generierung eines funktionsfähigen Repositorys ausschließlich aus einer Spezifikationsdokumentation.

Infrastruktur & Qualitätssicherung:

• Die Umgebungen werden automatisiert in Docker-Containern aufgebaut, wobei ein Agent (Gemini 3 Pro) hilft, Abhängigkeiten zu installieren und Tests stabil laufen zu lassen.
• Strenge Isolierung verhindert Datenlecks (z. B. Zugriff auf zukünftige Git-Historie).
• Die Erfolgsmessung erfolgt über „Pass-to-Pass" (P2P) und „Fail-to-Pass" (F2P) Tests.

B. SearchSWE: Ein Framework für Such-Integration

Um zu untersuchen, wie externe Informationen die Leistung beeinflussen, entwickelten die Autoren SearchSWE.

• Dies ist ein Agent-Framework, das die Codierungsfähigkeit mit Deep Search (Web-Suche, Browser) verbindet.
• Der Agent kann iterativ nach externen Ressourcen suchen, diese lesen und in den Code integrieren.
• Ein „Blocklist"-Mechanismus verhindert, dass der Agent direkt nach der Lösung (Gold-Patch) sucht, sondern zwingt ihn zu echtem Reasoning.

3. Wichtige Beiträge

1. BeyondSWE Benchmark: Das erste umfassende Evaluierungstool, das Code-Agenten in vier realistischen, komplexen Szenarien testet, die über den aktuellen State-of-the-Art (SWE-bench) hinausgehen.
2. SearchSWE Framework: Ein einheitliches Baseline-Framework, das die Integration von Such- und Codierungsfähigkeiten systematisch untersucht, ohne auf aufwendige, aufgaben spezifische Designs zurückzugreifen.
3. Öffentliche Freigabe: Die vollständige Veröffentlichung des Benchmarks und des Frameworks, um die Forschung voranzutreiben.

4. Ergebnisse

A. Leistungslücke (Capability Gap)

Die Experimente mit fortschrittlichen Modellen (Gemini 3 Pro, GPT-5.2, DeepSeek-V3.2, etc.) zeigen eine signifikante Lücke:

• Selbst die besten Modelle erreichen auf BeyondSWE eine Erfolgsrate von unter 45 % (im Durchschnitt ca. 41,8 %).
• Im Vergleich dazu erreichen Modelle auf SWE-bench Verified oft über 80 %.
• Kein einzelnes Modell dominiert alle Aufgabenkategorien; die Stärken variieren stark (z. B. ist Gemini 3 Pro gut bei Migrationen, Seed-Coder bei Cross-Repo, aber alle scheitern oft bei Domänenwissen).
• DomainFix ist die größte Hürde (oft <36 % Erfolg), was zeigt, dass spezialisiertes Fachwissen ein kritischer Engpass ist.
• Doc2Repo zeigt, dass Agenten zwar Komponenten implementieren können, aber Schwierigkeiten haben, kohärente, vollständige Systeme aus Spezifikationen zu entwerfen.

B. Die Diskrepanz zwischen Suche und Codierung

Die Einführung von SearchSWE offenbart eine kritische Inkompatibilität:

• Inkonsistente Gewinne: Die Integration von Suchfunktionen führt nicht automatisch zu besseren Ergebnissen. In einigen Fällen (z. B. bei CrossRepo) verbessert sie die Leistung, in anderen (z. B. Doc2Repo oder bei bestimmten Modellen) verschlechtert sie sie sogar.
• Gründe für das Scheitern:
  1. Informationslandschaft: Suchmaschinen priorisieren oft hochlevelige Dokumentation statt des benötigten präzisen Quellcodes.
  2. Versionskonflikte: Modelle nutzen oft veraltete oder zu neue Informationen aus dem Web, die nicht mit der lokalen Docker-Umgebung (z. B. alte Bibliotheksversionen) übereinstimmen.
  3. Semantische Drift: Bei Nischen-Bibliotheken führen Suchanfragen zu irrelevanter Information aus anderen Domänen, die den Kontext kontaminieren.
• Fazit: Die Fähigkeit zu suchen und die Fähigkeit zu codieren haben sich unabhängig voneinander entwickelt. Eine effektive Integration (das „Interleaving" von Suche und Reasoning) ist für aktuelle LLMs noch nicht gelöst.

5. Bedeutung und Ausblick

Die Arbeit zeigt, dass der Fortschritt bei Code-Agenten an einem Punkt angelangt ist, an dem das reine Beheben von Bugs in isolierten Repositorys nicht mehr ausreicht, um ihre wahre Nützlichkeit zu messen.

• Realitätscheck: BeyondSWE beweist, dass aktuelle Modelle für komplexe, reale Softwareentwicklungsarbeiten noch nicht bereit sind.
• Richtung für zukünftige Forschung: Die Ergebnisse deuten darauf hin, dass zukünftige Modelle nicht nur besser codieren, sondern auch besser suchen, filtern und integrieren müssen. Die nahtlose Verbindung von externem Wissensabruf und lokaler Code-Manipulation ist eine der wichtigsten offenen Herausforderungen.
• Einfluss: BeyondSWE und SearchSWE bieten die notwendige Infrastruktur, um diese neuen Fähigkeiten zu evaluieren und Modelle zu entwickeln, die echte Entwickler-Workflows nachahmen können.