BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing?

Dit paper introduceert BeyondSWE, een uitgebreid benchmark dat de beperkingen van huidige code-agenten in complexe, real-world scenario's blootlegt, en SearchSWE, een framework dat aantoont dat zoekfuncties niet altijd leiden tot betere prestaties.

De kern

Stel je voor dat je een zeer slimme, geavanceerde robot hebt die je kunt vragen om een huis te bouwen. Je geeft de robot een blauwdruk, en hij pakt zijn gereedschap. Tot nu toe hebben we deze robots getest door ze kleine, simpele klusjes te laten doen: "Vervang deze ene kapotte deurklink in de keuken" of "Maak dit raam dicht dat lekkt." De robots waren hier best goed in.

Maar de echte vraag is: Kan deze robot ook een heel nieuw huis bouwen, of een bestaand huis verbouwen terwijl de buren hun eigen huizen ook aan het renoveren zijn?

Dat is precies wat dit nieuwe onderzoek, genaamd BeyondSWE, onderzoekt. De auteurs zeggen: "Onze huidige tests zijn te makkelijk. Ze kijken alleen naar kleine reparaties binnen één enkel huis (één computerprogramma). Maar in het echte leven werken programmeurs aan veel complexere dingen."

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De Oude Test: De "Klein Klusje"-Test

Vroeger testten we AI-programma's (code-agents) met een benchmark genaamd SWE-bench.

• De Vergelijking: Dit was alsof we de robot alleen lieten oefenen op het vervangen van een kapotte schroef in één specifieke kast.
• Het Probleem: In het echte leven moet een programmeur vaak:
  • Kijken naar hoe een ander bedrijf een probleem heeft opgelost (niet alleen in hun eigen huis).
  • Diepe kennis hebben van heel specifieke vakgebieden, zoals quantumfysica of biologie (alsof de robot ook een dokter moet zijn).
  • Een heel huis verbouwen omdat de leverancier van de ramen (de software-bibliotheken) ineens nieuwe, andere ramen levert.
  • Een heel nieuw huis bouwen vanaf nul, alleen op basis van een beschrijving in een brief.

De huidige robots faalden hierop. Zelfs de slimste modellen haalden maar 45% succes. Ze waren als een meester-timmerman die een deur kan vervangen, maar in paniek raakt als hij een nieuw huis moet ontwerpen.

2. De Nieuwe Test: BeyondSWE (De "Grote Uitdaging")

De onderzoekers hebben een nieuwe test ontwikkeld, BeyondSWE. Ze hebben 500 echte, moeilijke taken verzameld die de robots moeten oplossen. Ze kijken naar twee dingen:

1. Hoe groot is de klus? (Is het een schroefje of een hele verbouwing?)
2. Hoeveel kennis heb je nodig? (Moet je alleen in je eigen huis kijken, of moet je ook naar de bibliotheek, de buren en het internet gaan?)

De vier soorten klusjes in deze test:

• De Buurman-Check (CrossRepo): Je hebt een probleem, en je moet kijken hoe een ander bedrijf dat al heeft opgelost en die oplossing overnemen.
• De Specialist (DomainFix): Je moet een probleem oplossen in een heel specifiek vakgebied, zoals het simuleren van atomen of het analyseren van DNA. De robot moet "weten" hoe atomen werken, niet alleen hoe code werkt.
• De Verhuizing (DepMigrate): Stel, de leverancier van je ramen (een software-update) verandert de maatvoering. Je moet nu alle ramen in het hele huis aanpassen. Dit is een enorme verbouwing, geen klein klusje.
• De Bouwmeester (Doc2Repo): Je krijgt alleen een beschrijving van een huis ("Ik wil een huis met 3 slaapkamers en een zwembad") en de robot moet het hele huis bouwen, inclusief de fundering en het dak, zonder dat er al muren staan.

3. De Hulpbron: SearchSWE (De "Google-Bril")

De onderzoekers dachten: "Misschien helpen we de robots door ze een bril te geven waarmee ze het internet kunnen zoeken." Ze bouwden een systeem genaamd SearchSWE. Dit laat de robot zoeken op Google, forums en documentatie terwijl hij werkt.

Het verrassende resultaat:
Het werkt niet altijd zoals je denkt!

• Soms helpt het: Als de robot een specialistische vraag heeft (bijv. over quantumfysica), helpt het zoeken enorm. Het is alsof je de robot een boek geeft waar het antwoord in staat.
• Soms helpt het niet: Soms maakt het de robot verward. De robot zoekt naar informatie, maar vindt verouderde informatie of informatie die niet past bij de versie van de software die hij gebruikt.
  • Vergelijking: Stel je voor dat je een robot vraagt om een auto te repareren. Hij zoekt op Google en vindt een handleiding voor een auto uit 2025. Maar jouw auto is uit 2018. De robot probeert de nieuwe handleiding toe te passen op de oude auto en maakt hem kapot.

De conclusie is dat het samenvoegen van "zoeken" en "bouwen" heel moeilijk is voor AI. Het is alsof je iemand vraagt om te koken terwijl je hem constant nieuwe recepten opstuurt via WhatsApp. Soms helpt het, maar vaak raakt hij de draad kwijt.

4. Wat betekent dit voor de toekomst?

Dit onderzoek is een wake-up call.

• De robots zijn nog niet klaar voor de echte wereld. Ze zijn goed in simpele klusjes, maar falen als het complex wordt.
• Zoeken is niet de oplossing voor alles. Gewoon "meer internettoegang" geven aan een AI maakt hem niet automatisch slimmer. De AI moet leren wanneer hij moet zoeken en welke informatie hij moet vertrouwen.
• We hebben betere tests nodig. Zolang we alleen testen op simpele klusjes, denken we dat AI al perfect is. Met BeyondSWE zien we nu pas de echte beperkingen.

Kort samengevat:
Deze paper zegt: "Onze AI-robots zijn slim, maar ze zijn nog geen echte programmeurs. Ze kunnen een deurklink vervangen, maar als je ze vraagt om een heel huis te bouwen of een verbouwing te doen terwijl de buren ook aan het bouwen zijn, raken ze in de war. We moeten ze beter trainen om te zoeken, te begrijpen en te bouwen, en niet alleen kleine klusjes te doen."

Technische samenvatting

1. Het Probleem

Huidige benchmarks voor code-agents (zoals SWE-bench) evalueren modellen voornamelijk op hun vermogen om bugs op te lossen binnen een enkel repository-context. Deze benchmarks zijn beperkt tot functionele fixes binnen één codebase en veronderstellen dat alle benodigde kennis lokaal beschikbaar is.

Dit staat in schril contrast met de realiteit van software-engineering, waar ontwikkelaars regelmatig geconfronteerd worden met complexere uitdagingen:

• Cross-repository redenering: Problemen oplossen door code of oplossingen uit andere repositories te raadplegen.
• Domeinspecifieke kennis: Expertise vereisen in niches zoals bio-informatica of kwantumfysica.
• Afhankelijkheids-migratie: Het refactoren van volledige codebases omwille van brekende wijzigingen in upstream-bibliotheken (bijv. NumPy 1.x naar 2.x).
• Generatie van volledige systemen: Het bouwen van een werkende repository puur op basis van een specificatiedocument.

De centrale vraag van het paper is: Kunnen huidige code-agents overleven buiten het simpele oplossen van bugs in één enkele repository?

2. Methodologie

De auteurs introduceren twee hoofdbijdragen om dit probleem aan te pakken: een nieuw benchmark en een nieuw agent-framework.

A. BeyondSWE (De Benchmark)

BeyondSWE is een uitgebreide benchmark die evaluaties uitbreidt langs twee assen: oplossingsomvang (resolution scope) en kennisomvang (knowledge scope). De benchmark bestaat uit 500 real-world instances verdeeld over vier specifieke scenario's:

1. CrossRepo: Agents moeten issues oplossen in een doel-repository door expliciet code en oplossingen uit externe repositories te benutten.
2. DomainFix: Agents moeten domeinspecifieke kennis toepassen (bijv. uit de kwantumfysica of geospatiale analyse) om problemen op te lossen die niet oplossen zijn met alleen algemene programmeerkennis.
3. DepMigrate: Agents moeten een volledige codebase migreren als reactie op brekende API-wijzigingen in upstream-afhankelijkheden (bijv. Pydantic v1 naar v2).
4. Doc2Repo: Agents moeten een volledig functionele repository bouwen vanaf nul, uitsluitend op basis van een natuurlijk taal specificatiedocument.

Infrastructuur:

• De instances draaien in geïsoleerde Docker-omgevingen die automatisch zijn opgezet door een LLM-agent om afhankelijkheidsproblemen (dependency decay) op te lossen.
• Er wordt gebruik gemaakt van strikte validatie: "Pass-to-Pass" (bestaande tests blijven slagen) en "Fail-to-Pass" (de specifieke bug wordt opgelost) tests.
• Er is een "cheating prevention" mechanisme om te voorkomen dat agents toegang krijgen tot de oplossing of de git-historie na de target commit.

B. SearchSWE (Het Framework)

Om te onderzoeken of externe zoekcapaciteiten de prestaties verbeteren, ontwikkelen de auteurs SearchSWE. Dit is een agent-framework dat coderingsvaardigheden integreert met diep zoeken (deep research).

• Werking: De agent kan wisselen tussen een lokale context (Docker container voor code-exploratie en testen) en een globale context (webzoekmachine en browser voor het ophalen van documentatie en forums).
• Beveiliging: Een "blocklist" voorkomt dat agents direct naar de doel-repository zoeken om de oplossing te stelen; ze moeten oplossingen synthetiseren uit indirecte bronnen.
• Doel: Systematisch onderzoeken hoe de integratie van zoeken en coderen presteert, zonder over-specifieke designs voor individuele taken.

3. Belangrijkste Resultaten

De auteurs hebben diverse state-of-the-art modellen (zoals Gemini 3 Pro, GPT-5.2, DeepSeek-V3.2, Qwen3) getest op BeyondSWE.

• Significant Capabiliteitskloof: Zelfs de meest geavanceerde modellen bereiken een succespercentage van minder dan 45% op de BeyondSWE-benchmark. Dit staat in schril contrast met successen van >80% op SWE-bench Verified.
• Geen Universele Winnaar: Geen enkel model domineert in alle categorieën. Sommige modellen excelleren in migratie (DepMigrate), terwijl anderen beter zijn in cross-repository taken, maar geen enkel model is consistent goed in alle vier de scenario's.
• Domeinspecifieke Uitdagingen: De "DomainFix" taak bleek het meest uitdagend, met succespercentages zelden boven de 36%, wat aantoont dat LLM's moeite hebben met diepgaande wetenschappelijke redenering.
• Inconsistentie van Zoeken (SearchSWE):
  • Het toevoegen van zoekcapaciteiten leidt niet automatisch tot betere prestaties.
  • In sommige gevallen (zoals bij DomainFix voor Gemini 3 Pro) leverde zoeken een verbetering op (+7,5%).
  • In andere gevallen (zoals bij CrossRepo voor Seed-Coder) verslechterde zoeken de prestaties (-5,8%).
  • Oorzaak: Agents worstelen met het onderscheiden van relevante informatie, het reconciliëren van versieverschillen (lokaal vs. online documentatie), en het filteren van "ruis" in zoekresultaten die de logica verstoren.

4. Bijdragen

1. BeyondSWE Benchmark: Een realistisch en uitdagend evaluatiekader dat de beperkingen van huidige code-agents blootlegt door verder te kijken dan single-repo bugfixes.
2. SearchSWE Framework: Een unificatie van coderen en diep zoeken die aantoont dat deze twee vaardigheden (die nu vaak apart worden getraind) nog niet effectief zijn geïntegreerd in huidige LLM's.
3. Empirische Inzichten: Het paper levert bewijs dat "meer zoeken" niet gelijkstaat aan "beter coderen". Effectieve integratie vereist het vermogen om te bepalen wanneer te zoeken en hoe de gevonden informatie correct te interpreteren binnen de lokale context.

5. Betekenis en Conclusie

Dit werk markeert een verschuiving in de evaluatie van AI voor software-engineering. Het toont aan dat hoewel LLM's goed zijn geworden in het oplossen van lokale bugs, ze nog niet klaar zijn voor de complexiteit van echte software-ontwikkeling die vereist:

• Het navigeren door meerdere repositories.
• Het toepassen van gespecialiseerde domeinkennis.
• Het uitvoeren van grootschalige migraties.
• Het vertalen van abstracte specificaties naar werkende systemen.

De conclusie is dat de volgende stap in onderzoek niet alleen gaat over het verbeteren van coderingsvaardigheden, maar vooral over het ontwikkelen van geïntegreerde agenten die vloeiend kunnen schakelen tussen zoeken, redeneren en coderen, en die in staat zijn om externe kennis kritisch te filteren en toe te passen zonder de lokale context te schaden. BeyondSWE en SearchSWE bieden de basis voor deze volgende generatie onderzoek.