Technische Samenvatting: SWE-Together

Probleemstelling

Huidige benchmarks voor coding agents, zoals de SWE-Bench familie en Terminal-Bench, vertrouwen voornamelijk op statische, single-turn protocollen. In deze opstellingen ontvangt een agent een volledige taakbeschrijving vooraf en wordt deze uitsluitend geëvalueerd op de correctheid van de uiteindelijke code-inzending. Deze aanpak weerspiegelt niet de realiteit van ondersteuning bij software engineering, die inherent interactief en multi-turn is. In real-world workflows onthullen gebruikers hun intentie stapsgewijs, verduidelijken ze ambigue verzoeken, verfijnen ze vereisten en geven ze corrigerende feedback over meerdere beurten.

Bestaande benchmarks lijden onder twee primaire mismatches met de praktijk:

1. Taakontwerp: Ze behandelen taken als vaste instructies, waarbij wordt genegeerd dat taakrelevante informatie vaak verdeeld is over meerdere beurten en initiële verzoeken vaak incompleet zijn.
2. Evaluatiemetrieken: Ze focussen uitsluitend op het succes van de uiteindelijke taak, waardoor de interactiekosten buiten beschouwing blijven. Twee agents kunnen hetzelfde uiteindelijke score behalen, maar de een kan slagen met een grove aanvraag terwijl de ander uitgebreide gedetailleerde specificaties en herhaalde corrigerende feedback vereist.

Bovendien is het construeren van een benchmark die realistische gebruikersinteractie behoudt terwijl verifieerbaarheid wordt gewaarborgd, een uitdaging. Ruwe conversatielogs missen vaak reproduceerbare repository-states, identificeerbare doelen of observeerbare uitkomsten. Daarnaast is het simpelweg afspelen van originele gebruikersbeurten naar een nieuwe agent gebrekkig, omdat latere gebruikersbeurten geconditioneerd moeten zijn op het traject van de nieuwe agent om interactie-drift te voorkomen, maar toch verankerd moeten blijven aan de intentie van de oorspronkelijke gebruiker.

Methodologie

Om deze uitdagingen aan te pakken, introduceren de auteurs SWE-Together, een benchmark bestaande uit 109 repository-niveau taken gereconstrueerd uit echte user–agent coding sessies. De methodologie bestaat uit drie kerncomponenten:

1. Session-to-Task Constructie Pipeline

De auteurs cureren 109 taken uit 11.260 opgenomen sessies afkomstig van vier upstream datasets: DataClaw, Pi-staging, Hyperswitch en SWE-chat. De constructiepipeline omvat drie stadia:

• Deterministische Eligibility Filtering: Ruwe sessies worden gefilterd om diegenen te behouden met genuante multi-turn interacties, concrete code-edits en herstelbare repository contexten. Sessies waarbij de menselijke gebruiker de laatste wijziging heeft uitgevoerd, worden uitgesloten om te garanderen dat de agent substantiële arbeid heeft verricht.
• Viability Screening: Een LLM-judge screent kandidaten om te waarborgen dat het coding werk gereconstrueerd kan worden als een zelfstandige, lokaal uitvoerbare taak. Sessies die afhankelijk zijn van externe staat (bijv. live service deployments, privé credentials) worden afgewezen.
• Taakconstructie: Een sandbox orchestrator zet levensvatbare sessies om in uitvoerbare benchmark pakketten. Dit omvat het herstellen van de repository op een gepinde commit, het definiëren van deterministische verifier artefacten en het genereren van taakspecifieke user-simulatie prompts.

2. Verankerde, State-Conditional User Simulator

Om interacties met nieuwe agents af te spelen, ontwikkelen de auteurs een reactieve LLM-gebaseerde user simulator. In tegen tegenstelling tot statische replays, deze simulator:

• Conditioneert op Traject: Het observeert de laatste beurt van de geëvalueerde agent, repository wijzigingen en verstreken tijd.
• Verankert aan Oorspronkelijke Intentie: Het gebruikt een vooraf berekende analyse van de originele sessie (doelstellingen, beperkingen en interventiecondities) om te garanderen dat de simulatie getrouw blijft aan de doelen van de oorspronkelijke gebruiker.
• State-Conditional Decision Policy: De simulator beslist of hij moet interveniëren (een bericht sturen) of stil moet blijven (no-op) op basis van de vraag of het huidige traject van de agent volgens de logica van de originele sessie feedback rechtvaardigt. Dit voorkomt voortijdige of irrelevante interventies.

3. Joint Evaluation Protocol

Evaluatie meet twee verschillende dimensies:

• Taak Correctheid: De uiteindelijke repository staat wordt gescoord tegen een bevroren, implementatie-agnostische rubric. Deze rubric is afgeleid in Fase 1 (offline) van de originele sessie en de referentie patch, en wordt vervolgens toegepast in Fase 2 op de kandidaat repositories. Scoring combineert deterministische uitvoerbare checks met een agentic rubric judge om gedragsmatige volledigheid te beoordelen in plaats van code gelijkenis.
• Interactie Diagnostiek:
  • User Correction: Kwantificeert de corrigerende sturing die door de agent wordt uitgelokt. Het telt expliciete correcties en gewogen "nudges" (zachtere feedback) die door de simulator worden gegeven.
  • Intent Coverage: Een diagnostische metriek die meet hoe getrouw de simulator de originele intenties en scope van de gebruiker behoudt over verschillende agent runs.

Belangrijkste Bijdragen

1. SWE-Together Benchmark: Een 109-taak benchmark gereconstrueerd uit echte multi-turn user–agent sessies, voorzien van een pipeline die opgenomen sessies omzet in verifieerbare, gesandboxed taken.
2. State-Conditional User Simulator: Een verankerde LLM simulator die de originele gebruikersintenties en interventievolgordes behoudt terwijl de timing van feedback wordt aangepast aan het specifieke traject van elke geëvalueerde agent.
3. Joint Evaluation Protocol: Een framework dat de correctheid van de uiteindelijke repository scoort tegen vaste rubrics, terwijl het interactietrajecten karakteriseert via User Correction en Intent Coverage, waarmee verder wordt gegaan dan eenvoudige pass/fail metrieken.

Resultaten

De auteurs evalueerden zeven frontier coding modellen op de 109-taak benchmark met behulp van de opencode harness met twee replicates per taak.

• Prestatie Rangschikking: Claude Opus 4.8 behaalde de hoogste prestaties over alle metrieken (pass@1: 63%, Stable Solve Rate: 59%, Mean Judge Score: 0.801). GPT-5.5 nam de tweede plaats in (Mean Judge: 0.763), gevolgd door Claude Opus 4.6. De zwakste modellen waren DeepSeek-V4-Pro en MiniMax-2.7.
• Capability vs. Intervention: Er werd een sterke negatieve correlatie waargenomen tussen model bekwaamheid en User Correction (Pearson correlatie van -0.92 met pass@1). Sterkere modellen vereisten aanzienlijk minder corrigerende interventies om vergelijkbare prestatieniveaus te bereiken (bijv. Claude Opus 4.8 vereiste gemiddeld 1.38 correcties, terwijl MiniMax-2.7 2.17 vereiste).
• Efficiëntie: GPT-5.5 was het meest efficiënt, waarbij het de minste tokens (29.9k) en wandklok tijd (10.7 min) per taak vereiste terwijl het een hoge bekwaamheid behield.
• Simulator Fidelity: Intent Coverage bleef stabiel over alle model cohorten (scores tussen 0.70–0.72), wat aangeeft dat de simulator de originele intenties consistent behield, ongeacht het gedrag van de agent.
• Menselijke Ondistinguiteerbaarheid: In een Turing-stijl test konden menselijke annotatoren geen statistisch onderscheid maken tussen gesimuleerde en echte gebruikers-trajecten (pass rate van 46%, CI inclusief 50%).

Betekenis en Claims

Het artikel claimt dat SWE-Together de evaluatie van coding agents herformuleert van one-shot taken naar replaybare, multi-turn sessies, wat een realistischerere beoordeling van de gebruikerservaring biedt.

• Voorbij Finale Correctheid: De resultaten suggereren dat het evalueren van agents uitsluitend op de uiteindelijke code onvoldoende is; de hoeveelheid benodigde corrigerende sturing is een cruciale indicator van bekwaamheid en gebruikerservaring.
• Realistische Interactie: Door taken af te leiden uit echte sessies en een state-conditional simulator te gebruiken, legt de benchmark de dynamische aard van software engineering vast waarbij vereisten evolueren.
• Betrouwbare Vergelijking: De stabiliteit van Intent Coverage en de ononderscheidbaarheid van gesimuleerde trajecten van echte trajecten valideren het vermogen van de benchmark om eerlijke, vergelijkbare evaluaties te bieden over verschillende model cohorten.

De auteurs concluderen dat SWE-Together het belang aantoont van het evalueren van coding agents niet alleen op basis van of ze een taak voltooien, maar ook op basis van hoeveel menselijke begeleiding ze daarvoor nodig hebben, waardoor de benchmark metrieken nauwer worden afgestemd op werkelijke gebruikersworkflows.