SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale
Dit paper introduceert SWE-rebench V2, een taal-onafhankelijke pipeline die op grote schaal reproduceerbare software-engineering-taken verzamelt uit duizenden repositories in twintig talen om het trainen van RL-gedreven agents te faciliteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een groep zeer slimme, maar nog wat onervaren robot-assistenten hebt die software moeten bouwen en repareren. Deze robots, die we "AI-agenten" noemen, worden steeds slimmer, maar ze hebben een groot probleem: ze hebben geen goede oefenboeken.
Tot nu toe moesten deze robots oefenen met een paar specifieke voorbeelden, vaak alleen in de programmeertaal Python. Het was alsof je iemand leerde autorijden, maar je gaf ze alleen een fiets om op te oefenen, en alleen op een parkeerplaats in Nederland. Ze leerden niet hoe ze in andere landen (andere programmeertalen) of op andere wegen (andere softwareprojecten) moesten rijden.
SWE-rebench V2 is de oplossing voor dit probleem. Het is een gigantische, geautomatiseerde fabriek die duizenden nieuwe "oefenopdrachten" maakt voor deze robots. Hier is hoe het werkt, vertaald naar alledaagse taal:
1. De Fabriek die nooit stopt (De "Language-Agnostic Pipeline")
Stel je een super-slimme kok voor die niet alleen Italiaans, maar ook Japans, Mexicaans en Thais kan koken. De meeste eerdere systemen waren zoals een kok die alleen pasta kon maken. SWE-rebench V2 is die kok die elke taal kan "koken".
Deze fabriek gaat naar de grote bibliotheek van de wereld (GitHub) en zoekt naar echte problemen die mensen hebben opgelost. Het pakt duizenden van deze oplossingen, verpakt ze in een handig pakketje en zorgt dat ze direct kunnen worden getest.
- Het unieke: Het werkt voor 20 verschillende programmeertalen, van de populaire Python tot de minder bekende talen. Het is alsof je een rijbewijsopleiding hebt die niet alleen voor auto's is, maar ook voor motorfietsen, vrachtwagens en zelfs vliegtuigen.
2. De "Proefkeuken" (De Interactieve Agent)
Om te oefenen, moet de robot eerst de keuken (de softwareomgeving) klaarzetten. Dit is vaak het lastigste deel: "Welke ingrediënten heb ik nodig? Welke pannen werken?"
In het verleden moesten mensen dit handmatig doen, wat duizenden uren kostte. SWE-rebench V2 gebruikt een interactieve robot-assistent die de keuken zelf opbouwt.
- De analogie: Stel je voor dat je een robot de keuken in stuurt. De robot leest het recept, haalt de pannen uit de kast, probeert het vuur aan te steken, en als het mislukt, probeert hij een andere knop. Hij doet dit totdat het recept perfect werkt. Als het lukt, slaat hij dit recept op zodat de volgende robot het ook kan gebruiken. Dit gebeurt automatisch voor duizenden verschillende "keukens".
3. De Kwaliteitscontrole (De "Jury")
Niet elke oefenopdracht is goed. Soms is de opdracht te vaag ("Maak het lekkerder") of is de test onbetrouwbaar (de proefpersoon is ziek en proeft niets).
Deze fabriek gebruikt een panel van meerdere slimme AI-jurys om elke opdracht te beoordelen.
- Ze kijken: "Is de opdracht duidelijk?" en "Werkt de test echt?"
- Als een opdracht te vaag is, wordt hij weggegooid.
- Als een opdracht te moeilijk is door een fout in de test (en niet door de robot), wordt dat gemarkeerd.
- Dit zorgt ervoor dat de robots alleen oefenen met eerlijke en duidelijke uitdagingen.
4. De Twee Collecties (Het Oefenmateriaal)
De auteurs hebben twee soorten "oefenboeken" gemaakt:
- De Strikte Oefenboeken (32.000+ taken): Dit zijn de "gouden" taken. Ze zijn volledig getest, zitten in een kant-en-klare verpakking (Docker-image) en zijn klaar om direct gebruikt te worden. Het is alsof je een kant-en-klare maaltijd krijgt die je alleen nog maar hoeft op te warmen.
- De Ruwe Ingrediënten (120.000+ taken): Dit is een enorme stapel rauwe data. Hierbij is de opdracht niet altijd perfect verpakt, maar het bevat wel de originele ideeën en code. Dit is geweldig voor robots die willen leren "koken" in plaats van alleen kant-en-klare maaltijden te eten. Het is een enorme bron om van te leren, zelfs als het niet perfect is.
5. De Diagnose (Waarom faalt de robot?)
Als een robot een opdracht niet goed doet, is dat niet altijd zijn schuld. Soms is de opdracht onduidelijk, of is de test kapot.
SWE-rebench V2 geeft bij elke opdracht een diagnosekaartje.
- Voorbeeld: "Let op: deze opdracht vereist kennis van een externe website die de robot misschien niet kan bereiken."
- Voorbeeld: "De test is te streng: de robot heeft het goed gedaan, maar de test faalt omdat een andere, ongerelateerde code stuk is."
Dit helpt onderzoekers om te begrijpen of de robot dom is, of dat de oefening slecht was.
Waarom is dit belangrijk?
Vroeger waren AI-robots voor softwareontwikkeling als kinderen die alleen in een zwembad leerden zwemmen. Ze konden goed zwemmen in dat ene zwembad, maar als ze in de oceaan (de echte wereld met duizenden verschillende talen en systemen) terechtkwamen, zeesick werden.
SWE-rebench V2 is als een gigantisch zwemparadijs met zwembaden voor elke vorm van water: rivieren, meren, de oceaan, en zelfs modderpoelen. Het zorgt ervoor dat onze AI-robots niet alleen in één taal kunnen werken, maar dat ze echte, veelzijdige software-engineers worden die overal ter wereld kunnen helpen.
Kortom: Het is de grootste, meest diverse en slimste "trainingskamp" ooit gebouwd voor robots die software schrijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.