🤖 AI

MEnvAgent: Scalable Polyglot Environment Construction for Verifiable Software Engineering

Dit artikel introduceert MEnvAgent, een schaalbaar meertalig framework dat de constructie van verifieerbare software engineering-omgevingen automatiseert via een multi-agent architectuur en een mechanisme voor omgevingshergebruik, waardoor datasetschaarste wordt overwonnen en de creatie van de grootste open-source polyglote dataset voor LLM-agents wordt mogelijk gemaakt.

Oorspronkelijke auteurs: Chuanzhe Guo, Jingjing Wu, Sijun He, Yang Chen, Zhaoqi Kuang, Shilong Fan, Bingjin Chen, Siqi Bao, Jing Liu, Hua Wu, Qingfu Zhu, Wanxiang Che, Haifeng Wang

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chuanzhe Guo, Jingjing Wu, Sijun He, Yang Chen, Zhaoqi Kuang, Shilong Fan, Bingjin Chen, Siqi Bao, Jing Liu, Hua Wu, Qingfu Zhu, Wanxiang Che, Haifeng Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent (een AI) die probeert een beroemd gerecht uit een receptenboek te recreëren. Het recept zegt: "Voeg zout, peper en een specifiek type zeldzame kruid toe." Maar hier is de crux: voordat je zelfs maar kunt beginnen met koken, moet je eerst een keuken bouwen vanaf de grond af aan. Je moet de juiste kookplaat vinden, de juiste gasleidingen installeren, het exacte merk zout kopen en ervoor zorgen dat het zeldzame kruid in je tuin groeit.

Als je de verkeerde kookplaat kiest, verbrandt het eten. Als je het verkeerde zout koopt, smaakt het gerecht verschrikkelijk. In de wereld van software engineering wordt dit "bouw van de keuken" Environment Construction genoemd.

Lange tijd was het aanleren van softwarebugs repareren aan AI als het vragen aan een chef om te koken zonder keuken. We hadden de recepten (de code), maar we konden niet gemakkelijk de keukens (de software-omgevingen) bouwen om te testen of de fixes van de AI daadwerkelijk werkten. Het bouwen van deze keukens was traag, duur en werkte alleen voor een paar soorten "keukens" (programmeertalen).

Ontmoet MEnvAgent: De Ultieme Keukenbouwer

Het paper introduceert MEnvAgent, een nieuw systeem ontworpen om automatisch deze software-keukens te bouwen voor 10 verschillende programmeertalen (zoals Python, Java, C++, etc.). Het is also[t] een team van gespecialiseerde bouwvakkers die een keuken kunnen bouwen voor elk recept, ongeacht hoe complex het is.

Hier is hoe MEnvAgent werkt, met behulp van eenvoudige analogieën:

1. De Drie-Stappen Bouwploeg

In plaats van één persoon die alles probeert te doen, gebruikt MEnvAgent een team van drie "agents" (AI-specialisten) die in een loop werken:

De Architect (Planning): Deze agent leest het recept en de blauwdruk. Het bepaalt welke kookplaat, leidingen en ingrediënten nodig zijn.
De Bouwer (Executie): Deze agent begint daadwerkelijk te bouossen. Het installeert de software en voert de tests uit. Als een leiding lekt of een onderdeel niet past, probeert deze agent dit ter plekke op te lossen.
De Inspecteur (Verificatie): Zodra de keuken is gebouwd, probeert deze agent het gerecht te koken. Als het gerecht goed smaakt (de code slaagt voor de test), is de klus geklaard. Als het mislukt, vertelt de Inspecteur de Architect precies wat er misging, zodat deze het opnieuw kan proberen.

2. De "Reuse" Truc (Tijd en Geld Besparen)

Elke keer een keuken vanaf de grond af aan bouwen is een verspilling van tijd. Stel je voor dat je elke keer een nieuw huis moet bouwen als je een taart wilt bakken.

MEnvAgent heeft een slimme truc genaamd de Environment Reuse Mechanism.

De Analogie: Stel dat je een keuken nodig hebt voor een nieuw pizzarecept. In plaats van te beginnen op een braakliggend terrein, kijkt MEnvAgent naar zijn bibliotheek van eerder gebouwde keukens. Het vindt er een die al voor 90% gebouwd is voor een soortgelijke pizza.
De Patch: Vervolgens stuurt het een "patch-ploeg" (de EnvPatchAgent) om kleine, snelle aanpassingen aan die bestaande keuken te maken zodat deze past bij het nieuwe recept. Dit is veel sner dan alles vanaf de grond af aan opbouwen.
Het Resultaat: Het paper beweert dat dit 43% van de tijd bespaart vergeleken met het bouwen vanaf de grond af aan.

3. Het Bewijs: MEnvBench en MEnvData

Om te bewijzen dat hun systeem werkt, hebben de auteurs niet alleen gegokt; ze bouwden een enorme testomgeving genaamd MEnvBench.

Denk aan dit als een enorme "Kookolympiade" met 1.000 uitdagingen verspreid over 10 verschillende talen.
Ze hebben MEnvAgent getest tegen andere systemen en vonden dat het de winnaar was. Het repareerde meer "defecte keukens" (verbeterde de succesratio met 8,6%) en deed dit veel sneller.

4. De Grote Beloning: Een Bibliotheek van Perfecte Keukens

Omdat MEnvAgent zo goed is in het bouwen van deze omgevingen, hebben de auteurs het gebruikt om MEnvData-SWE te creëren.

De Analogie: Dit is als een enorme bibliotheek van meer dan 3.000 perfect gebouwde keukens, elk met een werkend recept en een testresultaat.
De Impact: Ze hebben deze bibliotheek gebruikt om andere AI-chefs te trainen. Het resultaat? De AI-chefs werden aanzienlijk beter in het repareren van softwarebugs. Het paper laat zien dat modellen die op deze data zijn getraind, veel beter presteerden op echte softwaretaken dan modellen die zonder deze data zijn getraind.

Samenvatting

Kortom, MEnvAgent lost het probleem op van "hoe testen we of een AI code kan repareren?" door automatisch de noodzakelijke testomgevingen te bouwen voor vele verschillende programmeertalen. Dit doet het door een team van AI-agents te gebruiken om te plannen, te bouwen en te controleren, en door slim gebruik te maken van oude omgevingen om tijd te besparen. Het resultaat is een snellere, betrouwbaardere manier om AI te trainen om een betere software engineer te worden.

Wat het paper NIET beweert:

Het beweert niet dat dit systeem elk bug in de wereld direct kan oplossen.
Het beweert niet dat dit menselijke engineers volledig vervangt; het is een hulpmiddel om betere testomgevingen voor AI te bouwen.
Het bespreekt niet het gebruik hiervan voor medische software of kritieke veiligheidssystemen specifiek, behalve het vermelden van de noodzaak voor veiligheidssandboxes (geïsoleerde keukens) om te voorkomen dat kwaadaardige code wordt uitgevoerd.

Technische Samenvatting: MEnvAgent

Probleemstelling

De vooruitgang van Large Language Model (LLM) agents voor Software Engineering (SWE) wordt momenteel beperkt door het tekort aan verifieerbare datasets. Hoewel benchmarks zoals SWE-bench bestaan, is het construeren van de vereiste uitvoerbare omgevingen om oplossingen te valideren een aanzienlijke uitdaging. Bestaande benaderingen kampen met een dilemma:

Statische metrieken schalen efficiënt maar bieden slechts benaderende verificatiesignalen.
Handmatige constructie garandeert kwaliteit maar is arbeidsintensief en grotendeels beperkt tot Python.
Geautomatiseerde pogingen worstelen met de complexiteit van diverse afhankelijkheden, versieconflicten en inconsistente testprotocollen over niet-standaard repositories heen, wat leidt tot lage succespercentages en buitensporige tijdkosten door de noodzaak van "clean-slate" rebuilds bij falen.

Er is een kritieke kloof in schaalbare, verifieerbare ondersteuning voor diverse programmeertalen (polyglot omgevingen).

Methodologie: MEnvAgent

Om deze uitdagingen aan te pakken, introduceren de auteurs MEnvAgent, een multi-language framework voor geautomatiseerde omgevingsconstructie. Het systeem is gebouwd op twee kernzuilen:

1. Multi-Agent Planning-Execution-Verification Architectuur

MEnvAgent maakt gebruik van een closed-loop architectuur waarbij gespecialiseerde agents iteratief constructiefouten diagnosticeren en oplossen:

Planning Fase:
- Repository Analysis Agent: Verkent bestandsstructuren en afhankelijkheden om projecttypen en entry points te samenvatten.
- Environment Setup Agent: Selecteert de optimale base image en stelt het installatiescript ( $P$ ) op.
- Test Configuration Agent: Synthetiseert een compatibel testscript ( $T$ ) om ervoor te zorgen dat de verificatielogica overeenkomt met de omgeving.
Execution Fase:
- Environment Execution Agent: Instantieert een container en voert het buildproces uit. Het monitort de terminaloutput in realtime om commando's dynamisch aan te passen (bijv. het herstellen van ontbrekende packages) om directe fouten op te lossen. Als fouten aanhouden, keert het terug naar de Planning Fase om een nieuwe strategie te genereren.
Verification Fase:
- Verification Agent: Voert het testscript uit. Het voert foutattributie uit om te bepalen of fouten voortkomen uit ontbrekende afhankelijkheden of incorrecte testcommando's, en voert diagnostische feedback terug naar de Planning Fase voor iteratieve verfijning.

2. Environment Reuse Mechanisme

Om de hoge computationele kosten van het vanaf nul opbouwen van omgevingen te beperken, introduceert MEnvAgent een innovatieve hergebruikstrategie:

Retrieval: In plaats van vanuit een ruwe base image te starten, doorzoekt het systeem een Environment Pool van eerder geverifieerde omgevingen. Het gebruikt een hiërarchische retrievalstrategie gebaseerd op Version Consistency (exacte versie match) en Backward Compatibility (het selecteren van nieuwere omgevingen die oudere afhankelijkheden ondersteunen).
Adaptation: Zodra een vergelijkbare historische omgeving ( $S_{sim}$ ) is gevonden, genereert een EnvPatchAgent een incrementele commando-sequentie ( $\Delta P$ ) om de omgeving aan te passen aan de doel-repository snapshot. Dit voorkomt volledige rebuilds en vermindert de overhead aanzienlijk.

Belangrijkste Bijdragen

Het artikel presenteert drie primaire bijdragen:

MEnvAgent Framework: Een multi-agent systeem dat 10 programmeertalen dekt op basis van een Planning-Execution-Verification loop, voorzien van een nieuwnelig environment reuse mechanisme om de computationele overhead te verminderen.
MEnvBench: De eerste uitgebreide benchmark voor het evalueren van multi-language uitvoerbare omgevingsconstructie. Het bestaat uit 1.000 taken verspreid over 10 mainstream talen en 200 open-source repositories, met strikte executie-gebaseerde evaluatie en kwaliteitsborging.
MEnvData-SWE: De grootste open-source polyglot dataset van realistische, verifieerbare Docker-omgevingen tot nu toe. Geconstrueerd via MEnvAgent, bevat het oplossingstrajecten die prestatiewinsten mogelijk maken voor LLM's bij downstream SWE-taken.

Experimentele Resultaten

Het framework werd geëvalueerd op MEnvBench met behulp van twee backbone LLM's: Kimi-K2 (open-source) en Gemini-3-Flash (closed-source).

Prestaties vs. Baselines: MEnvAgent presteerde beter dan state-of-the-art baselines (SWE-Factory, SWE-Bench-Live, Repo2Run) over alle talen.
- Fail-to-Pass (F2P) Rate: Verbeterde gemiddeld met 8,6%.
- Pass Rate: Verbeterde gemiddeld met 11,0%.
- Time Cost: Verminderde gemiddeld met 43,0%.
Ablatie Studies:
- Het verwijderen van het Environment Reuse mechanisme (bouwen vanaf scratch) verhoogde de tijdkosten met 46% en verlaagde de Pass Rate met 18,5%.
- Het verwijderen van de EnvPatchAgent (direct hergebruik zonder patching) zorgde ervoor dat de Reuse Success Rate daalde van 39% naar 25%, wat leidde tot frequente fallbacks naar scratch builds.
- Scalability: Naarmate het aantal historische instanties per repository toenam (van 1 naar 10), steeg de Reuse Success Rate naar 39%, wat aantoont dat het framework efficiënter wordt bij grotere dataschalen.
Downstream Utility: Het finetunen van diverse modellen (Qwen2.5-Coder, Qwen3-Coder, GLM-4.5-Air) op oplossingstrajecten uit MEnvData-SWE resulteerde in substantiële prestatiewinsten op de SWE-bench Verified en SWE-bench Multilingual benchmarks. Opvallend genoeg matchte de gefinetunede Qwen2.5-Coder-32B de GPT-4.1 op SWE-bench Verified.

Betekenis en Claims

De auteurs stellen dat MEnvAgent erin slaagt de kloof te overbruggen in de schaalbare, verifieerbare ondersteuning voor polyglot software engineering. Door de traditioneel arbeidsintensieve taak van omgevingsconstructie te automatiseren, verlaagt het framework de drempel voor onderzoekers om grootschalige, meertalige SWE-studies uit te voeren.

Het artikel benadrukt dat het Environment Reuse Mechanism een cruciale innovatie is die omgevingsconstructie transformeert van een lineair, kostbaar proces naar een incrementeel, efficiënt proces. Bovendien biedt de release van MEnvData-SWE de community een bron om robuustere en veelzijdiger coderingsagents te trainen, waarmee de bruikbaarheid van executie-geverifieerde data voor het verleggen van de prestatiegrenzen van SOTA-modellen effectief wordt gevalideerd.

De auteurs erkennen potentiële risico's met betrekking tot geautomatiseerde code-executie, maar merken op dat het framework binnen strikt geïsoleerde Docker sandbox-omgevingen werkt om de veiligheid te waarborgen. Alle code, benchmarks en datasets zijn open-source om toekomstig onderzoek te faciliteren.