Technische Samenvatting: SWE-MeM

Probleemstelling

Agents voor langdurige software engineering (SWE) worden geconfronteerd met aanzienlijke uitdagingen bij het beheren van langdurige en ruisgevoelige interactiegeschiedenissen onder beperkte contextbudgetten. Bestaande agents volgen doorgaans een ReAct-stijl append-only paradigma, waarbij de interactiegeschiedenis continu accumuleert. In SWE-taken resulteert dit in trajecten die vaak de contextwindow van Large Language Models (LLMs) overschrijden of te veel ruis bevatten voor effectieve redenering.

Huidige methoden voor geheugenbeheer lijden aan twee primaire beperkingen:

1. Rigiditeit: Bestaande methoden vertrouwen op statische compressiewerkstromen, zoals drempelgebaseerde samenvatting, subtaak-niveau vouwen (folding), of geleerde compressietools met vaste regels. Deze benaderingen kunnen niet adapteren aan de heterogene waarde van informatie binnen een traject. Zo kunnen uitgebreide executielogs op elk gewenst moment veilig worden gecomprimeerd, terwijl code die vroeg in een traject is geïnspecteerd, essentieel kan blijven voor latere redenering. Vaste regels kunnen deze scenario's niet onderscheiden.
2. Suboptimale Doelstellingen: De meeste bestaande methoden optimaliseren strikt voor contextreductie in plaats van voor de efficiëntie van taakoplossing. Hoewel ze de piekcontextlengte kunnen verminderen, verhogen ze vaak de totale tokenverwerking of het aantal interactiestappen drastisch, wat leidt tot een slechtere algehele efficiëntie en prestaties.

Methodologie

De auteurs stellen SWE-MeM voor, een trainingsframework ontworpen om SWE-agents uit te rusten met proactieve en on-demand geheugenbeheersmogelijkheden. De aanpak bestaat uit drie kerncomponenten:

1. Flexibele Geheugenbeheerstool

SWE-MeM introduceert een tool waarmee agents kunnen beslissen wanneer, wat, en hoe te comprimeren op basis van de huidige status van het traject.

• Mechanisme: De agent roept een compress-tool aan met argumenten die een analyse van de voortgang bevatten, een begin/eind stapnummer dat het te comprimeren bereik definieert, de samengevatte inhoud, en een resterend werkplan.
• Werking: De tool vervangt een geselecteerd bereik van de ruwe geschiedenis (bijv. logs, mislukte pogingen) door een samenvatting op hoog niveau, terwijl de temporele volgorde behouden blijft. Cruciaal is dat gecomprimeerde samenvattingen zelf weer geselecteerd kunnen worden voor verdere compressie in latere stappen, wat progressieve contextreductie mogelijk maakt.

2. Curriculum Fine-Tuning met Gesynthetiseerde Trajecten

Om het model effectief geheugenbeheer te leren, hebben de auteurs een synthese-workflow ontwikkeld die taakoplossende trajecten aanvult met geheugenbeheeracties.

• Trajectsynthese: Een basismodel genereert taak-rollouts, terwijl een propriëtair model fungeert als een "contextmonitor" om te beoordelen wanneer compressie nodig is. Triggers zijn gebaseerd op twee categorieën:
  • Contextbudgetdruk: Een probabilistische scheduler die de waarschijnlijkheid van compressie verhoogt naarmate het resterende contextbudget onder de 20% daalt.
  • Proactief Geheugenbeheer: Een LLM-as-a-judge mechanisme detecteert situaties waarin compressie voordelig is voordat het budget kritiek wordt, zoals bij voltooiing van een subtaak, lage informatiedichtheid (bijv. verbositeit van logs), of degradatie van de focus.
• Kwaliteitsfiltering: Een regelgebaseerde pipeline filtert gesynthetiseerde trajecten door defecten te maskeren, zoals ongepaste reductieratio's, te korte bereiken of foutieve bereik-uitlijning.
• Curriculum Learning: Training vindt plaats in twee stadia. De eerste fase leert de basis van het gebruik van de tool op een volledige set gefilterde trajecten. De tweede fase richt zich op hoogwaardig proactief geheugengedrag, waarbij rubrieken worden gebruikt om te waarborgen dat de analyse en compressie semantisch consistent en actiegericht zijn.

3. Geheugenbewuste GRPO (Group Relative Policy Optimization)

Om zowel geheugenbeheer als probleemoplossing gezamenlijk te optimaliseren, stellen de auteurs een variant van reinforcement learning voor genaamd Memory-aware GRPO.

• Geheugenbewuste Traject-splitting: Standaard RL behandelt rollouts als continue sequenties. SWE-MeM markeert trajecten op compressiestappen, waardoor ze worden opgesplitst in sub-trajecten die beginnen vanaf de exacte gecomprimeerde prefix die de agent tijdens de inferentie zou observeren. Dit zorgt voor consistentie tussen training en inferentie.
• Stap-niveau Credit Assignment: Standaard GRPO wijst krediet toe op basis van de uiteindelijke uitkomst. SWE-MeM introduceert stap-niveau maskers om de toewijzing van krediet te verbeteren:
  • Kwaliteitscontroles: Maskeert ongepaste geheugenacties (bijv. verkeerde reductieratio's) in succesvolle trajecten.
  • Laat Beheer: Bestraft geheugenacties die pas worden uitgevoerd nadat het budget kritiek laag is gevallen.
  • Overflow Falen: Wijst specifieke straffen toe aan stappen waar de agent erin slaagde geen geheugenbeheer aan te roepen ondanks een laag resterend budget.
  • Ongeldig Gebruik: Maskeert stappen met ongeldige tool-aanroepen om het aanleren van ongewenste patronen te voorkomen.

Belangrijkste Bijdragen

1. Adaptieve Geheugen Tool: Een interface die agents in staat stelt om dynamisch de timing, de reikwijdte en de strategie van de samenvatting te bepalen op basis van real-time trajectstatus.
2. Trainingsframework: Een nieuwe pipeline die gesynthetiseerde proactieve geheugentrajecten, curriculum fine-tuning en Memory-aware GRPO combineert om geheugenbeslissingen en taakprestaties gezamenlijk te optimaliseren.
3. Prestaties en Efficiëntie: Empirisch bewijs dat SWE-MeM een superieur oplossingspercentage behaalt terwijl het ook een lager totaal aantal tokens gebruikt en minder interactiestappen vereist vergeleken met bestaande baselines.

Experimentele Resultaten

Het framework is geëvalueerd op SWE-Bench Verified met behulp van Qwen3-4B-Instruct en Qwen3-Coder-30B-A3B modellen onder een 32K contextbudget.

• Oplossingspercentages (Resolve Rates):
  • 4B Model: Behaalde een oplossingspercentage van 43,4% (SFT + RL), waarmee het alle ReAct-baselines en bestaande geheugenbeheermethoden in het bereik van <10B parameters overtreft.
  • 30B Model: Behaalde een oplossingspercentage van 60,2% (SFT + RL), waarmee het bestaande geheugenbeheersbaselines (bijv. Context Folding, SWE-Compressor) die gewoonlijk tussen 53,8% en 58,8% liggen, overtreft.
• Efficiëntie: SWE-MeM behaalde het hoogste oplossingspercentage terwijl het het laagste gerapporteerde tokengebruik behield onder de geheugenbeheermethoden. Het gebruikte minder tokens dan de corresponderende base ReAct-agent, terwijl concurrerende methoden vaak het totale tokengebruik verhoogden.
• Generalisatie: De methode toonde consistente verbeteringen op SWE-Bench Multilingual en SWE-Bench Pro, wat suggereert dat de geleerde geheugenbeheergedragingen overdraagbaar zijn naar verschillende programmeertalen en langdurige taken.

Betekenis en Claims

Het artikel beweert dat SWE-MeM de kritieke flessenhals van contextbeheer in langdurige SWE-agents aanpakt door te verschuiven van rigide, extern getriggerde compressie naar proactief, door de agent gestuurd geheugenbeheer.

De auteurs benadrukken dat effectief geheugenbeheer meer doet dan enkel het voorkomen van contextoverloop; het biedt een schonere werkcontext die hels helpt om taakrelevante informatie effectiever te benutten. Door agents te trainen om te herkennen wanneer de informatiedichtheid laag is of wanneer een subtaak is voltooid, vermindert SWE-MeM de afleiding door redundante context zonder excessieve her-exploratie te induceren. De resultaten suggereren dat gezamenlijke optimalisatie van geheugenbeslissingen en taakoplossende prestaties via Memory-aware GRPO essentieel is voor het bereiken van hoge prestaties in beperkte contextomgevingen.