Technische Samenvatting: LIVEPLAN – Online Monitoring en Correctieve Sturing van Programmeringsagents

Probleemstelling

Het oplossen van GitHub-issues in grootschalige softwareprojecten is een taak met een lange horizon die vaak vereist dat agents complexe trajecten doorlopen. Huidige LLM-gebaseerde agents lijden vaak aan gedragsdrift (behavioral drift) en inefficiënties, zoals het overslaan van kritieke fasen (bijv. validatie), het herhalen van mislukte acties, of het oscilleren tussen gedachten zonder vooruitgang te boeken. Deze problemen leiden tot taalfalen of opgeblazen kosten, zelfs wanneer de agent uiteindelijk wel slaagt.

Bestaande benaderingen om deze driften te corrigeren kampen met drie primaire beperkingen:

1. Geconflueerd oordelen en adviseren: Eerdere methoden gebruiken vaak een enkele LLM om zowel trajectproblemen te diagnosticeren als correcties aan te bevelen. Dit creëert een belangenverstrengeling waarbij de "adviseur" wordt geprikkeld om problemen te vinden (sycophantische bias), wat potentieel misleidend advies genereert dat een traject dat eigenlijk op koers lag, uit koers brengt.
2. Inefficiënte triggering: Benaderingen die vertrouwen op periodieke LLM-evaluatie (bijv. elke $N$ stappen) of post-hoc analyse bieden vaak te laat feedback om de agent te laten herstellen, of veroorzaken excessieve kosten door volledige trajecten opnieuw uit te voeren.
3. Betrouwbaarheid van LLM-rechters: Het gebruik van een LLM als rechter introduceert onbetrouwbaarheid; ze kunnen echte problemen missen of spookproblemen signaleren door hallucinaties, waardoor ze het determinisme missen dat vereist is voor robuuste interventie.

Methodologie: LIVEPLAN

Het paper stelt LIVEPLAN voor, een framework voor online monitoring en interventie dat het oordelen ontkoppelt van het adviseren. Het is geïmplementeerd bovenop het SWE-agent framework en bestaat uit drie kerncomponenten:

1. Monitor (Deterministische Rechter)

In plaats van een LLM gebruikt LIVEPLAN een deterministische, regelgebaseerde monitor om het traject van de agent in realtime te evalueren.

• Trajectrepresentaties: De monitor maakt gebruik van twee abstracte representaties:
  • GRAPHECTORY: Een verrijkte graaf waarbij knopen verschillende agent-acties zijn en randen chronologische uitvoering vertegenwoordigen. Het houdt actie-loops en zelf-loops bij.
  • LANGUTORY: Een abstractie van lage-niveau acties naar een sequentie van probleemoplossende fasen (bijv. Navigatie, Reproductie, Patching, Validatie).
• Signaaldetectie: De monitor controleert deze representaties tegen een configureerbare database van algemene signalen om gedragsdriften te detecteren. Deze omvatten:
  • Blocking Drifts: Kritieke schendingen zoals het overslaan van fasen (bijv. indienen zonder te patchen), voortijdige patching, of oscillatie (herhaalde redeneringen/acties zonder vooruitgang). Deze triggeren onmiddellijke interventie.
  • Non-Blocking Drifts: Inefficiënties zoals langdurige stagnatie in een enkele fase of herhaalde acties. Deze triggeren sturende adviezen maar blokkeren de uitvoering niet.
• Interventie Processor: Indien een drift wordt gedetecteerd, besluit de processor of de huidige actie geblokkeerd moet worden (voor blocking drifts) of dat er advies aan de historie toegevoegd moet worden (voor non-blocking drifts), tot een configureerbare limiet om stilstand te voorkomen.

2. Advisor (LLM-gebaseerde Correctie)

De LLM-gebaseerde Advisor wordt alleen geraadpleegd wanneer de Monitor een drift detecteert.

• Input: Het ontvangt de probleembeschrijving, een deel van het recente traject (sinds het laatste advies), het laatste advies (indien aanwezig), en het vooraf gedefinieerde advies dat overeenkomt met de gedetecteerde drift.
• Output: Het genereert een hoog-niveau, volgende-stap correctie in plaats van een globale herplanning. Dit houdt de interventie gefocust en voorkomt overmatige beperking van de executor.
• Cooling Mechanisme: Om kosten en latentie te beheersen, is de Advisor onderworpen aan een "cooldown"-periode ($\theta_c$), wat ervoor zorgt dat deze niet voor elke stap wordt aangeroepen, zelfs als driften frequent voorkomen.

3. Workflow

Het systeem werkt in een lus: de agent stelt een stap voor $\rightarrow$ de Monitor werkt de trajectrepresentaties preventief bij $\rightarrow$ regels worden gecontroleerd. Als er geen drift wordt gevonden, wordt de stap uitgevoerd. Als er een drift wordt gevonden, wordt de Advisor geraadpleegd (indien de cooldown dit toelaat), en het resulterende advies wordt in de context van de agent geïnjecteerd om de volgende stap te sturen.

Belangrijkste Bijdragen

1. Techniek: De introductie van LIVEPLAN, die de deterministische detectie van gedragsdriften scheidt van de LLM-gebaseerde generatie van correctieve adviezen. Deze architectuur vermijdt de hallucinatie en bias die inherent zijn aan het gebruik van een enkele LLM voor beide taken.
2. Empirische Evaluatie: Een grootschalige evaluatie over twee benchmarks (SWE-bench Verified en SWE-bench Pro) met vijf diverse LLM's (drie executors, twee advisors). De studie genereerde 7.752 trajecten, wat een dataset biedt voor toekomstig onderzoek.
3. Procesgerichte Analyse: Naast resolutiepercentages analyseert het paper traject-compliance, de prevalentie van drift en strategie-divergentie, wat inzichten biedt in hoe interventies de prestaties van agents verbeteren.

Experimentele Resultaten

LIVEPLAN werd geëvalueerd tegen vanilla SWE-agent, SAGE (een re-planning baseline) en geablateerde varianten (Periodic Advisor, Predefined Advice).

• Resolutiepercentages: LIVEPLAN presteerde consistent beter dan alle baselines.
  • Op SWE-bench Pro behaalde het winsten van tot wel 15,2% (gemiddeld 9,9%) ten opzichte van vanilla agents.
  • Op SWE-bench Verified behaalde het winsten van tot wel 11,2%.
  • De verbeteringen waren het meest uitgesproken op medium en hard moeilijkheidsgraden.
• Kostenefficiëntie: De extra kosten per instantie waren minimaal, gemiddeld $0,08. In sommige gevallen (bijv. MiniMax-M2.5) heeft LIVEPLAN de totale kosten zelfs verlaagd door inefficiënte trajecten in te korten.
• Vergelijking met SAGE: LIVEPLAN presteerde aanzienlijk beter dan SAGE, dat vaak faalde omdat de globale herplannen feitelijk onjuist waren (gehallucineerde bestandspaden of methoden), waardoor agents direct faalden. De gerichte, volgende-stap adviezen van LIVEPLAN bleken robuuster.
• Vergelijking met Periodic Advisor: Hoewel periodieke advisors vaak worden getriggerd, geven ze vaak misleidend advies. LIVEPLAN riep de Advisor minder vaak aan, maar met hogere precisie, wat resulteerde in betere resolutiepercentages.
• Robuustheid: Her-evaluatie op een subset van instanties met deterministische uitkomsten bevestigde dat de winsten geen artefacten waren van run-to-run niet-determinisme.

Betekenis en Claims

Het paper claimt dat LIVEPLAN een belangrijke stap voorwaarts vertegenwoordigt in de online sturing van programmeeragents door de fundamentele instabiliteit van het gebruik van LLM's als rechters aan te pakken. Door te vertrouwen op deterministische regels om te detecteren wanneer een agent in de problemen zit en LLM's alleen te reserveren voor wat de volgende stap moet zijn, bereikt het systeem:

• Hogere Betrouwbaarheid: Het vermijdt de "misleidende herplanning" die ervoor zorgt dat agents succesvolle trajecten verlaten.
• Schaalbaarheid: Het brengt minimale computationele overhead met zich mee vergeleken met methoden die agents opnieuw draaien of LLM's bij elke stap aanroepen.
• Generaliseerbaarheid: De aanpak is model-agnostisch en werkt over verschillende LLM-architecturen en benchmark-moeilijkheidsgraden heen.

De auteurs concluderen dat hoewel interventie tijdens de inferentie effectief is, toekomstig werk zich moet richten op interventie-bewuste post-training om ervoor te zorgen dat agents de correctieve adviezen die door systemen zoals LIVEPLAN worden verstrekt, betrouwbaar kunnen uitvoeren.