CODESTRUCT: Code Agents over Structured Action Spaces

1. Het Probleem: De Abstractie-mismatch

Huidige LLM-gebaseerde code-agents (zoals SWE-Agent) behandelen code-repositories als on gestructureerde tekst. Ze lezen bestanden als karaktersreeksen en passen bewerkingen toe via broos string-matching of het specificeren van lijnnummers. Deze aanpak leidt tot fundamentele beperkingen:

• Fragiliteit: Kleine formatteerwijzigingen (whitespace, indentatie) kunnen string-matching doen falen, wat leidt tot "geen overeenkomst" of "meerdere overeenkomsten" fouten.
• Inefficiëntie: Agents moeten vaak volledige bestanden lezen om een specifieke functie te vinden, wat irrelevante context introduceert en het redeneringsvermogen van het model verslechtert.
• Verspilling: Bij het bewerken van code moet het model vaak grote hoeveelheden ongewijzigde code opnieuw genereren (verbatim), wat token-gebruik en kosten verhoogt.
• Abstractie-mismatch: Code is van nature gestructureerd (AST - Abstract Syntax Tree), maar agents opereren op een vlakke tekstlaag, wat de inherente semantiek van de code negeert.

2. Methodologie: CODESTRUCT Framework

CODESTRUCT lost dit op door code-repositories te reframen als een gestructureerde actie-ruimte. In plaats van te werken met tekstspans, opereren agents op genomineerde AST-entiteiten (zoals bestanden, klassen, methoden).

Het framework introduceert twee kernprimitieven die direct op de AST werken:

A. readCode (Gestructureerde Informatie-onttrekking)

Dit hulpmiddel haalt code op op basis van semantische selectors in plaats van lijnnummers.

• Werkwijze: De agent geeft een selector op (bijv. ClassName::methodName). Het systeem parseert het bestand naar een AST, matcht de selector en retourneert de volledige syntactische eenheid (bijv. de hele functie of klasse).
• Voordelen:
  • Vermijdt het lezen van irrelevante context.
  • Werkt onafhankelijk van lijnnummers (die kunnen verschuiven).
  • Ondersteunt "coarse-to-fine" navigatie: eerst een samenvatting van het bestand (handtekening van klassen/functies), dan de specifieke implementatie.

B. editCode (Gestructureerde Code-bewerking)

Dit hulpmiddel past transformaties toe op AST-nodes, wat zorgt voor syntactische validatie bij elke stap.

• Werkwijze: De agent specificeert een bewerkingstype (insert, replace, removal) en een selector. Het systeem lokaliseert de corresponderende AST-node, past de wijziging toe en valideert de resulterende AST op syntactische juistheid voordat het bestand wordt opgeslagen.
• Voordelen:
  • Syntactische garantie: Bewerkingen die tot syntaxisfouten leiden, worden automatisch afgewezen.
  • Semantische intentie: De agent specificeert wat er moet veranderen (de entiteit), niet hoe het in tekst moet worden geschreven.
  • Atomische acties: Verwijdering of duplicatie vereist slechts een node-pad, zonder het opnieuw genereren van omringende code.

De interface is geïmplementeerd via de Model Context Protocol (MCP), waardoor het naadloos integreert met bestaande agent-frameworks zonder de planningslogica te hoeven wijzigen.

3. Belangrijkste Bijdragen

1. Gestructureerde Actie-ruimte Interface: Een brug tussen AST-gebaseerde programmarepresentaties en LLM-agents, waarbij genomineerde semantische entiteiten de primaire eenheid van interactie zijn.
2. Twee Gestructureerde Primitieven: readCode en editCode, ontworpen voor gebruiksgemak met menselijk leesbare selectors, automatische scope-oplossing en syntactisch gevalideerde bewerkingen.
3. Empirisch Bewijs: Uitgebreide evaluatie op twee benchmarks (SWE-Bench Verified en CodeAssistBench) met zes verschillende taalmodellen, die aantonen dat gestructureerde acties zowel effectiviteit als efficiëntie verbeteren.

4. Resultaten

De evaluatie toont aanzienlijke verbeteringen in nauwkeurigheid en kostenreductie:

• SWE-Bench Verified (Bugfixing):

  • Nauwkeurigheid: Pass@1 verbeterde met 1,2% tot 5,0% voor geavanceerde modellen.
  • Kleine Modellen: Voor GPT-5-nano was de verbetering spectaculair: +20,8% (van 19,6% naar 40,4%). Dit komt doordat het aantal "empty patches" (mislukte pogingen zonder code) daalde van 46,6% naar 7,2%.
  • Efficiëntie: Token-verbruik daalde met 12–38% voor de meeste modellen. De inferentiekosten daalden tot 33%.
  • Uitzondering: Bij GPT-5-nano nam het token-verbruik toe, maar dit leidde tot diepere exploratie en betere oplossingen, wat de hogere kosten rechtvaardigt.

• CodeAssistBench (Interactieve Assistentie):

  • Consistente nauwkeurigheidsverbeteringen van +0,8% tot 4,4% over alle modellen.
  • Kostenreducties tot 33% bij GPT-5-mini.

• Foutanalyse:

  • Gestructureerde interfaces verminderden tool-fouten (zoals mislukte bewerkingen) met 76–88% voor krachtige modellen.
  • Het framework voorkomt de "trial-and-error" cycli die typisch zijn voor tekstgebaseerde agents.

5. Betekenis en Conclusie

CODESTRUCT bewijst dat het blootleggen van codebases als een gestructureerde actie-ruimte een robuustere basis biedt voor code-agents dan tekstgebaseerde interfaces.

• Fundamentele Verschuiving: Het verlegt de focus van tekstmanipulatie naar semantische manipulatie van programma-entiteiten.
• Toekomstperspectief: Het is vooral effectief voor modellen die vaak vastlopen door de broosheid van tekstinterfaces (zoals string-matching fouten) in plaats van door gebrek aan redeneervermogen.
• Algemene Toepasbaarheid: De methode werkt niet alleen voor het genereren van patches (bugfixing), maar ook voor interactieve, meervoudige-turn code-assistentie.

Kortom, CODESTRUCT biedt een principieel alternatief voor repository-level code-redenering dat de inherente structuur van software benut, wat leidt tot betrouwbaardere, efficiëntere en goedkopere code-agents.