Technische Samenvatting: Lang Leve de Bibliotheekbeheerder! Een Persistente Zoeksub-Agent voor Energie-efficiënte Multi-Agent Software Engineering-systemen

Probleemstelling

Hoewel Multi-Agent Systemen (MAS) autonome software-engineering (SWE) aanzienlijk hebben vooruitgebracht, roepen hun groeiende energiebehoeften voor inferentie duurzaamheidszorgen op. Bestaande literatuur over het energieverbruik van LLM's richt zich grotendeels op per-call instellingen of runs met één agent, en faalt in het karakteriseren van de unieke energiedynamiek van MAS, waarbij één taak talloze LLM-aanroepen omvat over gespecialiseerde sub-agenten heen.

De auteurs identificeren een kritieke inefficiëntie in huidige MAS-ontwerpen: redundante generatie van output-tokens. In bestaande architecturen ontbreekt het sub-agenten aan persistente geheugen van de geschiedenis van bestandsverkenning over verschillende aanroepen heen. Bijgevolg doorlopen sub-agenten, wanneer een orkestrator verschillende queries stelt, herhaaldelijk overlappende repository-regio's en genereren ze lange bestandsfragmenten opnieuw. Deze cyclus van herverkenning versterkt de meest energie-intensieve categorie tokens: output-tokens.

Empirische analyse onthult een scherp energie-ongelijkgewicht: een output-token verbruikt 30 tot 1.000 keer meer energie dan een input- of cache-token. Ondanks dit feit onderschatten aggregaat-totaaltellingen en API-prijsproxy's het werkelijke GPU-energieverbruik vaak, omdat ze geen rekening houden met de disproportionele kosten van output-tokens die worden gegenereerd door redundante verkenning.

Methodologie

1. Energie-toerekening en Diagnose

De auteurs voerden een energie-toerekeningstudie op turn-niveau uit op SWE-Bench Verified met twee multi-agent systemen (BOAD en HyperAgent) en twee Qwen3.6-modelbackbones (35B-A3B en 27B) op NVIDIA A100- en B200-GPU's.

• Token-niveau Decompositie: Ze decomponeren het GPU-energieverbruik in drie categorieën: uncached input ($x_u$), cached input ($x_c$) en output ($x_o$).
• Regressie-analyse: Een lineair regressiemodel ($E_t = \alpha + \beta_u x_u + \beta_c x_c + \beta_o x_o$) bevestigde dat output-tokens het energieverbruik domineren, met coëfficiënten ($\beta_o$) variërend van 660 tot 3.512 mJ/token, vergeleken met ~0,5–34 mJ/token voor input-tokens.
• Identificatie van de Oorzaak: De studie leidde de excessieve output terug naar "dubbele herschrijvingen". Sub-agenten lezen bestandsregio's die zij of andere agenten al in hetzelfde episode hadden geïnspecteerd, vaak opnieuw, en genereren de volledige tekst opnieuw in hun antwoorden aan de orkestrator.

2. De Bibliotheekbeheerder-sub-agent

Om dit aan te pakken, stellen de auteurs Librarian voor, een persistente zoeksub-agent ontworpen om redundante verkenning te elimineren en het outputvolume te minimaliseren. Deze wordt geïntegreerd in bestaande MAS door de standaard code-navigatiesub-agent te vervangen.

Kernontwerpprincipes:

• Persistente Sessie: In tegenstelling tot standaard sub-agenten die starten met een verse context, onderhoudt de Bibliotheekbeheerder één langdurige sessie over alle aanroepen binnen een episode heen. Hij behoudt de volledige trajectgeschiedenis van eerdere zoekopdrachten en antwoorden.
• Contextversheid: Om te waarborgen dat de geschiedenis overeenkomt met de huidige repository-status, wordt elke aanroep voorzien van een "versheidsrapport" met een lijst van bestanden en regelreeksen die zijn gewijzigd sinds de vorige aanroep. De Bibliotheekbeheerder krijgt de instructie om uitsluitend deze gewijzigde regio's opnieuw te doorlopen, terwijl hij voor ongewijzigde gebieden gebruikmaakt van gecachete fragmenten.
• Antwoorden met Alleen Pointers: In plaats van volledige bestandsfragmenten in te voegen in zijn antwoord, retourneert de Bibliotheekbeheerder korte view-commando's (pointers naar bestandspaden en regelreeksen). De daadwerkelijke codefragmenten worden opgehaald door de systeemtool-laag en doorgestuurd naar de orkestrator. Dit vermindert drastisch het tokenvolume dat door de LLM zelf wordt gegenereerd.

Integratiestrategie:
De integratie omvat een "toolswaps" waarbij het delegatietool van de orkestrator voor code-navigatie wordt vervangen door een Librarian-delegatietool. Het oplossingsplan wordt herschreven om navigatiestappen te formuleren als zoekopdrachten in natuurlijke taal (bijvoorbeeld: "Waar is symbool X gedefinieerd?") in plaats van open-ended verkenning. De Bibliotheekbeheerder is strikt beperkt tot bestands- en code-opzoeken; analytisch redeneren en bewerken blijven de verantwoordelijkheid van de orkestrator of andere gespecialiseerde agenten.

Belangrijkste Resultaten

De auteurs evalueerden Librarian op SWE-Bench Verified (500 taken) met BOAD en HyperAgent, gebruikmakend van Qwen3.6-35B-A3B en Qwen3.6-27B backbones.

• Energievermindering: Librarian verlaagde het GPU-energieverbruik per episode met tot 25% (bijvoorbeeld van 25,64 kJ naar 22,73 kJ voor HyperAgent met 35B-A3B).
• Token-efficiëntie: De vermindering werd voornamelijk gedreven door een afname van output-tokens. Zo verlaagde HyperAgent met Librarian het aantal output-tokens van 48.500 naar 42.200 per episode.
• Behoud van Prestaties: Cruciaal behield Librarian de taakslagkans of verbeterde deze. In de meeste configuraties bleef de slagkans vergelijkbaar met of licht hoger dan de basis-MAS, wat aantoont dat energiebesparingen niet ten koste gingen van taakoplossing.
• Vergelijking met Baselines:
  • Token-efficiënte Methoden: Technieken zoals "LastN Observation" (verkorten van de geschiedenis) en "Caveman prompting" (tekst comprimeren) degradeerden vaak de slagkans of slaagden er niet in het energieverbruik even effectief te verminderen, omdat ze agenten dwongen verloren context opnieuw te verkennen, waardoor output-tokens toenamen.
  • Retrieval-gebaseerde Varianten: Het vervangen van de persistente geschiedenis door retrieval-gebaseerde context (BM25 of dichte embeddings) resulteerde in een hoger energieverbruik en lagere slagkansen, wat suggereert dat de queries van de orkestrator actieve contextbeheer en redenering vereisen die eenvoudige retrieval niet kan bieden.
• Schaalbaarheid: De energiebesparing bleef bestaan bij variërende taakmoeilijkheden. Hoewel de frequentie van Librarian-aanroepen toenam met de taakcomplexiteit, bleven de energiebesparingen per episode consistent, en werd de slagkans zelfs bij moeilijkere taken gehandhaafd.

Betekenis en Claims

Het artikel claimt een belangrijke, eerder over het hoofd geziene bron van energieverspilling in multi-agent SWE-systemen te identificeren en te elimineren. De betekenis ligt in drie hoofdcontributies:

1. Empirische Ontdekking: Het bevestigt dat in agentische settings output-tokens het hulpbrongebruik domineren, en dat aggregaat-totaaltellingen slechte proxy's zijn voor het werkelijke energieverbruik vanwege de hoge marginale kosten van output-generatie.
2. Diagnose van Redundantie: Het diagnoseert de energie-overhead van bestaande MAS-ontwerpen als een gevolg van dubbele bestandsopzoeken over het debug-cyclus heen, een redundantie die geen enkele bestaande sub-agent herkent.
3. Architecturale Oplossing: Het stelt Librarian voor, een persistente zoeksub-agent die wordt geïntegreerd in bestaande MAS-ontwerpen om een ontbrekende rol te vervullen (stateful repository-navigatie). Door pointers in plaats van inhoud terug te geven en geschiedenis te hergebruiken, minimaliseert het het hardware-energieverbruik terwijl het de taakprestaties behoudt.

De auteurs concluderen dat het minimaliseren van output-tokens door middel van persistente, stateful zoekopdrachten een effectievere strategie is voor energie-efficiëntie in SWE-agenten dan eenvoudige prompt-compressie of contextverkorting, die vaak de prestaties degraderen. Ze erkennen beperkingen, waarbij ze opmerken dat de oplossing momenteel specifiek is voor rollen van code-navigatie en is geëvalueerd op modellen tot 27B actieve parameters, waardoor de schaalbaarheid naar grotere modellen en uitvoeringsgerichte rollen open vragen blijven.