The Hidden Footprint: Making Storage a First-Class Metric for LLM Agent Evaluation
Dit artikel introduceert AgentFootprint, een benchmark die onthult dat de persistente opslagvoetafdrukken van LLM-agenten drastisch variëren tussen frameworks en configuraties onafhankelijk van de taaknauwkeurigheid, terwijl het aantoont dat content-geadresseerde opslag deze overhead aanzienlijk kan verminderen zonder de herbouwbaarheid van gegevens in gevaar te brengen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je kijkt naar een briljante robotdetective die een mysterie oplost. Het leest aanwijzingen, stelt vragen en schrijt het uiteindelijke antwoord op. Iedereen juicht wanneer de detective het juiste antwoord krijgt, en ze controleren hoe snel het dacht en hoeveel het kostte om te draaien. Maar niemand kijkt naar de rommel die de detective op de vloer achterlaat.
Dit artikel, getiteld The Hidden Footprint, is als een rapport van een conciërge. Het vraat: "Wanneer de detective klaar is, hoeveel afval laat hij dan achter in de kamer?"
De Grote Verrassing: De Rommel is Enorm
De belangrijkste bevinding is schokkend: Twee detectives kunnen exact hetzelfde mysterie perfect oplossen, maar de één laat een berg afval achter die 15,7 keer groter is dan die van de ander.
Denk er zo over na: Jij en je vriend bakken allebei een perfecte chocoladetaart. Je overhandigt de taart (het resultaat). Maar terwijl jij alleen het aanrecht hebt afgeveegd, heeft je vriend 15 kommen, 30 kopjes bloem en een berg plakkerige verpakkingen achtergelaten. De taart ziet er hetzelfde uit, maar de keuken van je vriend is een rampgebied.
In de echte wereld is deze "rommel" niet alleen papier; het zijn digitale bytes die op een harde schijf worden opgeslagen. De onderzoekers ontdekten dat voor een enkele taak, sommige frameworks een hoeveelheid data van 131 MB achterlaten, terwijl het eigenlijke antwoord (de "geleverde taart") slechts 2,6 MB was. Dat betekent dat het "residue" van het framework 24.033 keer groter was dan het eigenlijke werk dat het had moeten doen!
De "Onzichtbare" Dubbel-tellen Truc
Hier is het lastige deel: Als je gewoon de bestanden op de computer telt, denk je misschien dat de rommel niet zo erg is. Het artikel betoogt dat standaard tellen een valstrik is.
Stel je voor dat je het woord "Hallo" op een stuk papier schrijft. Daarna maak je een fotokopie van dat papier, maar de fotokopieermachine voegt bij elke kopie een kleine "onzichtbare inkt"-stempel toe. Als je het papier telt, zie je één vel. Maar als je naar de inkt kijkt, zie je het woord "Hallo" twaalf keer geschreven.
De onderzoekers ontdekten dat omdat computers gegevens opslaan (met zaken als "SQLite"-pagina's en "JSON"-escaping), dezelfde informatie steeds opnieuw wordt opgeslagen, verborgen binnen het systeem.
- Naïef tellen zei: "Oh, er is maar weinig duplicatie."
- Het slimme tellen van het artikel zei: "Eigenlijk wordt dezelfde inhoud 12,1 keer opgeslagen!"
Ze bewezen dat als je niet in de "onzichtbare inkt" kijkt, je de werkelijke omvang van de rommel met een enorme marge mist.
Het "Groei"-probleid
Het artikel testte ook wat er gebeurt als de detective dezelfde aanwijzing 200 keer moet controleren.
- Sommige frameworks (zoals LangGraph en AutoGen) gedragen zich als een eekhoorn die nooit iets vergeet. Elke keer als het de aanwijzing controleert, schrijft het de volledige geschiedenis opnieuw op. Dit zorgt ervoor dat de opslag superlineair groeit (steeds sneller). Na 200 rondes lieten ze 323 MB aan data achter voor slechts één klein bestand.
- Andere frameworks (zoals OpenAI Agents) gedragen zich als een slim notulist. Ze schrijven alleen de nieuwe zaken op. Hun opslag groeide langzaam, bijna in een rechte lijn.
Het artikel mat deze groeisnelheid (genoemd ) en vond dat deze varieerde van 0,73 (wordend kleiner!) tot 1,95 (explosief in omvang).
Betekent een Grotere Rommel een Slimere Detective?
Je zou kunnen denken: "Misschien is de rommelige detective gewoon extra voorzichtig, zodat hij slimmer is?"
Het artikel zegt: Nee.
Ze bekeken 108 echte inzendingen van een beroemde programmeeruitdaging (SWE-bench). Ze ontdekten dat de hoeveelheid data die door deze systemen werd geëxporteerd varieerde met een factor 1.617 (van kleine bestanden tot enorme bestanden). Maar hier komt de crux: Er was geen verband tussen de omvang van de rommel en hoe goed het systeem het probleem oploste.
Sterker nog, de correlatie was zo zwak dat het eigenlijk nul was. Een systeem kon een berg data achterlaten en nog steeds falen, of een kleine voetafdruk achterlaten en toch slagen. Het artikel sluit expliciet de gedachte uit dat "meer opslag = betere prestaties".
De "Magische Gum" (Maar Koop Hem Nog Niet)
De onderzoekers hebben het probleem niet alleen benoemd; ze hebben ook een manier getoond om het op te lossen, maar ze waarschuwen dat dit een proof of concept is, en geen afgewerkt product.
Ze bouwden een "content-addressed store". Stel je een bibliotheek voor waar je, in plaats van elk boek op een plank te zetten, een foto maakt van de unieke vingerafdruk van het boek. Als twee boeken identiek zijn, bewaar je slechts één foto en een notitie die zegt: "Deze is hetzelfde als die."
Toen ze deze "magische gum" toepasten op de rommelige frameworks:
- Verminderde het de opslag met een factor 4,8 tot 32,7.
- Cruciaal, ze bewezen dat zelfs met al die data verwijderd, je de volledige gesprekshistorie perfect kon reconstrueren. De "score" voor het vermogen om de gedachten van de detective te herhalen, bleef exact hetzelfde.
Wat het Artikel Uitsluit
- Het sluit de gedachte uit dat we opslag gewoon moeten negeren omdat "het goedkoop is". Het artikel betoogt dat opslag een aanhoudende schuld is die zich over tijd ophoopt, in tegen tegenstelling tot de kosten van het draaien van de AI die verdwijnen wanneer de taak eindigt.
- Het sluit de gedachte uit dat standaard bestandstellers accuraat zijn. Ze toonden aan dat simpel tellen de duplicatie mist die binnen de code van het systeem verborgen zit.
- Het sluit de gedachte uit dat grotere datasporen betere resultaten betekenen. De data toont geen verband tussen omvang en succes.
Hoe Zeker Zijn Ze?
De auteurs zijn zeer zeker over de metingen die ze hebben genomen. Ze voerden 1.061 experimenten uit in geïsoleerde, schone computerruimtes (sandboxes) om er zeker van te zijn dat niets anders interferentie veroorzaakte. Ze testten 8 verschillende frameworks (zoals LangGraph, CrewAI en AutoGen) met behulp van exact dezelfde taken en modellen.
Ze gokten niet; ze maten. Ze ontdekten dat onder identieke omstandigheden de hoeveelheid achtergelaten data tussen de beste en slechtste presteerders varieerde met een factor 15,7. Ze toonden ook aan dat dit verschil niet komt doordat het ene framework "slimmer" is bij het oplossen van taken, maar door de manier waarop ze gebouwd zijn om gegevens op te slaan.
De Kernboodschap
Het artikel concludeert dat we moeten beginnen met het meten van de "voetafdruk" van AI-agents, net zoals we hun snelheid of kosten meten. Op dit moment laten we sommige systemen bergen digitale troep achter terwijl anderen bijna niets achterlaten, en het blijkt dat de rommelige systemen er niet beter werk van leveren.
De auteurs suggereren dat als we deze agents op een enorme schaal willen draaien (zoals een vloot van 10.000 robots per dag), het verschil tussen een "schoon" framework en een "rommelig" framework het verschil kan betekenen tussen het nodig hebben van 3 GB opslag of 51 GB elke dag. Dat is een enorm verschil voor een probleem dat, zoals zij lieten zien, de robot niet eens slimmer maakt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.