The Hidden Footprint: Making Storage a First-Class Metric for LLM Agent Evaluation
Dieses Paper führt AgentFootprint ein, einen Benchmark, der aufzeigt, dass die persistenten Speicher-Footprints von LLM-Agenten über Frameworks und Konfigurationen hinweg drastisch variieren – unabhängig von der Aufgabengenauigkeit – und demonstriert gleichzeitig, dass inhaltsadressierter Speicher diesen Overhead erheblich reduzieren kann, ohne die Rekonstruierbarkeit der Daten zu beeinträchtigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie beobachten einen brillanten Roboter-Detektiv, der ein Rätsel löst. Er liest Hinweise, stellt Fragen und schreibt seine endgültige Antwort auf. Alle jubeln, wenn der Detektiv die richtige Antwort findet, und sie prüfen, wie schnell er gedacht hat und wie viel es kostete, ihn zu betreiben. Aber niemand achtet auf den Müll, den der Detektiv auf dem Boden hinterlässt.
Dieses Papier mit dem Titel The Hidden Footprint ist wie ein Hausmeisterbericht. Es fragt: „Wie viel Müll hinterlässt der Detektiv im Raum, wenn er fertig ist?“
Die große Überraschung: Der Müll ist riesig
Die wichtigste Erkenntnis ist schockierend: Zwei Detektive können exakt dasselbe Rätsel perfekt lösen, aber einer von ihnen hinterlässt einen Müllhaufen, der 15,7 Mal größer ist als der des anderen.
Stellen Sie sich das so vor: Sie und Ihr Freund backen beide denselben perfekten Schokoladenkuchen. Sie überreichen den Kuchen (das Ergebnis). Aber während Sie nur die Arbeitsplatte abgewischt haben, hat Ihr Freund 15 Schüsseln, 30 Tassen Mehl und einen Berg klebriger Verpackungen hinterlassen. Der Kuchen sieht gleich aus, aber die Küche Ihres Freundes ist eine Katastrophe.
In der realen Welt ist dieser „Müll“ nicht nur Papier; es sind digitale Bytes, die auf einer Festplatte gespeichert werden. Die Forscher fanden heraus, dass bei einer einzelnen Aufgabe einige Frameworks 131 MB an Daten hinterlassen, während die eigentliche Antwort (der „gelieferte Kuchen“) nur 2,6 MB groß war. Das bedeutet, dass der „Rückstand“ des Frameworks 24.033 Mal größer war als die eigentliche Arbeit, die es eigentlich verrichten sollte!
Der „unsichtbare“ Doppelzählüber-Trick
Hier ist der knifflige Teil: Wenn Sie einfach nur die Dateien auf dem Computer zählen, denken Sie vielleicht, dass der Müll gar nicht so schlimm ist. Das Papier argumentiert, dass das einfache Zählen eine Falle ist.
Stellen Sie sich vor, Sie schreiben das Wort „Hallo“ auf ein Blatt Papier. Dann machen Sie das Wort mit einem Fotokopierer kopiert, aber der Fotokopierer fügt jeder Kopie einen winzigen „unsichtbaren Tintenstempel“ hinzu. Wenn Sie das Papier zählen, sehen Sie ein Blatt. Aber wenn Sie auf die Tinte schauen, sehen Sie das Wort „Hallo“ zwölf Mal geschrieben.
Die Forscher fanden heraus, dass aufgrund der Art und Weise, wie Computer Daten speichern (unter Verwendung von Dingen wie „SQLite“-Seiten und „JSON“-Escaping), dieselben Informationen immer wieder und immer wieder innerhalb des Systems gespeichert werden.
- Das naive Zählen sagte: „Oh, es gibt nur wenig Duplikation.“
- Das schlaue Zählen des Papers sagte: „Eigentlich wird derselbe Inhalt 12,1 Mal gespeichert!“
Sie haben bewiesen, dass man die wahre Größe des Mülls massiv unterschätzt, wenn man nicht in die „unsichtbare Tinte“ blickt.
Das „Wachstums“-Problem
Das Papier testete auch, was passiert, wenn der Detektiv denselben Hinweis 200 Mal überprüfen muss.
- Einige Frameworks (wie LangGraph und AutoGen) agieren wie ein Eichhörnchen, das niemals etwas vergisst. Jedes Mal, wenn es den Hinweis prüft, schreibt es die gesamte Historie erneut auf. Dies führt dazu, dass das Speicheraufkommen superlinear wächst (immer schneller). Nach 200 Runden hinterließen sie 323 MB an Daten für nur eine einzige winzige Datei.
- Andere Frameworks (wie OpenAI Agents) agieren wie ein kluger Notiznehmer. Sie schreiben nur das Neue auf. Ihr Speicherplatz wuchs langsam, fast in einer geraden Linie.
Die Forscher maßen diese Wachstumsrate (genannt ) und fanden heraus, dass sie von 0,73 (es wird kleiner!) bis 1,95 (es explodiert in der Größe) reichte.
Bedeutet ein größerer Müll einen klügeren Detektiv?
Sie denken vielleicht: „Vielleicht ist der unordentliche Detektiv einfach nur besonders vorsichtig, deshalb ist er klüger?“
Das Papier sagt: Nein.
Sie untersuchten 108 reale Einreichungen einer berühmten Programmier-Challenge (SWE-bench). Sie fanden heraus, dass die Menge der von diesen Systemen exportierten Daten um das 1.617-fache variierte (von winzigen Dateien bis hin zu riesigen). Aber hier kommt der Clou: Es gab keinen Zusammenhang zwischen der Größe des Mülls und der Qualität, mit der das System das Problem gelöst hat.
Tatsächlich war die Korrelation so schwach, dass sie praktisch bei Null lag. Ein System konnte einen Berg von Daten hinterlassen und trotzdem scheitern, oder einen winzigen Fußabdruck hinterlassen und erfolgreich sein. Das Papier schließt die Idee explizit aus, dass „mehr Speicherplatz = bessere Leistung“ bedeutet.
Der „Zaubereraser“ (Aber kaufen Sie ihn noch nicht!)
Die Forscher haben nicht nur das Problem aufgezeigt; sie zeigten auch einen Weg zur Lösung auf, sagen aber vorsichtig, dass dies ein Proof of Concept ist und kein fertiges Produkt.
Sie bauten einen „inhaltsadressierten Speicher“ (content-addressed store). Stellen Sie sich eine Bibliothek vor, in der man, anstatt jedes Buch in ein Regal zu stellen, ein Foto vom einzigartigen Fingerabdruck des Buches macht. Wenn zwei Bücher identisch sind, behalten Sie nur ein Foto und eine Notiz, die besagt: „Dieses hier ist dasselbe wie jenes.“
Als sie diesen „Zaubereraser“ auf die unordentlichen Frameworks anwandten:
- Reduzierte es den Speicherbedarf um das 4,8- bis 32,7-fache.
- Entscheidend war, dass sie bewiesen, dass man selbst nach dem Entfernen all dieser Daten die gesamte Gesprächshistorie noch perfekt rekonstruieren konnte. Die „Punktzahl“ für die Fähigkeit, die Gedanken des Detektivs wieder abzuspielen, blieb exakt gleich.
Was das Papier ausschließt
- Es schließt die Idee aus, dass wir den Speicherplatz einfach ignorieren sollten, weil er „billig“ ist. Das Papier argumentet, dass Speicherplatz eine anhaltende Schuld ist, die sich über die Zeit ansammelt – im Gegensatz zu den Kosten für das Ausführen der KI, die verschwinden, sobald die Aufgabe beendet ist.
- Es schließt die Idee aus, dass Standard-Dateizähler genau sind. Sie zeigten, dass einfaches Zählen die Duplikation übersieht, die im Code des Systems verborgen ist.
- Es schließt die Idee aus, dass größere Datenspuren bessere Ergebnisse bedeuten. Die Daten zeigen keinen Zusammenhang zwischen Größe und Erfolg.
Wie sicher sind sie sich?
Die Autoren sind sich sehr sicher über die von ihnen durchgeführten Messungen. Sie führmen 1.061 Experimente in isolierten, sauberen Computerräumen (Sandboxes) durch, um sicherzustellen, dass nichts anderes interferiert. Sie testeten 8 verschiedene Frameworks (wie LangGraph, CrewAI und AutoGen) unter Verwendung exakt derselben Aufgaben und Modelle.
Sie haben nicht nur geraten; sie haben gemessen. Sie fanden heraus, dass unter identischen Bedingungen die Menge des hinterlassenen Datenvolumens zwischen dem besten und dem schlechtesten Performer um das 15,7-fache variierte. Sie zeigten auch, dass dieser Unterschied nicht darauf beruht, dass ein Framework „schlauer“ beim Lösen von Aufgaben ist, sondern darauf, wie sie gebaut sind, um Daten zu speichern.
Das Fazzeit
Das Papier kommt zu dem Schluss, dass wir anfangen müssen, den „Fußabdruck“ von KI-Agenten genauso zu messen, wie wir ihre Geschwindigkeit oder Kosten messen. Momentan lassen wir zu, dass einige Systeme Berge von digitalem Müll hinterlassen, während andere fast gar nichts hinterlassen – und es stellt sich heraus, dass die unordentlichen Systeme keine bessere Arbeit leisten.
Die Autoren schlagen vor, dass wir, wenn wir diese Agenten in massivem Maßstab betreiben wollen (wie eine Flotte von 10.000 Robotern pro Tag), den Unterschied zwischen einem „sauberen“ und einem „unordentlichen“ Framework kennen müssen. Der Unterschied zwischen einem „sauberen“ Framework und einem „unordentlichen“ könnte bedeuten, ob wir jeden Tag 3 GB oder 51 GB an Speicherplatz benötigen. Das ist ein gewaltiger Unterschied für ein Problem, das – wie sie zeigten – den Roboter nicht einmal schlauer macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.