🤖 AI

Agentic System as Compressor: Quantifying System Intelligence in Bits

Dieses Paper schlägt ein Framework vor, das die Intelligenz agentischer Systeme als die Reduktion der benötigten Bits zur Rekonstruktion eines Zielobjekts quantifiziert, wobei durch fünf kontrollierte Experimente demonstriert wird, dass agentische Komponenten wie Werkzeugnutzung und Suche Informationen effektiv komprimieren und die Restunsicherheit senken.

Ursprüngliche Autoren: Zihan Qin, Hongrui Zhang

Veröffentlicht 2026-06-25

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zihan Qin, Hongrui Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Freund eine sehr komplexe Nachricht senden, aber Sie haben ein strenges Limit für die Anzahl der „Bits“ (winziger Informationseinheiten), die Sie senden können. Normalerweise, wenn Sie eine lange Geschichte oder eine komplexe Anweisung übermitteln wollen, müssen Sie alles Wort für Wort ausschreiben. Das verbraucht viel Platz.

Dieses Paper schlägt eine neue Art vor, die „Intelligenz“ eines Systems zu messen. Anstatt zu fragen: „Hat das System die richtige Antwort erhalten?“ (was wie ein einfacher Pass/Fail-Test ist), fragt es: „Wie viele Informationen musste das System senden, um die Aufgabe zu erledigen?“

Die Autoren nennen dies „Agentic Compression“ (Agentische Kompression). Hier ist die Kernidee, unterteilt mit einfachen Analogien:

1. Das Kernkonzept: Intelligenz als Abkürzung

Betrachten Sie Intelligenz nicht als „alles wissen“, sondern als „die besten Abkürzungen kennen“.

Der alte Weg (Nur das Modell): Stellen Sie sich vor, Sie versuchen, einem Freund über ein Walkie-Talkie einen bestimmten Schachzug zu beschreiben. Wenn Sie nur sagen: „Der Springer geht nach Feld B“, müssen Sie jedes Mal den gesamten Zustand des Brettes beschreiben. Das sind viele Wörter (Bits).
Der agentische Weg (Das System): Stellen Sie sich nun vor, Sie und Ihr Freund besitzen beide ein Regelwerk (die Umgebung) und einen Satz an Werkzeugen. Sie müssen nicht das ganze Brett beschreiben. Sie sagen einfach: „Springer nach B“. Da Ihr Freund dasselbe Regelwerk besitzt, weiß er sofort exakt, welcher Zug das ist, weil die Regeln des Schachs bereits alle illegalen Züge ausschließen. Sie haben eine enorme Menge an Platz gespart.

Das Paper argumentt, dass je intelligenter das System ist, desto weniger Bits es senden muss. Wenn ein System Werkzeuge nutzt, im Web sucht oder seine eigene Arbeit überprüft, kann es die Nachricht auf einen winzigen Hinweis komprimieren. Wenn es die ganze Nachricht von Grund auf neu senden muss, ist es nach dieser spezifischen Metrik „dümmer“.

2. Wie sie es gemessen haben (Die drei Werkzeuge)

Um dies zu testen, bauten die Forscher eine „Kompressionsmaschine“, die Nachrichten auf drei verschiedene Arten zu schrumpfen versucht:

Die „Exakte Kopie“-Meth Methode (Arithmetische Kodierung): Dies ist wie eine superpräzise Schreibmaschine. Wenn das System eine spezifische Zeichenkette senden muss, berechnet es die Wahrscheinlichkeit jedes Buchstabens und sendet den effizientesten Code. Dies ist die Baseline.
Die „Magische Seed“-Methode (Seed Coding): Dies ist wie ein Spiel von „Rate die Zahl“. Stellen Sie sich vor, das System hat eine Liste von 1.000 möglichen Antworten. Anstatt die Antwort aufzuschreiben, sagt der Absender nur: „Es ist die 42. auf der Liste.“ Der Empfänger hat dieselbe Liste und dieselben Regeln, also wählt er einfach die 42. aus. Das ist unglaublich effizient, wenn die richtige Antwort wahrscheinlich auf der Liste steht.
Das „Sicherheitsnetz“ (Fallback): Wenn die „Magische Seed“-Methode fehlschlägt (die richtige Antwort war nicht unter den Top 1.000), wechselt das System zurück zur „Exakten Kopie“-Methode, um sicherzustellen, dass die Nachricht durchkommt.

3. Was sie getestet haben (Die fünf Experimente)

Sie haben diese Idee in fünf verschiedenen Szenarien getestet, um zu sehen, ob das Hinzufügen von „agentischen“ Werkzeugen tatsächlich Bits spart:

Umgekehrter Text: Sie nahmen eine Geschichte und kehrten sie um.
- Ohne Werkzeuge: Das System musste die umgekehrten Buchstaben einzeln senden.
- Mit Werkzeugen: Das System und der Empfänger vereinbarten eine Regel: „Wir werden den Text beide umkehren.“ Der Absender sendete einfach den normalen Text. Ergebnis: Massive Einsparungen bei den Bits.
Schachzüge:
- Ohne Werkzeuge: Das Senden eines Zuges wie „Springer nach B“ erfordert die Beschreibung des gesamten Brett-Kontexts.
- Mit Werkzeugen: Das System nutzt eine Schach-Engine (die Umgebung), die die legalen Züge kennt. Es sendt nur den Zug, und die Engine filtert die unmöglichen Züge heraus. Ergebnis: Signifikante Einsparungen.
Proteinstrukturen (Wissenschaft):
- Sie versuchten, Proteinstrukturen zu generieren.
- Mit Werkzeugen: Sie nutzten eine „Vorlage“ (ein bekanntes ähnliches Protein), um die Vermutung zu leiten.
- Ergebnis: Das System musste nicht die ganze Struktur von Grund auf neu erraten, sondern füllte nur die Lücken aus. Dies sparte eine massive Menge an Daten.
Retrieval (RAG):
- Sie stellten Fragen, bei denen die Antwort in einem Dokument versteckt war.
- Mit Werkzeugen: Wenn das System das richtige Dokument abrief, musste es nur einen winzigen Hinweis senden, um die Antwort zu erhalten. Wenn es das falsche Dokument abrief, musste es viel mehr Informationen senden.
- Ergebnis: Gute Informationen (relevante Dokumente) reduzierten die benötigten Bits drastisch.
Geschichts-Kompression:
- Sie versuchten, eine Geschichte zusammenzufassen.
- Ergebnis: Sie fanden heraus, dass wenn man dem System erlaubt, länger zu „denken“ (mehr Rechenleistung/Suche zu nutzen), es eine kürzere Zusammenfassung finden kann. Dies bewies einen Trade-off: Mehr Rechenleistung = Kürzere Nachricht.

4. Die wichtigsten Erkenntnisse

Das Paper macht drei Hauptpunkte unter Verwendung dieser „Bit-Zähl“-Methode:

Werkzeuge machen Systeme intelligenter: Das Hinzufügen von Werkzeugen (wie einer Schach-Engine oder einer Suchleiste) hilft dem System nicht nur dabei, die richtige Antwort zu finden; es verändert grundlegend die Art und Weise, wie das System kommuniziert, was es ermöglicht, viel kürzere Nachrichten zu senden.
Strenge kostet Bits: Wenn Sie eine perfekte, wortgetreue Rekonstruktion verlangen, benötigen Sie mehr Bits. Wenn es Ihnen nur um den „Kern“ oder die „Bedeutung“ geht (semantische Kompression), können Sie weniger Bits senden. Die „Intelligenz“ des Systems hängt davon ab, wie streng die Regeln sind.
Leistung vs. Effizienz: Es gibt ein Gleichgewicht zwischen der Menge an Rechenleistung, die Sie verwenden, und der Kürze Ihrer Nachricht. Wenn Sie das System intensiver suchen lassen, kann es einen kürzeren, effizienteren Weg finden, die Antwort zu beschreiben.

Zusammenfassung

In Alltagstermen legt dieses Paper nahe, dass wahre Intelligenz in KI-Systemen nicht nur das „Gehirn“ des Modells ist, sondern das gesamte Team.

Wenn Sie einen klugen Arbeiter (das KI-Modell) haben, aber keine Werkzeuge, muss dieser alles von Grund auf neu machen, was ineffizient ist. Aber wenn Sie ihm eine Bibliothek, einen Taschenrechner und ein Regelwerk (das agentische System) geben, kann er dieselbe Aufgabe mit einer winzigen Notiz erledigen. Die Autoren sagen: „Je weniger Worte Sie schreiben müssen, um die Aufgabe zu erledigen, desto intelligenter ist Ihr System.“ Sie haben einen Weg geschaffen, diese Wörter (Bits) zu zählen, um genau zu messen, welchen Wert jedes Werkzeug dem Team hinzufügt.

Technisches Resümee: Agentische Systeme als Kompressoren: Quantifizierung der Systemintelligenz in Bits

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend nicht als isolierte Prädiktoren, sondern als agentische Systeme eingesetzt, die Werkzeuge, Retrieval-Mechanismen, Umgebungskonstraints, Verifizierer und Multi-Turn-Suche integrieren. Aktuelle Evaluierungsmetriken (z. B. Genauigkeit, Erfolgsrate) erfassen nicht, woraus die Leistungsfähigkeit innerhalb dieser komplexen Workflows resultiert. Eine hohe Erfolgsrate unterscheidet nicht, ob die Leistung aus der intrinsischen Vorhersagefähigkeit des Modells oder aus externen Komponenten (z. B. einem Retriever, der Evidenz liefert, einer regelbasierten Umgebung, die illegale Züge filtert, oder einem Verifizierer, der Fehler korrigiert) stammt. Darüber hinaus fehlt Erfolgsraten oft die Auflösung bei schwierigen Aufgaben, bei denen beide Systeme „fast scheitern“ (nahezu Null-Erfolg), obwohl sie über sehr unterschiedliche Grade an residueller Unsicherheit über den Zielraum verfügen.

Das Paper adressiert das Bedürfnis nach einem einheitlichen, feingliedrigen analytischen Rahmenwerk zur Quantifizierung der Systemintelligenz, indem gemessen wird, wie viel residuelle Unsicherheit verschiedene Komponenten (Modelle, Werkzeuge, Umgebungen) aus einer Zielverteilung entfernen.

2. Methodik: Agentische Codelänge

Die Autoren operationalisieren das Prinzip, dass „Kompression Intelligenz ist“, indem sie ein agentisches System als bedingten Kompressor behandeln. Unter einer festen Aufgabenverteilung, einem Beobachtungsstandard, einem Systeminterface und einem Rechenbudget benötigt ein intelligenteres System weniger Bits, um ein Zielobjekt zu rekonstruieren.

2.1 Theoretischer Rahmen

Definition des agentischen Systems: Definiert als ein Tripel $A = (P, M, E)$ , wobei $P$ das Programm, $M$ die Modellinterfaces und $E$ die Umgebungsschnittstellen (Werkzeuge, APIs, Retriever) darstellt.
Bedingte Kompression: Das System komprimiert ein Ziel $x$ gegeben eine öffentliche Bedingung $c$ (z. B. einen Prompt oder eine Aufgabenbeschreibung). Die Codelänge $L(x|c)$ misst die Information, die der Encoder übertragen muss, damit ein Decoder (der dieselben Systembedingungen teilt) $x$ rekonstruieren kann.
Observationelle Äquivalenz: Die Rekonstruktion erfordert keine byte-genaue Wiederherstellung. Stattdessen muss die Decoder-Ausgabe $\hat{x}$ eine Bedingung $y \approx_O x$ unter einer Familie von Beobachtungen $O$ erfüllen (z. B. funktionale Äquivalenz beim Proteinfaltungsprozess oder semantische Äquivalenz beim Geschichtenerzählen).
Komponentenwert: Der Beitrag einer spezifischen Komponente $g$ ist definiert als die marginale Reduktion der durchschnittlichen Codelänge: $\Delta_g = \bar{L}_{\Pi \setminus g} - \bar{L}_{\Pi_g}$ .

2.2 Kodierungsschemata

Um die Codelänge in agentischen Settings zu schätzen, schlagen die Autoren ein ausführbares Komprimierungs-Dekomprimierungs-Protokoll vor, das drei Schemata kombiniert:

Arithmetische Kodierung: Wird für die exakte Kodierung spezifischer Ausgaben verwendet. Sie akkumuliert die negative Log-Likelihood (NLL) Token für Token und wandelt Modellprädiktionen in Codelänge um.
Seed-Kodierung: Wird für Aufgaben mit dichten qualifizierenden Ausgaben verwendet (z. B. deterministische oder replizierbare Umgebungen). Der Encoder überträgt eine latente Beschreibung plus den Rang des ersten Zufallssamen (Seed), der eine qualifizierende Ausgabe erzeugt. Die Kosten betragen $\lceil \log_2 N \rceil$ Bits, wobei $N$ das Sampling-Budget ist.
Fallback: Falls die Seed-Kodierung innerhalb des Budgets fehlschlägt, fällt das System auf die arithmetische Kodierung zurück. Ein 1-Bit-Selektor unterscheidet zwischen den Pfaden.

3. Kernbeiträge

Systemische Perspektive: Das Paper ist das erste, das die Sichtweise „Kompression ist Intelligenz“ auf agentische Systeme statt auf isolierte Modelle anwendet, indem es Werkzeuge, Umgebungen und Interaktionsprozesse als integralen Bestandteil des Kompressionsmechanismus betrachtet.
Metrik des marginalen Bit-Werts: Führt eine quantitative Metrik ein, um den Beitrag spezifischer Komponenten (z. B. eines Retrievers oder Verifizierers) über die Reduktion der durchschnittlichen Codelänge zu analysieren, was eine höhere Auflösung als Erfolgsraten bietet.
Ausführbares Protokoll: Kombiniert arithmetische Kodierung, Seed-Replay und Fallback zu einem einheitlichen Protokoll, das Codelänge über verschiedene Aufgabentypen hinweg messen kann.
Empirische Validierung: Validiert das Rahmenwerk in fünf verschiedenen Settings und demonstriert dessen Fähigkeit, den Komponentenwert, die Beobachtungsgranularität und die Compute-Trade-offs zu analysen.

4. Experimentelle Ergebnisse

Das Rahmenwerk wurde in fünf Settings (A–E) evaluiert, die typische agentische Komponenten isolieren:

A. Umgekehrter Text (Deterministisches Werkzeug): Die Verwendung einer gemeinsamen Rückwärts-Transformation reduzierte die Codelänge von 2,877 auf 0,742 Bits/Byte, was zeigt, dass deterministische Werkzeuge die residuelle Unsicherheit drastisch reduzieren können.
B. Schachzüge (Regelbasiertes Environment): Das Erzwingen legaler Züge über eine regelbasierte Umgebung reduzierte die Codelänge von 9,828 auf 6,545 Bits/Zug (Einsparung von 3,283 Bits/Zug), was zeigt, wie Umgebungskonstraints den Kandidatenraum einschränken.
C. Proteinsequenzen (Wissenschaftliche Templates):
- Kalibrierte homologe Templates reduzierten die Codelänge von 200,65 auf 116,80 Bits/Sequenz (83,85 Bits gespart).
- C' (Funktionale Äquivalenz & Verifizierer): In einer Aufgabe zur funktionalen Äquivalenz, bei der die Erfolgsraten niedrig waren, reduzierte das Hinzufügen von Verifizierer-Feedback und Reparatur die mittlere Codelänge von 402,99 auf 27,58 Bits/Sequenz (Einsparung von 375,41 Bits/Sequenz), selbst während die Erfolgsraten nur von 68 % auf 98 % stiegen. Dies unterstreicht die Sensitivität der Metrik dort, wo Erfolgsraten stagnieren.
D. Retrieval-Augmented Generation (RAG): Relevante Dokumente reduzierten die Antwort-Codelänge im Vergleich zu Retrieval-Fehlern um durchschnittlich 18,29 Bits. Distraktor-Dokumente boten vernachlässigbare Hilfe (2,95 Bits), und gemischtes Retrieval behielt den Großteil des Gewinns bei, was beweist, dass der Wert von Retrieval kontinuierlich durch Relevanz bepreist wird.
E. Semantische Geschichtenskompression:
- Beobachtungsgranularität: Mit zunehmender Verschärfung des Beobachtungsstandards (von der Zeichenerhaltung bis zur Korrektheit von Plot/Ende) stieg die Codelänge monoton an, was bestätigt, dass die Kompressionsfähigkeit relativ zum Beobachtungsstandard ist.
- Compute-Trade-off: Die Erhöhung des Summary-Rollout-Budgets ( $T$ ) verbesserte die Kompression (Reduktion der Bits von 292,1 auf 127,5), jedoch mit abnehmendem Grenznutzen, wodurch eine Pareto-Front zwischen Rechenbudget und Codelänge etabliert wurde.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die agentische Codelänge als einheitliches Buchhaltungsinstrument für die residuelle Unsicherheit über verschiedene Informationsquellen und Erfolgskriterien hinweg dient.

Auflösung des „Fast-Scheiterns“: Die Metrik kann zwischen Systemen unterscheiden, die beide eine nahezu Null-Erfolgsrate haben, sich aber signifikant in der Reduktion der residuellen Unsicherheit unterscheiden (z. B. das Experiment zur funktionalen Äquivalenz von Proteinen).
Komponentenanalyse: Sie ermöglicht die Quantifizierung des „marginalen Bit-Werts“, wodurch Ingenieure genau verstehen können, wie viel ein Retriever, Verifizierer oder eine Umgebungskonstraint zur Leistungsfähigkeit des Systems beiträgt.
Relativität der Intelligenz: Das Paper argumentt, dass Intelligenz keine absolute Eigenschaft eines Modells ist, sondern relativ zum Protokoll (Verteilung, Beobachter, Interface und Budget) ist. Ein agentischer Workflow ändert effektiv die „Beschreibungssprache“, indem er Information vom pro-Instanz-Nachricht in das gemeinsame Protokoll und das Dekodierungssystem verschiebt.
Agentische Pseudo-Entropie: Die Autoren schlagen eine theoretische Erweiterung, die „agentische Pseudo-Entropie“, vor, um die Inkompressibilität von Daten relativ zu einer Klasse beschränkter agentischer Systeme zu definieren und so die wahre Komplexität zu charakterisieren, die nach Ausnutzung aller verfügbaren Werkzeuge und Suchstrategien verbleibt.

Die Autoren nehmen eine bescheidene Haltung ein und merken an, dass diese Experimente klein angelegt und kontrolliert sind, um Mechanismen zu verifizieren, statt als finales Benchmark für eingesetzte Systeme zu dienen. Die Ergebnisse bieten methodische Orientierung für die Evaluierung realer agentischer Systeme statt definitiver Leistungsrankings.