🤖 AI

Agentic System as Compressor: Quantifying System Intelligence in Bits

Dit artikel stelt een raamwerk voor dat de intelligentie van een agentisch systeem kwantificeert als de reductie in bits die nodig zijn om een doelobject te reconstrueren, waarbij via vijf gecontroleerde experimenten wordt aangetoond dat agentische componenten zoals het gebruik van tools en zoeken informatie effectief comprimeren en de resterende onzekerheid verlagen.

Oorspronkelijke auteurs: Zihan Qin, Hongrui Zhang

Gepubliceerd 2026-06-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zihan Qin, Hongrui Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer complexe boodschap naar een vriend probeert te sturen, maar je hebt een strikte limiet op het aantal "bits" (kleine eenheden informatie) die je kunt verzenden. Normaal gesproken, als je een lang verhaal of een complexe instructie wilt sturen, moet je alles woord voor woord opschrijven. Dat kost veel ruimte.

Dit artikel stelt een nieuwe manier voor om te meten hoe "slim" een systeem is. In plaats van te vragen: "Heeft het systeem het juiste antwoord gegeven?" (wat lijkt op een simpele pass/fail-test), vraagt het: "Hoeveel informatie moest het systeem verzenden om de klus te klaren?"

De auteurs noemen dit "Agentic Compression" (Agentische Compressie). Hier is het kernconcept uitgelegd met eenvoudige analogieën:

1. Het Kernconcept: Intelligentie als een Snelkoppeling

Denk aan intelligentie niet als "alles weten", maar als "de beste snelkoppelingen kennen".

De Oude Manier (Alleen het Model): Stel je voor dat je een specifieke schaakzet aan een vriend probeert te beschrijven via een walkie-talkie. Als je alleen zegt: "De paard gaat naar veld B", moet je elke keer de hele bordtoestand beschrijven. Dat zijn veel woorden (bits).
De Agentische Manier (Het Systeem): Stel je nu voor dat jij en je vriend allebei een regelboek (de omgeving) en een set hulpmiddelen hebben. Je hoeft de hele bordtoestand niet te beschrijven. Je zegt alleen: "Paard naar B". Omdat je vriend hetzelfde regelboek heeft, weet hij direct precies welke zet dat is, omdat de regels van schaken alle illegale zetten al uitsluiten. Je hebt een enorme hoeveelheid ruimte bespaard.

Het artikel betoogt dat hoe slimmer het systeem, hoe minder bits het hoeft te verzenden. Als een systeem hulpmiddelen gebruikt, het internet doorzoekt of zijn eigen werk controleert, kan het de boodschap comprimeren tot een minuscuul hintje. Als het de hele boodschap vanaf nul moet verzenden, is het in deze specische metriek "dommer".

2. Hoe ze het hebben gemeten (De Drie Hulpmiddelen)

Om dit te testen, hebben de onderzoekers een "compressiemachine" gebouwd die probeert berichten op drie verschillende manieren te verkleinen:

De "Exacte Kopie" Methode (Arithmetic Coding): Dit is als een superprecieze typemachine. Als het systeem een specifieke tekstreeks moet verzenden, berekent het de waarschijnlijkheid van elke letter en verzendt het de meest efficiënte code mogelijk. Dit is de baseline.
De "Magische Seed" Methode (Seed Coding): Dit is als een spelletje "Raad het Getal". Stel je voor dat het systeem een lijst heeft met 1.000 mogelijke antwoorden. In plaats van het antwoord op te schrijven, zegt de verzender alleen: "Het is de 42e op de lijst." De ontvanger heeft dezelfde lijst en dezelfde regels, dus kiest hij gewoon de 42e. Dit is ongelooflijk efficiënt als het juiste antwoord waarschijnlijk op de lijst staat.
Het "Veiligheidsnet" (Fallback): Als de "Magische Seed" methode faalt (het juiste antwoord stond niet in de top 1.000), schakelt het systeem terug naar de "Exacte Kopie" methode om ervoor te zorgen dat de boodschap toch aankomt.

3. Wat ze hebben getest (De Vijf Experimenten)

Ze hebben dit idee getest op vijf verschillende scenario's om te zien of het toevoegen van "agentische" hulpmiddelen daadwerkelijk bits bespaarde:

Omgekeerde Tekst: Ze namen een verhaal en draaiden het om.
- Zonder hulpmiddelen: Het systeem moest de omgekeerde letters één voor één verzenden.
- Met hulpmiddelen: Het systeem en de ontvanger spraken een regel af: "Wij draaien de tekst beide om." De verzender stuurde gewoon de normale tekst. Resultaat: Enorme besparingen in bits.
Schaakzetten:
- Zonder hulpmiddelen: Het verzenden van een zet zoals "Paard naar B" vereist het beschrijven van de hele context van het bord.
- Met hulpmiddelen: Het systeem gebruikt een schaakengine (de omgeving) die de legale zetten kent. Het verzendt alleen de zet, en de engine filtert de onmogelijke zetten eruit. Resultaat: Significante besparingen.
Eiwitsequenties (Wetenschap):
- Ze probeerden eiwitstructuren te genereren.
- Met hulpmiddelen: Ze gebruikten een "template" (een bekend vergelijkbaar eiwit) om de gok te sturen.
- Resultaat: Het systeem hoefde niet de hele structuur vanaf nul te raden; het vulde alleen de gaten in. Dit bespaarde een enorme hoeveelheid data.
Retrieval (RAG):
- Ze stelden vragen waarbij het antwoord verborgen was in een document.
- Met hulpmiddelen: Als het systeem het juiste document ophaalde, hoefde het slechts een klein hintje te sturen om het antwoord te krijgen. Als het het verkeerde document ophaalde, moest het veel meer informatie verzenden.
- Resultaat: Goede informatie (relevante documenten) verminderde de benodigde bits drastisch.
Verhaalcompressie:
- Ze probeerden een verhaal samen te vatten.
- Resultaat: Ze ontdekten dat als je het systeem langer laat "denken" (meer computerkracht/zoeken gebruikt), het een kortere samenvatting kan vinden. Dit bewees een afruil: Meer rekenkracht = Kortere boodschap.

4. De Belangrijkste Conclusies

Het artikel maakt drie hoofdpunten met behulp van deze "bit-telling" methode:

Hulpmiddelen maken systemen slimmer: Het toevoegen van hulpmiddelen (zoals een schaakengine of een zoekbalk) helpt het systeem niet alleen om het juiste antwoord te krijgen; het verandert fundamenteel hoe het systeem communiceert, waardoor het veel kortere berichten kan verzenden.
Strenge eisen kosten bits: Als je een perfecte, woord-voor-woord reconstructie eist, heb je meer bits nodig. Als je alleen geeft om de "kern" of de "betekenis" (semantische compressie), kun je minder bits verzenden. De "slimheid" van het systeem hangt af van hoe streng de regels zijn.
Kracht vs. Efficiëntie: Er is een balans tussen hoeveel rekenkracht je gebruikt en hoe kort je bericht is. Als je het systeem harder laat zoeken, kan het een kortere, efficiëntere manier vinden om het antwoord te beschrijven.

Samenvatting

In alledaagse termen suggereert dit artikel dat ware intelligentie in AI-systemen niet alleen over de hersenen van het model gaat; het gaat over het hele team.

Als je een slimme werker hebt (het AI-model) maar geen hulpmiddelen, moet die werker alles vanaf nul doen, wat inefficiënt is. Maar als je hem een bibliotheek, een rekenmachine en een regelboek geeft (het agentische systeem), kan hij dezelfde klus klaren met een klein briefje. De auteurs zeggen: "Hoe minder woorden je nodig hebt om de klus te klaren, hoe slimmer je systeem is." Ze hebben een manier gecreëerd om die woorden (bits) te tellen om precies te meten hoeveel waarde elk hulpmiddel toevoegt aan het team.

Technische Samenvatting: Agentisch Systeem als Compressor: Het Kwantificeren van Systeemintelligentie in Bits

1. Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet, niet als geïsoleerde voorspellers, maar als agentische systemen die tools, retrieval-mechanismen, omgevingsrestricties, verifieerders en multi-turn zoekopdrachten integreren. Huidige evaluatiemetrieken (bijv. nauwkeurigheid, succespercentage) slagen er niet in om de bron van capaciteit binnen deze complexe workflows te onderscheiden. Een hoog succespercentage maakt geen onderscheid tussen of de prestatie voortkomt uit het intrinsieke voorspellende vermogen van het model of uit externe componenten (bijv. een retriever die bewijs levert, een regelgebaseerde omgeving die illegale zetten filtert, of een verifieerder die fouten corrigeert). Bovendien missen succespercentages vaak resolutie bij moeilijke taken waarbij beide systemen "bijna falen" (bijna nul succes), ondanks dat ze een wezenlijk verschillend niveau van residuele onzekerheid over de doelruimte hebben.

Dit artikel adresseert de behoefte aan een verenigd, fijnmazig analytisch kader om systeemintelligentie te kwantificeren door te meten hoeveel residuele onzekerheid verschillende componenten (modellen, tools, omgevingen) verwijderen uit een doelverdeling.

2. Methodologie: Agentische Codelengte

De auteurs operationaliseren het principe dat "compressie intelligentie is" door een agentisch systeem te behandमें als een conditionele compressor. Onder een vaste taakverdeling, observatiestandaard, systeeminterface en compute-budget vereist een intelligenter systeem minder bits om een doelobject te reconstrueren.

2.1 Theoretisch Kader

Definitie van een Agentisch Systeem: Gedefinieerd als een drietallig $A = (P, M, E)$ , waarbij $P$ het programma is, $M$ de modelinterfaces vertegenwoordigt en $E$ de omgeving-interfaces (tools, API's, retrievers) vertegenwoordigt.
Conditionele Compressie: Het systeem comprimeert een doel $x$ gegeven een publieke conditie $c$ (bijv. een prompt of taakspecificatie). De codelengte $L(x|c)$ meet de informatie die de encoder moet verzenden om een decoder (die dezelfde systeemcondities deelt) in staat te stellen $x$ te reconstrueren.
Observationele Equivalentie: Reconstructie vereist geen byte-exact herstel. In plaats daarvan moet de decoderoutput $\hat{x}$ voldoen aan $y \approx_O x$ onder een familie van observaties $O$ (bijv. functionele equivalentie in eiwitvouwing of semantische equivalentie in storytelling).
Componentwaarde: De bijdrage van een specifieke component $g$ wordt gedefinieerd als de marginale reductie in gemiddelde codelengte: $\Delta_g = \bar{L}_{\Pi \setminus g} - \bar{L}_{\Pi_g}$ .

2.2 Coderingstechnieken

Om codelengte in agentische settings te schatten, stellen de auteurs een uitvoerbaar compress–decompressie protocol voor dat drie schema's combineert:

Arithmetic Coding: Gebruikt voor exacte codering van specifieke outputs. Het cumuleert negatieve log-likelihood (NLL) token-voor-token, waardoor modelvoorspellingen worden omgezet in codelengte.
Seed Coding: Gebruikt voor taken met dichte kwalificerende outputs (bijv. deterministische of repliceerbare omgevingen). De encoder verzendt een latente beschrijving plus de rang van de eerste random seed die een kwalificerende output produceert. De kosten zijn $\lceil \log_2 N \rceil$ bits, waarbij $N$ het sampling-budget is.
Fallback: Als seed coding faalt binnen het budget, valt het systeem terug op arithmetic coding. Een 1-bit selector onderscheidt het pad.

3. Belangrijkste Bijdragen

Systeemniveau Perspectief: Het artikel is het eerste dat het "compressie is intelligentie" perspectief toepast op agentische systemen in plaats van geïsoleerde modellen, waarbij tools, omgevingen en interactieprocessen als integraal onderdeel van het compressiemechanisme worden beschouwd.
Marginale Bitwaarde Metriek: Introduceert een kwantitatieve metriek om de bijdrage van specifieke componenten (bijv. een retriever of verifieerder) te analyseren via de gemiddelde reductie in codelengte, wat een hogere resolutie biedt dan succespercentages.
Uitvoerbaar Protocol: Combineert arithmetic coding, seed replay en fallback in een verenigd protocol dat codelengte kan meten over diverse typen taken.
Empirische Validatie: Valideert het kader in vijf verschillende settings, waarbij het vermogen wordt aangetoond om componentwaarde, observatiegranulariteit en compute-trade-offs te analyseren.

4. Experimentele Resultaten

Het kader werd geëvalueerd in vijf settings (A–E), waarbij typische agentische componenten werden geïsoleerd:

A. Omgekeerde Tekst (Deterministische Tool): Het gebruik van een gedeelde reverse transform reduceerde de codelengte van 2.877 naar 0.742 bits/byte, wat aantoont dat deterministische tools de residuele onzekerheid drastisch kunnen verminderen.
B. Schaken (Regelgebaseerde Omgeving): Het afdwingen van legale zet-restricties via een regelgebaseerde omgeving reduceerde de codelengte van 9.828 naar 6.545 bits/zet (een besparing van 3.283 bits/zet), wat laat zien hoe omgevingsrestricties de kandidaatruimte verkleinen.
C. Eiwitsequenties (Wetenschappelijke Templates):
- Gekalibreerde homologe templates reduceerden de codelengte van 200.65 naar 116.80 bits/seq (83.85 bits bespaard).
- C' (Functionele Equivalentie & Verifieerder): In een taak van functionele equivalentie waar de succespercentages laag waren, zorgde het toevoegen van verifieerder-feedback en reparatie voor een reductie van de gemiddelde codelengte van 402.99 naar 27.58 bits/seq (een besparing van 375.41 bits/seq), zelfs terwijl de succespercentages slechts stegen van 68% naar 98%. Dit benadrukt de sensitiviteit van de metriek op momenten dat succespercentages een plateau bereiken.
D. Retrieval-Augmented Generation (RAG): Relevante documenten reduceerden de antwoord-codelengte gemiddeld met 18.29 bits vergeleken met retrieval-falen. Distractor-documenten boden verwaarloosbare hulp (2.95 bits), en gemengde retrieval behield het grootste deel van de winst, wat bewijst dat de waarde van retrieval continu wordt geprijsd op basis van relevantie.
E. Semantische Verhaalcompressie:
- Observatiegranulariteit: Naarmate de observatiestandaard strenger werd (van karakterbehoud tot volledige plot/einde correctheid), nam de codelengte monotoon toe, wat bevestigt dat compressievermogen relatief is aan de observatiestandaard.
- Compute Trade-off: Het verhogen van het summary rollout budget ( $T$ ) verbeterde de compressie (reductie van bits van 292.1 naar 127.5) maar met afnemende meeropbrengsten, waarmee een Pareto-front werd vastgesteld tussen het compute-budget en de codelengte.

5. Betekenis en Claims

Het artikel claimt dat agentische codelengte dient als een verenigd boekhoudinstrument voor residuele onzekerheid over verschillende informatiebronnen en succes-criteria.

Resolutie van "Bijna Falen": De metriek kan onderscheid maken tussen systemen die beide een bijna nul succespercentage hebben, maar verschillen in hun reductie van residuele onzekerheid (bijv. de eiwit functionele equivalentie experiment).
Componentanalyse: Het maakt de kwantificering van "marginale bitwaarde" mogelijk, waardoor engineers precies kunnen begrijpen hoeveel een retriever, verifieerder of omgevingsrestrictie bijdraagt aan de capaciteit van het systeem.
Relativiteit van Intelligentie: Het artikel betoogt dat intelligentie geen absolute eigenschap van een model is, maar relatief is aan het protocol (verdeling, observeerder, interface en budget). Een agentische workflow verandert effectief de "beschrijvingsstaal", waarbij informatie wordt verplaatst van de per-instantie boodschap naar het gedeelde protocol en de decodersystemen.
Agentische Pseudo-entropie: De auteurs stellen een theoretische uitbreiding voor, "agentische pseudo-entropie", om de oncomprimeerbaarheid van data te definiëren ten opzichte van een klasse van beperkte agentische systemen, wat de werkelijke complexiteit karakteriseert die overblijft na exploitatie van alle beschikbare tools en zoekstrategieën.

De auteurs hanteren een bescheiden standpunt en merken op dat deze experimenten kleinschalig en gecontroleerd zijn om mechanismen te verifiëren in plaats van te dienen als een definitieve benchmark voor ingezette systemen. De resultaten bieden methodologische begeleiding voor het evalueren van echte agentsystemen in plaats van definitieve prestatieranglijsten.