💬 NLP

Lossless Prompt Compression via Dictionary-Encoding and In-Context Learning: Enabling Cost-Effective LLM Analysis of Repetitive Data

Dit paper introduceert een trainingsvrije methode voor verliesloze promptcompressie via contextueel leren en dictionary-encoding, die grote taalmodellen in staat stelt om repetitieve data kosteneffectief en zonder nauwkeurigheidsverlies te analyseren.

Oorspronkelijke auteurs: Andresa Rodrigues de Campos, David Lee, Imry Kissos, Piyush Paritosh

Gepubliceerd 2026-04-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Andresa Rodrigues de Campos, David Lee, Imry Kissos, Piyush Paritosh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische bibliotheek hebt vol met boeken die bijna identiek zijn. Ze hebben allemaal dezelfde titel, dezelfde inleiding en dezelfde afsluiting, maar in het midden staat telkens een klein, uniek getal.

Als je een slimme robot (een LLM of Large Language Model) vraagt om al deze boeken te lezen en te analyseren, kost dat enorm veel tijd en geld. Waarom? Omdat de robot elke letter van elke pagina moet "tellen" en betalen. Bij zulke repetitieve data betaal je dus duizenden keren voor hetzelfde woord "de" of "error".

De auteurs van dit paper hebben een slimme oplossing bedacht die we dictionaire-encoding noemen. Laten we dit uitleggen met een paar alledaagse vergelijkingen.

1. Het Probleem: De "Kopieer-Plak" Bibliotheek

Stel je voor dat je een lijst hebt met 10.000 logboeken van een server.

Regel 1: "Fout 404 op pad /home/user"
Regel 2: "Fout 404 op pad /home/user"
Regel 3: "Fout 404 op pad /home/user"
... enzovoort, tot 10.000 keer.

Als je dit naar de robot stuurt, moet hij 10.000 keer "Fout 404 op pad /home/user" lezen. Dat is als het proberen te ontcijferen van een brief die 10.000 keer dezelfde zin herhaalt. Het is zonde van je geld en tijd.

2. De Oplossing: De "Geheime Code" (Dictionaire)

In plaats van de hele zin 10.000 keer te sturen, doen we iets slims:

We maken een geheime lijst (een dictionaire).
We zeggen: "Elke keer dat je 'Fout 404 op pad /home/user' ziet, vervang dat door het symbool X."
We sturen de robot alleen de lijst (de code) en de tekst met alleen de symbolen: "X, X, X, X...".

De robot ziet nu: "X, X, X..." en de lijst die zegt: "X = Fout 404...".

3. De Magie: De Robot Lijkt het Zelf te Bedenken

Het meest opvallende aan dit onderzoek is dat je de robot niet hoeft te herscholen of te "trainen". Je hoeft geen dure software te bouwen.

Je doet het alsof je een kind een spelletje geeft:

Jij zegt: "Hier is een lijstje met geheime codes. Als je X ziet, denk dan aan 'Appel'. Als je Y ziet, denk dan aan 'Banaan'."
Vervolgens geef je het kind een tekst met alleen X's en Y's.
Het kind: "Oh, ik snap het! Dit is een tekst over appels en bananen!"

De robot (LLM) is zo slim dat hij deze "geheime codes" direct begrijpt zodra hij de lijst ziet. Hij hoeft niet te ontcijferen; hij "leest" de code direct alsof het normale taal is. Dit noemen ze In-Context Learning: het leren van de regels binnen het gesprek zelf, zonder dat de robot zijn hersenen (zijn basismodel) hoeft te veranderen.

4. Waarom werkt dit zo goed?

De onderzoekers hebben getest of de robot de boodschap nog steeds goed begrijpt, zelfs als de tekst 80% korter is.

Het resultaat: De robot gaf precies hetzelfde antwoord als wanneer hij de hele, lange tekst had gelezen.
De analogie: Het is alsof je iemand een samenvatting geeft van een film, maar dan zo goed samengevat dat de persoon de film nog steeds volledig kan "zien" in zijn hoofd. De essentie is niet verloren gegaan.

5. De "Rekenmachine" Check

Natuurlijk moet je oppassen dat het niet te duur wordt. Als je lijst met codes (de dictionaire) zelf 1000 woorden lang is, maar je bespaart maar 100 woorden, dan ben je erger af.
De auteurs hebben een slimme formule bedacht die als een rekenmachine werkt:

"Is de besparing groter dan de kosten van de lijst?"
Als ja: Doe het!
Als nee: Laat het staan.

Dit zorgt ervoor dat je altijd geld bespaart, zelfs als de data heel complex is.

Samenvatting in één zin

Dit paper laat zien dat je gigantische hoeveelheden repetitieve data kunt "samenvouwen" tot een korte code, en dat een moderne AI deze code direct begrijpt zonder training, waardoor je tot 80% kunt besparen op kosten en tijd, terwijl de kwaliteit van het antwoord perfect blijft.

Het is alsof je een hele berg kleding (data) in één kleine, compacte koffer stopt, en de robot weet precies welke kledingstukken erin zitten zodra je hem de sleutel (de lijst) geeft.

1. Probleemstelling

Grote Taalmodellen (LLMs) ondervinden aanzienlijke kosten- en latentieproblemen bij het verwerken van repetitieve tekstuele data, zoals systeemlogs. Dit komt door:

Token-gebaseerde prijsmodellen: Kosten stijgen lineair met het aantal tokens.
Contextvenster-beperkingen: Grote datasets passen niet in één prompt.
Repetitieve aard van data: Bedrijfslogs bevatten vaak duizenden identieke patronen, tijdstempels en systeempaden.

Traditionele compressie-algoritmen zijn niet direct bruikbaar voor LLMs omdat deze gecomprimeerde formaten niet "natuurlijk" kunnen verwerken. Bestaande oplossingen vereisen vaak kostbare model-finetuning (wat niet schaalbaar is bij veranderende data) of zijn "lossy" (verliezen informatie), wat de analytische nauwkeurigheid aantast. De kernvraag is: Kunnen LLMs gecomprimeerde data direct analyseren zonder decompressie, door de coderingssleutel in-context te leren?

2. Methodologie

Het paper introduceert een training-vrije aanpak die gebruikmaakt van in-context learning en dictionary-encoding.

Kernconcept

In plaats van het model te finetunen, wordt een compressie-woordenboek (dictionary) gegenereerd en meegegeven in de systeemprompt. Het model leert dan in-context om meta-tokens (bijv. <M1>, <M2>) te vertalen naar hun oorspronkelijke subreeksen tijdens de analyse.

Het Compressie-algoritme

Het voorgestelde algoritme werkt hiërarchisch en bestaat uit vier fasen:

Segmentatie: De invoer wordt opgesplitst in woordunits op basis van whitespace.
Identificatie van Subreeksen: Het algoritme scant op herhalende patronen van verschillende lengtes (van Lmax tot 2 tokens). Het werkt van lang naar kort om ingesloten patronen correct te behandelen.
Selectie en Optimalisatie:
- Alleen patronen met een frequentie boven een drempelwaarde (fmin) worden overwogen.
- Er wordt een token-besparing criterium toegepast (zie hieronder) om te garanderen dat de compressie daadwerkelijk kostenbesparend is.
- Overlapping wordt voorkomen om te zorgen dat elk token slechts één keer wordt gecomprimeerd.
Vervanging: Geselecteerde patronen worden vervangen door compacte meta-tokens (<M#>), en het woordenboek wordt bijgewerkt.

Token-besparing Criterium

Compressie wordt alleen toegepast als de kosten van de gecomprimeerde weergave (woordenboek + meta-tokens) lager zijn dan de kosten van de ongecomprimeerde weergave.
De formule is:
$(1 + f) \cdot n_{token}(M) + n_{token}(S) < f \cdot n_{token}(S)$
Waarbij:

$f$ = frequentie van het patroon.
$S$ = het originele subreeks.
$M$ = de meta-token.
$n_{token}(\cdot)$ = het aantal tokens.

Dit zorgt ervoor dat de overhead van het woordenboek de besparingen niet tenietdoet.

3. Belangrijkste Bijdragen

Empirisch Bewijs van In-Context Leren: Het paper toont aan dat LLMs compressie-woordenboeken succesvol kunnen leren uit de prompt en analytisch equivalente output kunnen genereren vanuit gecomprimeerde invoer, zonder enige model-aanpassing.
Hiërarchisch Compressie-algoritme: Een nieuwe strategie die patronen op meerdere lengteschalen identificeert, overlappende vervangingen voorkomt en deterministische compressie biedt die geschikt is voor productieomgevingen.
Kostenoptimalisatie: De introductie van een strikt token-besparing criterium dat garandeert dat compressie leidt tot netto kostenreductie, zelfs rekening houdend met de overhead van het woordenboek.

4. Resultaten

De experimenten zijn uitgevoerd op de LogHub 2.0 dataset (systeemlogs van diverse systemen zoals Hadoop, Linux, Apache, etc.) met de modellen Claude 3.7 Sonnet en Nova Premier.

Compressie-ratio's: Het algoritme bereikte compressie-ratio's van 60% tot 80% (afhankelijk van de dataset en structuur), waarbij server-applicaties en OS-logs de beste resultaten lieten zien.
Decompressie-nauwkeurigheid (Proxy voor Analyse):
- Template-based compressie: Exacte match-rates van >0.99 (bijv. 1.000 voor veel datasets).
- Algoritmische compressie: Gemiddelde Levenshtein-similariteitsscores van >0.91, zelfs bij hoge compressie-ratio's.
Invloed van Compressie-intensiteit: Een cruciale bevinding is dat de compressie-ratio minder dan 2% van de variantie in de reconstructiekwaliteit verklaart ( $R^2 < 0.02$ ). Dit betekent dat de kwaliteit van de analyse niet afhangt van hoe sterk wordt gecomprimeerd, maar van de intrinsieke eigenschappen van de dataset (bijv. aanwezigheid van natuurlijke taalcontext versus pure alfanumerieke reeksen).
Schaalbaarheid: Het systeem presteerde consistent goed op datasets variërend van 2.000 tot 100.000+ logs en woordenboeken van 29 tot 626 entries.

5. Betekenis en Toekomstperspectief

Deze bevindingen hebben grote implicaties voor de inzet van LLMs in de praktijk:

Kosteneffectiviteit: Een compressie van 60-80% leidt direct tot een vergelijkbare vermindering van API-kosten, waardoor analyse van grote datasets mogelijk wordt die anders te duur zou zijn.
Geen Finetuning nodig: De methode werkt met standaard API-LLMs, wat de operationalisatie vereenvoudigt en de kosten voor hertraining elimineert wanneer data-patronen veranderen.
Toepassingsgebied: Hoewel getest op logs, is de methode toepasbaar op elk domein met repetitieve tekstpatronen, zoals proces-mining, software-engineering-artefacten en gestructureerde rapporten.

Conclusie: Het paper bewijst dat lossless prompt compressie via dictionary-encoding en in-context learning een praktische, schaalbare en kosteneffectieve oplossing biedt voor de analyse van repetitieve data door LLMs, zonder in te leveren op analytische nauwkeurigheid.