Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors

Technische Samenvatting: "Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors"

1. Probleemstelling

Large Language Models (LLMs) worden geconfronteerd met toenemende inferentiekosten en latentie bij het verwerken van long-context applicaties zoals Retrieval-Augmented Generation (RAG), multi-agent communicatie en langdurige dialogen. Huidige methoden voor "harde prompt compressie" — die tokens verwijderen terwijl de leesbaarheid behouden blijft — vertrouwen voornamelijk op Language Model (LM) scoring (bijv. perplexiteit, getrainde classificators of attention-gebaseerde signalen) om de belangrijkheid van tokens te bepalen. Deze aanpak kent twee kritieke beperkingen:

1. Computationele overhead: LM-gebaseerde scoring vereist forward passes tijdens de compressie, wat een deel van de beoogde besparing op inferentiekosten tenietdoet.
2. Granulariteitsrisico's: Token-niveau selectie op basis van opake modelscores loopt het risico syntactische afhankelijkheden en semantische coherentie te verbreken.

De auteurs stellen de vraag of fijnmazige, per-token modelscoring noodzakelijk is voor effectieve compressie, en stellen in plaats daarvan voor dat deterministische linguïstische regels — die al lang in de taalkunde worden bestudeerd voor het identificeren van informatieve inhoud — als effectieve compressors kunnen dienen zonder dat er tijdens de inzet een LM forward pass nodig is.

2. Methodologie

Het paper introduceert een framework voor het ontdekken van prompt compressors middels offline evolutionaire zoektochten over expliciete linguïstische regels.

• Constructie van Seeds: De initiële populatie bestaat uit 42 "seeds" die deterministische regels coderen over vier linguïstische niveaus:
  • Lexicaal: Onderscheid tussen inhoudswoorden en functiewoorden, behoud van benoemde entiteiten (named entities) en woordfrequentie (Zipf's wet).
  • Syntactisch: Analyse van de dependency-structuur om kernargument-triples (bijv. onderwerp-werkwoord-object) te extraheren en overbodige subtrees (bijv. relatieve bijzinnen, adjectivale modifiers) te verwijderen.
  • Semantisch: Behoud van ontkenningsmarkers, modale werkwoorden, kwantificatoren en comparatieve constructies.
  • Discursief: Zinspositie, discursieve connectieven, entiteitsketens en graaf-gebaseerde zinsranking.
  • Composiet: Pipelines die regels van meerdere niveaus aan elkaar koppelen.
• Evolutionaire Zoektocht: De auteurs passen AlphaEvolve aan om door de combinatorische ruimte van deze regels te navigeren.
  • Proces: Een LLM fungeert als "mutator", die Python-scripts bewerkt die de compressielogica implementeren. De zoektocht vindt plaats over zes onafhankelijke "eilanden" met periodieke migratie om diversiteit te waarborgen.
  • Evaluatie: Een duaal pad protocol evalueert kandidaten:
    1. Direct Pad: Het ontvangende LLM beantwoordt vragen direct vanuit de gecomprimeerde tekst.
    2. Reconstructie Pad: Een reconstructie-LLM breidt de gecomprimeerde tekst weer uit naar proza, dat vervolgens wordt gevoed aan het ontvangende LLM.
  • Fitness Functie: $f = \min(D, R)$, waarbij $D$ de directe nauwkeurigheid is en $R$ de reconstructie-nauwkeurigheid. Deze conservatieve metriek zorgt ervoor dat de compressor voldoende informatie behoudt voor zowel directe inferentie als getrouwe reconstructie.
  • Constraints: De zoektocht gebruikt een gecascadeerd filteringsysteem (syntax check, grove QA, strikte QA) om de computationele kosten te beheersen. Cruciaal is dat de uiteindelijk geëvolueerde compressors uitsluitend vertrouwen op standaard NLP-pipelines (bijv. spaCy) en geen LM forward pass vereisen tijdens de inzet.

3. Belangrijkste Resultaten

De geëvolueerde compressors werden geëvalueerd op vier datasets (RACE, Qasper, Multi-doc QA, LongMemEval) bij compressieverhoudingen van 1.5×, 2.5×, 4× en 6×, vergeleken met acht state-of-the-art baselines (bijv. LLMLingua, PartPrompt, FrugalPrompt).

• Prestaties: In medium- tot long-document settings bereiken de geëvolueerde linguïstische compressors een prestatie die vergelijkbaar is met recente geavanceerde prompt-compressiestrategieën.
  • Ze scoren eerste of tweede op Qasper en Multi-doc QA bij lichte tot matige compressie (1.5×–2.5×).
  • De prestaties nemen af naarmate de compressie agressiever wordt (6×), waarbij het granulariteitsverschil tussen vaste linguïstische regels en continue LM-scoring duidelijker wordt.
  • Op RACE (korte passages) blijven ze achter bij sterkere baselines, waarschijnlijk door een trainingsbias naar patronen in langere teksten.
• Stabiliteit: De methode vertoont een lage cross-model variabiliteit (gemeten via de Coëfficiënt van Variatie) op RACE en Multi-doc QA, wat wijst op robuustheid over verschillende ontvangende LLM's (Qwen, LLaMA, Gemma).
• Efficiëntie: De ingezette compressors draaien volledig op de CPU met verwaarloosbare latentie (bijv. ~8–33 ms per input) en een laag geheugengebruik, wat scherp contrasteert met baselines die GPU-gebaseerde LM-inferentie vereisen.
• Controleerbaarheid: In tegen tegenstelling tot LM-gebaseerde baselines, die vaak afwijken van de beoogde compressieverhoudingen, dwingt de regelgebaseerde aanpak exacte woordbudgetten af, waarbij een bijna nul-deviatie van de doelratio wordt bereikt.
• Transfereerbaarheid: De compressors generaliseren naar Out-of-Distribution (OOD) taken (OOD QA, samenvatting, classificatie) zonder hernieuwde evolutie, en presteren competitief met de sterkste baselines.

4. Analytische Inzichten

Evolutionaire analyse onthult duidelijke patronen in hoe effectieve compressie wordt bereikt:

• Cross-Level Fusie: De beste compressors fuseren consistent signalen van de lexicale, syntactische, semantische en discursieve niveaus, in plaats van te vertrouwen op slechts één niveau.
• Granulariteitsverschuiving: Naarmate de compressieverhouding toeneemt, verschuift de dominante eenheid van compressie van token-niveau pruning (bij 1.5×) naar zin-niveau extractie (bij 6×).
• Regel Evolutie: De zoektocht elimineert bepaalde theoretisch gemotiveerde regels (bijv. query-bewuste matching, synoniemsubstitutie) die in de uiteindelijke combinatie redundant blijken, terwijl kernsignalen zoals benoemde entiteiten, ontkenning en discursieve connectieven worden behouden.

5. Betekenis en Claims

Het paper claimt drie primaire bijdragen:

1. Framework: Het introduceert een van de eerste prompt compressie frameworks gecentreerd rond expliciete linguïstische regels die geëvolueerd zijn via LLM-gestuurde zoektochten, waarmee wordt afgeweken van op afstand (opaque) en LM-afhankelijke scoring.
2. Empirische Bevindingen: Het demonstreert dat regelgebaseerde compressors een prestatie kunnen leveren die vergelijkbaar is met geavanceerde geleerde strategieën in veel long-document settings, waarbij ze een computationeel efficiënte inzet bieden (alleen CPU, geen forward pass) en hoge stabiliteit over modellen.
3. Analytische Inzichten: Het levert bewijs dat effectieve compressie het fuseren van meerdere linguïstische niveaus vereist en dat de optimale granulariteit verschuift van tokens naar zinnen naarmate de compressiebudgetten strenger worden.

De auteurs hanteren een bescheiden standpunt en erkennen beperkingen zoals de afhankelijkheid van Engels-specifieke parsers (spaCy), het gebrek aan een uitputtende zoektocht over alle mogelijke linguïstische regels, en de asymmetrie in optimalisatiebudgetten vergeleken met baselines die op algemene data zijn getraind. Zij concluderen dat hoewel linguïstische regels alleen mogelijk niet universeel de geleerde methoden zullen domineren onder extreme compressie, ze een zeer interpreteerbaar en lichtgewicht alternatief bieden voor long-context applicaties.