Technische Samenvatting: CAVEWOMAN – Hoe Large Language Models zich gedragen onder Linguïstische Input- en Outputcompressie

Probleemstelling

De inferentiekosten voor Large Language Models (LLM's) schalen met zowel het aantal input- als outputtokens, waarbij outputtokens doorgaans 4 tot 8 keer duurder zijn dan inputtokens. Hoewel compressiemethoden bestaan om ofwel de prompt (input) ofwel de respons (output) te verminderen, worden deze traditioneel geïsoleerd geëvalueerd met gebruik van een enkele metriek: taaknauwkeurigheid bij een gereduceerd aantal tokens.

Dit artikel identificeert twee kritieke gebreken in bestaande evaluatieprotocollen:

1. Het niet meten van de gerealiseerde kosten: Een kortere prompt leidt niet noodzakelijkerwijs tot lagere totale inferentiekosten als het model compenseert door een langere respons te genereren.
2. Binaire nauwkeurigheidsinstorting: Standaard nauwkeurigheidsmetingen reduceren generaties tot binaire uitkomsten, waardoor het onmogelijk is om onderscheid te maken tussen een gecomprimeerd antwoord dat overeenkomt met de ongeconstreerde redenering van het model, en een antwoord dat weliswaar "correct" is, maar afwijkt van die redenering.

Methodologie: Het CAVEWOMAN-protocol

De auteurs introduceren CAVEWOMAN, een tweekanaals evaluatieprotocol dat elke generatie scoort op drie assen: taaknauwkeurigheid, gerealiseerde kosten per item, en referentietekst-overeenkomst met de eigen ongeconstreerde generatie van het model.

Experimenteel Ontwerp

• Modellen: Acht modellen werden geëvalueerd, waaronder open-weight modellen (Qwen2.5-VL-7B, Qwen3.5-9B, DeepSeek-R1-Distill-Qwen-7B, Gemma-4-E4B) en API-modellen (GPT-4o, GPT-5.4, Claude Haiku 4.5, Claude Sonnet 4.6).
• Datasets: Vijf benchmarks die vier typen taken dekken: GSM8K (wiskunde), BoolQ (boolean), ARC-Easy (wetenschappelijke meerkeuzevragen), CommonsenseQA (gezond verstand meerkeuzevragen) en MMLU-STEM (STEM meerkeuzevragen).
• Compressieniveaus: Vijf niveaus van linguïstische reductie ($L_0$ tot $L_4$) werden toegepast met behulp van een deterministische Part-of-Speech (POS) filter:
  • $L_0$: Ongeconstreerde baseline.
  • $L_1$: Telegraphisch (verwijdert woorden uit de gesloten klasse zoals determinanten, voorzetsels, voegwoorden).
  • $L_2$: Alleen trefwoorden (zelfstandige naamwoorden, werkwoorden, kardinale getallen).
  • $L_3$: Zinsdeel-skelet (zelfstandige naamwoorden en kardinale getallen).
  • $L_4$: Budget van 15 tokens.
• Twee Condities:
  • Conditie A (Inputcompressie): De gebruikersprompt wordt gefilterd via de POS-filter voordat het model deze ziet.
  • Conditie B (Outputbeperking): De prompt blijft intact, maar de systeemprompt instrueert het model om een respons te genereren in het bijbehorende gereduceerde register.

Evaluatiemetrieken

1. Taaknauwkeurigheid: Via regex geëxtraheerde antwoorden die worden vergeleken met de grondwaarheid.
2. Gerealiseerde Kosten: Berekend als $C = n_{in} \cdot p_{in} + n_{out} \cdot p_{out}$, waarbij de werkelijke kosten voor de gebruikte tokens worden gemeten.
3. Referentietekst-overeenkomst: Gemeten via bidirectionele Natural Language Inference (NLI) implicatie tegenover de ongeconstreerde ($L_0$) generatie van het model voor hetzelfde item. Dit wordt aangevuld met 11 complementaire semantische maten.
4. Dissociatietabel: Een 2x2 matrix die de taakcorrectheid kruist met de referentietekst-overeenkomst om gevallen te identificeren waarin antwoorden correct zijn maar semantisch afwijken van de ongeconstreerde baseline (Cel C2).

Belangrijkste Bevindingen

1. Kostenasymmetrie Tussen Kanalen

• Outputcompressie (Conditie B): Vermindert succesvol de gerealiseerde kosten bij de meeste API-modellen (1,4–2,4× reductie per model, tot 3× in het beste geval) en alle vier de open-weight modellen. Dit komt doordat de beperking direct de dure outputtokens beperkt.
• Inputcompressie (Conditie A): Resulteert in een "strikt verlies-verlies"-scenario. Het verhoogt de netto kosten (gemiddeld ca. 1,15×, tot 1,8× bij specifieke datasets, en 2,7× bij diepe compressie) omdat modellen compenseren voor de gestripte prompt door langere responsen te genereren. Omdat outputtokens duurder zijn geprijsd, wegen de besparingen op inputtokens niet op tegen de kosten van de uitgebreide output.
• Mechanisme: Inputcompressie triggert "compensatoire outputexpansie", waarbij het model probeert de ontbrekende context te reconstrueren, wat leidt tot hogere totale kosten zelfs wanneer de nauwkeurigheid instort bij diepere reductie.

2. Ontkoppeling van Nauwkeurigheid en Referentietekst-overeenkomst

Onder outputcompressie ontstaat een significante divergentie tussen taakcorrectheid en het interne redeneerspoor van het model:

• Oppervlakkige Tekstdivergentie: Bij niet-redenerende modellen zijn 51,9% van de generaties op het telegraphische niveau ($L_1$) correct, maar hun oppervlaktetekst impliceert niet langer de ongeconstreerde ($L_0$) generatie van het model.
• Robuustheid: Deze divergentie blijft bestaan, zelfs wanneer er wordt gecontroleerd voor lengte (het opnieuw scoren van afgekapte $L_0$-generaties om overeen te komen met de $L_1$-lengte), en houdt stand over meerdere semantische metrieken en beoordelaars.
• Interpretatie: Het model kan het juiste antwoord bereiken via een ander redeneepad of een andere oppervlakteformulering wanneer het wordt beperkt, wat betekent dat de "correctheid" van het antwoord de bewaring van het oorspronkelijke redeneerspoor niet garandeert.

3. Variabele Robuustheid Over Modellen

• De robuustheid (de ratio van output-beperkte nauwkeurigheid ten opzichte van input-beperkte nauwkeurigheid) varieert sterk tussen modellen (een bereik van 1,5× tot 3,7×).
• Deze robuustheid wordt niet voorspeld door het aantal parameters of de ongeconstreerde baseline-nauwkeurigheid. Zo was bijvoorbeeld het meest nauwkeurige API-model (GPT-5.4) een van de minst robuuste tegen outputbeperkingen, terwijl een 7B open-weight model (Gemma-4-E4B) de hoogste robuustheid vertoonde.

Betekenis en Claims

Het artikel stelt dat een evaluatie op basis van één enkele as onderbepaald is. De auteurs beweren:

1. Kosten kunnen niet worden afgeleid van promptreductie: De gerealiseerde kosten hangen af van de interactie tussen inputreductie en outputexpansie.
2. Nauwkeurigheid is conditioneel: De geobserveerde nauwkeurigheid hangt af van de betrouwbaarheid van extractie en de specifieke semantische as die voor evaluatie wordt gebruikt.
3. Implicaties voor implementatie: Voor implementaties die alleen het uiteindelijke antwoord consumeren, is outputcompressie een levensvatbare strategie voor kostenbesparing. Echter, voor implementaties die een audit trail of transparantie in redenering vereisen (waar de gegenereerde tekst zelf wordt geconsumeerd), introduceert outputcompressie een aanzienlijk risico op semantische divergentie van het ongeconstreerde redeneringsproces van het model.
4. Evaluatieprotocol: Kandidaten voor geconstreerde inzet moeten worden gerangschikt op basis van hun prestaties op het specifieke compressieniveau dat zij zullen ervaren, in plaats van op basis van hun ongeconstreerde baseline-prestaties.

De studie concludeert dat het comprimeren van LLM-inferentie een tweekanaals probleem is waarbij input- en outputcompressie fundamenteel verschillende economische en semantische uitkomsten opleveren, wat een multi-metriek evaluatieprotocol zoals CAVEWOMAN noodzakelijk maakt.