FrugalPrompt: Reducing Contextual Overhead in Large Language Models via Token Attribution

Probleemstelling

Menselijke communicatie is vaak beknopt en vertrouwt op inferentiële pragmatiek, waarbij luisteraars rijke betekenissen kunnen reconstrueren uit spaarzame input. In tegenstelling hiermee zijn Large Language Models (LLM's) sterk afhankelijk van uitgebreide inputcontexten om hun prestaties te behalen. Deze "woordigheid" leidt echter tot aanzienlijke inefficiënties:

• Hoge kosten: Monetaire kosten voor API-gebruik en inferentie stijgen lineair met het aantal tokens.
• Milieu-impact: Een grotere koolstofvoetafdruk door de benodigde rekenkracht.
• Latentie: Langere inferentietijden.

De kern van het probleem is dat veel tokens in een standaard prompt redundant zijn (bijv. functionele woorden, herhalingen voor verduidelijking) en weinig semantische waarde toevoegen. LLM's verwerken deze tokens echter allemaal, wat leidt tot een onnodig hoge contextuele overhead.

Methodologie: FRUGALPROMPT

Het paper introduceert FRUGALPROMPT, een training-vrij framework voor promptcompressie dat alleen de meest semantisch significante tokens behoudt. De aanpak is gebaseerd op het principe van "token attribution" (toewijzing van belang) en verloopt als volgt:

1. Token Attribution (Saliëntie Scores):
   In plaats van het model te herschrijven of te finetunen, worden er salientie-scores berekend voor elk token in de inputsequentie. Hiervoor worden twee state-of-the-art methoden gebruikt:

   • GlobEnc: Quantificeert globale token-attribution door layer-wise analyses te aggregeren over de hele encoder, gebruikmakend van attention rollout en vectornormen.
   • DecompX: Propageert lokaal gedecomponeerde tokenrepresentaties globaal om alle modelcomponenten (inclusief niet-lineaire feed-forward netwerken) mee te nemen.

2. Ranking en Filtering:

   • De tokens worden gerangschikt op basis van hun toegewezen salientie-score (van hoog naar laag).
   • Er wordt een percentage $k$ geselecteerd (bijv. de top 80%, 60% of 50%).
   • Alleen de top-$k$ tokens worden behouden.

3. Herstructurering:
   De geselecteerde tokens worden teruggeplaatst in hun oorspronkelijke volgorde (temporele coherentie) om een "frugalized" (gezuiverde) prompt te vormen. Dit zorgt ervoor dat de syntactische samenhang behouden blijft, terwijl onnodige "vullende" woorden worden verwijderd.

4. Theoretische Stabiliteit:
   De auteurs leiden theoretische bovengrenzen af voor de impact van het verwijderen van tokens. Ze bewijzen dat de prestatiedaling (de "deletion effect") begrensd is door de som van de salientie-scores van de verwijderde tokens en een term voor interactie tussen tokens. Dit garandeert dat het verwijderen van laag-saliente tokens de prestaties niet exponentieel doet instorten.

Belangrijkste Bijdragen

• Nieuwe, training-vrije strategie: FRUGALPROMPT is een plug-and-play methode die geen extra training vereist en slechts een lichtgewicht encoder (bijv. een 110M parameter BERT-model) nodig heeft voor de salientie-berekening.
• Theoretisch onderbouwde efficiëntie: Het paper biedt een wiskundig kader dat de relatie tussen tokenretentie en prestatieverlies formaliseert.
• Empirische validatie: Uitgebreide experimenten op vier verschillende NLP-taken tonen aan dat een aanzienlijke reductie van tokens mogelijk is met minimale prestatieverliezen voor specifieke taken.
• Inzicht in "Task Contamination": De resultaten suggereren dat bepaalde taken (zoals classificatie en QA) minder gevoelig zijn voor contextverlies dan andere, wat wijst op mogelijke "task contamination" (het model heeft de antwoorden al gezien tijdens pre-training).

Resultaten en Analyse

De experimenten zijn uitgevoerd op diverse modellen (Llama-3 8B/70B, GPT-3.5, Gemini 2.0, o3-mini) en vier taken: Sentimentanalyse, Samenvatting, Commonsense QA en Wiskundig Redeneren.

• Prestatie vs. Tokenretentie:

  • Sentimentanalyse en QA: Deze taken zijn zeer tolerant voor contextverlies. Zelfs bij een retentie van 50-60% blijven de prestaties (Accuracy/F1) dicht bij de baseline (100% tokens).
  • Samenvatting: Toont gemengde resultaten; sommige modellen behouden prestaties goed, terwijl anderen (zoals GPT-3.5) sneller degradatie vertonen.
  • Wiskundig Redeneren: Dit is de meest gevoelige taak. Bij een retentie onder de 60% stort de prestatie (pass@1) vaak in. Dit komt door het verlies van cruciale numerieke en logische connectoren die nodig zijn voor sequentiële redenering.

• Vergelijking Methoden:

  • Voor classificatie en QA presteert GlobEnc over het algemeen beter.
  • Voor redeneringstaken presteert DecompX vaak beter, waarschijnlijk omdat het subwoord-niveau en niet-lineaire componenten beter vastlegt.

• Kostenefficiëntie:
  De methode leidt tot aanzienlijke kostenbesparingen, vooral bij dure, grote modellen (zoals o3-mini). Bij kleinere modellen weegt de overhead van de salientie-berekening soms op tegen de besparing, hoewel de absolute kostenverlaging er wel is.

• Random vs. Bottom Filtering:
  Het verwijderen van willekeurige tokens of de "slechtste" tokens (bottom-k) resulteert in een veel sterkere prestatiedaling dan het slim filteren op basis van salientie, wat de effectiviteit van de FRUGALPROMPT-aanpak bevestigt.

Betekenis en Conclusie

FRUGALPROMPT biedt een praktische oplossing om de kosten en het energieverbruik van LLM's te verlagen zonder de modelarchitectuur aan te passen. Het paper benadrukt dat niet alle context even belangrijk is; menselijke taal bevat veel redundantie die LLM's kunnen "weglaten" zonder in te leveren op kwaliteit, mits de juiste tokens worden geselecteerd.

Kritische observaties:

• De auteurs waarschuwen voor task contamination: het feit dat sommige taken (zoals QA) goed presteren met weinig context, kan betekenen dat het model de antwoorden al uit het geheugen haalt in plaats van te redeneren op basis van de prompt.
• Veiligheid: Er is een risico dat veiligheidskritieke tokens per ongeluk worden verwijderd, wat voorzichtigheid vereist bij de toepassing.
• Toekomst: De auteurs pleiten voor adaptieve strategieën die dynamisch de tokenretentie aanpassen op basis van taakcomplexiteit en modelvertrouwen.

Samenvattend stelt FRUGALPROMPT dat we de "frugaliteit" van menselijke communicatie kunnen nabootsen in LLM's om een duurzamere en goedkopere AI te creëren, zolang we de grenzen van contextuele afhankelijkheid per taak begrijpen.