Technische Samenvatting: Promptcompressie in Diffusion Large Language Models

Probleemstelling

Promptcompressie is een gevestigde techniek voor het verminderen van inferentiekosten en contextlengtes in Large Language Models (LLMs), voornamelijk geëvalueerd binnen autoregressieve (AR) architecturen. De effectiviteit van deze compressiemethoden wanneer ze worden toegepast op Diffusion Large Language Models (DLLMs) blijft echter grotendeels onontgonnen. In tegenstelling tot AR-modellen die tekst sequentieel genereren via next-token predictie, maken DLLMs gebruik van een bidirectioneel denoising-proces over gemaskeerde tokens. Dit architecturale verschil roept een kritieke vraag op: behouden compressieheuristieken die zijn ontworpen voor autoregressieve modellen (die sequentiële conditionering prioriteren) het downstream-gedrag in diffusion-modellen, die afhankelijk zijn van promptinformatie gedurende het iteratieve reverse denoising-proces? Specifiek kunnen tokens die worden verworpen door AR-gerichte compressie entiteiten, numerieke waarden of discoursstructuren coderen die essentieel zijn voor het stabiliseren van de denoising-trajectorie in DLLMs.

Methodologie

Deze studie onderzoekt de overdraagbaarheid van promptcompressie naar DLLMs met behulp van LLMLingua-2 als compressiekader en LLaDA (een 8B-parameter instructievolgend DLLM) als doelmodel. Het experimentele ontwerp isoleert het effect van compressie door identieke decoding-instellingen te handhaven over alle trials.

Experimentele pijplijn:

1. Datasets: Drie datasets werden geselecteerd om verschillende taakstructuren te bestrijken:
   • GSM8K: Voor wiskundig redeneren en promptreconstructie.
   • DUC2004: Voor formele nieuwsstijl samenvatting.
   • ShareGPT: Voor conversatieve samenvatting.
   • Steekproefgrootte: 250 prompts per dataset.
2. Compressie: Prompts werden gecomprimeerd met LLMLingua-2 met een ongeveer 2× compressieverhouding (ongeveer 50% van de tokens behouden).
3. Evaluatievoorwaarden: De studie vergeleek vier gedragsinstellingen:
   • Originele Prompt: $r_{orig} = \text{LLaDA}(p_{orig})$
   • Gecomprimeerde Prompt: $r_{comp} = \text{LLaDA}(p_{comp})$
   • Reconstrueerde Prompt: De gecomprimeerde prompt werd teruggevoerd naar LLaDA om de originele prompt te reconstrueren ($\hat{p}_{orig}$), die vervolgens opnieuw werd geëvalueerd voor downstream redenering ($\hat{r} = \text{LLaDA}(\hat{p}_{orig})$).
4. Maten:
   • Wiskundig Redeneren: Exact-match nauwkeurigheid tegen de grondwaarheid en consistentie tussen originele/gerespondeerde antwoorden.
   • Reconstructie & Samenvatting: BLEU, ROUGE (1, 2, L) en BERTScore (Precisie, Recall, F1).
   • Hyperparameters: 128 denoising-stappen, maximale lengte 128, temperatuur 0.0, classifier-free guidance 0.0.

Belangrijkste Bijdragen

1. Eerste Evaluatie van AR-compressie op DLLMs: Dit werk biedt de eerste empirische beoordeling van de vraag of promptcompressiemethoden (specifiek LLMLingua-2) effectief overdragen van autoregressieve naar diffusion-architecturen.
2. Ontkoppeling van Semantische Behoud en Gedragsstabiliteit: De studie onderscheidt tussen semantische gelijkenis (gemeten door BERTScore) en downstream-taakprestaties. Het toont aan dat hoge semantische gelijkenis geen stabiel redeneren of genereren in DLLMs garandeert.
3. Taakspecifieke Gevoeligheidsanalyse: Het onderzoek identificeert dat wiskundig redeneren aanzienlijk gevoeliger is voor compressie-geïnduceerde informatieverlies dan samenvatting- of reconstructietaken, ondanks vergelijkbare semantische gelijkenisscores.
4. Diagnose van Falingsmodi: Door BERTScore precisie versus recall te analyseren, identificeert de studie dat compressiefouten in DLLMs voornamelijk worden gedreven door informatie-uitlating in plaats van semantische drift.

Resultaten

1. Architecturale Verschillen in Compressie-overdracht

Vergelijkingen tussen autoregressieve modellen en LLaDA (DLLM) tonen afwijkend gedrag:

• Reconstructie (GSM8K): AR-modellen presteerden beter dan DLLMs in lexicaal overlap (BLEU: 0,55 vs. 0,26; ROUGE-L: 0,86 vs. 0,52). Beide bereikten echter identieke BERTScore F1 (0,94), wat aangeeft dat DLLMs semantische betekenis behouden ondanks zwakkere oppervlakkige reconstructie.
• Samenvatting (DUC2004): DLLMs presteerden beter dan AR-modellen in ROUGE-L F1 (0,50 vs. 0,21) en BERTScore F1 (0,94 vs. 0,85), wat suggereert dat DLLMs inhoudsbetekenis beter behouden, zelfs wanneer de formulering verschilt.
• Wiskundig Redeneren (GSM8K): LLaDA behaalde een hogere nauwkeurigheid met gecomprimeerde prompts (0,356) in vergelijking met de AR-baseline (0,220), hoewel de absolute nauwkeurigheid laag bleef.

2. Taakspecifieke Gevoeligheid

• Samenvatting: Bleef robuust onder compressie. DUC2004 en ShareGPT behielden hoge BERTScore F1 (respectievelijk 0,944 en 0,910), wat aangeeft dat brede semantische inhoud behouden blijft, zelfs met ongeveer 46–47% tokenverwijdering.
• Wiskundig Redeneren: Toonde aanzienlijke degradatie. Hoewel reconstrueerde prompts hoge semantische gelijkenis hadden (BERTScore F1: 0,936), daalde de redeneernauwkeurigheid aanzienlijk.
  • Nauwkeurigheid originele prompt: 52,0%
  • Nauwkeurigheid gecomprimeerde prompt: 35,6%
  • Overeenkomst tussen originele en gecomprimeerde antwoorden: Slechts 35,2%.
  • Partitie-analyse: De grootste uitkomstgroep (35,6%) bestond uit gevallen waarbij beide originele en gecomprimeerde prompts verschillende incorrecte antwoorden gaven. In 27,6% van de gevallen was de originele prompt correct terwijl de gecomprimeerde prompt faalde, wat suggereert dat verlies van specifieke redeneringskritieke informatie heeft plaatsgevonden.

3. Aard van Compressiefouten

Over alle taken heen was BERTScore recall consistent lager dan precisie. Dit geeft aan dat gecomprimeerde of reconstrueerde prompts de neiging hadden om delen van de originele semantische inhoud te weglaten in plaats van ongerelateerde informatie (drift) in te brengen. Bij wiskundige taken verwijderden deze uitlatingen kritieke ankers (hoeveelheden, relaties) die nodig waren voor stabiel denoising, wat leidde tot divergerende redeneringstrajecten, zelfs wanneer de resterende tekst semantisch coherent leek.

Betekenis en Aanspraken

Het artikel beweert dat promptcompressiemethoden die zijn ontworpen voor autoregressieve modellen niet uniform overdragen naar diffusion large language models.

• Semantiek versus Gedragsstabiliteit: Hoge semantische gelijkenis (bijvoorbeeld hoge BERTScore) is onvoldoende om stabiel downstream-gedrag in DLLMs te garanderen. Het iteratieve denoising-proces lijkt uiterst gevoelig voor de precieze verdeling van conditionerende informatie; zelfs kleine uitlatingen kunnen escaleren tot verschillende uiteindelijke voorspellingen.
• Taakafhankelijkheid: Samenvattingstaken zijn relatief tolerant voor tokenverwijdering, terwijl wiskundig redeneren fragiel is. Dit suggereert dat DLLMs niet alleen semantisch behoud vereisen, maar ook het behoud van precieze conditioneringshints (entiteiten, getallen, beperkingen) om de denoising-trajectorie te stabiliseren.
• Behoefte aan Diffusion-bewuste Strategieën: Huidige compressieheuristieken, die vaak vertrouwen op autoregressieve salientie of bidirectionele context op een taak-agnostische manier, kunnen tokens verwijderen die overbodig zijn voor sequentiële predictie maar kritiek zijn voor globale conditionering in diffusion-modellen. De auteurs pleiten voor de ontwikkeling van diffusion-bewuste compressiestrategieën die prioriteit geven aan denoising-stabiliteit en het behoud van redeneringskritieke structuren boven eenvoudige semantische overlap.

De studie concludeert dat toekomstige evaluatiekaders voor promptcompressie gedragsconsistentie en redeneringsstabiliteitsmaten moeten opnemen naast traditionele semantische overlapmaten, met name voor op diffusion gebaseerde architecturen.