Technische Samenvatting: DecompressionLM

Probleemstelling

Bestaande methoden voor het bevragen van kennis in Large Language Models (LLM's) vertrouwen op vooraf gedefinieerde queries (bijv. cloze-stijl prompts of specifieke templates). Deze "closed-world" benadering beperkt de extractie tot concepten waarvan onderzoekers al weten dat ze erom moeten vragen, waardoor het volledere spectrum van de gecodeerde kennis van een model niet volledig wordt onthuld. Bovendien lijden standaard decoding-gebaseerde bevragingmethoden aan drie kritieke inefficiënties:

1. Cross-sequence coupling: Sequentiële exploratie (bijv. beam search) concentreert de waarschijnlijkheidsmassa op hoogfrequente prefixes, waardoor diverse voortzettingen worden onderdrukt.
2. Competitive decoding effects: Autoregressieve sampling creëert een "rich-get-richer" dynamiek waarbij vroege hoog-waarschijnlijke keuzes domineren, wat de dekking van long-tail concepten vermindert.
3. Schaalbaarheidsbeperkingen: Uitputtende bevraging via sequentiële contextexpansie brengt een kwadratische tijdscomplexiteit met zich mee door self-attention mechanismen, waardoor uitgebreide kennisextractie computationeel onhaalbaar wordt.

Daarnaast schieten standaard evaluatiemetrieken zoals perplexiteit vaak tekort in het vatten van de breedte van de kennis of de getrouwheid van de feitelijke gronding, met name in gecomprimeerde (gekwantiseerde) modellen.

Methodologie: DecompressionLM

De auteurs introduceren DecompressionLM, een stateless, zero-shot framework ontworpen om de outputdistributie van een LLM systematisch te samplen om conceptgrafen te ontdekken zonder vooraf gespecificeerde queries.

Kernmechanismen

1. Van der Corput (VdC) Sampling met Arithmetic Decoding:

   • In plaats van sequentiële beam search, gebruikt de methode deterministische quasi-random sampling met behulp van Van der Corput low-discrepancy sequenties.
   • Gecombineerd met arithmetic decoding, brengt dit sequenties in kaart als reële getallen in $[0, 1)$. De VdC-sequentie genereert een onbegrensde, low-discrepancy set van codes ($v_n$) die zorgen voor een uniforme dekking van de outputruimte.
   • Deze aanpak maakt volledig parallelle, stateless generatie mogelijk. Elke sequentie wordt onafhankelijk gegenereerd vanuit dezelfde prefix prompt met een unieke code, waardoor cross-sequence coupling wordt geëlimineerd en berekeningen naar verschillende machines kunnen worden uitbesteed zonder coördinatie.

2. Concept Extractie Pipeline:

   • Prompting: Modellen worden geprompt om domeinrelevante concepten te genereren als een eenvoudige lijst met trefwoorden (één per regel), waarbij verklarende tekst wordt vermeden om structurele aannames te minimaliseren.
   • Normalisatie: Ruwe concepten ondergaan Unicode-normalisatie, lowercase conversie, ASCII-filtering en morfologische singularisering (bijv. "violations" $\to$ "violation").
   • Merging: Een fuzzy matching algoritme (Levenshtein-afstand met lengtegebaseerde blocking) voegt bijna-duplicaten samen om een canonieke conceptenset te construeren.
   • Grafenconstructie: Er wordt een gerichte graaf gebouwd waarbij knopen concepten zijn en randen zwakke co-occurrence signalen vertegenwoordigen afgeleid van opeenvolgende regels in de gegenereerde sequenties.

3. Validatie:

   • Voor juridische domeinen worden geëxtraheerde concepten geverifieerd tegen CourtListener, een database van Amerikaanse rechtspraak, om feitelijke concepten te onderscheiden van hallucinaties.

Belangrijkste Bijdragen

1. Systematische Dekking via VdC Sampling: Het paper vervangt sequentiële beam search door deterministische quasi-random sampling. Dit biedt reproduceerbare, orde-onafhankelijke, seed-vrije dekking-schema's, wat consistente benchmarking mogelijk maakt over modellen en kwantisatievarianten heen.
2. Stateless Concept Extractie: Door sequenties te ontkoppelen, vermijdt de methode de biases die worden geïntroduceerd door dynamische contextaccumulatie en maakt het schaalbare, embarrassingly parallel generatie mogelijk.
3. Concept Coverage als Diagnostische Metriek: De auteurs stellen "concept coverage" (breedte, connectiviteit en waarachtigheid van extraheerbare kennis) voor als een complementaire evaluatiedimensie naast traditionele perplexiteit en downstream taakbenchmarks.

Experimentele Resultaten

Het framework werd geëvalueerd over twee modelfamilies (Qwen2.5-7B en Llama-3.1-8B), vijf kwantisatievarianten (BF16, GPTQ-Int8, GPTQ-Int4, AWQ-4bit, BNB-4bit) en vier domeinen (US Law, Git, Radiology, FAA Aviation).

Effecten van Kwantisatie

• AWQ-4bit (Activation-aware): Verrassend genoeg heeft deze methode de concept coverage met 30–170% verbreed vergeleken met de BF16 baseline, terwijl de hoge grafen-connectiviteit behouden bleef. Dit suggereert dat het beschermen van saillante gewichten op basis van activatiestatistieken de toegang tot long-tail kennis behoudt.
• GPTQ-Int4 (Uniform): Deze methode veroorzaakte een catastrofale instorting, waarbij de concept coverage met 71–86% afnam en ernstige grafen-fragmentatie optrad (bijv. slechts 40,8% van de concepten in de grootste verbonden component voor Llama).
• Perplexity Decoupling: Standaard perplexiteitsmetrieken bleven relatief stabiel over de kwantisatievarianten heen (behalve in het degeneratieve GPTQ-Int4 regime), waardoor ze de enorme divergentie in concept coverage niet weerspiegelden. Dit geeft aan dat een model vloeiende tekst kan genereren voor bekende concepten, terwijl het het vermogen verliest om zeldzame, geldige concepten naar boven te halen.

Robuustheid en Hallucinatie

• Offset Stabiliteit: Experimenten met meerdere VdC-offsets bevestigden dat de geobserveerde degradatiepatronen (zoals de superioriteit van AWQ versus de GPTQ-instorting) intrinsiek zijn aan de kennisstructuur van het model en geen artefacten zijn van initialisatie.
• Hallucinatie Gap: In het US Law domein werd een gat van 19,6 punten in hallucinatiecijfers waargenomen tussen topgerangschikte en laaggerangschikte modellen op de MMLU-Pro Law benchmark. Topmodellen gemiddelden ~15% hallucinatie, terwijl de onderste modellen gemiddeld ~35% vertoonden.
• Frequentie Correlatie: Sommige modellen vertoonden "head corruption", waarbij zelfs veelgevraagde concepten onbetrouwbaar werden (negatieve frequentie-hallucinatie correlatie), terwijl andere "tail collapse" vertoonden, waarbij zeldzame concepten gehallucineerd werden maar veelvoorkomende concepten gegrond bleven.

Betekenis en Claims

Het paper claimt dat DecompressionLM een nieuwe diagnostische capaciteit vestigt voor het beoordelen van LLM's, met name in de context van inzetbare gecomprimeerde modellen.

• Voorbij Perplexity: De bevindingen dagen de dominantie van perplexiteit als kwaliteitsmetriek voor gecomprimeerde modellen uit. Een model kan een lage perplexiteit behouden terwijl het 70% van zijn extraheerbare concepten verliest, een faalmodus die onzichtbaar is voor standaard metrieken maar cruciaal is voor retrieval-augmented generation, kennisintensieve QA en creatieve toepassingen.
• Kwantisatie Inzichten: Het werk onthult dat verschillende kwantisatiemethoden verschillende aspecten van modelkennis beïnvloeden. Activatie-bewuste kwantisatie (AWQ) lijkt bij voorkeur het vermogen te behouden om diverse, long-tail concepten te genereren, terwijl uniforme kwantisatie dit vermogen degradeert ondanks vergelijkbare perplexiteitsscores.
• Evaluatiedimensie: Concept coverage wordt voorgesteld als een noodzakelijke, complementaire dimensie voor het evalueren van de feitelijke gronding en de kennisbreedte van modellen bedoeld voor real-world deployment.

De auteurs concluderen dat dit framework de extractie van uitgebreide conceptgrafen mogelijk maakt zonder voorafgaande kennis van het domein, wat de drempel voor het auditeren van modelkennis verlaagt en kwalitatieve eigenschappen van kennisrepresentatie onthult die traditionele benchmarks missen.