Technische Samenvatting: Meten van Maximale Activeringen in Open Grote Taalmodellen

Probleemstelling

Het dynamische bereik van activeringen in Grote Taalmodellen (LLMs) is een kritieke beperking voor kwantisatie met lage bitdiepte, schaling van activeringen en stabiele inferentie. Eerdere studies hebben "uitbijter-kenmerken" en "massale activeringen" voornamelijk gekarakteriseerd bij pre-2024 LLaMA-achtige modellen (zoals OPT, BLOOM). Het landschap voor implementatie is echter aanzienlijk verschoven met de release van diverse post-LLaMA open modellen (zoals Qwen3.5, Gemma3, GPT-OSS) die variëren in normalisatiestacks, gegate MLP's, Mixture-of-Experts (MoE)-routing, multimodale aanpassing en trainingsfasen.

Bestaande literatuur behandelt massale activeringen ofwel als een binair categorisch fenomeen (het bestaan van uitbijters) of als een specifiek obstakel voor kwantisatie-mitigatietechnieken (zoals SmoothQuant, AWQ). Er ontbreekt een systematische, geünificeerde meting met betrekking tot:

1. Hoe groot activeringen kunnen worden in moderne open LLM's.
2. Hoe de grootte van activeringen varieert tussen verschillende families, generaties, architecturen (dicht vs. MoE) en trainingsfasen.
3. Of het aantal parameters alleen een betrouwbare proxy vormt voor het activeringsbereik.

Methodologie

De auteurs stellen een geünificeerd empirisch onderzoek voor om de globale maximale activeringsgrootte te meten, gedefinieerd als $M = \max |a|$, over een diverse set modellen.

1. Data en Corpus:

• Een gedeeld evaluatiecorpus van 5.000 tekstsamples uit meerdere domeinen (Wiskunde, Code, Engels Web, Kennis/Vraag-en-antwoord, Chinees, Taal met beperkte middelen, Gemengd Web).
• Sequentielengtes zijn in bakken ingedeeld (256 tot 4096 tokens), met een sterke vertekening naar lange contexten (93% op 4096 tokens).
• Tokenisatie: Dezelfde ruwe tekst wordt voor elke modelfamilie opnieuw getokeniseerd om artefacten door tokenizer-mismatch te voorkomen.

2. Modellenreeks:

• 27 checkpoints van 8 open families: Qwen2.5, Qwen2.5-VL, Qwen3, Qwen3.5, Gemma2, Gemma3, Ling en GPT-OSS.
• Bevat dichte, MoE-, visueel-taal-, intermediair-getrainde en instructie-gefineerde varianten.
• Specifieke vergelijkingen worden gemaakt voor overeenkomende schalen (bijv. MoE vs. Dicht, Basis vs. Instruct).

3. Meetprotocol:

• Alleen Forward-inferentie: Bevriezen van gewichten; geen updates van parameters.
• Instrumentatie: PyTorch forward-hooks verzamelen activeringsstatistieken van zes componentklassen:
  • Embedding-outputs
  • Laagsgewijze verborgen toestanden (na residual)
  • Attention-outputs
  • MLP- of MoE-outputs
  • SwiGLU-gate pre-activeringen
  • Final LayerNorm-outputs
• Statistieken: Voor elke component registreert de pipeline gemiddelde, standaardafwijking, RMS, gemiddelde absolute waarde, max/min en absolute-waarde quantielen.
• Stabiliteitscontrole: Subsampling-experimenten (1k en 2k samples, 5 keer herhaald) bevestigen dat de gerapporteerde globale maxima statistisch robuust zijn en geen artefacten van enkele samples zijn.

4. Analysekader:

• De studie beweegt van een binair criterium voor "massale activering" (gebaseerd op Sun et al. [29]: $|x_i| > 100$ en lokaal ratio $> 1000\times$) naar een continu criterium $M$.
• Vergelijkingen worden uitgevoerd over: schaling binnen families, grootte tussen families, evolutionaire ontwikkeling per generatie, MoE vs. Dicht, Visueel-Taal vs. Alleen Tekst, Basis vs. Instruct, en evolutie van trainingsfasen.
• Een lichtgewicht INT-8 gezondheidscheck correleert gemeten maxima met reconstructiefout (SQNR) onder verschillende schalingsstrategieën.

Belangrijkste Bijdragen

1. Grootste Onderzoek over Families: De eerste meting volgens een geünificeerd protocol van globale maximale activeringen over 24 post-LLaMA checkpoints van 8 families, verdergaand dan de monocultuur van LLaMA-derivaten in eerdere werken.
2. Continu Grootteherformulering: Vervangt de binaire uitbijtervlag door de continue statistiek $M = \max |a|$. De auteurs tonen aan dat het binaire criterium en de continue grootte kunnen verschillen; sommige modellen die het binaire criterium niet halen, zijn makkelijker te kwantiseren, terwijl sommige die het wel halen, moeilijker zijn.
3. Vergelijkingen met Overeenkomend Ontwerp: Biedt observationele ontledingen van hoe schaal, familie, generatie, architectuur (MoE/Dicht), modaliteit (VL/Tekst) en trainingsvoortgang (Basis/Instruct/Fase) piekactiveringen beïnvloeden.
4. Open Pipeline: Release van hook-gebaseerde meetcode en statistieken per checkpoint ter ondersteuning van reproduceerbaarheid.

Belangrijkste Resultaten

1. Variabiliteit en Schaling van Grootte

• Ordes van Grootte: Globale maxima beslaan bijna vier ordes van grootte ($10^2$ tot $10^5$) bij vergelijkbare aantallen parameters.
  • Lage Bereik: Qwen3.5 en MoE-checkpoints vallen vaak in het bereik $10^2$–$10^3$.
  • Hoog Bereik: Gemma3-27B-it bereikt $\sim 7 \times 10^5$.
• Niet-monotone Schaling: Vergelijkingen tussen families en generaties doorbreken eenvoudige monotone schaling. Bijvoorbeeld, Qwen3.5-activeringen zijn aanzienlijk onderdrukt ten opzichte van Qwen3, terwijl Gemma3 een scherpe toename toont ten opzichte van Gemma2. Het aantal parameters alleen is een onbetrouwbare proxy voor het activeringsbereik.

2. Architecturale en Trainings-effecten

• MoE vs. Dicht: MoE-checkpoints vertonen 14,0–23,4× lagere piekgroottes dan overeenkomende dichte tegenhangers (bijv. Qwen3-30B-A3B vs. Qwen3-32B).
• Dominantie van Residustroom: De residustroom (laagsgewijze verborgen toestanden) draagt het globale maximum in 22 van de 24 hoofdcheckpoints. GPT-OSS-20B is een uitzondering waar de MLP-uitvoer de piek draagt; Qwen3.5-0.8B piekt bij de final LayerNorm.
• Instructie-finetuning (SFT): SFT comprimeert voornamelijk pieken in late lagen (bijv. Qwen2.5-32B Instruct toont een 1,4× reductie in globale piek ten opzichte van Basis) zonder de structuren in mid-lagen te herorganiseren.
• Trainingsvoortgang: In de Ling-mini-serie leidt het verhogen van trainings tokens (5T tot 20T) tot een monotone toename in globale maximale activering (1,34× toename).

3. Laagsgewijze Patronen

Twee distincte laagsgewijze trajecten worden waargenomen:

• Sprong-en-Plateau: Activeringsgrootte stijgt scherp in vroege/middenlagen en blijft hoog (bijv. Qwen2.5, GPT-OSS).
• Gladde-Accumulatie: Grootte neemt soepel toe met diepte, met een piek in latere lagen (bijv. Qwen3.5, Gemma).

4. Implicaties voor Kwantisatie

• Een lichtgewicht INT-8 gezondheidscheck onthult dat hogere gemeten maxima ($M$) correleren met aanzienlijk lagere Signal-to-Quantization-Noise Ratio (SQNR) bij gebruik van standaard per-tensor schaling (max-abs of 99,9% clipping).
• Modellen met lage $M$ (bijv. Qwen3.5-0.8B) behouden een hoge SQNR (~29 dB), terwijl modellen met hoge $M$ dalen tot ~10–14 dB of lager onder clipping.

Betekenis en Claims

De paper concludeert dat de grootte van de maximale activatie een model eigenschap is die verbonden is aan familie, architectuur en trainingsfase, en niet een simpel bijproduct van omvang.

• Relevantie voor Implementatie: $M$ moet worden gemeten en gerapporteerd naast elke release van open gewichten als onderdeel van een modelkaart gericht op implementatie. Dit informeert direct de selectie van activeringsschalen en kwantisatiestrategieën.
• Complementariteit: Dit werk is orthogonaal aan mechanistische studies (die uitleggen waarom uitbijters bestaan) en papers over kwantisatie-mitigatie (die de bovengrens transformeren). Deze paper biedt de empirische basislijn van hoe groot de grenzen zijn in het huidige ecosysteem.
• Beperkingen: De auteurs stellen expliciet dat ze geen causale mechanismen claimen voor de waargenomen verschillen. De studie is observationeel, beperkt tot open modellen, en gebruikt een vast corpus (tot 4k tokens). De INT-8 check is een gezondheidscheck, geen volledige end-to-end kwantisatie-evaluatie.

De auteurs raden aan dat toekomstige implementatiepijplijnen $M$ behandelen als een kritieke prior voor kwantisatierisico, met erkenning dat familie-identiteit en generatie minstens zo belangrijk zijn als het aantal parameters bij het bepalen van het dynamische bereik van activeringen.