Escaping Mode Collapse in LLM Generation via Geometric Regulation

1. Probleemstelling: Mode Collapse in LLM's

Mode collapse is een aanhoudende foutmodus in autoregressieve tekstgeneratie waarbij het model diversiteit verliest, wat leidt tot repetitieve, saai of circulerende output.

• Huidige beperkingen: Bestaande decoding-strategieën (bijv. truncatie, straffen, typical sampling) werken op het token/kansniveau. Ze proberen de volgende-tokenverdeling lokaal te herschikken, maar falen in het aanpakken van de onderliggende interne dynamiek die langeafstandsfouten veroorzaakt.
• De kloof: Deze methoden kunnen collapse in regimes met lage entropie niet betrouwbaar voorspellen of voorkomen, omdat ze de evoluerende interne toestand van het model niet karakteriseren. Collapse manifesteert zich vaak als een geleidelijk verlies van toegankelijkheid van de toestandsruimte, in plaats van een directe fout op token-niveau.

2. Kernhypothese: Geometrische Collapse

De auteurs stellen een perspectief van dynamische systemen voor, waarbij mode collapse wordt geherinterpreteerd niet als een probleem op token-niveau, maar als een geometrische collapse van de interne trajectorie van het model.

• Geometrische collapse: Tijdens de generatie wordt de interne toestands-trajectorie van het model beperkt tot een laagdimensionaal gebied (een metastabiele attractor) binnen de hoogdimensionale representatieruimte.
• Gevolg: Deze beperking vermindert de toegankelijkheid van de toestandsruimte, waardoor het model "vastloopt" in zelfversterkende lussen (bijv. het herhalen van dezelfde zin of semantisch patroon).
• Diagnose: Het artikel stelt dat puur symbolische beperkingen ontoereikend zijn; de oplossing vereist ingrijpen in de geometrie van de toestandsruimte.

3. Methodologie

A. Geometrische Diagnose: Correlatiedimensie

Om de toegankelijkheid van de toestandsruimte te kwantificeren, gebruiken de auteurs de Correlatiedimensie, een fractale dimensiemeter uit de niet-lineaire tijdsreeksanalyse.

• Definitie: Het meet hoe het aantal toegankelijke toestanden schaalt met de resolutie. Een hoge dimensie duidt op een diverse, hoogdimensionale trajectorie; een lage dimensie duidt op beperking tot een laagdimensionale deelruimte.
• Implementatie: De toestandsvector $x_t$ wordt gedefinieerd als de log-kansvector van de volgende token. De correlatiedimensie wordt online berekend over de trajectorie van deze vectoren.
• Vondst: De auteurs tonen aan dat de correlatiedimensie scherp daalt voordat of tijdens expliciete lussen, en fungeert als een robuust, vroegwaarschuwingssein voor geometrische collapse dat betrouwbaarder is dan proxies op token-niveau zoals entropie of Distinct-n.

B. Voorgestelde Oplossing: Reinforced Mode Regulation (RMR)

RMR is een lichtgewicht, online ingrijpen in de toestandsruimte dat is ontworpen om geometrische collapse te voorkomen door de Value Cache van de Transformer te reguleren.

• Mechanisme:
  1. Identificatie van Persistente Richtingen: RMR lost een generaliseerd eigenwaardeprobleem op voor de value cache-matrices ($V_t$). Het identificeert richtingen in de value-ruimte die uitzonderlijk sterke temporele persistentie vertonen (langzame afname).
     • Wiskundig wordt opgelost: $\Sigma_\Delta u = \lambda \Sigma u$, waarbij $\Sigma$ de covariantie is van de value-vectoren en $\Sigma_\Delta$ de symmetrische kruiscovariantie tussen $t$ en $t+1$.
     • Grote eigenwaarden ($\lambda \approx 1$) corresponderen met richtingen waar de toestand zeer langzaam verandert (zelfversterkende modi).
  2. Drempelwaarde: Een drempel ($\lambda_{min} = 0.8$) wordt toegepast om alleen de meest dominante persistente modi te selecteren. Dit voorkomt het onderdrukken van matig-persistente kenmerken (zoals onderwerp of stijl) terwijl de specifieke modi die collapse veroorzaken wel worden aangepakt.
  3. Demping: De geselecteerde laag-rang deelruimte wordt verzwakt met een laag-rang dempingsoperator:
     $$V_t \leftarrow (I - \eta \Gamma) V_t (I - UU^\top)$$
     waarbij $U$ de persistente eigenvectoren vertegenwoordigt en $\eta$ de dempingssterkte is. Dit "duwt" de trajectorie effectief uit de laagdimensionale attractor.

4. Belangrijkste Bijdragen

1. Theoretische Herformulering: Verschuift het begrip van mode collapse van een symbolisch/token-niveau fenomeen naar een probleem van geometrische toegankelijkheid van de toestandsruimte.
2. Diagnostisch Hulpmiddel: Introduceert de Correlatiedimensie als een metriek op traject-niveau die geometrische collapse robuust detecteert en traditionele metrieken op token-niveau overtreft.
3. Algoritme (RMR): Stelt een nieuwe ingreep tijdens inferentie voor die de Value Cache aanpakt via gegeneraliseerde eigenwaardeontbinding met een begrensd spectrum.
   • Het is lichtgewicht (vereist slechts een paar top-eigenvectoren).
   • Het is model-agnostisch (toepasbaar op verschillende Transformer-architecturen).
   • Het werkt online zonder hertraining.

5. Experimentele Resultaten

De auteurs hebben RMR geëvalueerd over meerdere Large Language Models (bijv. Qwen3-4B, Llama3.1-8B) en decoding-instellingen (Temperature-locked en Entropy-locked).

• Voorkomen van Collapse:
  • Regimes met Lage Entropie: Bij een entropiedoel van 1,0 stortte standaard decoding in ~95% van de gevallen in, terwijl RMR een niet-collapsepercentage van 33% handhaafde.
  • Lage Temperatuur: Bij temperatuur 0,7 verbeterde het niet-collapsepercentage van 8% (standaard) naar 56% (RMR).
  • Stabiliteit op Lange Termijn: RMR maakte stabiele generatie mogelijk bij extreem lage entropiepercentages (tot 0,8 nats/stap), een regime waar standaard decoding bijna altijd faalt.
• Tekstkwaliteit:
  • Evaluaties met "LLM-as-a-Judge" op niet-collapsende generaties toonden geen statistisch significant verschil in coherentie, syntaxis of informatievoortgang tussen standaard decoding en RMR.
  • Dit bevestigt dat RMR de generatie stabiliseert zonder de oppervlakkige kwaliteit van de tekst te verslechteren.
• Basislijnen: RMR presteerde significant beter dan Typical Sampling en Random Regulation (het toepassen van demping op willekeurige deelruimten), wat bewijst dat het richten op specifieke persistente richtingen cruciaal is.

6. Betekenis en Impact

• Stabiliteit in Extreme Regimes: RMR stelt LLM's in staat om te opereren in deterministische regimes met lage entropie (vaak gewenst voor redenering of coderingstaken) zonder toe te geven aan repetitieve lussen.
• Nieuw Paradigma voor Decoding: Het vestigt dat het controleren van de geometrie van interne dynamiek effectiever is dan het manipuleren van token-kansen alleen.
• Praktijktoepasbaarheid: Als een lichtgewicht, plug-and-play ingreep die geen hertraining van het model vereist, biedt RMR een praktische oplossing voor het verbeteren van de betrouwbaarheid van tekstgeneratie op lange termijn in productiesystemen.

Conclusie: Het artikel toont succesvol aan dat mode collapse een geometrisch fenomeen is. Door de dominante zelfversterkende richtingen in de value cache van de Transformer te identificeren en te dempen, herstelt Reinforced Mode Regulation (RMR) effectief de toegankelijkheid van de toestandsruimte, waardoor stabiele, hoogwaardige generatie mogelijk is, zelfs onder omstandigheden waar standaard decoding faalt.