Technische Samenvatting: Taalmodelleren met Hypersferische Stromen (S-FLM)

Probleemstelling

Autoregressieve (AR) modellen domineren taalmodelleren vanwege hun schaalbaarheid en snelle waarschijnlijkheidsevaluatie, maar ze lijden onder sequentiële generatie en een gebrek aan bidirectionele context tijdens inferentie. Discrete diffusiemodellen bieden parallelle generatie en bidirectionele context, maar worden beperkt door berekeningsproblemen die hen dwingen te steunen op gefactoriseerde marginaalverdelingen, wat de expressiviteit vermindert ten opzichte van AR-modellen.

Recente Flow Language Models (FLM's) proberen deze kloof te overbruggen door continue stromen toe te passen op taal, waarbij ruis via een deterministische gewone differentiaalvergelijking (ODE) wordt getransporteerd naar data. Echter, bestaande FLM's kampen met twee kritieke tekortkomingen:

1. Berekeningskosten: Ze representeren tokens als one-hot vectoren van dimensie $|V|$ (woordenschatgrootte). Voor grote woordenschatte (100k–200k) vereist dit het opslaan en manipuleren van hoogdimensionale vectoren, waardoor training aanzienlijk trager is dan bij discrete diffusie- of AR-modellen.
2. Semantische Ambiguïteit: Het toevoegen van Gaussische ruis aan one-hot vectoren mist een duidelijke semantische interpretatie. In tegenstelling tot afbeeldingen, waarbij ruis de structuur progressief degradeert, heeft het toevoegen van Gaussische ruis aan equidistante one-hot embeddingen geen intuïtieve geometrische betekenis.

Methodologie

De auteurs stellen het Hyperspherical Flow Language Model (S-FLM) voor, een Riemannisch stromingsmodel gedefinieerd op de eenheidshypersfeer $S^{d-1}$ in plaats van de Euclidische ruimte of discrete toestandsruimten.

Kernmechanismen

• Hypersferische Latente Ruimte: In plaats van one-hot vectoren worden tokens gemapt naar eenheidsnormale embeddingen $\hat{e}_v \in S^{d-1}$. Het voorwaartse proces transporteert schone embeddingen naar een uniforme prior op de sfeer via Sferische Lineaire Interpolatie (SLERP), in plaats van lineaire interpolatie met Gaussische ruis.
• Riemannische Flow Matching: Het model leert een snelheidsveld $u_t$ op de variëteit $S^{d-1}$ dat een ODE definieert. De conditionele snelheid wordt afgeleid met behulp van de logaritmische afbeelding op de sfeer:
  $$u_{t|1}(z_t | z_1) = \frac{\dot{\alpha}_t}{1-\alpha_t} \log_{z_t}(z_1)$$
  waarbij $z_1$ de schone embedding is en $z_t$ de verstoord latente variabele.
• Trainingsdoel: De denoiser $p_\theta^{1|t}$ wordt getraind met Cross-Entropy (CE) om de schone token $x_\ell$ te voorspellen op basis van de verstoord latente variabele $z_t$. Dit vermijdt het triviale minimum waarbij alle embeddingen instorten tot één punt, een risico bij het rechtstreeks regresseren van snelheden tegen leerbare embeddingen.
• Steekproefneming: Tijdens inferentie integreert het model het geleerde snelheidsveld van uniforme ruis op de sfeer naar de datavariëteit. Het snelheidsveld wordt berekend door te marginaliseren over raakvectoren die naar elke schone embedding wijzen, gewogen door de posterior $p_\theta^{1|t}$.
  • Exacte Snelheid: Sommatie over de volledige woordenschat (rekenkundig duur).
  • Top-k Snelheid: Beperkt de som tot de top-$k$ meest waarschijnlijke tokens. Top-1 decoding komt overeen met greedy decoding.
  • Stochastische Decoding: Steekt een enkele token uit de posterior om de richting van de snelheid te definiëren.

Architecturale en Trainingsinnovaties

1. S-arch (Hypersferische Ruggegraat): Een Transformer-variant waarbij intermediaire activaties zijn beperkt tot $S^{d-1}$. Het vervangt additieve residuals door genormaliseerde interpolaties en parameteriseert attention/MLP-lagen als rotaties. Dit brengt de architectuur in lijn met de invoervariëteit, wat de steekproefkwaliteit verbetert.
2. Truncatie van Ruischema: De auteurs leiden een theoretische bovengrens $\alpha^\star(\delta)$ af op basis van hoogdimensionale geometrie. Ze tonen aan dat in hoge dimensies de posterior instort tot een one-hot verdeling zodra het ruisniveau onder een bepaalde drempel daalt. Training wordt getruncat tot ruisniveaus boven deze grens om te voorkomen dat er wordt geleerd van triviale denoising-taken.
3. Adaptief Ruischema: Geïnspireerd door InfoNoise, wordt het trainingschema aangepast om meer steekproeven toe te wijzen aan ruisniveaus waar de verliesgradiënt het steilst is, wat de trainings-efficiëntie verbetert.

Belangrijkste Bijdragen

1. S-FLM Kader: Een op stroming gebaseerd taalmodel dat werkt op $d$-dimensionale embeddingen op een hypersfeer, waardoor de noodzaak om $|V|$-dimensionale one-hot vectoren te materialiseren wordt geëlimineerd. Dit verlaagt de trainingskosten tot een niveau vergelijkbaar met discrete diffusiemodellen.
2. S-arch Ruggegraat: Een nieuwe architectuur die activaties op de hypersfeer handhaaft, wat leidt tot betere prestaties op redeneertaken (GSM8K) en taalmodelleren (OpenWebText) in vergelijking met standaard DiT-ruggengraten.
3. Theoretische Ruis Truncatie: Een gestructureerde heuristiek voor het trunceren van het ruischema op basis van woordenschatgrootte en embeddingdimensie, wat de prestaties op redeneertaken aanzienlijk verbetert.
4. Prestatiewinst: S-FLM verbetert voorgaande continue stromingsmodellen aanzienlijk. Op GSM8K bereikt het ~18% nauwkeurigheid met top-1 decoding (tegenover <1% voor eerdere FLM's), waarmee de kloof met gemaskerde diffusiemodellen (MDLM, Duo) bij standaardtemperatuur ($T=1$) wordt overbrugd.

Experimentele Resultaten

• Sudoku Redeneren: S-FLM bereikt prestaties vergelijkbaar met eerdere FLM's en discrete diffusiemodellen (Duo), waarbij de beste continue diffusieresultaten 94,8% nauwkeurigheid bereiken op makkelijke puzzels en 45,0% op moeilijke puzzels bij gebruik van truncatie en adaptieve schema's.
• GSM8K (Wiskundig Redeneren):
  • Eerdere continue modellen (FLM, CANDI) bereikten <1% nauwkeurigheid.
  • S-FLM met top-1 decoding bereikt 18,0% nauwkeurigheid, wat overeenkomt met de prestaties van MDLM en Duo bij $T=1$.
  • Er blijft een prestatiekloof bestaan bij lage temperatuur ($T=0,1$), waarbij discrete modellen (Duo, MDLM) 33–36% bereiken, terwijl S-FLM plateauert rond 18%.
• OpenWebText (Taalmodelleren): S-FLM komt overeen met de Generatieve Perplexiteit (Gen. PPL) / Entiteit-grens van eerdere FLM's bij hoog aantal Functiewaarderingen (NFE) en presteert beter bij laag NFE, waar eerdere continue modellen onstabiele grenzen vertoonden.
• Trainings-efficiëntie: S-FLM traint sneller dan FLM's (die one-hot vectoren gebruiken) en is qua snelheid vergelijkbaar met discrete diffusiemodellen.

Betekenis en Aanspraken

Het artikel stelt dat S-FLM een aanzienlijke stap voorwaarts is voor continue stromingstaalmodellen door de schaalbaarheids- en semantische interpretatieproblemen van eerdere benaderingen aan te pakken. Door te opereren op de hypersfeer, vermijdt het model de computatieflesnek van hoogdimensionale one-hot vectoren en biedt het een geometrisch coherente mechanisme voor ruisinjectie.

De auteurs merken op dat hoewel S-FLM de kloof met discrete diffusie- en AR-modellen overbrugt wat betreft Generatieve Perplexiteit en redeneernauwkeurigheid bij standaardtemperaturen, er bij decoding met lage temperatuur nog steeds een aanzienlijke kloof bestaat. Het werk wordt gepresenteerd als een methodologische vooruitgang die continue stromingsmodellen levensvatbaarder maakt voor taalmodelleren met grote woordenschat, hoewel de auteurs nederig blijven over de resterende prestatiekloof ten opzichte van state-of-the-art autoregressieve modellen in verifieerbare domeinen.