Technische Samenvatting: MUX - Continue Redenering via Gemultiplext Tokenization

1. Probleemstelling

Moderne autoregressieve taalmodellen lossen complexe problemen op (wiskunde, coderen, gezond verstand) door tussenliggende redeneerstappen te articuleren in natuurlijke taal (Chain-of-Thought). Hoewel effectief, is deze discrete aanpak computationeel inefficiënt. Elke redeneerstap verzendt slechts één subwoord, wat een strikte bandbreedte-bottleneck creëert. Bovendien zijn veel redeneertokens redundant, waarbij ze menselijke communicatiepatronen spiegelen in plaats van geoptimaliseerde berekeningen.

Continue latente redenering biedt een alternatief waarbij modellen continue vectoren voorspellen in plaats van subwoorden, wat theoretisch een hogere bandbreedte mogelijk maakt door meerdere subwoorden simultaan te encoderen via superpositie. Bestaande methoden voor latente redenering kampen echter met aanzienlijke hindernissen:

• Globale methoden (die alleen de uiteindelijke antwoord of het eindpunt van een traject superviseren) leiden vaak tot "shortcut gedrag", waarbij latente tokens oninformatieve placeholders worden.
• Lokale methoden (die elk latent token superviseren tegenover een span van discrete redenering) vereisen vaak complexe hulparchitecturen (bijv. autoregressieve decoders) of falen in het behouden van diverse hypothesen die nodig zijn voor zoektaken.

De kernuitdaging is het definiëren van een supervisiedoel voor continue latente redenering dat getrouw is aan discrete redenering, latent collapse voorkomt en parallelle exploratie ondersteunt zonder excessieve architecturale complexiteit.

2. Methodologie: MUX

De auteurs stellen MUX voor, een lokale distillatiemethode die taalmodellen traint om continue latente redenering uit te voeren met behulp van gemultiplext tokens.

Kernconcept

MUX behandelt de lokale distillatietaak als het leren van een continu signaal met een vaste dimensie dat een variabele lengte categorisch signaal (een span van discrete redeneerstappen) encodeert. Geïnspireerd door code-division multiplexing in communicatiesystemen, representeert MUX een span van discrete subwoorden als een gewogen lineaire superpositie van hun one-hot encodings in de vocabulaire-ruimte.

Technische Implementatie

1. Gemultiplext Targets: Voor een discrete redeneerspan $r_i = (r^1_i, \dots, r^{S_i}_i)$ wordt het leendoel geconstrueerd als:
   $$\text{mux}(r_i) := \sum_{j=1}^{S_i} \alpha^{(i)}_j \cdot \text{onehot}(r^j_i)$$
   waarbij $\alpha^{(i)}_j$ genormaliseerde positieve gewichten zijn.
2. Positionele Weging: Om ervoor te zorgen dat de superpositie verliesloos is (d.w.z. de originele span uniek kan worden teruggevonden), stellen de auteurs specifieke wegingsschema's voor:
   • Geometrisch: $w_j = \rho^{j-1}$ (exponentiële afname).
   • Sinusoïdaal: Gebaseerd op sinusfuncties die pieken nabij het einde van de span.
   • Rotary: Gebaseerd op gemiddelde cosinuscomponenten analoog aan rotary position embeddings.
   • Theoretische Garantie: Deze wegingen voldoen aan een "subset-sum separation condition", wat garandeert dat verschillende sets posities voor elk subwoord een verschillende totale massa produceren, wat ambiguïteit voorkomt zelfs als een subwoord meerdere malen voorkomt.
3. Trainingsdoel: Het model wordt getraind om deze gemultiplext targets te matchen met behulp van een lineaire softmax-head en een KL-divergentie verlies ($L_{local}$). Dit wordt gecombineerd met een standaard antwoordvoorspellingsverlies ($L_{answer}$) en een optioneel traject-niveau verlies ($L_{global}$) om verborgen features uit te lijnen met discrete redeneermodellen.
4. Inference: Tijdens inference roteert het model latente tokens autoregressief in de verborgen ruimte. De vocabulaire projectie wordt alleen gebruikt voor supervisie tijdens de training, niet voor het genereren van de uiteindelijke output tokens.

3. Belangrijkste Bijdragen

(1) Latente Redenering via Gemultiplext Tokens

MUX introduceert een eenvoudig lokaal distillatiekader waarbij latente tokens spans van discrete redenering representeren via gewogen lineaire superposities. In tegenstelling tot eerdere lokale methoden vereist het geen hulp-autoregressieve decoder of gecomprimeerde cache-targets, maar vertrouwt het op vocabulaire-ruimte projecties.

(2) Verliesloze Multiplexing

Het artikel levert theoretische bewijzen dat specifieke positionele wegingen (geometrisch, sinusoïdaal, rotary) verliesloze multiplexing garanderen. Dit betekent dat de discrete redeneerspan volledig behouden blijft in de continue representatie. De auteurs bewijzen dat deze verliesloosheid latent collapse voorkomt (waarbij tokens semantisch homogeen worden), een veelvoorkomende foutmodus in globale latente redeneringsmethoden.

(3) Parallel Zoeken via Superpositie

Theoretisch demonstreren de auteurs dat gemultiplext tokens van nature parallel breadth-first search (BFS) kunnen implementeren. Omdat de tokens gesuperponeerd zijn, kan een enkel latent token een hele set hypothesen (een zoekfrontier) simultaan representeren en bijwerken. Dit stelt het model in staat om meerdere probleemoplossingspaden parallel te verkennen binnen een seriële supervisiestructuur.

(4) Empirische Superioriteit

Over 32 evaluatie-instellingen (spreidend over vier taalmodellen, twee trainings corpora en vier testsets) presteert MUX beter dan sterke baselines in zowel discrete als continue redenering. Opvallend genoeg presteert MUX vaak beter dan de discrete Chain-of-Thought (SFT-CoT) baseline waaruit het gedestilleerd is, ondanks het gebruik van aanzienlijk minder tokens (ongeveer 2.4x tot 5.9x minder).

4. Experimentele Resultaten

• Wiskundige Redenering: Op GSM8K-AUG, GSM8K-AUG-NL, SVAMP, GSM-Hard en MultiArith behaalde MUX de beste latente redeneringsprestaties over GPT-2, LLaMA 3.2 1B, 3B en 3.1 8B modellen. Het presteerde regelmatig beter dan SFT-CoT, wat aantoont dat compacte gesuperponeerde redenering beter kan generaliseren dan de originele discrete traces.
• Zoek-benchmarks: Op de Minimum Nonnegative Sum (MNNS) en Game of 24 taken presteerde MUX aanzienlijk beter dan baselines (inclusclusief Coconut en CoT2), wat de theoretische claim valideert dat gemultiplext tokens parallel zoeken mogelijk maken.
• Ablatie studies:
  • Lokale Loss: Het verwijderen van de globale loss ($\gamma=0$) en het uitsluitend vertrouwen op de gemultiplext lokale loss leverde nog steeds superieure resultaten op vergeleken met SIM-CoT, wat de effectiviteit van de lokale target bevestigt.
  • Weging: Verliesloze wegingen (Geometrisch, Sinusoïdaal, Rotary) presteerden consistent beter dan verlieslatende uniforme weging, hoewel het gat bescheiden was op zeer gestructureerde datasets.
  • Chunking: Gerandomiseerde chunking van discrete spans naar latente tokens presteerde het best, wat fungeerde als gestructureerde data-augmentatie.

5. Betekenis en Claims

Het artikel claimt dat verliesloze superpositie als een lokaal leendoel een voldoende voorwaarde vormt voor het bereiken van sterke, efficiënte en interpreteerbare latente continue redenering.

• Efficiëntie: MUX bereikt hoge prestaties met minder redeneerstappen dan discrete CoT, waarmee het de computationele bandbreedte-bottleneck aanpakt.
• Eenvoud: De methode vermijdt de architecturale complexiteit van eerdere lokale distillatie-benaderingen (bijv. hulp-decoders) terwijl het de prestaties handhaaft of verbetert.
• Interpreteerbaarheid: Probing-analyses bevestigen dat de geleerde latente tokens getrouwe en interpreteerbare redeneerinhoud coderen, wat het idee tegengaat dat latente redenering slechts een oninterpreteerbare placeholder is.
• Parallellisme: De resultaten suggereren dat parallelle zoekdynamieken natuurlijk kunnen ontstaan uit seriële supervisie wanneer gemultiplext targets worden gebruikt, wat een nieuwe weg biedt voor het verbeteren van planning en zoeken in taalmodellen.

De auteurs concluderen dat eenvoudige, interpreteerbare lokale targets latente redenering sterker en gemakkelijker te trainen kunnen maken, waardoor de kloof tussen de efficiëntie van continue ruimtes en de getrouwheid van discrete redenering wordt overbrugd.