Rotate2Think: Geometric Priming via Orthogonal Rotation to Improve Language Model Reasoning

... via de inputs_embeds interface van het model.
4. Genereer het uiteindelijke antwoord.

Dit proces vereist geen gradiëntupdates, geen fine-tuning en geen extra inferentie-rekenkracht bovenop de enkele forward pass om de input-embedding te extraheren.

Belangrijkste bijdragen

1. Geometrische karakterisering van redeneren: Het artikel stelt vast dat input- en 'thinking'-embeddings bijna eendimensionale kegels vormen met niet-uitgelijnde assen over diverse modelfamilies (Qwen, Phi, Gemma) en benchmarks heen. Een enkele orthogonale rotatie brengt deze met hoge getrouwheid in kaart (cosinusgelijkenis > 0,96).
2. Rotate2Think Methode: Een training-vrije techniek voor tijdens de inferentie waarbij een orthogonale Procrustes-rotatie wordt aangepast op correct opgeloste voorbeelden en een synthetische 'thinking vector' wordt geïnjecteerd om het redeneerspoor te stimuleren.
3. Cross-domein generalisatie: De methode verbetert de nauwkeurigheid in 30 van de 32 model-benchmark configuraties binnen taken op het gebied van wiskunde, wetenschap en code, zonder dat er data uit het doelgebied nodig is of per benchmark opnieuw moet worden aangepast.
4. Zero-Shot Cross-Modale Transfer: Een rotatie die louter is aangepast op tekstuele redeneerbenchmarks, verbetert succesvol de prestaties op de multimodale MATH-Vision benchmark, wat suggereert dat de input-naar-thinking geometrie een eigenschap van het model is in plaats van de input-modaliteit.

Experimentele resultaten

Geëvalueerd op vier modelfamilies (Qwen3 4B, Phi-4 14B, Gemma-4 E4B, Gemma-4 31B) over vijf benchmarks (AIME 2025/2026, GPQA Diamond, BigCodeBench, MATH-Vision):

• Base Modellen: Het injecteren van de synthetische vector in base modellen (Base+R2T) verbeterde de nauwkeurigheid consistent, met winsten tot +13 procentpunt op AIME. In sommige gevallen (bijv. Gemma-4 E4B op GPQA) presteerde Base+R2T beter dan hetzelfde model in de volledige redeneermodus.
• Reasoning Modellen: Het aanvullen van reasoning modellen met de primer (Reasoning+R2T) leverde consistente verbeteringen op over alle taken, vaak zonder het aantal gegenereerde tokens te verhogen, wat duidt op effectiever in plaats van langer redeneren.
• Multimodale Transfer: Op MATH-Vision (testmini) verbeterde de op tekst aangepaste rotatie de nauwkeurigheid van het base model van 30,9% naar 38,1%, waarmee het de natuurlijke volledige redeneermodus van het model (34,9%) overtrof.

Betekenis en claims

Het artikel claimt dat Rotate2Think aantoont dat redeneervermogen latent en geometrisch toegankelijk kan zijn. Door te interveniëren op één enkel punt met een minimale perturbatie (één geroteerde embedding), stuurt de methode het model naar een representationeel regime waar redeneren betrouwbaarder tot uiting komt.

De auteurs stellen dat het succes van de cross-modale transfer de Platonische Representatie Hypothese ondersteunt, wat suggereert dat de representationele geometrie universeel convergeert met de schaal van het model en dat de "thinking space" een structurele eigenschap van het model is, onafhankelijk van de input-modaliteit. De methode biedt een praktische, lichtgewicht bouwsteen voor het verbeteren van redeneren in zowel base als reasoning modellen, zonder de kosten van reinforcement learning of fine-tuning.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Afhankelijkheid van Reasoning Varianten: De methode vereist toegang tot een redeneer-bekwame variant van het doelmodel om de initiële thinking embeddings voor de aanpassing te extraheren.
• Taakspecifiteit: Verbeteringen waren het meest uitgesproken in wiskundig en wetenschappelijk redeneren; winsten op code-generatie waren bescheiden.
• Single-Token Injectie: De huidige implementatie injecteert slechts één synthetische token; de potentiële voordelen van het injecteren van een sequentie van geroteerde embeddings blijven onverkend.
• White-Box Vereiste: De methode vereist toegang tot de interne verborgen toestanden (hidden states) van het model (specifiek de laatste laag), wat toepassing op closed-source modellen uitsluit waarbij alleen token-outputs beschikbaar zijn.