Rotate2Think: Geometric Priming via Orthogonal Rotation to Improve Language Model Reasoning

... utilizzando l'interfaccia inputs_embeds del modello.
4. Generare la risposta finale.

Questo processo non richiede aggiornamenti del gradiente, né fine-tuning, né calcolo aggiuntivo durante l'inferenza oltre al singolo passaggio in avanti per estrarre l'embedding di input.

Contributi Chiave

1. Caratterizzazione Geometrica del Ragionamento: Il documento stabilisce che gli embedding di input e di pensiero formano coni quasi monodimensionali con assi non allineati attraverso diverse famiglie di modelli (Qwen, Phi, Gemma) e benchmark. Una singola rotazione ortogonale mappa tra di essi con alta fedeltà (similarità del coseno > 0,96).
2. Metodo Rotate2Think: Una tecnica di inferenza senza addestramento che adatta una rotazione di Procruste ortogonale su esempi risolti correttamente e inietta un vettore di pensiero sintetico per preparare la traccia di ragionamento.
3. Generalizzazione Cross-Domain: Il metodo migliora l'accuratezza in 30 dei 32 configurazioni modello-benchmark in compiti di matematica, scienza e codice, senza dati del dominio target o riadattamento per benchmark.
4. Trasferimento Cross-Modale Zero-Shot: Una rotazione adattata esclusivamente su benchmark di ragionamento testuale migliora con successo le prestazioni sul benchmark multimodale MATH-Vision, suggerendo che la geometria input-pensiero sia una proprietà del modello piuttosto che della modalità di input.

Risultati Sperimentali

Valutato su quattro famiglie di modelli (Qwen3 4B, Phi-4 14B, Gemma-4 E4B, Gemma-4 31B) attraverso cinque benchmark (AIME 2025/2026, GPQA Diamond, BigCodeBench, MATH-Vision):

• Modelli Base: L'iniezione del vettore sintetico nei modelli base (Base+R2T) ha migliorato costantemente l'accuratezza, con guadagni fino a +13 punti percentuali su AIME. In alcuni casi (ad es. Gemma-4 E4B su GPQA), Base+R2T ha superato lo stesso modello in modalità di ragionamento completo.
• Modelli di Ragionamento: L'aumento dei modelli di ragionamento con il primer (Reasoning+R2T) ha prodotto miglioramenti costanti in tutti i compiti, spesso senza aumentare il conteggio dei token generati, suggerendo un ragionamento più efficace piuttosto che più lungo.
• Trasferimento Multimodale: Su MATH-Vision (testmini), la rotazione adattata sul testo ha migliorato l'accuratezza del modello base dal 30,9% al 38,1%, superando la modalità di ragionamento completo nativa del modello (34,9%).

Significato e Rivendicazioni

Il documento afferma che Rotate2Think dimostra che la capacità di ragionamento può essere latente e geometricamente accessibile. Intervenendo in un singolo punto con una perturbazione minima (un embedding ruotato), il metodo guida il modello verso un regime rappresentativo in cui il ragionamento è espresso in modo più affidabile.

Gli autori sostengono che il successo del trasferimento cross-modale supporti l'Ipotesi della Rappresentazione Platonica, suggerendo che la geometria rappresentativa converga universalmente con la scala del modello e che lo "spazio di pensiero" sia una proprietà strutturale del modello indipendente dalla modalità di input. Il metodo offre un componente pratico e leggero per migliorare il ragionamento sia nei modelli base che in quelli di ragionamento, senza i costi del reinforcement learning o del fine-tuning.

Limitazioni

Gli autori riconoscono diverse limitazioni:

• Dipendenza dalle Varianti di Ragionamento: Il metodo richiede l'accesso a una variante del modello target capace di ragionare per estrarre gli embedding di pensiero iniziali per l'adattamento.
• Specificità del Compito: I miglioramenti sono stati più pronunciati nel ragionamento matematico e scientifico; i guadagni sulla generazione di codice sono stati modesti.
• Iniezione di Singolo Token: L'attuale implementazione inietta un solo token sintetico; i potenziali benefici dell'iniezione di una sequenza di embedding ruotati rimangono inesplorati.
• Requisito White-Box: Il metodo richiede l'accesso agli stati nascosti interni del modello (specificamente l'ultimo strato), precludendo l'applicazione a modelli closed-source dove sono disponibili solo gli output dei token.