Rotate2Think: Geometric Priming via Orthogonal Rotation to Improve Language Model Reasoning
Le papier propose Rotate2Think, une méthode sans entraînement qui améliore le raisonnement des modèles de langage en estimant et en appliquant une rotation orthogonale aux plongements d'entrée afin de préparer géométriquement le modèle à générer des traces de pensée synthétiques, augmentant ainsi considérablement les performances à travers divers benchmarks mathématiques, scientifiques et de codage.
Auteurs originaux :Aditya Sharma, Christopher J. Pal, Amal Zouaq
C'est comme donner au robot un mot pré-écrit qui dit : « Voici comment un penseur intelligent commence ce problème », avant même que le robot ne commence à parler.
4. Pourquoi c'est incroyable
Aucun entraînement requis : Ils n'ont pas eu besoin de ré-enseigner au robot. Ils ont simplement utilisé les mathématiques (plus précisément quelque chose appelé « analyse de Procruste orthogonale », qui est juste une façon sophistiquée de trouver l'angle de rotation optimal) pour trouver l'angle.
Cela fonctionne partout : Ils ont testé cela sur des tâches de mathématiques, de sciences et de codage. Dans 30 tests sur 32, le robot s'est amélioré pour résoudre les problèmes.
C'est rapide : Cela n'ajoute presque aucun temps au processus car il s'agit simplement d'une rotation mathématique unique, et non d'une longue génération de texte.
Cela fonctionne même sur les images : La partie la plus surprenante ? Ils ont entraîné la rotation en utilisant uniquement des problèmes textuels. Lorsqu'ils ont utilisé ce même « coup de pouce » sur un robot résolvant des problèmes mathématiques visuels (des images avec des nombres), cela a quand même fonctionné ! Cela suggère que la direction de la « pensée » est une partie fondamentale du cerveau du robot, et non quelque chose de spécifique au texte.
L'essentiel
L'article affirme que la « pensée » n'est pas seulement une longue liste de mots ; c'est un état géométrique spécifique dans lequel le cerveau du robot entre. En calculant la rotation exacte nécessaire pour faire passer le robot du « mode lecture » au « mode pensée », ils peuvent instantanément préparer le robot à résoudre des problèmes plus difficiles avec plus de précision, sans entraînement supplémentaire ni coût.
Limites mentionnées dans l'article :
Vous devez être capable de voir les états internes du « cerveau » du robot (cela ne fonctionne pas sur les modèles fermés, de type « boîte noire », où vous ne pouvez pas regarder à l'intérieur).
Vous avez besoin d'une version du robot qui peut penser correctement pour apprendre la rotation au départ.
Cela fonctionne mieux en mathématiques et en sciences ; l'amélioration sur les tâches de codage était plus faible.
... en utilisant l'interface inputs_embeds du modèle. 4. Générer la réponse finale.
Ce processus ne nécessite aucune mise à jour de gradient, aucun ajustement fin (fine-tuning), ni de calcul d'inférence supplémentaire au-delà du passage direct unique pour extraire l'embedding d'entrée.
Contributions Clés
Caractérisation Géométrique du Raisonnement : L'article établit que les embeddings d'entrée et de pensée forment des cônes quasi unidimensionnels avec des axes non alignés à travers diverses familles de modèles (Qwen, Phi, Gemma) et benchmarks. Une rotation orthogonale unique permet de passer de l'un à l'autre avec une grande fidélité (similarité cosinus > 0,96).
Méthode Rotate2Think : Une technique d'inférence sans entraînement qui ajuste une rotation de Procruste orthogonale sur des exemples résolus correctement et injecte un vecteur de pensée synthétique pour amorcer la trace de raisonnement.
Généralisation Trans-Domaine : La méthode améliore la précision dans 30 des 32 configurations modèle-benchmark dans les tâches de mathématiques, de sciences et de code, sans données de domaine cible ou réajustement par benchmark.
Transfert Cross-Modal Zero-Shot : Une rotation ajustée purement sur des benchmarks de raisonnement textuel améliore avec succès les performances sur le benchmark multimodal MATH-Vision, suggérant que la géométrie entrée-pensée est une propriété du modèle plutôt que de la modalité d'entrée.
Résultats Expérimentaux
Évalué sur quatre familles de modèles (Qwen3 4B, Phi-4 14B, Gemma-4 E4B, Gemma-4 31B) à travers cinq benchmarks (AIME 2025/2026, GPQA Diamond, BigCodeBench, MATH-Vision) :
Modèles de Base : L'injection du vecteur synthétique dans les modèles de base (Base+R2T) a systématiquement amélioré la précision, avec des gains allant jusqu'à +13 points de pourcentage sur AIME. Dans certains cas (ex. : Gemma-4 E4B sur GPQA), Base+R2T a surpassé le même modèle en mode de raisonnement complet.
Modèles de Raisonnement : L'augmentation des modèles de raisonnement avec l'amorce (Reasoning+R2T) a produit des améliorations constantes sur toutes les tâches, souvent sans augmenter le nombre de tokens générés, suggérant un raisonnement plus efficace plutôt que plus long.
Transfert Multimodal : Sur MATH-Vision (testmini), la rotation ajustée sur le texte a amélioré la précision du modèle de base de 30,9 % à 38,1 %, surpassant le mode de raisonnement complet natif du modèle (34,9 %).
Signification et Revendications
L'article affirme que Rotate2Think démontre que la capacité de raisonnement peut être latente et géométriquement accessible. En intervenant en un seul point avec une perturbation minimale (un embedding pivoté), la méthode oriente le modèle vers un régime de représentation où le raisonnement est exprimé de manière plus fiable.
Les auteurs soutiennent que le succès du transfert cross-modal appuie l'Hypothèse de la Représentation Platonicienne, suggérant que la géométrie de la représentation converge universellement avec l'échelle du modèle et que l'« espace de pensée » est une propriété structurelle du modèle indépendante de la modalité d'entrée. La méthode offre un bloc de construction pratique et léger pour améliorer le raisonnement des modèles de base et de raisonnement sans le coût de l'apprentissage par renforcement ou du fine-tuning.
Limites
Les auteurs reconnaissent plusieurs contraintes :
Dépendance aux Variantes de Raisonnement : La méthode nécessite l'accès à une variante capable de raisonner du modèle cible pour extraire les embeddings de pensée initiaux nécessaires à l'ajustement.
Spécificité des Tâches : Les améliorations ont été plus prononcées dans le raisonnement mathématique et scientifique ; les gains sur la génération de code étaient modestes.
Injection d'un Seul Token : L'implémentation actuelle n'injecte qu'un seul token synthétique ; les bénéfices potentiels de l'injection d'une séquence d'embeddings pivotés restent inexplorés.
Exigence de "Boîte Blanche" : La méthode nécessite l'accès aux états cachés internes du modèle (spécifiquement la dernière couche), empêchant l'application aux modèles à code fermé où seuls les outputs de tokens sont disponibles.
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.