Rotate2Think: Geometric Priming via Orthogonal Rotation to Improve Language Model Reasoning

... utilizando la interfaz inputs_embeds del modelo.
4. Generar la respuesta final.

Este proceso no requiere actualizaciones de gradiente, ni ajuste fino (fine-tuning), ni computación de inferencia adicional más allá de la única pasada hacia adelante (forward pass) para extraer el embedding de entrada.

Contribuciones Clave

1. Caracterización Geométrica del Razonamiento: El artículo establece que los embeddings de entrada y de pensamiento forman conos casi unidimensionales con ejes no alineados a través de diversas familias de modelos (Qwen, Phi, Gemma) y benchmarks. Una única rotación ortogonal mapea entre ellos con alta fidelidad (similitud de coseno > 0.96).
2. Método Rotate2Think: Una técnica de inferencia sin entrenamiento que ajusta una rotación de Procrustes ortogonal en ejemplos resueltos correctamente e inyecta un vector de pensamiento sintético para preparar la traza de razonamiento.
3. Generalización Cross-Domain: El método mejora la precisión en 30 de las 32 configuraciones de modelo-benchmark en tareas de matemáticas, ciencia y código sin datos del dominio objetivo o reajuste por benchmark.
4. Transferencia Cross-Modal Zero-Shot: Una rotación ajustada en benchmarks de razonamiento de texto mejoró con éxito el rendimiento en el benchmark multimodal MATH-Vision, lo que sugiere que la geometría de entrada-a-pensamiento es una propiedad del modelo más que de la modalidad de entrada.

Resultados Experimentales

Evaluado en cuatro familias de modelos (Qwen3 4B, Phi-4 14B, Gemma-4 E4B, Gemma-4 31B) a través de cinco benchmarks (AIME 2025/2026, GPQA Diamond, BigCodeBench, MATH-Vision):

• Modelos Base: La inyección del vector sintético en modelos base (Base+R2T) mejoró consistentemente la precisión, con ganancias de hasta +13 puntos porcentuales en AIME. En algunos casos (por ejemplo, Gemma-4 E4B en GPQA), Base+R2T superó al mismo modelo en modo de razonamiento completo.
• Modelos de Razonamiento: El aumento de los modelos de razonamiento con el primer (Reasoning+R2T) produjo mejoras consistentes en todas las tareas, a menudo sin aumentar el recuento de tokens generados, lo que sugiere un razonamiento más efectivo en lugar de más largo.
• Transferencia Multimodal: En MATH-Vision (testmini), la rotación ajustada en texto mejoró la precisión del modelo base del 30.9% al 38.1%, superando el modo de razonamiento completo nativo del modelo (34.9%).

Significado y Reivindicaciones

El artículo afirma que Rotate2Think demuestra que la capacidad de razonamiento puede ser latente y geométricamente accesible. Al intervenir en un solo punto con una perturbación mínima (un embedding rotado), el método dirige al modelo hacia un régimen representacional donde el razonamiento se expresa de manera más fiable.

Los autores argumentan que el éxito de la transferencia cross-modal respalda la Hipótesis de la Representación Platónica, sugiriendo que la geometría representacional converge universalmente con la escala del modelo y que el "espacio de pensamiento" es una propiedad estructural del modelo independiente de la modalidad de entrada. El método ofrece un bloque de construcción práctico y ligero para mejorar el razonamiento tanto en modelos base como de razonamiento sin el costo del aprendizaje por refuerzo o el ajuste fino.

Limitaciones

Los autores reconocen varias limitaciones:

• Dependencia de Variantes de Razonamiento: El método requiere acceso a una variante capaz de razonar del modelo objetivo para extraer los embeddings de pensamiento iniciales para el ajuste.
• Especificidad de la Tarea: Las mejoras fueron más pronunciadas en el razonamiento matemático y científico; las ganancias en la generación de código fueron modestas.
• Inyección de Token Único: La implementación actual inyecta solo un token sintético; los beneficios potenciales de inyectar una secuencia de embeddings rotados aún no han sido explorados.
• Requisito de Caja Blanca (White-Box): El método requiere acceso a los estados ocultos internos del modelo (específicamente la última capa), lo que impide su aplicación en modelos de código cerrado donde solo están disponibles los outputs de tokens.