Mid-Think: Training-Free Intermediate-Budget Reasoning via Token-Level Triggers

el token de apertura (ej. "Okay") atrae la mayor atención de los tokens subsiguientes, actuando efectivamente como un interruptor para activar el razonamiento.

• El activador de nueva línea: En el modo "No-Think", el patrón de nueva línea (\n\n) que sigue a la etiqueta </think> absorbe la mayor parte de la atención, suprimiendo el comportamiento de razonamiento.
• Fenómeno de sobreajuste: Los autores observan que los modelos de razonamiento y sus conjuntos de datos de entrenamiento (ej. OpenR1-Math) exhiben un "sobreajuste" a estos patrones de apertura unificados (ej. comenzar los pensamientos con "Okay"). Esto sugiere que los modelos dependen de estos tokens como interruptores rígidos en lugar de interpretar instrucciones semánticas.

2.2 Mid-Think: Un formato de prompting sin entrenamiento

Aprovechando estas observaciones, los autores proponen Mid-Think, un formato de prompting que combina las señales de activación y supresión para inducir un régimen de razonamiento intermedio sin necesidad de reentrenar el modelo.

El formato propuesto es:
...</think>\n\n<reason>\nOkay...

• Mecanismo: El formato integra explícitamente el patrón </think>\n\n (que suprime el razonamiento) con el token Okay (que activa el razonamiento). La etiqueta <reason> (o alternativas como <begin>, <less think>) sirve como un delimitador estructural para el contenido del pensamiento.
• Efecto: Esta combinación crea un "conflicto" o equilibrio entre las dos señales, induciendo al modelo a generar un rastro de razonamiento que es más corto que el modo "Think" estándar, pero más robusto que el modo "No-Think".

2.3 Aplicación al entrenamiento por RL

Los autores aplican además el formato Mid-Think como un objetivo de entrenamiento en Aprendizaje por Refuerzo (RL) tras el Ajuste Fino Supervisado (SFT). Al entrenar a los modelos para generar respuestas bajo el formato Mid-Think, buscan:

• Reducir la longitud de las secuencias de razonamiento durante la fase de optimización de RL.
• Aumentar la entropía de la política durante el entrenamiento (evitando el colapso prematuro en patrones fijos).
• Mejorar la capacidad del modelo final para equilibrar la profundidad y la eficiencia del razonamiento.

3. Resultados Clave

3.1 Control en tiempo de inferencia (Sin entrenamiento)

Evaluado en MATH500, AIME y GPQA a través de varios modelos (Qwen3-8B/14B/32B, DeepSeek-R1-Distill, Phi-4):

• Optimalidad de Pareto: Mid-Think alcanza consistentemente un rendimiento que se sitúa en o más allá de la frontera de Pareto del compromiso entre precisión y longitud. Supera a los baselines de presupuesto de tokens fijos y a los métodos basados en prompts.
• Rendimiento: En MATH500, Mid-Think logra una precisión comparable a los modos "Think" de alto presupuesto (ej. 92% frente a 94% para Qwen3-14B) pero con longitudes de generación significativamente reducidas (2,589 tokens frente a ~4,904 tokens).
• Generalización: El método se generaliza a través de diferentes familias de modelos (Llama, Qwen, Phi) y arquitecturas (Dense, MoE), siempre que el token disparador coincida con la plantilla de entrenamiento del modelo (ej. usar "We" en lugar de "Okay" para modelos entrenados con "We need...").
• Versatilidad de tareas: El enfoque se extiende más allá de las matemáticas hacia tareas de programación (LiveCodeBench), manteniendo compromisos de precisión-longitud superiores.

3.2 Eficiencia y rendimiento del entrenamiento RL

Cuando se aplica al entrenamiento de RL (usando GRPO) en Qwen3-4B y Qwen3-8B:

• Eficiencia de entrenamiento: Mid-Think reduce el tiempo de entrenamiento de RL aproximadamente un 15% (ej. de 54 horas a 46 horas para Qwen3-8B) en comparación con el entrenamiento del modo "Think" estándar, debido a las secuencias de razonamiento más cortas generadas durante la optimización.
• Dinámica de la entropía: El entrenamiento con Mid-Think mantiene una entropía más alta durante el proceso de entrenamiento en comparación con el modo "Think" estándar, que tiende a colapsar rápidamente en regímenes de baja entropía.
• Rendimiento final: Los modelos entrenados con Mid-Think logran una mayor precisión en las evaluaciones de modo "Think" que aquellos entrenados con los modos "Think" o "No-Think" estándar.
  • AIME: Qwen3-8B mejoró del 69.8% (RL estándar) al 72.4%.
  • GPQA: Qwen3-8B mejoró del 58.5% al 61.1%.
• Equilibrio conductual: A diferencia del entrenamiento "No-Think", que a menudo degrada el rendimiento del modo "Think", los modelos entrenados con Mid-Think preservan la eficiencia mientras mantienen capacidades de razonamiento sólidas.

4. Significado y Reivindicaciones

El artículo afirma que los comportamientos de razonamiento híbridos en los grandes modelos de lenguaje están gobernados en gran medida por unos pocos disparadores a nivel de token en lugar de instrucciones semánticas complejas. Basándose en esto, la importancia del trabajo es triple:

1. Descubrimiento de mecanismos: Revela que los modos de razonamiento pueden manipularse mediante pistas léxicas específicas ("Okay" frente a \n\n), ofreciendo una lente ligera para comprender el comportamiento del modelo.
2. Inferencia eficiente: Mid-Think proporciona un mecanismo sin entrenamiento para lograr un razonamiento de presupuesto intermedio, ofreciendo un control más fiable y detallado sobre el compromiso entre precisión y eficiencia que los baselines existentes.
3. Mejora del entrenamiento RL: Al integrar estos disparadores en el objetivo de RL, el método acelera el entrenamiento y produce modelos con comportamientos de razonamiento mejor equilibrados, lo que sugiere que controlar el "presupuesto" durante el entrenamiento es una estrategia viable para mejorar el rendimiento final del modelo.

Los autores señalan limitaciones, específicamente que Mid-Think no ofrece un control totalmente dinámico sobre niveles de presupuesto arbitrarios (ej. ratios precisos de 0.1 o 0.7) y depende de la existencia previa de comportamientos sobreajustados a nivel de token en los datos de entrenamiento del modelo.