Resumen Técnico: Los Esquemas de Pensamiento Diversos Provocan un Mejor Razonamiento en los Modelos de Lenguaje de Gran Escala

Declaración del Problema

Los Modelos de Razonamiento de Gran Escala (LRM) han demostrado capacidades significativas para resolver problemas matemáticos complejos mediante la generación de cadenas de pensamiento extendidas. Sin embargo, los enfoques actuales suelen depender de estructuras de razonamiento excesivamente predefinidas, como cadenas estrictamente lineales o árboles explícitamente organizados, lo que puede limitar la flexibilidad cognitiva. Los autores identifican dos aspectos críticos y aún poco explorados del proceso de razonamiento: las Transiciones de Razonamiento (los cambios distintivos entre los pasos intermedios de razonamiento, por ejemplo, "Permítame intentar otro enfoque") y los Candidatos de Respuesta (la variedad de rutas de solución o conclusiones intermedias propuestas por el modelo). El artículo postula que los modelos existentes a menudo convergen en patrones de razonamiento estrechos, fallando en explorar plenamente el espacio de soluciones, lo que limita su capacidad para recuperarse de errores o encontrar soluciones óptimas en tareas complejas.

Metodología: Marco DiScO

Para abordar estas limitaciones, los autores proponen DiScO (Optimización de la Política de Esquemas Diversos), un marco diseñado para mejorar la diversidad de los "esquemas de pensamiento" (la estructura de razonamiento latente que gobierna las transiciones y las rutas de solución) tanto durante el entrenamiento como durante la inferencia. El marco consta de tres componentes principales:

1. Ajuste Fino Supervisado Consciente de los Esquemas (SFA)

Primero, se dota al modelo de "conciencia de esquemas" entrenándolo para anotar explícitamente sus propias cadenas de razonamiento. Se introducen dos tokens especializados:

• \ReasoningTransition: Marca los cambios en la perspectiva o estrategia de razonamiento.
• \AnswerCandidate: Marca posibles respuestas finales o conclusiones intermedias.
  Este paso hace que la estructura de pensamiento latente sea observable y susceptible de análisis sin requerir anotación humana externa para cada paso de entrenamiento (las anotaciones son generadas por un anotador LLM, específicamente Qwen3-Max).

2. Aprendizaje por Refuerzo Orientado a la Diversidad (RL)

Tras el SFA, el modelo se somete a aprendizaje por refuerzo utilizando un algoritmo de Optimización de Política Relativa de Grupo (GRPO) modificado. La innovación central es una función de recompensa compuesta ($R$) que equilibra la precisión con la diversidad:
$$R = W_{div}R_{div} + W_{acc}R_{acc} + W_{form}R_{form}$$

• Recompensa de Diversidad ($R_{div}$): Incentiva la generación de transiciones de razonamiento y candidatos de respuesta distintos. Mide el recuento de transiciones ($N_{thought}$), el número de candidatos de respuesta ($N_{ans}$), la singularidad de las soluciones ($N_{uniq}$) y la corrección de los candidatos intermedios ($N_{true}$). Se aplican topes de truncamiento para evitar el reward hacking mediante la repetición de marcadores.
• Recompensa de Precisión ($R_{acc}$): Recompensa binaria estándar por una respuesta final correcta.
• Recompensa de Formato ($R_{form}$): Asegura que el modelo cumpla con las etiquetas de anotación requeridas y el formato de la respuesta final.

3. Mejora de la Diversidad en Tiempo de Inferencia (ITDE)

Para promover aún más la diversidad durante la inferencia, se emplean dos estrategias cuando el modelo alcanza la longitud máxima de generación sin una respuesta final:

• Truncamiento Inicial: Descarta el primer 20% de los tokens para simular un "reinicio cognitivo", permitiendo al modelo replantear el problema desde una perspectiva fresca.
• Truncamiento con Eliminación de Repeticiones: Detecta y elimina patrones de razonamiento repetitivos (por ejemplo, la misma frase de 15 palabras) para romper bucles locales y fomentar la exploración de nuevas rutas.

Contribuciones Clave

1. Definición del Concepto: El artículo introduce los "Esquemas de Pensamiento", definiéndolos a través de Transiciones de Razonamiento y Candidatos de Respuesta observables. Demuestra empíricamente una correlación positiva entre la diversidad de estos esquemas y el rendimiento de los diversos LRM.
2. Marco DiScO: Los autores proponen un nuevo marco que integra SFA consciente de esquemas, RL orientado a la diversidad y estrategias en tiempo de inferencia para promover sistemáticamente el razonamiento diverso.
3. Validación Empírica: Experimentos extensos en cinco bancos de pruebas de razonamiento matemático y tres bancos de pruebas fuera de dominio (OOD) demuestran que DiScO supera consistentemente a GRPO estándar y a otros puntos de referencia orientados a la diversidad.

Resultados Experimentales

Los autores evaluaron DiScO en modelos DeepSeek-R1-Distill-Qwen a escalas de 7B y 32B, comparándolos con modelos propietarios de frontera (por ejemplo, GPT-5, Claude 3.5) y bases de código abierto.

• Ganancias de Rendimiento: DiScO logró consistentemente resultados de vanguardia entre los modelos de código abierto. Por ejemplo, DiScO-7B alcanzó un 95.6% en MATH-500 y un 70.0% en AIME 2024, superando significativamente a otros modelos de 7B. DiScO-32B alcanzó un 83.5% de precisión promedio en los bancos de pruebas, superando al DeepSeek-R1-Distill-Qwen-32B base.
• Mejora en Tareas Difíciles: Las ganancias fueron más pronunciadas en bancos de pruebas de nivel de competición desafiantes (AIME, AMC), donde existe un margen sustancial de mejora. DiScO-32B mostró una mejora absoluta del 6.7% sobre el modelo base en AIME 2024 y 2025.
• Generalización: A pesar de haber sido entrenado exclusivamente con datos matemáticos, DiScO se generalizó eficazmente a tareas fuera de su dominio (ARC-c, GPQA-diamond, MMLU-Pro), lo que sugiere que la diversidad a nivel de esquema promueve comportamientos de razonamiento transferibles.
• Recuperación de Errores: El análisis anotado por humanos reveló que DiScO mejora significativamente la capacidad del modelo para recuperarse de intentos iniciales erróneos (medido por la métrica FWFC: Primero Incorrecto, Final Correcto). Los modelos DiScO fueron menos propensos a descartar respuestas intermedias correctas y más propensos a la autocorrección en comparación con las bases de referencia.
• Rendimiento Pass@k: DiScO mostró un rendimiento mejorado en escenarios de múltiples intentos (Pass@k), lo que indica una expansión genuina del límite de razonamiento en lugar de solo remodelar la distribución de un solo disparo.

Significado y Reivindicaciones

El artículo afirma que la diversidad de los esquemas de pensamiento juega un papel crucial en la resolución exitosa de problemas, actuando como un eje complementario al escalado estándar del modelo (parámetros y datos). Los autores argumentan que:

• La Diversidad es un Recurso Escalable: Promover esquemas de pensamiento diversos permite a los modelos explorar rutas inferenciales alternativas y recuperarse de errores de manera más efectiva, lo que conduce a un mejor rendimiento en tareas compleas sin necesidad de aumentar el tamaño del modelo.
• Más allá de la Diversidad a Nivel de Token: A diferencia de los métodos anteriores que se centran en la entropía a nivel de token o en el muestreo de trayectoria a través de ejecuciones independientes, DiScO apunta a la diversidad dentante de una sola trayectoria de razonamiento, fomentando cambios semánticos y de perspectiva que imitan la resolución de problemas humana.
• Impacto Práctico: El marco ofrece un camino práctico para mejorar los modelos de razonamiento de código abierto, reduciendo la brecha con los sistemas propietarios de frontera y mejorando la interpretabilidad de los procesos de razonamiento mediante la anotación explícita de esquemas.

Los autores reconocen las limitaciones, incluyendo el costo no trivial de la anotación basada en LLM, el modesto aumento en la latencia de inferencia (aproximadamente un 10% más de tokens) y el enfoque actual en el razonamiento matemático, aunque señalan ganancias consistentes en tareas fuera de dominio. Sugieren que el trabajo futuro podría explorar métodos de anotación más económicos (por ejemplo, el sondeo de estados ocultos) y la aplicación de estos principios a otros regímenes de razonamiento.