Resumen Técnico: CopT: Pensamiento Contrastivo en Política con Espacios Continuos para Razonamiento General y Agente

Declaración del Problema

La técnica de prompting de Cadena de Pensamiento (CoT) se ha convertido en el estándar para elicitar capacidades de razonamiento en Modelos de Lenguaje Grandes (LLMs). Sin embargo, el paradigma de CoT predominante trata el pensamiento como un requisito previo estricto para responder, obligando a los modelos a generar una trazas de razonamiento completa antes de producir una respuesta final. Observaciones recientes indican que los LLMs a menudo exhiben "razonamiento performativo", donde continúan generando pasos de razonamiento incluso después de identificar internamente una respuesta plausible. Este comportamiento retrasa el acceso a respuestas correctas e incurre en costos de tokens innecesarios. Además, los métodos existentes que utilizan incrustaciones continuas (CoT Latente) a menudo sacrifican la legibilidad del razonamiento explícito o introducen problemas como representaciones no vistas y desviación hacia el ruido cuando se utilizan directamente para la generación.

Metodología: CopT

Los autores proponen CopT (Pensamiento Contrastivo en Política), una pipeline de razonamiento sin entrenamiento que invierte el orden estándar de operaciones: Respuesta Primero, Luego Pensar. La metodología consta de dos etapas principales y un novedoso mecanismo de verificación contrastiva.

1. Pipeline de Razonamiento Invertido

• Elicitación de Respuesta Borrador: En lugar de pensar primero, se obliga al modelo a emitir un token <answer> inmediatamente y generar una respuesta borrador ($a$) basada en la pregunta de entrada ($q$).
• Pensamiento en Política: Si la respuesta borrador se considera poco fiable, el modelo desencadena una fase de pensamiento subsiguiente condicionada al borrador. Esto permite la reflexión y la corrección solo cuando es necesario.

2. Estimación Contrastiva de Fiabilidad

Para determinar si una respuesta borrador debe ser confiable o si se requiere más pensamiento, CopT introduce un estimador de KL inverso normalizado a nivel de secuencia ($\kappa$). Este mecanismo aprovecha las incrustaciones continuas como verificadores en tiempo de inferencia sin utilizarlas para la generación.

• Entradas Discretas vs. Continuas: Durante la generación, el modelo almacena en caché dos representaciones para cada paso:
  1. Prefijo Discreto: La probabilidad estándar $p_t$ del token elegido dado el historial de tokens discretos.
  2. Prefijo Continuo: Una incrustación continua $e_t$ calculada como el promedio ponderado por probabilidad de todas las incrustaciones del vocabulario, preservando la información de incertidumbre.
• El Estimador: Después de generar un borrador de longitud $T_a$, el modelo compara la probabilidad de los tokens generados bajo el prefijo discreto ($p_\theta(a_t | q, a_{<t})$) contra la probabilidad bajo el prefijo continuo ($p_\theta(a_t | q, e_{<t})$).
  $$\kappa_a = \frac{1}{T_a} \sum_{t=1}^{T_a} \left[ \log p_\theta(a_t | q, a_{<t}) - \log p_\theta(a_t | q, e_{<t}) \right]$$
• Interpretación: Un $\kappa_a$ alto indica que la respuesta está significativamente menos respaldada cuando se considera la información de incertidumbre (incrustaciones continuas), lo que sugiere que el borrador es poco fiable. Si $\kappa_a$ supera un umbral $\tau_a$, el modelo entra en la etapa de pensamiento en política.

3. Control Dinámico de Visibilidad

Durante la fase de pensamiento en política, la respuesta borrador puede contener aún información parcial útil, pero también podría engañar al modelo si es fundamentalmente defectuosa. CopT aborda esto controlando dinámicamente la visibilidad de la respuesta borrador durante los siguientes fragmentos de pensamiento.

• La trayectoria de pensamiento se divide en fragmentos.
• Se calcula un segundo estimador de KL ($\kappa_r$) para cada fragmento para evaluar la estabilidad del proceso de pensamiento actual.
• Si $\kappa_r$ indica inestabilidad (alta discrepancia), la respuesta borrador se oculta ($m_k=0$) para el siguiente fragmento para evitar que el modelo sea engañado. Si es estable, el borrador permanece visible ($m_k=1$).

4. Fundamento Teórico

El artículo proporciona un análisis teórico que muestra que, bajo una suposición de "mezcla-lineal", el valor esperado del estimador de KL inverso es igual a la información mutua $I(S; A)$ entre el estado de razonamiento latente no resuelto $S$ y el token de respuesta emitido $A$. Esto demuestra que el estimador mide la incertidumbre relevante para la respuesta en lugar de la incertidumbre arbitraria en el estado latente. En consecuencia, la puntuación solo aumenta cuando la incertidumbre preservada en las incrustaciones continuas cambia realmente el soporte del modelo para los tokens generados.

Contribuciones Clave

1. Paradigma Invertido: Propone una pipeline sin entrenamiento donde los LLMs generan una respuesta borrador primero e invocan el pensamiento en política solo cuando el borrador se considera poco fiable, permitiendo un acceso más temprano a las respuestas y una corrección selectiva.
2. Verificación Contrastiva: Introduce un mecanismo que reinterpreta las incrustaciones continuas (anteriormente utilizadas para la generación en CoT Latente) como verificadores en tiempo de inferencia. Al contrastar entradas discretas y continuas, estima la fiabilidad del borrador y modula la visibilidad del borrador sin sacrificar la legibilidad del CoT explícito.
3. Perspectiva Teórica: Demuestra que el estimador propuesto mide la información mutua entre estados latentes y respuestas, explicando por qué captura eficazmente la incertidumbre relevante para la respuesta.
4. Validación Empírica: Valida extensivamente el método en tareas de matemáticas, codificación y razonamiento agente, mostrando ganancias consistentes sobre las líneas base de CoT estándar.

Resultados Experimentales

Los autores evaluaron CopT en los modelos Qwen3 y Qwen3.5 (escalas de 2B, 8B y 35B) a través de 10 puntos de referencia, incluidos GSM8K, Math500, AIME, HumanEval, LeetCode-Contest y puntos de referencia agenciales (BFCL v4, ZebraArena).

• Precisión y Eficiencia: CopT mejora la precisión máxima hasta un 23% (por ejemplo, en la partición grande de ZebraArena) y reduce el uso de tokens hasta un 57% en niveles de precisión comparables o superiores en comparación con el CoT estándar.
• Matemáticas y Codificación: En GSM8K, CopT logró una ganancia de precisión de +0.23% con una reducción del 55.1% en tokens. En los desafiantes puntos de referencia AIME, mejoró la precisión en +3.34% (AIME24) y +2.92% (AIME25).
• Razonamiento Agente: En tareas agenciales de múltiples vueltas (ZebraArena), CopT mejoró la precisión en un +23.03% en la partición grande mientras reducía el uso de tokens en un 19.6%.
• Comparación con Métodos Latentes: A diferencia de los métodos sin entrenamiento que utilizan incrustaciones continuas para la generación (por ejemplo, Soft-Thinking, SwiReasoning), CopT mantiene un razonamiento completamente explícito y legible mientras logra una mayor precisión con menos tokens.
• Latencia: Los ahorros de tokens se traducen directamente en reducciones de latencia, con CopT reduciendo la latencia promedio por muestra hasta un 69% en HumanEval.

Significado y Afirmaciones

El artículo afirma que CopT ofrece un camino práctico hacia un razonamiento de LLM más rentable en tiempo de inferencia sin requerir entrenamiento adicional. Al invertir el orden de pensamiento-respuesta y utilizar incrustaciones continuas como verificadores contrastivos, CopT equilibra con éxito el compromiso entre precisión, eficiencia y transparencia del razonamiento. Los autores enfatizan que este enfoque evita las trampas de la generación continua directa (como la desdiversificación y el ruido) mientras aprovecha la información de incertidumbre inherente a los espacios continuos para tomar decisiones más inteligentes sobre cuándo pensar y cuándo detenerse. El método se presenta como un marco generalizable aplicable a diversas arquitecturas de modelos y dominios de razonamiento.