Resumen Técnico: Cuándo Pensar, Cuándo Hablar: Aprendizaje de Políticas de Divulgación para el Razonamiento de LLM

Formulación del Problema

Los actuales Modelos de Lenguaje Grandes (LLM) autorregresivos de flujo único enfrentan una limitación estructural: el acoplamiento de las actualizaciones del estado interno con la divulgación pública. En las interfaces estándar, cada token generado actualiza simultáneamente el estado oculto del modelo y se convierte en un compromiso público irreversible. Esto crea un "impuesto al silencio" donde los usuarios deben esperar a que todo el proceso de razonamiento finalice antes de ver contenido relevante para la tarea, o, por el contrario, arriesgan "compromisos prematuros" si el modelo transmite contenido temprano, potencialmente sesgando las generaciones posteriores con afirmaciones sin respaldo.

Aunque la instrucción de Cadena de Pensamiento (CoT) mejora la precisión al elicitar razonamientos intermedios, exacerba esta tensión al manifestar la deliberación como largos preámbulos visibles para el usuario. Las soluciones existentes dependen de plantillas o heurísticas fijas para la divulgación o incentivan una salida más temprana de maneras que fomentan relleno de baja información. El problema central abordado es cómo hacer que el momento de la divulgación sea una variable de decisión aprendible dentro de la decodificación autorregresiva estándar, asegurando que el texto visible temprano esté estrictamente respaldado por el razonamiento producido hasta ese punto.

Metodología: Razonamiento Entrelazado Lado a Lado (SxS)

Los autores proponen Razonamiento Entrelazado Lado a Lado (SxS), un marco que trata la visibilidad como un atributo controlable dentro de un único flujo de tokens. El modelo elige entre dos acciones en cada paso:

1. Pensar (R): Deliberación privada (no divulgada).
2. Hablar (A): Divulgación dirigida al usuario.

Ambas acciones ocurren dentro del mismo contexto autorregresivo; los tokens "Hablar" forman un prefijo de la respuesta final que el modelo elige revelar antes, mientras que los tokens "Pensar" permiten un refinamiento privado continuo sin contradecir los compromisos anteriores.

Pipeline de Entrenamiento

El enfoque emplea un proceso de entrenamiento en dos etapas para aprender el ritmo sin incentivar el relleno:

1. Ajuste Fino Supervisado (SFT) Alineado con la Entailment:

   • Construcción de Datos: Las triples $(x, r, a)$ estándar (entrada, razonamiento, respuesta) se transforman en trayectorias entrelazadas.
   • Alineación: Un verificador de entailment (implementado mediante un LLM grande) determina el prefijo de respuesta más grande respaldado por un prefijo de razonamiento dado.
   • Entrelazado: El modelo se entrena para emitir bloques de respuesta solo cuando avanza el límite de entailment. Esto asegura que la divulgación "temprana" sea sinónimo de divulgación "respaldada".
   • Razonamiento Final: Si la respuesta completa está respaldada antes de que termine la secuencia de razonamiento, el razonamiento restante se adjunta como un bloque final para preservar comportamientos posteriores a la solución (por ejemplo, autoverificaciones).

2. Aprendizaje por Refuerzo (RL):

   • Objetivo: El SFT enseña la semántica de doble acción, pero el formato entrelazado induce un desplazamiento de distribución que puede degradar la precisión en la tarea final. El RL se utiliza para recuperar el rendimiento de razonamiento bajo el nuevo formato.
   • Algoritmo: Se utiliza la Optimización de Política Relativa de Grupo (GRPO) con una recompensa basada únicamente en el resultado (corrección de la respuesta final).
   • Control de Granularidad: Los autores exploran un mecanismo opcional de conformación de recompensas utilizando un programa cuadrático para fomentar bloques de razonamiento más cortos (mayor granularidad) mientras se preserva estrictamente la señal de corrección (separando las trayectorias correctas de las incorrectas).

Contribuciones Clave

1. Divulgación como Control: El artículo formaliza el momento de la divulgación como un problema de decisión secuencial (pensar vs. hablar) dentro de la decodificación autorregresiva estándar, convirtiendo la visibilidad en un atributo controlable sin requerir cambios arquitectónicos o modelos separados.
2. Divulgación Temprana Justificada: Al construir trayectorias entrelazadas alineadas con la entailment, el método asegura que las divulgaciones tempranas sean seguras para mostrar, evitando compromisos prematuros y relleno.
3. Aprendizaje de Compensaciones de Pareto: La combinación de SFT y RL demuestra mejoras en las compensaciones precisión-latencia a través de diferentes arquitecturas de modelos (MoE frente a densos), escalas y dominios.

Resultados Experimentales

Los autores evaluaron SxS en dos arquitecturas Qwen3 (MoE Qwen3-30B-A3B y densa Qwen3-4B) en benchmarks dentro del dominio (AIME25) y fuera del dominio (GPQA-Diamond, LiveCodeBench, KOR-Bench).

• Rompiendo el Impuesto al Silencio: SxS reduce significativamente la Espera Promedio entre Respuestas (AIRW), un proxy a nivel de token para el tiempo de espera del usuario. Por ejemplo, en Qwen3-4B, la AIRW disminuyó de ~21,316 tokens (CoT Estándar) a ~8,519 tokens (SxS), lo que indica divulgaciones parciales más frecuentes.
• Recuperación de Precisión: El SFT inicialmente causa una caída en la precisión (por ejemplo, Qwen3-30B-A3B bajó del 76,9% al 50,8% tras el SFT) debido al desplazamiento de distribución. Sin embargo, la etapa posterior de RL recupera con éxito la precisión (restaurándola al 79,2%) manteniendo la estructura entrelazada.
• Robustez Fuera del Dominio: SxS mitiga el olvido catastrófico en tareas fuera del dominio. En GPQA-Diamond, el CoT Estándar tras un RL enfocado en matemáticas vio una caída significativa (por ejemplo, Qwen3-4B del 55,9% al 19,0%), mientras que SxS mantuvo una precisión sustancialmente mayor (49,3%).
• Estabilidad de Granularidad: El comportamiento entrelazado permanece robusto incluso bajo RL basado únicamente en resultados. Aunque el RL tiende a reducir ligeramente la frecuencia de entrelazado, no colapsa de nuevo a un único bloque monolítico de razonamiento. La granularidad puede controlarse activamente mediante conformación de recompensas si se desea.

Significado y Afirmaciones

El artículo posiciona el ritmo de la respuesta como una dimensión de control práctica y poco explorada para los modelos de razonamiento. Los autores afirman que SxS mejora la compensación de Pareto precisión-contenido-latencia sin modificaciones arquitectónicas. Al hacer que la divulgación sea una política de compromiso aprendida vinculada a una condición de soporte concreta (entailment), el método permite que los modelos revelen progreso parcial antes mientras mantienen la fiabilidad.

Los hallazgos sugieren que la compensación percibida entre deliberación y capacidad de respuesta está en gran medida moldeada por la convención de divulgación de flujo único. SxS demuestra que el ritmo puede aprenderse como una política de comportamiento estable en lugar de imponerse mediante heurísticas, habilitando una "interacción en cualquier momento" donde el modelo divulga progreso parcial justificado temprano y continúa la deliberación en privado. Los autores señalan que, aunque las ganancias absolutas de precisión a veces son modestas, la reducción consistente en el retraso entre actualizaciones visibles significativas representa una mejora importante en la capacidad de respuesta percibida por el usuario.