Resumen Técnico: PLaT (Planning with Latent Thoughts)

1. Planteamiento del Problema

El razonamiento actual de Cadena de Pensamiento (Chain-of-Thought o CoT) en los Modelos de Lenguaje Extensos (LLMs) enfrenta dos cuellos de botella primarios:

1. Colapso de la Ruta de Razonamiento: El CoT estándar opera en espacios de tokens discretos. En cada paso de generación, el modelo debe seleccionar un único token del vocabulario, lo que efectivamente poda rutas de razonamiento válidas alternativas. Esto impide que el modelo mantenga una superposición de múltiples estrategias, lo que a menudo conduce a errores irrecuperables una vez que se elige un token subóptimo.
2. Ineficiencia Computacional: Generar secuencias largas de tokens textuales intermedios incurre en altos costos computacionales.

Los enfoques recientes de "razonamiento latente" intentan mitigar estos problemas realizando el razonamiento dentro de estados ocultos continuos. Sin embargo, los métodos existentes suelen funcionar como mapeos opacos de extremo a extremo que requieren un número predefinido y fijo de pasos latentes durante la inferencia. Carecen de la capacidad de determinar dinámicamente cuándo se completa el razonamiento y ofrecen una interpretabilidad limitada de los estados intermedios.

2. Metodología: Marco de Trabajo PLaT

Los autores proponen PLaT (Planning with Latent Thoughts), un marco que desacopla fundamentalmente el proceso de razonamiento (pensamiento) de la verbalización (lenguaje). La hipótesis central es que el razonamiento debe ocurrir como una trayectoria determinista en un espacio latente continuo, donde la generación de texto sirve únicamente como una proyección de baja dimensión cuando es necesario.

Arquitectura

PLaT consta de dos componentes distintos que interactúan a través de proyectores lineales:

• El Planificador (Planner): Opera de forma autorregresiva en un manifold continuo de alta dimensión. Evoluciona una secuencia de estados de planificación latentes ($\tilde{S}$) basada en la pregunta de entrada y los estados previos. A diferencia de los métodos anteriores que muestrean de distribuciones para la planificación, el Planificador genera vectores deterministas. Mantiene una densidad probabilística sobre múltiples posibilidades lógicas hasta que se requiere una decisión.
• El Decodificador (Decoder): Actúa como la interfaz con el mundo textual. Toma el estado latente agregado ($S_k$) y lo verbaliza en segmentos de texto ($y_k$). El Decodificador está entrenado para reconstruir los pasos de razonamiento de la verdad fundamental (ground-truth) a partir de los estados latentes.

Estrategia de Entrenamiento

1. Ajuste Fino Supervisado (SFT): Todo el pipeline se optimiza utilizando una pérdida de reconstrucción (Entropía Cruzada) entre el texto de la verdad fundamental y la predicción del modelo condicionada al estado latente. Para evitar que el modelo memorice mapeos punto a punto y para aprender la estructura del manifold, se inyecta ruido Gaussiano en los estados acumulados durante el entrenamiento. Se utiliza un mecanismo de Media Móvil Exponencial (EMA) para estabilizar la trayectoria de planificación mediante la agregación de información a través de micro-pasos.
2. Aprendizaje por Refuerzo (RL): Para refinar la política de búsqueda, los autores emplean la Optimización de Política Relativa de Grupo (GRPO). Crucialmente, los parámetros del Planificador se congelan para mantener la integridad estructural del manifold latente. La diversidad se introduce únicamente durante la fase de verbalización mediante la habilitación del muestreo de temperatura en el Decodificador. Esto permite al modelo explorar diferentes rutas de verbalización desde el mismo estado latente fijo, convergiendo en la que maximiza la probabilidad de una solución correcta.

Inferencia: Decodificación Perezosa (Lazy Decoding)

PLaT introduce un protocolo de inferencia eficiente llamado Decodificación Perezosa. Dado que el Planificador opera en el espacio latente, el modelo genera la trayectoria de estados sin generar texto completo.

• El sistema realiza una "sonda semántica" decodificando solo el primer token del texto potencial.
• Si el token no es un token de respuesta, el modelo lo descarta y procede al siguiente estado latente.
• Si el token indica una respuesta, el modelo pausa el razonamiento y decodifica completamente la respuesta final.
  Este enfoque omite la costosa generación token por token para todos los pasos intermedios, reduciendo significamente la latencia mientras retiene la capacidad de inspeccionar la cadena de razonamiento bajo demanda.

3. Resultados Clave

Los experimentos se realizaron en benchmarks matemáticos (GSM8k, GSM-HARD, SVAMP, MultiArith) utilizando un backbone GPT-2 (pequeño).

• Compromiso entre Precisión y Diversidad: PLaT exhibe un patrón de comportamiento distinto comparado con las líneas base (CoT-SFT, Coconut, CODI).
  • Precisión Greedy: PLaT generalmente logra una precisión greedy menor que las líneas base. El artículo atribuye esto a la pérdida de información inherente al mapear el razonamiento a un espacio latente comprimido y a las limitaciones de parámetros del backbone pequeño.
  • Pass@k (Diversidad): PLaT demuestra una capacidad de escalabilidad superior en la diversidad de razonamiento. En las métricas Pass@128, PLaT supera significativamente a las líneas base (por ejemplo, 74.2% frente a 66.7% de Coconut en GSM8k). Las curvas de diversidad de las líneas base tienden a aplanarse (saturarse) en valores de $k$ más altos, mientras que PLaT mantiene una pendiente ascendente más pronunciada, lo que indica que aprende un espacio de soluciones más amplio y robusto en lugar de sobreajustarse a una trayectoria estrecha.
• Eficiencia: PLaT logra una aceleración significativa sobre el CoT Explícito (reducción de aproximadamente el 56% en la latencia) al omitir la generación de tokens intermedios. Aunque es ligeramente más lento que el método opaco Coconut, PLaT ofrece una interpretabilidad que Coconut carece.
• Análisis del Estado Latente: El análisis de los factores de ramificación revela que PLaT mantiene un factor de ramificación más alto durante todo el proceso de razonamiento en comparación con CoT. Mientras que CoT poda agresivamente las rutas de forma temprana (colapsando a una única trayectoria), PLaT retiene un rango más amplio de rutas potenciales, y el número de ramas válidas eventualmente supera al de CoT en las etapas finales.

4. Contribuciones y Significado

El artículo reclama las siguientes contribuciones:

1. Reformulación del Razonamiento Latente: PLaT cambia el paradigma del emparejamiento de patrones implícito al planeamiento en un espacio latente continuo, desacoplando explícitamente el razonamiento de la verbalización.
2. Arquitectura Desacoplada: La introducción de una arquitectura de Planificador-Decodificador permite el razonamiento intermedio interpretable y la terminación dinámica de la inferencia, abordando la naturaleza de "caja negra" y las limitaciones de pasos fijos de los métodos latentes previos.
3. Descubrimiento de Compromisos Empíricos: El trabajo identifica un compromiso crítico entre la precisión greedy y el potencial de exploración. Argumenta que la capacidad de PLaT para aprender un manifold de soluciones amplio y explorable lo convierte en una base superior para algoritmos de búsqueda en tiempo de inferencia (por ejemplo, Árbol de Pensamientos o muestreo de rechazo), incluso si su precisión greedy independiente es menor.

Significado:
Los autores postulan que PLaT ofrece una base transparente y escalable para futuros sistemas de razonamiento "Sistema 2". Al tratar los estados latentes como trayectorias de planificación explorables en lugar de meros artefactos de compresión, PLaT desplaza el enfoque de memorizar "trazas de oro" hacia el aprendizaje de espacios de búsqueda generalizables. Este enfoque permite la terminación dinámica y proporciona un mecanismo para inspeccionar los pensamientos internos sin interrumpir el flujo de razonamiento continuo, allanando el camino para el escalado de inferencia avanzado y el aprendizaje por refuerzo basado en búsqueda.