💬 NLP

Parallel Test-Time Scaling for Latent Reasoning Models

Este trabajo habilita la escalabilidad paralela en tiempo de prueba para modelos de razonamiento latente al introducir estrategias estocásticas de muestreo basadas en incertidumbre y un modelo de recompensa latente para la agregación de trayectorias, demostrando así que el razonamiento en espacios vectoriales continuos puede beneficiarse de métodos de inferencia escalables.

Autores originales: Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

Publicado 2026-04-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que este paper es como un manual de instrucciones para enseñarle a un genio muy inteligente (pero que piensa en silencio) cómo pensar mejor cuando tiene una pregunta difícil.

Aquí tienes la explicación en español, usando analogías sencillas:

🧠 El Problema: El Genio Silencioso

Imagina que tienes un genio (un modelo de Inteligencia Artificial) que es increíblemente bueno resolviendo problemas de matemáticas.

La forma antigua (CoT): Antes, para resolver un problema, el genio tenía que "hablar en voz alta" paso a paso, escribiendo cada pensamiento en un papel (tokens). Esto era lento y gastaba mucha tinta (computación).
La forma nueva (Razonamiento Latente): Ahora, este genio ha aprendido a pensar en su propia "mente" (en un espacio de vectores continuos). No escribe nada; simplemente tiene un "flash" de comprensión interna. Es mucho más rápido y eficiente.

Pero hay un problema: Cuando el genio piensa en silencio, es como si pensara en una sola dirección. Si su primer pensamiento es un poco equivocado, no tiene forma de "probar" otras ideas porque no hay "palabras" para elegir entre ellas. En el mundo de las palabras, puedes pedirle al genio que escriba 10 soluciones diferentes y elijas la mejor. En el mundo del pensamiento silencioso, ¡no sabías cómo pedirle que escribiera 10 cosas diferentes!

💡 La Solución: "Estirar" el Tiempo de Pensamiento

Los autores de este paper dicen: "¡Espera! Si podemos pedirle al genio que piense 10 veces en voz alta, ¿por qué no podemos pedirle que piense 10 veces en silencio?".

Para lograrlo, necesitan dos cosas:

Cómo hacer que piense de formas diferentes (Muestreo).
Cómo saber cuál de esos pensamientos es el mejor (Agregación).

1. Cómo hacer que piense de formas diferentes (Muestreo Estocástico)

Como el genio no tiene un "dado" para lanzar y decidir qué palabra decir, los autores le dieron dos tipos de "ruido" o "caos controlado" para que sus pensamientos varíen:

Opción A: El "Dropout" (La técnica del paraguas roto).
Imagina que el genio tiene una red de neuronas muy organizada. La técnica MC-Dropout es como pedirle que cierre los ojos y olvide aleatoriamente algunas de sus conexiones neuronales cada vez que piensa.
- Analogía: Es como si un chef tuviera que cocinar el mismo plato, pero cada vez que lo hace, olvida una especia diferente. El resultado es un plato ligeramente distinto cada vez. Esto ayuda al genio a explorar soluciones que no se le ocurrirían si pensara siempre igual (explora lo "desconocido").
Opción B: El "Ruido Gaussiano" (El temblor de tierra).
La técnica AGN es como darle un pequeño empujón aleatorio a sus pensamientos.
- Analogía: Imagina que el genio está dibujando una línea recta en el aire. El ruido es como un pequeño temblor de tierra que hace que la línea se desvíe un poco a la izquierda o a la derecha. Esto hace que explore un área más amplia alrededor de su idea original (explora lo "diverso").

El resultado: Ahora el genio puede generar 10, 20 o 64 versiones diferentes de su pensamiento silencioso, como si tuviera 64 gemelos pensando al mismo tiempo.

2. Cómo elegir la mejor idea (El Juez: LatentRM)

Ahora que tenemos 64 pensamientos diferentes, ¿cómo sabemos cuál es el correcto? En el mundo de las palabras, podríamos leer las respuestas. Pero aquí los pensamientos son vectores invisibles (números abstractos). No podemos "leerlos".

La Solución: Crearon un Juez Especial (LatentRM).
- Analogía: Imagina que tienes 64 arquitectos diseñando un puente en silencio. No puedes ver los planos, pero tienes un Inspector de Puentes entrenado. Este inspector no necesita ver el puente terminado; puede mirar el primer trazo de un arquitecto y decir: "Ese trazo parece prometedor" o "Ese trazo va a colapsar".
- Este "Juez" aprende a calificar cada paso del pensamiento silencioso. Si un pensamiento lleva a una buena solución, el Juez le da puntos. Si lleva a un callejón sin salida, le baja puntos.

Con este Juez, el sistema puede hacer dos cosas:

Best-of-N: Generar 64 pensamientos, el Juez elige el mejor y listo.
Búsqueda en Haz (Beam Search): El Juez guía al genio en tiempo real, diciéndole: "Oye, esa rama de pensamiento es mala, déjala y sigue por esta otra".

🚀 ¿Qué lograron?

Los experimentos mostraron que:

Más intentos = Mejor resultado: Si le das más tiempo de computación (más "gemelos" pensando), el genio resuelve más problemas difíciles.
Diferentes estilos: El "Dropout" (olvidar conexiones) es mejor para problemas muy difíciles donde hay que salirse de la caja. El "Ruido" (temblor) es bueno para mantener la diversidad sin perder el rumbo.
El Juez es clave: Sin el Juez (LatentRM), elegir al azar no funciona tan bien. El Juez aprende a distinguir qué pensamientos son buenos antes de que se termine el problema.

En resumen

Este paper es como enseñarle a un genio silencioso a pensar en paralelo (como tener un ejército de gemelos) y a tener un juez experto que elige la mejor idea de ese ejército. Esto permite que las Inteligencias Artificiales resuelvan problemas mucho más difíciles sin tener que escribir todo el proceso en papel, ahorrando tiempo y energía.

¡Es como pasar de tener un solo cerebro pensando en silencio, a tener una sala llena de cerebros trabajando juntos y un supervisor que elige al ganador! 🏆🧠✨

1. El Problema: La Brecha en el Escalamiento de Test-Time

Las Grandes Modelos de Lenguaje (LLMs) han demostrado que aumentar la capacidad de cómputo durante la inferencia (Test-Time Scaling o TTS) mejora significativamente su razonamiento. En los modelos tradicionales basados en tokens, esto se logra mediante el razonamiento explícito (Chain-of-Thought o CoT), donde se generan múltiples cadenas de pensamiento en paralelo y se agregan mediante votación o búsqueda (ej. Best-of-N).

Sin embargo, los modelos de razonamiento latente (que operan en espacios vectoriales continuos en lugar de generar tokens de texto paso a paso) presentan dos desafíos fundamentales que impiden aplicar TTS paralelo:

Falta de Mecanismo de Muestreo: Los modelos latentes no generan logits sobre un vocabulario discreto, por lo que carecen de una distribución de probabilidad natural para muestrear múltiples trayectorias de pensamiento (como se hace con top-k o nucleus sampling en modelos tokenizados).
Falta de Señales Probabilísticas para Agregación: En el espacio de tokens, se pueden usar log-likelihoods para puntuar y seleccionar las mejores trayectorias. En el espacio latente continuo, no existen probabilidades inherentes ni puntuaciones paso a paso, lo que dificulta evaluar qué camino de razonamiento es más prometedor.

2. Metodología Propuesta

Los autores proponen un marco de trabajo que habilita el escalamiento paralelo en modelos latentes mediante dos componentes clave: Muestreo Estocástico y Agregación de Trayectorias.

A. Muestreo Estocástico en Espacio Latente

Para generar múltiples trayectorias de razonamiento divergentes sin alterar la arquitectura del modelo, se introducen dos estrategias inspiradas en la teoría de estimación de incertidumbre:

Dropout de Monte Carlo (MC-Dropout):
- Objetivo: Capturar la incertidumbre epistémica (incertidumbre derivada de la falta de conocimiento del modelo).
- Mecanismo: Se mantiene el dropout activo durante la inferencia. En cada paso de generación, se muestrea una máscara binaria aleatoria sobre los pesos del modelo, creando diferentes configuraciones de sub-redes para cada trayectoria.
- Efecto: Promueve una expansión estructurada y dirigida hacia soluciones no convencionales.
Ruido Gaussiano Aditivo (AGN):
- Objetivo: Simular la incertidumbre aleatoria (ruido inherente a los datos o entrada).
- Mecanismo: Se añade ruido gaussiano isotrópico ( $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$ ) directamente a los vectores latentes (pensamientos) en cada paso de razonamiento antes de la siguiente predicción.
- Efecto: Genera una exploración amplia e isótropa alrededor del centro determinista, enriqueciendo la diversidad.

B. Agregación de Trayectorias Latentes (LatentRM)

Dado que no hay log-likelihoods para puntuar las trayectorias, los autores diseñan un Modelo de Recompensa Latente (LatentRM):

Arquitectura: Una cabeza de puntuación adicional entrenada sobre el modelo de razonamiento latente que mapea el estado oculto (y el historial de pensamientos) a un escalar.
Objetivo de Entrenamiento: Se utiliza un objetivo contrastivo paso a paso. En lugar de entrenar con etiquetas binarias aisladas, el modelo aprende a discriminar entre $N$ candidatos en cada paso de razonamiento, asignando probabilidades relativas mediante softmax.
Funcionamiento en Inferencia: LatentRM evalúa cada trayectoria candidata sumando las puntuaciones acumuladas ( $\sum r_t$ ) a lo largo de la secuencia. Esto permite estrategias de agregación como Best-of-N (seleccionar la trayectoria con mayor recompensa acumulada) o Beam Search guiado.

3. Contribuciones Clave

Primera extensión de TTS paralelo a modelos latentes: Logran transferir la capacidad de escalar cómputo en tiempo de prueba, previamente exclusiva del razonamiento basado en tokens, al dominio de razonamiento continuo.
Estrategias de Muestreo Fundamentadas: Introducen MC-Dropout y AGN como mecanismos complementarios para inyectar estocasticidad controlada en espacios latentes, resolviendo la falta de mecanismos de muestreo nativos.
LatentRM: Un modelo de recompensa especializado entrenado con supervisión contrastiva paso a paso, que permite la agregación efectiva de trayectorias latentes sin necesidad de decodificación intermedia a texto.

4. Resultados Experimentales

Los experimentos se realizaron en benchmarks de razonamiento matemático (GSM8K, GSM8K-Hard, MultiArith) utilizando diversos modelos base (COCONUT, CODI, CoLaR, Latent-SFT, RoT).

Escalabilidad: Tanto MC-Dropout como AGN muestran una mejora monótona en la cobertura de problemas a medida que aumenta el número de muestras ( $N$ ). MC-Dropout tiende a ofrecer una cobertura ligeramente superior en la mayoría de los casos.
Dinámicas de Exploración:
- MC-Dropout: Muestra una diversidad más estable a lo largo de los pasos, adaptándose a la incertidumbre del modelo. Es más efectivo en problemas difíciles donde se necesita explorar regiones lejanas del espacio latente.
- AGN: Mantiene mejor la calidad de la solución incluso con alta estocasticidad, siendo más robusto en problemas fáciles donde la solución óptima está cerca del punto determinista.
Efectividad de la Agregación: LatentRM supera consistentemente a la votación mayoritaria (un baseline no paramétrico). La estrategia Best-of-N guiada por LatentRM logra las mejores ganancias, demostrando que el modelo puede distinguir trayectorias prometedoras.
Generalización: El marco funciona bien en modelos de mayor escala (hasta 4B parámetros) y en tareas complejas como MATH500.
Eficiencia: El razonamiento latente con TTS logra un equilibrio superior entre precisión y costo computacional en comparación con el CoT explícito, requiriendo menos pasos de decodificación para alcanzar resultados similares.

5. Significado e Impacto

Este trabajo es fundamental porque cierra la brecha teórica y práctica entre el razonamiento explícito (tokens) y el latente (vectores continuos).

Nueva Dirección de Investigación: Abre un camino para la inferencia escalable en espacios continuos, demostrando que el razonamiento "silencioso" (sin verbalización) puede beneficiarse de la exploración paralela.
Eficiencia Computacional: Ofrece una vía para mejorar la capacidad de razonamiento de los LLMs sin necesidad de reentrenar los parámetros del modelo, simplemente optimizando el proceso de inferencia.
Comprensión del Espacio Latente: Las visualizaciones (t-SNE) revelan cómo diferentes tipos de ruido (epistémico vs. aleatorio) deforman el paisaje de razonamiento, proporcionando insights sobre cómo los modelos "piensan" internamente.

En resumen, el artículo demuestra que el razonamiento latente no es solo una alternativa eficiente al CoT explícito, sino que, con las herramientas adecuadas de muestreo y agregación, puede escalar su rendimiento de manera robusta, ofreciendo un futuro prometedor para modelos de razonamiento más compactos y eficientes.