🤖 machine learning

LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning

El artículo propone LaDi-RL, un marco de aprendizaje por refuerzo que utiliza modelos de difusión latente para generar trayectorias de razonamiento estructuradas y emplea despliegues jerárquicos latente-texto para desacoplar la calidad de la planificación latente de los errores de decodificación de texto, evitando así el colapso de la entropía y superando significativamente al RL tradicional a nivel de token en tareas de razonamiento sobre código y matemáticas.

Autores originales: Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Yi-An Ma, Lianhui Qin

Publicado 2026-05-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Yi-An Ma, Lianhui Qin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un estudiante muy inteligente pero ligeramente terco (un Modelo de Lenguaje Grande) cómo resolver rompecabezas complejos, como escribir código informático o resolver problemas matemáticos avanzados.

Durante mucho tiempo, la mejor manera de enseñar a este estudiante ha sido el Aprendizaje por Refuerzo (RL). Piensa en esto como un juego donde el estudiante intenta resolver un problema, y si lo hace bien, recibe una estrella dorada. Si lo hace mal, recibe un "inténtalo de nuevo".

Sin embargo, la antigua forma de enseñar tiene un gran defecto. Obliga al estudiante a pensar una palabra a la vez. Es como pedirle a un chef maestro que planifique un banquete completo decidiendo solo el siguiente ingrediente que cortar.

El Problema: El estudiante se queda atrapado enfocándose en detalles minúsculos (como usar la palabra "por lo tanto" en lugar de "así que") y olvida el panorama general. Empieza a repetir las mismas pocas estrategias una y otra vez, ignorando otras formas inteligentes de resolver el problema. En el artículo, llaman a esto "Colapso de Entropía". Es como un estudiante que solo aprende a resolver un problema matemático sumando números, incluso cuando restar o multiplicar sería más rápido. Eventualmente, deja de intentar cosas nuevas y su creatividad muere.

La Nueva Idea: LaDi-RL (El Estudiante que "Sueña")

Los autores de este artículo, LaDi-RL, proponen una forma diferente de enseñar al estudiante. En lugar de obligarlo a decidir palabra por palabra, le permiten "soñar" toda la solución primero en un espacio oculto y abstracto, y luego simplemente escribirla.

Así es como funciona, usando una analogía simple:

1. El "Plano" vs. La "Casa"

Antigua Forma (Nivel de Token): El estudiante construye una casa ladrillo a ladrillo, decidiendo el color de cada ladrillo individual a medida que avanza. Si comete un error al principio, toda la casa podría quedar torcida.
Nueva Forma (Difusión Latente): El estudiante primero dibuja un plano (una "trayectoria latente") en su mente. Este plano representa la lógica y la estrategia de la solución, no las palabras específicas.
- Piensa en este plano como una "nube de pensamiento". Es una representación continua y fluida de la idea.
- El estudiante utiliza una herramienta especial llamada Modelo de Difusión. Imagina esta herramienta como un escultor que comienza con un bloque de arcilla (ruido aleatorio) y va quitando lentamente el exceso hasta que emerge una estatua perfecta (la estrategia de solución). Esto permite al estudiante explorar muchos tipos diferentes de estrategias (por ejemplo, "probemos geometría" frente a "probemos álgebra") antes de comprometerse con palabras específicas.

2. El Problema del "Traductor"

Hay un truco. El "sueño" del estudiante (el plano) está en un idioma secreto que él entiende, pero la respuesta final debe escribirse en inglés claro (o código).

El Riesgo: A veces el estudiante tiene un plano brillante, pero el "traductor" (la parte que convierte el plano en texto) arruina la traducción. Si el estudiante recibe una mala calificación, ¿cómo sabemos si la idea era mala, o solo la traducción?
La Solución (Despliegues Jerárquicos): El artículo introduce una solución inteligente. En lugar de juzgar el plano basándose en una sola traducción, el estudiante genera múltiples traducciones para el mismo plano.
- Analogía: Imagina que un chef tiene una gran receta (el plano). En lugar de cocinarla una vez y juzgar el plato, la cocina cinco veces. Si cuatro de cada cinco platos están deliciosos, sabemos que la receta es buena, incluso si un plato se quemó por accidente. Esto le da al profesor una señal mucho más clara sobre si la estrategia del estudiante fue realmente inteligente.

3. Manteniendo la Fiesta Diversa

Para asegurarse de que el estudiante no se vuelva perezoso y se quede atascado en un solo plano, los autores añaden una "Fuerza de Repulsión".

Analogía: Imagina un grupo de exploradores tratando de encontrar un tesoro. Si todos siguen el mismo camino, podrían perder una cueva oculta. La "Fuerza de Repulsión" es como un suave empujón que dice: "¡Oye, estás demasiado cerca de tu amigo! ¡Ve a explorar una dirección diferente!".
Esto obliga al estudiante a generar planos que son estructuralmente diferentes entre sí, asegurando que exploren una amplia variedad de soluciones.

¿Qué Encontraron?

El artículo probó este nuevo método en dos desafíos difíciles: escribir código y resolver problemas matemáticos.

Mejor Precisión: El "Estudiante que Sueña" (LaDi-RL) resolvió correctamente significativamente más problemas a la primera intento en comparación con el antiguo estudiante "Ladrillo a Ladrillo".
- En programación, mejoraron la precisión en un 9.4%.
- En matemáticas, mejoraron en un 5.7%.
Más Creatividad: El antiguo estudiante eventualmente dejó de intentar cosas nuevas (Colapso de Entropía). El nuevo estudiante siguió encontrando soluciones diversas y creativas. Incluso cuando se le pidió generar 100 respuestas diferentes, las respuestas del nuevo estudiante fueron todas únicas y correctas, mientras que las respuestas del antiguo estudiante empezaron a parecerse entre sí y a empeorar.
Eficiencia: El nuevo estudiante no necesitó escribir miles de palabras de "pensar en voz alta" para obtener la respuesta. Comprimió su pensamiento en un "plano" corto y eficiente, ahorrando tiempo y potencia de cálculo.

La Conclusión

LaDi-RL cambia cómo la IA aprende a razonar. En lugar de obligar a la IA a pensar en pasos pequeños y rígidos (palabra por palabra), le permite explorar primero el paisaje de las ideas (usando un proceso de difusión) y luego traducir esas ideas en palabras. Esto evita que la IA se quede atascada en una rutina, mantiene sus soluciones diversas y la ayuda a resolver problemas más difíciles con mayor precisión.

Resumen Técnico: LaDi-RL

Enunciado del Problema

El aprendizaje por refuerzo (RL) se ha convertido en un paradigma dominante para potenciar las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM), particularmente mediante la optimización de trayectorias de razonamiento. Sin embargo, los métodos existentes optimizan predominantemente políticas sobre secuencias de tokens discretos. Este enfoque crea un desajuste fundamental: las decisiones críticas de razonamiento suelen ser semánticas, globales y a nivel de trayectoria, mientras que la optimización a nivel de token depende de perturbaciones locales.

Este desajuste conduce a un colapso de la diversidad, un fenómeno donde la política del modelo concentra la masa de probabilidad en un conjunto estrecho de patrones de razonamiento, suprimiendo estrategias alternativas. Aunque la exploración a nivel de token puede generar variantes léxicas (por ejemplo, reemplazar "por lo tanto" con "así"), le cuesta descubrir estrategias semánticamente distintas (por ejemplo, cambiar del razonamiento algebraico al geométrico). En consecuencia, los modelos ajustados con RL a menudo mejoran el pass@1 (precisión de una sola muestra), pero fallan en mantener o mejorar el rendimiento pass@k para valores grandes de $k$ , lo que indica una pérdida de trayectorias correctas diversas.

Además, trasladar la exploración a espacios latentes continuos introduce un desafío de asignación de crédito. En el RL en espacio latente, la política actúa en un espacio latente continuo, pero las recompensas solo se observan después de que la trayectoria latente se decodifica en texto. Una estrategia de despliegue ingenua entrelaza la calidad del razonamiento latente con la calidad de la decodificación textual. Una recompensa baja podría derivar de una trayectoria latente defectuosa o simplemente de una realización textual imperfecta de un latente sólido, creando una señal de aprendizaje ruidosa y engañosa.

Metodología: LaDi-RL

Los autores proponen Razonamiento por Difusión Latente con Aprendizaje por Refuerzo (LaDi-RL), un marco que reencuadra la exploración en el espacio latente continuo utilizando modelos de difusión para prevenir el colapso de la entropía.

1. Política de Difusión Latente

En lugar de generar tokens de razonamiento uno por uno, LaDi-RL codifica una trayectoria de razonamiento completa en un bloque latente continuo y compacto (por ejemplo, 64 tokens) utilizando un Codificador Automático Variacional (VAE). La política se parametriza como un modelo de difusión sobre estas representaciones de trayectoria.

Mecanismo: Comenzando desde ruido, la política desruido iterativamente hacia una trayectoria de razonamiento latente. Este proceso permite una exploración estructurada y un modelado de distribuciones expresivo, apoyando naturalmente estrategias de razonamiento multimodales.
Guía de Diversidad: Para prevenir aún más el colapso, los autores introducen un mecanismo de guía basado en repulsión. Durante el proceso de desruido, se aplica una fuerza repulsiva a las trayectorias latentes cercanas, fomentando que se separen en el espacio latente. Esto actúa como una regularización geométrica local, preservando explícitamente la diversidad sin depender únicamente de la entropía de la política.

2. Despliegues Jerárquicos Latente-Texto

Para abordar el desafío de asignación de crédito, LaDi-RL emplea una estrategia de despliegue jerárquica $N \times M$ :

Muestreo Latente ( $N$ ): Para una consulta dada, la política de difusión muestrea $N$ trayectorias de razonamiento latente distintas.
Decodificación de Texto ( $M$ ): Para cada trayectoria latente muestreada, la política de texto genera $M$ textos de respuesta candidatos.
Recompensa Marginalizada del Decodificador: Las recompensas de las $M$ completaciones de texto se agregan (promedian) para estimar la utilidad de la trayectoria latente subyacente. Esta estimación "marginalizada del decodificador" aísla la calidad del razonamiento latente de la estocasticidad de la decodificación de texto, proporcionando una señal de recompensa más limpia y de menor varianza para optimizar la política de difusión.

3. Optimización Conjunta

El marco optimiza dos políticas heterogéneas simultáneamente utilizando Optimización de Política Relativa de Grupo (GRPO):

Política Latente: Se optimiza utilizando la recompensa promedio de los $M$ textos asociados con cada bloque latente. El objetivo alienta al modelo de difusión a explorar modos de razonamiento diversos y de alta calidad.
Política de Texto: Se optimiza utilizando las diferencias relativas entre los $M$ textos generados desde el mismo bloque latente. Esto obliga a la política de texto a encontrar la realización textual óptima para una estrategia de razonamiento dada, desacoplando la exploración de nuevas estrategias.
Función de Pérdida: Una suma ponderada de las pérdidas latente y textual asegura que la política latente explore cadenas de pensamiento diversas mientras la política de texto permanece como un generador fiel y efectivo.

Resultados Clave

Los autores evaluaron LaDi-RL en benchmarks de generación de código y razonamiento matemático, comparándolo con líneas base de RL a nivel de token (por ejemplo, GRPO Vanilla, GRPO con ventajas de entropía) y otros métodos de razonamiento latente.

Mejoras de Rendimiento: LaDi-RL logró mejoras absolutas en pass@1 de +9.4% en generación de código y +5.7% en razonamiento matemático en comparación con las líneas base de RL a nivel de token.
Preservación de la Diversidad: A diferencia del GRPO vanilla, que exhibe un colapso de la diversidad (donde el pass@k cae por debajo del modelo base para valores grandes de $k$ ), LaDi-RL superó consistentemente el rendimiento pass@k del modelo base en todos los benchmarks. Por ejemplo, en AIME 2025, logró una mejora absoluta de +13.4 en pass@128.
Eficiencia: Al comprimir el razonamiento en un bloque latente (64 tokens) antes de la decodificación, LaDi-RL redujo significativamente el número de tokens generados (por ejemplo, de ~3,447 tokens en GRPO estándar a ~422 tokens en LaDi-RL para tareas de código), resultando en una reducción del 33% en el tiempo de inferencia de extremo a extremo.
Estudios de Ablación:
- Trayectoria vs. Nivel de Token: La exploración en el espacio de trayectorias latentes produjo una diversidad semántica significativamente mayor (0.52 frente a 0.18–0.22 para nivel de token) y un rendimiento más fuerte.
- Difusión vs. VAE: La política basada en difusión superó a un muestreador VAE de un solo paso, demostrando la importancia del desruido iterativo para aprender distribuciones complejas de razonamiento latente.
- Despliegues Jerárquicos: La estructura $N \times M$ fue crítica; aumentar $N$ (diversidad latente) impulsó la diversidad semántica, mientras que aumentar $M$ (promedio de texto) proporcionó señales de recompensa más limpias.

Significado y Afirmaciones

El artículo afirma que LaDi-RL proporciona una alternativa principista al RL a nivel de token para mejorar el razonamiento de los LLM. Su significado principal radica en:

Mitigar el Colapso de la Diversidad: Al desplazar la exploración de perturbaciones locales de tokens a la difusión global a nivel de trayectoria, el método mantiene un conjunto diverso de estrategias de solución, evitando que la política converja a mínimos locales subóptimos.
Resolver la Asignación de Crédito: El despliegue jerárquico y la estimación de recompensa marginalizada del decodificador desentrelazan eficazmente la calidad del razonamiento del ruido de decodificación, permitiendo una optimización estable de políticas latentes.
Eficiencia y Calidad: El enfoque logra un rendimiento de vanguardia tanto en precisión (pass@1) como en diversidad (pass@k), reduciendo significativamente la sobrecarga computacional mediante la compresión latente.

Los autores concluyen que la difusión latente ofrece un mecanismo robusto para la exploración estructurada, permitiendo a los modelos descubrir estrategias de razonamiento semánticamente distintas que los métodos a nivel de token pasan por alto, desbloqueando así límites de razonamiento más altos sin sacrificar la diversidad de soluciones.