💬 NLP

Masked Language Flow Models

Este artículo presenta los Modelos de Flujo de Lenguaje Enmascarado (MLFMs, por sus siglas en inglés), una arquitectura novedosa que combina la generación basada en flujo continuo con el enmascaramiento de tokens discretos para superar las limitaciones de los modelos existentes de Difusión y Flujo de Lenguaje Enmascarado, permitiendo así capacidades de razonamiento escalables, eficientes y de múltiples pasos para tareas de lenguaje descendentes.

Autores originales: Iskander Azangulov, Kianoosh Ashouritaklimi, Leo Zhang, Simon Vary, Patrick Rebeschini

Publicado 2026-06-29

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Iskander Azangulov, Kianoosh Ashouritaklimi, Leo Zhang, Simon Vary, Patrick Rebeschini

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando escribir una historia, pero tienes un bolígrafo mágico que puede rellenar las palabras que faltan. El papel presenta una nueva forma de usar este bolígrafo, llamada Modelos de Flujo de Lenguaje Enmascarado (MLFMs, por sus siglas en inglés), que intenta resolver un problema específico sobre cómo las computadoras escriben texto actualmente.

Aquí está el desglose utilizando analogías sencillas:

El Problema: El dilema de "Un paso" vs. "Paso a paso"

Para entender la nueva invención, primero debemos observar las dos formas antiguas de hacer las cosas:

La forma antigua (Modelos Autoregresivos): Imagina escribir una historia palabra por palabra, estrictamente de izquierda a derecha. Escribes "El gato", luego haces una pausa para pensar en la siguiente palabra, escribes "se", haces otra pausa, y así sucesivamente.
- El problema: Es lento. Si quieres escribir un libro largo, tienes que esperar a que cada palabra sea escrita antes de poder empezar con la siguiente.
La forma "Paralela" (Modelos de Difusión con Máscaras): Imagina que tienes una página en blanco y cubres cada palabra con una nota adhesiva (una "máscara"). La computadora intenta adivinar todas las palabras a la vez, quita las notas adhesivas y ve qué obtuvo. Si algunas palabras parecen incorrectas, vuelve a poner las notas adhesivas y lo intenta de nuevo.
- El problema: Esto es rápido porque adivina muchas palabras a la vez. Sin embargo, es como intentar adivinar una oración completa de un solo golpe sin ver el contexto. Si la oración requiere una lógica compleja (como un problema matemático), adivinar todo simultáneamente suele provocar errores porque la computadora ignora cómo las palabras dependen entre sí.
La forma de "Flujo Suave" (Modelos de Flujo de Lenguaje): Imagina que el texto no está hecho de palabras separadas, sino de un flujo continuo y suave de pintura. La computadora comienza con un cubo de ruido gris y, lentamente, hace que la pintura "fluya" hacia una imagen clara y nítida de la oración.
- El problema: Esto es muy eficiente y puede hacerse en uno o dos pasos. Pero es demasiado rígido. Obliga a la computadora a decidir sobre cada palabra al mismo tiempo exacto. Tiene dificultades con tareas que requieren "pensar en pasos", como resolver un problema matemático donde necesitas escribir el paso 1, revisarlo y luego usarlo para encontrar el paso 2.

La Solución: Modelos de Flujo de Lenguaje Enmascarado (MLFMs)

Los autores crearon un sistema híbrido que combina lo mejor de ambos mundos. Piensa en esto como un sitio de construcción inteligente.

La configuración: Tienes un edificio en construcción. Algunas partes están terminadas (palabras limpias) y otras partes están cubiertas por andamios (palabras enmascaradas).
La magia: En lugar de intentar construir todo el edificio a la vez (demasiado arriesgado) o colocar un ladrillo a la vez (demasiado lento), el MLFM utiliza un flujo continuo para rellenar los andamios.
El giro: A medida que la computadora rellena los andamios, revisa constantemente su trabajo. Si se siente muy segura de un ladrillo específico (una palabra), elimina inmediatamente el andamio y fija ese ladrillo en su lugar.
Por qué esto ayuda: Una vez que un ladrillo se fija, se convierte en una base sólida para la siguiente parte de la construcción. Esto permite que la computadora realice razonamientos complejos de múltiples pasos (como matemáticas o seguir instrucciones), porque puede "comprometerse" con un paso correcto y usarlo para guar la siguiente etapa, en lugar de esperar hasta el final para ver si tuvo sentido.

Cómo lo construyeron (La "Adaptación")

Construir un modelo nuevo desde cero es costoso y lento. Los autores encontraron un atajo ingenioso:

Tomaron un modelo existente y potente (un "Modelo de Difusión con Máscaras") que ya era bueno adivinando palabras.
Le dieron un "traductor" (un adaptador ligero) que le enseñó cómo hablar el lenguaje del "flujo continuo" en lugar de solo "palabras discretas".
Esto les permitió actualizar un motor viejo y potente en uno nuevo y más inteligente sin tener que reconstruir todo el motor desde cero.

El Nuevo "Sampler" (El equipo de construcción)

El artículo también introdujo una nueva forma para que la computadora "piense" mientras escribe, llamada Promoción de Tokens en Línea (Online Token Promotion).

Forma antigua: La computadora mantiene todos sus cálculos en una pila de "tal vez" hasta el último segundo, y luego elige las palabras finales.
Nueva forma: Tan pronto como la computadora está un 99% segura de una palabra, la mueve de la pila de "tal vez" a la pila de "terminado" inmediatamente.
El beneficio: Esto le da a la computadora una imagen más clara de la oración a medida que avanza, ayudándola a tomar mejores decisiones para las palabras restantes. Es como un chef que prueba una salsa, se da cuenta de que es perfecta e inmediatamente la añade a la olla para influir en el sabor de los siguientes ingredientes, en lugar de esperar hasta que el plato esté terminado para probarlo.

Los Resultados: ¿Funcionó?

El equipo probó este nuevo sistema en dos tareas difíciles:

Problemas matemáticos (GSM8K): Resolver problemas matemáticos de nivel de escuela primaria.
Seguimiento de instrucciones (MT-Bench): Responder preguntas complejas y seguir las instrucciones del usuario.

Los hallazgos:

Para seguir instrucciones y mantener una conversación, el nuevo modelo fue significativamente mejor que los modelos "paralelos" anteriores e incluso superó a modelos similares de tamaño que funcionan "una palabra a la vez".
Para matemáticas, aún no superó a los mejores modelos especializados en matemáticas, pero demostró algo enorme por primera vez: los modelos basados en flujo pueden escalarse para realizar tareas de razonamiento complejo. Antes de esto, la gente pensaba que los modelos de flujo solo eran buenos para la generación simple de un solo paso.

Resumen

El artículo presenta una nueva herramienta que permite a las computadoras escribir texto mezclando el "pensamiento continuo y suave" con la "lógica paso a paso". Permite que la computadora fije respuestas correctas a medida que avanza, lo que la hace mucho mejor para tareas complejas como seguir instrucciones o resolver problemas, todo esto siendo más rápida que los métodos tradicionales.

Resumen Técnico: Modelos de Flujo de Lenguaje Enmascarado (MLFMs)

Declaración del Problema

Los Modelos Autoregresivos (ARMs) dominan la generación de lenguaje pero sufren cuellos de botella en la inferencia secuencial, ya que cada token depende de todos los anteriores. Los Modelos de Difusión Enmascada (MDMs) ofrecen una alternativa de decodificación paralela mediante el desenmascaramiento iterativo de tokens; sin embargo, dependen de una transición inversa factorizada que asume la independencia condicional entre las posiciones enmascaradas. Esta aproximación se mantiene en el límite de pasos infinitesimales, pero se degrada significamente en regímenes de muestreo de pocos pasos, donde la generación paralela es más eficiente, lo que conduce a una calidad comprometida debido a que se ignoran las dependencias entre tokens.

Por el contrario, los Modelos de Flujo de Lenguaje (FLMs) operan en espacios de embeddings continuos, aprendiendo un flujo que transporta el ruido hacia secuencias limpias. Aunque los FLMs permiten una generación eficiente de un solo paso mediante la destilación del mapa de flujo, típicamente colapsan la generación en una única trayectoria. Esta estructura tiene dificultades con tareas que requieren razonamiento de múltiples pasos, ya que los FLF se ven obligados a decodificar todos los tokens simultáneamente en lugar de utilizar estados intermedios parcialmente completados como contexto para refinamientos posteriores.

Metodología: Modelos de Flujo de Lenguaje Enmascarado (MLFMs)

Los autores proponen los Modelos de Flujo de Lenguaje Enmascarado (MLFMs), un marco que integra el mecanismo de enmascaramiento de los MDMs en la dinámica de flujo continuo de los FLMs.

1. Marco de Trabajo e Interpolante Estocástica

Los MLFMs definen un proceso hacia adelante en el espacio euclidiano utilizando un puente de Brownian como interpolante estocástico. Este puente conecta:

Secuencias parcialmente enmascaradas: Representadas por embeddings limpios para los tokens no enmascarados y un embedding específico de [MASK] para los tokens enmascarados.
Secuencias limpias: Representadas por sus embeddings de tokens limpios.

Para una secuencia $X$ , en una probabilidad de enmascaramiento $s$ y un tiempo de ruidoado $t$ , el estado $z_{s,t}$ se construye de tal manera que:

Las posiciones no enmascaradas ( $U_s$ ) permanecen fijas en sus embeddings limpios $E X_\ell$ .
Las posiciones enmascaradas ( $M_s$ ) evolucionan a través de un puente de Brownian entre el embedding de [MASK] ( $m$ ) y el embedding limpio ( $E X_\ell$ ).

Este diseño permite que el modelo aprenda un flujo continuo acoplado para generar tokens limpios en las posiciones enmascaradas, manteniendo al mismo tiempo la estructura de condicionamiento de cualquier posición exacta de los MDMs.

2. Entrenamiento y Adaptación

Una contribución clave es la capacidad de preparar (warm-start) el entrenamiento de MLFM utilizando MDMs preentrenados.

Equivalencia Teórica: En el punto final $t=0$ , el interpolante estocástico de MLFM se reduce exactamente a la secuencia parcialmente enmascarada embebida utilizada en los MDMs. Por consiguiente, la pérdida de MLFM en $t=0$ coincide con la pérdida de MDM.
Estrategia de Adaptación: Los autores adaptan un transformador bidireccional preentrenado (de un MDM) mediante:
1. Mantener fija la capa de embedding de tokens.
2. Congelar los bloques del transformador y aumentarlos con AdaLN (para el condicionamiento en el tiempo continuo $t$ ) y adaptadores LoRA (para adaptarse a los embeddings corruptos continuos).
3. Adaptar la cabeza de salida con un adaptador LoRA.
  Este enfoque reduce significativamente los costos computacionales en comparación con el entrenamiento desde cero.

3. Estrategia de Muestreo: CCFG con Promoción de Tokens en Línea

Para abordar la limitación del razonamiento de múltiples pasos, los autores introducen un esquema de muestreo novedoso que combina dos mecanismos:

Guía de Clasificador Libre de Contexto Corrupto (CCFG): Una variante de la guía de clasificador libre donde el campo de velocidad de referencia se calcula corrompiendo los tokens de contexto (aplicando la marginal de corrupción hacia adelante a ellos), mientras que el campo guiado utiliza el contexto limpio. La diferencia aísla la contribución del contexto limpio a la dirección predicha.
Promoción de Tokens en Línea (OTP): Durante el muestreo, si la moda posterior para un token enmascarado alcanza un umbral de confianza ( $1-\epsilon$ ), el token es inmediatamente "promovido". Se fija a su embedding limpio y se trata como contexto observado para todos los pasos de eliminación de ruido subsiguientes. Esto permite al modelo aprovechar las predicciones de alta confianza como contexto inmediato, emulando el razonamiento iterativo.

Principales Contribuciones

Integración de Enmascaramiento y Flujo: Los MLFMs cierran la brecha entre el enmascaramiento discreto (MDMs) y los flujos continuos (FLMs) usando un puente de Brownian, permitiendo la generación condicional que soporta tanto la eficiencia paralela como el refinamiento iterativo.
Adaptación Eficiente: La demostración de que los MDMs preentrenados pueden convertirse en MLFMs mediante una adaptación ligera (LoRA/AdaLN), aprovechando la equivalencia del punto final en $t=0$ .
Nuevo Muestreador: La propuesta de CCFG combinada con la Promoción de Tokens en Línea, que convierte dinámicamente los estados latentes en contexto limpio, facilitando el razonamiento de múltiples pasos.
Escalabilidad a Tareas de Aplicación: El primer escalado exitoso de los modelos de lenguaje basados en flujo a tareas de razonamiento (matemáticas) y seguimiento de instrucciones.

Resultados Experimentales

Los autores evaluaron un MLFM de 1.028B de parámetros (adaptado de un SMDM preentrenado) en GSM8K (razonamiento matemático) y MT-Bench (seguimiento de instrucciones).

MT-Bench: El MLFM alcanzó una puntuación de primer turno de 2.27, superando significativamente al baseline SMDM (1.60) y a un baseline AR de tamaño similar (1.57). Notablemente, esto se logró con solo 128 pasos de muestreo (la mitad de los 256 de SMDM).
GSM8K: El MLFM alcanzó un 31.24% de precisión. Aunque queda por detrás del SMDM ajustado específicamente para la tarea (58.5%) y LLaMA-2 (58.6%), los autores atribuyen esto al protocolo de ajuste fino de mezcla de instrucciones más amplio utilizado para MLFM frente al protocolo específico de la tarea de los baselines.
Ablaciones: Los resultados confirmaron que tanto la CCFG como la Promoción de Tokens en Línea aumentan significamente el rendimiento. Escalas de guía más grandes y más pasos de muestreo generalmente mejoraron los resultados, con MLFM superando a los baselines en MT-Bench incluso con 16 pasos de muestreo.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera evidencia de que los modelos de lenguaje basados en flujo pueden escalarse para resolver tareas de razonamiento y seguimiento de instrucciones. Al combinar el potencial de generación paralela de los modelos de flujo con las capacidades de razonamiento iterativo de los modelos enmascarados, los MLFMs ofrecen una arquitectura flexible que soporta la generación compleja de múltiples pasos. El trabajo demuestra que los modelos de flujo no están limitados a la generación incondicional o a la simple destilación, sino que pueden adaptarse para aplicaciones condicionales prácticas de uso real mediante la adaptación de MDM con un entrenamiento eficiente.