💬 NLP

Unlocking Prompt Infilling Capability for Diffusion Language Models

Este artículo demuestra que la capacidad de relleno de prompts en los modelos de lenguaje de difusión enmascarada no es una limitación arquitectónica, sino un artefacto de las prácticas de entrenamiento actuales, y propone extender el enmascaramiento durante el ajuste fino para desbloquear esta funcionalidad, permitiendo que los modelos generen prompts enmascarados que igualan o superan a los diseñados manualmente.

Autores originales: Yoshinari Fujinuma, Keisuke Sakaguchi

Publicado 2026-04-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yoshinari Fujinuma, Keisuke Sakaguchi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que este paper es como una historia sobre un chef de cocina muy especial que tiene un superpoder, pero que nadie le había enseñado a usarlo correctamente.

Aquí tienes la explicación sencilla:

🍳 El Chef y el "Superpoder" Oculto

Imagina que los modelos de lenguaje actuales (como los que usas para chatear) son como chefs que solo saben cocinar de izquierda a derecha. Si les das una receta (la pregunta), ellos escriben el plato (la respuesta) paso a paso, sin poder mirar hacia atrás ni cambiar lo que ya escribieron.

Pero, los Modelos de Difusión (los protagonistas de este estudio) son chefs diferentes. Tienen un superpoder: pueden cocinar en todas direcciones a la vez. Pueden mirar el plato terminado y decir: "¡Oye, aquí falta sal!" o "¡Aquí sobró pimienta!", y arreglarlo instantáneamente. Es como si pudieran rellenar cualquier hueco en una receta, sin importar si está al principio, en el medio o al final.

🔒 El Problema: El Chef Entrenado Mal

El problema es que, hasta ahora, los entrenadores de estos chefs (los científicos que los programan) les enseñaban mal.

La forma antigua (Enmascaramiento solo de respuesta): Imagina que le das al chef una receta completa y perfecta, pero le pones una venda en los ojos solo para la parte de "cómo cocinar el plato". El chef aprende a arreglar el plato, pero nunca aprende a arreglar la receta en sí.
La consecuencia: Cuando intentas pedirle al chef que invente una mejor receta basándose en un ejemplo, se queda bloqueado. No sabe cómo hacerlo porque en sus clases de entrenamiento nunca le pidieron que cambiara las instrucciones, solo el resultado.

El estudio dice: "¡Espera! El chef tiene los ojos y las manos para hacerlo, pero nadie le ha dado la práctica necesaria".

🔓 La Solución: Entrenar con "Recetas Rotos"

Los autores de este paper decidieron cambiar la forma de entrenar al chef. En lugar de darle recetas perfectas, les dieron recetas con huecos vacíos (marcados como [MÁSCARA]) tanto en las instrucciones como en el plato final.

El nuevo entrenamiento (Enmascaramiento de secuencia completa): Ahora, el chef tiene que adivinar qué faltaba en las instrucciones basándose en el resultado final que ve.
El resultado: ¡Desbloquean el superpoder! El modelo ahora puede leer un ejemplo de un problema y su solución, y rellenar los huecos de una plantilla de instrucciones para crear la pregunta perfecta automáticamente.

🚀 ¿Para qué sirve esto en la vida real?

Imagina que quieres que un robot evalúe resúmenes de noticias. Normalmente, tienes que escribir manualmente una lista de reglas muy larga y compleja (el "prompt").

Con esta nueva técnica:

Le das al robot 3 ejemplos de noticias y cómo deberían ser evaluadas.
Le das una plantilla con huecos: "Evalúa este texto basándote en [HUECO] y da una puntuación de [HUECO]".
El robot, gracias a su nuevo entrenamiento, rellena los huecos con las mejores reglas posibles, aprendiendo de tus ejemplos.
¡Y listo! Ahora tienes una instrucción perfecta que el robot creó por sí mismo, sin que tú tengas que escribir una sola palabra de las reglas.

🌟 Las Analogías Clave

El Detective: Antes, el modelo era un detective que solo podía resolver el crimen (la respuesta) si la escena del crimen (la pregunta) estaba intacta. Ahora, con este nuevo entrenamiento, el detective puede reconstruir la escena del crimen basándose en las pistas del crimen resuelto.
El Puzzle: Imagina que tienes una caja de puzzle. Antes, te daban la imagen completa y solo te dejaban poner las piezas del borde. Ahora, te dan la imagen de las piezas sueltas y te dicen: "Arma la caja de instrucciones para que encajen". El modelo ahora sabe cómo armar la caja.
El Traductor: Es como si un traductor solo supiera traducir de Español a Inglés, pero nunca le hubieran enseñado a traducir de Inglés a Español. El paper les enseñó a traducir en ambas direcciones, permitiéndoles crear las mejores preguntas posibles.

💡 Conclusión Simple

El mensaje principal del estudio es: "No es que la tecnología sea mala, es que la forma en que la entrenábamos era limitada".

Al cambiar una sola cosa en el entrenamiento (dejar que el modelo practique rellenando las preguntas, no solo las respuestas), logramos que estos modelos sean mucho más inteligentes, capaces de crear sus propias instrucciones y funcionar mejor que los diseñados por humanos. Es como descubrir que tu coche podía volar, pero nadie le había enseñado a subir al aire.

Título: Desbloqueando la Capacidad de Relleno de Prompts para Modelos de Lenguaje de Difusión

1. El Problema: La Brecha entre Entrenamiento e Inferencia

Los Modelos de Lenguaje de Difusión (dLMs), como LLaDA y Dream, generan texto mediante un proceso de desruido bidireccional iterativo. A diferencia de los modelos autoregresivos (que generan de izquierda a derecha), los dLMs tienen la capacidad arquitectónica teórica de rellenar cualquier posición enmascarada en una secuencia, basándose en el contexto circundante (tanto a la izquierda como a la derecha).

Sin embargo, el artículo identifica que los dLMs actuales no pueden aprovechar esta capacidad para el "relleno de prompts" (prompt infilling). La razón no es arquitectónica, sino una limitación en las prácticas de Ajuste Fino Supervisado (SFT):

Práctica actual (Enmascaramiento solo de respuestas): Durante el SFT, solo se enmascaran y desruidan los tokens de la respuesta, mientras que el prompt permanece completamente visible y limpio.
Consecuencia: El modelo aprende a generar respuestas dadas instrucciones limpias, pero nunca recibe la señal de entrenamiento necesaria para inferir o rellenar partes de un prompt.
Resultado en la práctica: Cuando se intenta usar un dLM preentrenado para rellenar un prompt enmascarado (inferencia), el modelo falla catastróficamente, rellenando los espacios con tokens de fin de texto (EOS) o contenido sin sentido, degradando el rendimiento en lugar de mejorarlo.

2. Metodología: Enmascaramiento de Secuencia Completa

Para solucionar esta brecha, los autores proponen una modificación simple pero fundamental en el proceso de entrenamiento:

Enmascaramiento de Secuencia Completa (Full-Sequence Masking - FS): Durante el SFT, en lugar de proteger el prompt, se enmascara la secuencia completa $X = (P, R)$ , donde tanto el prompt ( $P$ ) como la respuesta ( $R$ ) son susceptibles de ser enmascarados aleatoriamente.
- Se muestrea una tasa de enmascaramiento $t$ y se seleccionan tokens aleatorios de toda la secuencia para enmascarar.
- Esto expone al modelo a patrones de corrupción diversos: solo prompt, solo respuesta, o ambos.
- Refinamiento Opcional (FS+RO): Después de la etapa de enmascaramiento completo, se puede aplicar una etapa adicional de enmascaramiento solo de respuestas para especializar el modelo en la generación estándar, preservando al mismo tiempo la capacidad de rellenado aprendida.
Protocolo de Inferencia (Relleno de Prompts):
1. Se proporciona una plantilla de prompt con regiones enmascaradas y ejemplos few-shot (pocos ejemplos) con sus respuestas de referencia.
2. El dLM utiliza su capacidad bidireccional para desruidar los tokens enmascarados del prompt, condicionados por las respuestas de referencia.
3. Se generan múltiples candidatos de prompts rellenados.
4. Se validan estos candidatos generando respuestas sobre los ejemplos few-shot y seleccionando el prompt que obtiene el mejor rendimiento.
5. Este prompt optimizado se fija y se utiliza para la inferencia en todos los datos de prueba.

3. Contribuciones Clave

Identificación de la Limitación: Demostraron que la incapacidad de los dLMs para rellenar prompts es un problema de entrenamiento (falta de señal de enmascaramiento de prompt), no una limitación arquitectónica.
Nueva Estrategia de Entrenamiento: Introdujeron el enmascaramiento de secuencia completa durante el SFT como el ingrediente clave para desbloquear esta capacidad.
Protocolo de Relleno de Prompts: Propusieron un método de inferencia donde el modelo genera sus propios prompts optimizados a partir de ejemplos few-shot, superando o igualando a los prompts diseñados manualmente.
Complementariedad: Demostraron que esta técnica es complementaria a los métodos existentes de optimización de prompts (como GEPA o COPRO), mejorando aún más los resultados cuando se combinan.

4. Resultados Experimentales

Los autores evaluaron sus métodos en modelos como LLaDA-8B y Dream-v0-7B en tareas de razonamiento (GSM8K) y evaluación de LLMs (SummEval, BigGen-Bench).

GSM8K (Razonamiento Matemático):
- Los checkpoints públicos (sin enmascaramiento de prompt) vieron caer su precisión de Exact Match (EM) al intentar rellenar prompts (ej. de 73.1% a 64.8%).
- Con Enmascaramiento de Secuencia Completa (FS), el modelo logró un rendimiento superior al aprendizaje en contexto (ICL) estándar, alcanzando un 76.4% de precisión con prompts mucho más cortos (315 tokens vs 3333 tokens del ICL).
SummEval y BigGen-Bench (Evaluación LLM-as-a-Judge):
- La correlación con juicios humanos (Spearman) mejoró drásticamente.
- El checkpoint público tuvo una correlación casi nula (.087) al intentar rellenar prompts.
- Con FS+RO, la correlación subió a .535, superando a los prompts diseñados manualmente.
- El modelo aprendió a inferir rúbricas de puntuación no uniformes (ej. puntuaciones flotantes como 1.2, 4.8) basadas en los ejemplos, lo cual mejoró la alineación con juicios humanos.
Transferencia de Prompts:
- Los prompts generados por un modelo entrenado con FS+RO se transfirieron exitosamente a otros modelos (incluyendo checkpoints públicos y modelos con diferentes estrategias de entrenamiento), mejorando su rendimiento.
Perplejidad de Difusión:
- Los modelos entrenados con FS mostraron una perplejidad significativamente menor en prompts de evaluación, indicando un mejor ajuste a la distribución de datos cuando se permite el desruido bidireccional completo.

5. Significado e Implicaciones

Cambio de Paradigma en el Entrenamiento: El trabajo demuestra que muchas capacidades que asumimos requieren innovaciones arquitectónicas complejas pueden resolverse simplemente cambiando las señales de entrenamiento. La arquitectura bidireccional ya existía; solo faltaba el entrenamiento adecuado.
Automatización de Prompts: Permite que los modelos de difusión generen sus propias instrucciones optimizadas a partir de pocos ejemplos, reduciendo la dependencia de la ingeniería de prompts manual y costosa.
Eficiencia: Los prompts generados por infilling son más compactos y eficientes que los largos contextos de few-shot tradicionales, reduciendo costos de inferencia.
Seguridad: Los autores reconocen un riesgo potencial de "fuga de prompts" (prompt leakage), donde actores maliciosos podrían intentar extraer prompts propietarios observando las salidas del modelo, sugiriendo la necesidad de futuras defensas.

En resumen, el artículo establece que el enmascaramiento de secuencia completa es esencial para liberar el potencial bidireccional de los modelos de difusión, transformándolos de meros generadores de respuestas a sistemas capaces de optimizar y adaptar sus propias instrucciones de entrada.