Resumen Técnico: Compresión de Prompts en Modelos de Lenguaje Grandes de Difusión

Declaración del Problema

La compresión de prompts es una técnica establecida para reducir los costos de inferencia y las longitudes de contexto en Modelos de Lenguaje Grandes (LLM), evaluada principalmente dentro de arquitecturas autoregresivas (AR). Sin embargo, la eficacia de estos métodos de compresión cuando se aplican a Modelos de Lenguaje Grandes de Difusión (DLLM) permanece en gran medida inexplorada. A diferencia de los modelos AR que generan texto secuencialmente mediante la predicción del siguiente token, los DLLM utilizan un proceso de eliminación de ruido bidireccional sobre tokens enmascarados. Esta diferencia arquitectónica plantea una pregunta crítica: ¿preservan los heurísticos de compresión diseñados para modelos autoregresivos (que priorizan la condicionamiento secuencial) el comportamiento aguas abajo en los modelos de difusión, los cuales dependen de la información del prompt durante todo el proceso iterativo de eliminación de ruido inverso? Específicamente, los tokens descartados por la compresión centrada en AR podrían codificar entidades, valores numéricos o estructuras discursivas esenciales para estabilizar la trayectoria de eliminación de ruido en los DLLM.

Metodología

Este estudio investiga la transferibilidad de la compresión de prompts a los DLLM utilizando LLMLingua-2 como marco de compresión y LLaDA (un DLLM de 8 mil millones de parámetros para seguimiento de instrucciones) como modelo objetivo. El diseño experimental aísla el efecto de la compresión manteniendo configuraciones de decodificación idénticas en todos los ensayos.

Pipeline Experimental:

1. Conjuntos de Datos: Se seleccionaron tres conjuntos de datos para cubrir estructuras de tareas distintas:
   • GSM8K: Para razonamiento matemático y reconstrucción de prompts.
   • DUC2004: Para resumen de estilo noticioso formal.
   • ShareGPT: Para resumen conversacional.
   • Tamaño de la muestra: 250 prompts por conjunto de datos.
2. Compresión: Los prompts se comprimieron utilizando LLMLingua-2 con una relación de compresión aproximada de 2× (reteniendo ~50% de los tokens).
3. Condiciones de Evaluación: El estudio comparó cuatro configuraciones de comportamiento:
   • Prompt Original: $r_{orig} = \text{LLaDA}(p_{orig})$
   • Prompt Comprimido: $r_{comp} = \text{LLaDA}(p_{comp})$
   • Prompt Reconstruido: El prompt comprimido se introdujo nuevamente en LLaDA para reconstruir el prompt original ($\hat{p}_{orig}$), el cual fue reevaluado para el razonamiento aguas abajo ($\hat{r} = \text{LLaDA}(\hat{p}_{orig})$).
4. Métricas:
   • Razonamiento Matemático: Precisión de coincidencia exacta frente a la verdad fundamental y consistencia entre las respuestas originales/comprimidas.
   • Reconstrucción y Resumen: BLEU, ROUGE (1, 2, L) y BERTScore (Precisión, Recuperación, F1).
   • Hiperparámetros: 128 pasos de eliminación de ruido, longitud máxima 128, temperatura 0.0, guía libre de clasificador 0.0.

Contribuciones Clave

1. Primera Evaluación de Compresión AR en DLLM: Este trabajo proporciona la primera evaluación empírica de si los métodos de compresión de prompts (específicamente LLMLingua-2) se transfieren efectivamente de arquitecturas autoregresivas a de difusión.
2. Desacoplamiento de la Preservación Semántica y la Estabilidad Conductual: El estudio distingue entre la similitud semántica (medida por BERTScore) y el rendimiento de la tarea aguas abajo. Demuestra que una alta similitud semántica no garantiza un razonamiento o generación estables en los DLLM.
3. Análisis de Sensibilidad Específico de la Tarea: La investigación identifica que el razonamiento matemático es significativamente más sensible a la pérdida de información inducida por la compresión que las tareas de resumen o reconstrucción, a pesar de puntuaciones de similitud semántica similares.
4. Diagnóstico de Modos de Fallo: Al analizar la precisión de BERTScore frente a la recuperación, el estudio identifica que los fallos de compresión en los DLLM son impulsados principalmente por la omisión de información en lugar de la deriva semántica.

Resultados

1. Diferencias Arquitectónicas en la Transferencia de Compresión

Las comparaciones entre modelos autoregresivos y LLaDA (DLLM) revelan comportamientos divergentes:

• Reconstrucción (GSM8K): Los modelos AR superaron a los DLLM en superposición léxica (BLEU: 0.55 vs. 0.26; ROUGE-L: 0.86 vs. 0.52). Sin embargo, ambos alcanzaron una F1 de BERTScore idéntica (0.94), lo que indica que los DLLM preservan el significado semántico a pesar de una reconstrucción superficial más débil.
• Resumen (DUC2004): Los DLLM superaron a los modelos AR en F1 de ROUGE-L (0.50 vs. 0.21) y F1 de BERTScore (0.94 vs. 0.85), lo que sugiere que los DLLM preservan mejor el significado del contenido incluso cuando difiere la redacción.
• Razonamiento Matemático (GSM8K): LLaDA alcanzó una mayor precisión con prompts comprimidos (0.356) en comparación con la línea base AR (0.220), aunque la precisión absoluta permaneció baja.

2. Sensibilidad Específica de la Tarea

• Resumen: Permaneció robusto bajo compresión. DUC2004 y ShareGPT mantuvieron una F1 de BERTScore alta (0.944 y 0.910, respectivamente), lo que indica que el contenido semántico amplio se preserva incluso con una eliminación de tokens de ~46–47%.
• Razonamiento Matemático: Mostró una degradación sustancial. Aunque los prompts reconstruidos tenían una alta similitud semántica (F1 de BERTScore: 0.936), la precisión del razonamiento disminuyó significativamente.
  • Precisión del prompt original: 52.0%
  • Precisión del prompt comprimido: 35.6%
  • Acuerdo entre respuestas originales y comprimidas: Solo 35.2%.
  • Análisis de Partición: El grupo de resultados más grande (35.6%) consistió en casos donde ambos prompts, original y comprimido, produjeron respuestas incorrectas diferentes. En el 27.6% de los casos, el original fue correcto mientras que el prompt comprimido falló, lo que sugiere la pérdida de información crítica específica para el razonamiento.

3. Naturaleza de los Fallos de Compresión

En todas las tareas, la recuperación de BERTScore fue consistentemente menor que la precisión. Esto indica que los prompts comprimidos o reconstruidos tendían a omitir porciones del contenido semántico original en lugar de introducir información no relacionada (deriva). En las tareas matemáticas, estas omisiones eliminaron anclas críticas (cantidades, relaciones) requeridas para una eliminación de ruido estable, lo que llevó a trayectorias de razonamiento divergentes incluso cuando el texto restante parecía semánticamente coherente.

Significado y Afirmaciones

El artículo afirma que los métodos de compresión de prompts diseñados para modelos autoregresivos no se transfieren uniformemente a los modelos de lenguaje grandes de difusión.

• Estabilidad Semántica vs. Conductual: Una alta similitud semántica (por ejemplo, un BERTScore alto) es insuficiente para garantizar un comportamiento aguas abajo estable en los DLLM. El proceso iterativo de eliminación de ruido parece ser altamente sensible a la distribución precisa de la información de condicionamiento; incluso omisiones menores pueden escalar hacia predicciones finales diferentes.
• Dependencia de la Tarea: Las tareas de resumen son relativamente tolerantes a la eliminación de tokens, mientras que el razonamiento matemático es frágil. Esto sugiere que los DLLM requieren no solo preservación semántica, sino también la retención de señales de condicionamiento precisas (entidades, números, restricciones) para estabilizar la trayectoria de eliminación de ruido.
• Necesidad de Estrategias Conscientes de la Difusión: Los heurísticos de compresión actuales, que a menudo dependen de la saliencia autoregresiva o del contexto bidireccional de manera agnóstica a la tarea, pueden descartar tokens que son redundantes para la predicción secuencial pero críticos para el condicionamiento global en los modelos de difusión. Los autores argumentan a favor del desarrollo de estrategias de compresión conscientes de la difusión que prioricen la estabilidad de la eliminación de ruido y la preservación de estructuras críticas para el razonamiento sobre la simple superposición semántica.

El estudio concluye que los futuros marcos de evaluación para la compresión de prompts deben incorporar métricas de consistencia conductual y estabilidad de razonamiento junto con las medidas tradicionales de superposición semántica, particularmente para arquitecturas basadas en difusión.