Resumen Técnico: Mitigación de la Deriva del Prior de Máscara y el Colapso de la Atención Posicional en Grandes Modelos Visuales-Lingüísticos de Difusión

Declaración del Problema

Los Grandes Modelos Visuales-Lingüísticos de Difusión (LDVLMs) han surgido como una alternativa prometedora a los modelos autoregresivos, ofreciendo decodificación paralela para mayor eficiencia y atención bidireccional para el contexto global. Sin embargo, este artículo identifica dos modos de fallo fundamentales que degradan el rendimiento durante la generación multimodal de larga duración:

1. Deriva del Prior de Máscara (Generación Repetitiva): Los LDVLMs inicializan todos los tokens de generación como un token de máscara compartido ($M$). Los autores observan que, a medida que avanza la generación, las representaciones ocultas de estos tokens se desvían progresivamente hacia una dirección de prior compartida (estrechamente alineada con el promedio de incrustaciones del vocabulario). Esta convergencia limita la diversidad semántica, provocando que el modelo genere repetidamente tokens de función específicos (por ejemplo, "el", ",", "\n") independientemente del contexto de entrada. Este problema se exacerba cuando se reduce el número de pasos de generación para mejorar la velocidad de inferencia.
2. Colapso de la Atención Posicional (Anclaje Visual Degradado): Los LDVLMs suelen emplear Incrustaciones de Posición Rotatoria (RoPE) para codificar posiciones relativas. El artículo encuentra que el sesgo de localidad inherente de RoPE, combinado con el proceso iterativo de desmáscara, provoca que la atención colapse hacia tokens de máscara cercanos e incompletos semánticamente. En consecuencia, la atención hacia tokens visuales distantes e informativos se suprime, lo que conduce a un anclaje visual deficiente y a alucinaciones en descripciones de larga duración.

Metodología

Para abordar estos problemas sin reentrenamiento, los autores proponen dos técnicas de tiempo de inferencia:

1. Supresión del Prior de Máscara (MPS)

Esta técnica tiene como objetivo desviar los estados ocultos de los tokens de generación para evitar que colapsen en el prior compartido.

• Mecanismo: El método aproxima el prior del token de máscara utilizando el promedio de incrustaciones del vocabulario ($\hat{e}$), que sirve como un proxy agnóstico al contexto para la dirección dominante de colapso.
• Implementación:
  • El promedio del vocabulario se pasa a través de las capas del transformador para obtener representaciones medias por capa.
  • Se realiza un análisis de componentes principales (PCA) sobre estas representaciones para definir un "subespacio de prior" de baja dimensión.
  • Para cada token de generación en el estado oculto final, el componente alineado con este subespacio de prior se suprime adaptativamente en función de la similitud del coseno.
  • La modificación es mínima, afectando solo a una pequeña fracción de dimensiones (por ejemplo, 3 de 4096), preservando la dinámica aprendida del modelo mientras se previene el colapso representacional.

2. Escalado Monótono de RoPE (MRS)

Esta técnica aborda la desalineación entre el sesgo de localidad de RoPE y la necesidad de acceso visual global en los LDVLMs.

• Mecanismo: RoPE estándar trata todos los componentes de frecuencia de manera uniforme. Los autores observan que los componentes de alta frecuencia dominan la atención de corto alcance (máscara a máscara), mientras que los componentes de baja frecuencia son necesarios para las interacciones de largo alcance (generación a visual).
• Implementación:
  • Se aplica una función de escalado consciente de la frecuencia a los ángulos de rotación de RoPE.
  • Los componentes de baja frecuencia (asociados con relaciones posicionales de largo alcance) se amplifican progresivamente utilizando un programa de escalado monótono basado en sigmoide.
  • Los componentes de alta frecuencia se preservan en gran medida (factor de escalado $\approx 1$).
  • Este ajuste fortalece la atención hacia los tokens visuales distantes sin alterar la estructura de distancia relativa requerida para la coherencia local.

Contribuciones Clave

1. Análisis Sistemático: El artículo proporciona un análisis empírico detallado que revela que la generación repetitiva en LDVLMs se origina en una "deriva del prior de máscara" hacia la media del vocabulario, y que el anclaje visual degradado es causado por un "colapso de la atención posicional" debido al sesgo de localidad de RoPE.
2. Soluciones Sin Reentrenamiento: Los autores introducen MPS y MRS, dos técnicas de inferencia plug-and-play que no requieren actualizaciones de parámetros, reentrenamiento ni datos adicionales.
3. Evaluación Exhaustiva: Los métodos se validan en diversas arquitecturas de LDVLM (LLaDA-V, LaViDa) y en puntos de referencia que cubren razonamiento general, anclaje visual y generación de larga duración.

Resultados

Los experimentos demuestran mejoras consistentes sobre los LDVLMs de referencia:

• Anclaje Visual: Ganancias significativas en los puntos de referencia RefCOCOg, Ferret y GQA. Por ejemplo, en LaViDa, la precisión de RefCOCOg mejoró de 36.9 a 44.0, y la de Ferret de 25.9 a 35.7.
• Generación de Larga Duración: Reducciones sustanciales en la repetición de tokens y aumentos en la diversidad léxica (Distinct-n) en LLaVA-Bench, DetailCaps y MIA. Los métodos mitigan eficazmente la "tasa de repetición" que afecta a las líneas base, especialmente bajo menos pasos de generación.
• Reducción de Alucinaciones: El enfoque reduce las alucinaciones de objetos (medidas por CHAIR y AMBER-G) manteniendo la recuperación de objetos, lo que indica que las mejoras provienen de un mejor anclaje visual y no de una generación conservadora.
• Eficiencia: Los métodos introducen una sobrecarga de latencia de inferencia insignificante (por ejemplo, <0.1s de aumento para 64 pasos) y operan sin modificar los pesos del modelo subyacente.

Significado y Afirmaciones

El artículo afirma que los modos de fallo identificados (deriva del prior de máscara y colapso de la atención) son intrínsecos al paradigma actual de LDVLM y pueden abordarse eficazmente mediante intervenciones ligeras y fundamentadas a nivel de representación y posición.

• Generalizabilidad: Los autores demuestran que su enfoque se generaliza a través de diferentes esqueletos de LDVLM y arquitecturas unificadas visuales-lingüísticas (por ejemplo, MMaDA, Lumina-DiMOO).
• Ortogonalidad: Los métodos propuestos operan a nivel de representación y posición, lo que los hace en gran medida ortogonales a las intervenciones estructurales (por ejemplo, cambiar los programas de desmáscara) y compatibles con los marcos de entrenamiento existentes.
• Alcance Moderado: Los autores declaran explícitamente que su análisis es empírico y no afirman que la media del vocabulario caracterice completamente todas las dinámicas no lineales del colapso de tokens de máscara. Además, los métodos están diseñados para la configuración estándar de desmáscara iterativa de sufijo completo; su efectividad en paradigmas de decodificación alternativos (por ejemplo, difusión semiautoregresiva o por bloques) requiere mayor investigación. El trabajo enfatiza que estas técnicas mejoran la estabilidad y la fiabilidad, pero no introducen nuevas capacidades generativas más allá del potencial del modelo preentrenado.