Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

Resumen Técnico: Mitigación de la Degradación Visual en MLLMs mediante el Aprendizaje de Anclajes Visuales Espacio-Espectrales

Planteamiento del Problema
A pesar de los avances significativos en los Modelos Grandes de Lenguaje Multimodales (MLLMs) mediante el ajuste de instrucciones visuales, estos modelos exhiben deficiencias persistentes en la percepción visual. Los autores identifican un fenómeno crítico y poco explorado: la desviación de la representación visual. Tras el ajuste de instrucciones visuales, las representaciones visuales internas dentro de las capas del Modelo de Lenguaje Grande (LLM) se desvían progresivamente de sus estados semánticos originales durante la inferencia. Esto provoca una severa degradación de la información en las capas más profundas, causando que el modelo pierda detalles espaciales finos y fidelidad semántica.

El artículo desafía la intuición prevalente de que alinear directamente las representaciones intermedias del LLM con Modelos Fundacionales Visuales (VFM) externos resuelve este problema. Si bien dicha alineación directa (por ejemplo, VIRAL) mejora la calidad de las características visuales, los autores demuestan que no logra mitigar la desviación en sí misma; las representaciones siguen divergiendo a una tasa similar a través de las capas. El problema central no es simplemente qué codifican las representaciones, sino qué tan establemente se mantienen a medida que se propagan por la red.

Metodología: Aprendizaje de Anclajes Visuales Espacio-Espectrales (SSVAL)
Para abordar la desviación de la representación sin incurrir en sobrecarga de inferencia, los autores proponen SSVAL, un marco centrado en la Inyección de Prompts de Anclaje Visual (VAPI) y la Alineación de Representación Espacio-Espectral (SSRA) auxiliar.

1. Inyección de Prompts de Anclaje Visual (VAPI):

   • Mecanismo: La innovación central es un conjunto de prompts visuales aprendibles que actúan como "vasijas de conocimiento". Durante el entrenamiento, estos prompts absorben conocimiento visual rico de un VFM externo (por ejemplo, DINOv2, CLIP) a través de un mecanismo de atención cruzada de múltiples cabezales con compuerta (gated multi-head cross-attention).
   • Función: Los prompts se inicializan aleatoriamente y se optimizan para capturar las características del VFM. Durante la inferencia, el VFM externo se descarta. Los prompts aprendidos funcionan como anclajes visuales estables, proporcionando puntos de referencia consistentes para cada capa del LLM para detener la deriva de las representaciones visuales.
   • Arquitectura: Las características visuales sirven como consultas (queries), mientras que los prompts combinados (prompts originales + características proyectadas del VFM) sirven como claves (keys) y valores (values) en un módulo de atención cruzada, seguido de una conexión residual con compuerta.

2. Alineación de Representación Espacio-Espectral (SSRA):
   Para proporcionar una supervisión complementaria específica de la visión en las capas intermedias del LLM (que el entrenamiento estándar basado en texto carece), SSVAL introduce dos funciones de pérdida auxiliares:

   • Alineación de Representación Espacial (SpaRA): Alinea las características del estudiante (LLM) y del profesor (VFM) desde una perspectiva espacial multiescala (factores de agrupación 1x1, 2x2, 4x4). Maximiza la similitud de coseno para la alineación a nivel de características y restringe las relaciones espaciales de pares para la alineación de nivel de relación.
   • Alineación de Representación Espectral (SpeRA): Opera en el dominio de la frecuencia. Descompone las características en componentes de Baja Frecuencia (LF) y Alta Frecuencia (HF) utilizando Transformadas Rápidas de Fourier (FFT) 2D. Los componentes LF capturan la estructura global, mientras que los componentes HF capturan bordes y detalles locales. La pérdida aplica el Error Cuadrático Medio (MSE) a la LF y compresión logarítmica a la HF para evitar el predominio del ruido.

3. Objetivo de Entrenamiento:
   La pérdida total combina la pérdida estándar de predicción del siguiente token con las pérdidas de alineación SpaRA y SpeRA ponderadas. Esta optimización conjunta asegura que los prompts absorban el conocimiento del VFM mientras que las pérdidas de alineación refuerzan la integridad visual en las capas intermedias.

Contribuciones Clave

• Identificación de la Desviación: El artículo cuantifica la desviación de la representación visual en los MLLM, mostrando que la similitud de coseno entre las representaciones de entrada e intermedias cae drásticamente con la profundidad de la capa. Revela que la alineación directa con VFM no logra detener esta deriva.
• Inyección de Prompts de Anclaje Visual (VAPI): Un mecanismo novedoso que utiliza prompts como anclajes persistentes que absorben el conocimiento del VFM durante el entrenamiento y estabilizan las representaciones durante la inferencia, mitigando efectivamente la desviación sin modelos externos en el tiempo de prueba.
• Supervisión Espacio-Espectral: La introducción de SpaRA y SpeRA proporciona supervisión complementaria multiescala en el dominio espacial y de frecuencia, abordando la falta de guía visual explícita en las capas intermedias.
• Eficiencia: El método introduce una sobrecarga de inferencia insignificante (solo +1.55% de parámetros y +0.04% de FLOPs), ya que el VFM y las pérdidas de alineación son componentes exclusivos del entrenamiento.

Resultados Experimentales
Se realizaron experimentos extensos en seis bancos de pruebas multimodales (CV-Bench2D, MMVP, MMStar, MME, POPE, MM-Bench) utilizando diferentes codificadores de visión (CLIP, SigLIP) y escalas de LLM (Qwen2.5-3B, Qwen2.5-7B).

• Desempeño: SSVAL supera significativamente tanto al Baseline (Ajuste de Instrucciones Visuales) como al método de alineación directa (VIRAL). Las mejoras notables incluyen +6.47% en CV-Bench2D y +7.86% en MMVP con la arquitectura base Qwen2.5-7B.
• Robustez: A diferencia de VIRAL, que mostró caídas de desempeño en ciertos bancos de pruebas (por ejemplo, -5.34% en MMVP con SigLIP), SSVAL demostró ganancias consistentes, lo que sugiere que su mecanismo de anclaje es más robusto a las variaciones en la calidad inicial de la representación visual.
• Estudios de Ablación:
  • VAPI fue identificado como el principal motor de las ganancias de desempeño.
  • SpaRA y SpeRA proporcionaron beneficios complementarios, siendo la alineación espacial multiescala y la combinación de componentes de frecuencia LF/HF las que arrojaron los mejores resultados.
  • Cantidad de Prompts: Se encontró que cuatro prompts eran óptimos para las configuraciones probadas.
  • Fuente de VFM: El uso de DINOv2-B como fuente de conocimiento produjo el mejor equilibrio general, aunque DINOv2-L funcionó mejor en ciertos bancos de pruebas de razonamiento.

Análisis Cualitativo
Los resultados cualitativos muestran que SSVAL produce embeddings con límites de agrupamiento más claros y una organización estructural más fuerte en comparación con los baselines. Los mapas de atención indican que SSVAL mantiene una atención enfocada en objetos relevantes, mientras que los baselines exhiben patrones de atención dispersos. Se observó que los prompts aprendidos desarrollaron roles especializados: un prompt suprime el ruido de fondo y otros heredan la "objetidad" del primer plano del VFM, cerrando efectivamente la brecha entre las diferentes capacidades de los VFM.

Significado
El artículo afirma que SSVAL ofrece un cambio fundamental para abordar la degradación visual: en lugar de simplemente inyectar características más fuertes, establece un mecanismo de anclaje persistente que estabiliza las representaciones a lo largo de la red. Al separar la absorción de conocimiento (entrenamiento) de la eficiencia de inferencia, SSVAL logra mejoras sustanciales en la percepción fina y el razonamiento espacial con un costo computacional mínimo, validando la hipótesis de que los anclajes visuales son esenciales para mantener la integridad de la representación en los MLLM profundos.