Latent Denoising Improves Visual Alignment in Large Multimodal Models

1. El Problema

Los Modelos Multimodales Grandes (LMMs), como LLaVA, suelen entrenarse utilizando un objetivo de modelado de lenguaje autoregresivo. Esto implica que los tokens visuales reciben supervisión indirecta a través de la generación de texto. Como consecuencia, se han identificado varias limitaciones críticas:

• Representaciones visuales débiles: Las representaciones internas de la imagen dentro del modelo a menudo son de baja calidad.
• Comportamiento frágil: Los modelos son propensos a alucinaciones de objetos y fallan en tareas de razonamiento visual cuando hay un conflicto entre el texto y la imagen (confiando demasiado en el texto).
• Falta de alineación: Existe una alineación imperfecta entre las modalidades, donde la información visual se diluye a medida que se profundiza en las capas del LLM (efecto "sumidero de atención visual").
• Falta de robustez: Los modelos actuales degradan su rendimiento significativamente ante imágenes con ruido, desenfoque o condiciones climáticas adversas (corrupciones comunes).

2. Metodología: Marco de Desruido Latente (Latent Denoising)

Los autores proponen un marco de entrenamiento que trata la alineación visual como un problema de corrupción y recuperación de latentes, inspirado en los tokenizadores visuales y los modelos de difusión.

A. Corrupción de Tokens Visuales

En lugar de usar solo la supervisión de texto, el método corrompe los tokens visuales proyectados ($Z$) antes de que entren en el LLM:

• Mezcla de Ruido: Se aplica una mezcla de enmascaramiento (borrado de información) y ruido gaussiano (perturbación continua).
• Guía de Saliencia: La selección de qué tokens corromper no es aleatoria. Se utiliza un mapa de saliencia derivado del codificador visual congelado:
  • Las regiones altamente salientes (importantes) sufren ruido gaussiano suave (para preservar parte de la señal).
  • Las regiones menos salientes sufren enmascaramiento duro (borrado total).
  • Esto crea un problema de recuperación equilibrado y desafiante.

B. Recuperación de Objetivos (Teacher Targets)

El modelo debe aprender a recuperar las características visuales limpias a partir de los tokens corruptos:

• Objetivo: Se extraen características "maestras" (clean teacher features) de una capa intermedia del LLM (no la última), utilizando un codificador visual congelado como referencia.
• Decodificador: Se añade un decodificador ligero (MLP) que toma los estados ocultos de una capa intermedia del LLM (ej. capa 16 en una red de 32 capas) y trata de reconstruir las características maestras limpias.

C. Función de Pérdida (Loss Function)

El entrenamiento combina la pérdida de lenguaje estándar con tres componentes de supervisión visual:

1. Pérdida de Reconstrucción ($\mathcal{L}_{rec}$): Minimiza la distancia entre las características recuperadas y las maestras (normalizadas).
2. Pérdida Relacional ($\mathcal{L}_{rel}$): Alinea la geometría de similitud (estructura global) entre las características recuperadas y las maestras, asegurando que la relación espacial entre parches se mantenga.
3. Pérdida Contrastiva ($\mathcal{L}_{con}$): Fomenta la discriminatividad a nivel de parche, evitando que las representaciones colapsen en un punto único (contraste intra-imagen).

D. Inferencia

Crucialmente, no hay sobrecarga en tiempo de inferencia. Durante la inferencia, la corrupción, el decodificador auxiliar y las pérdidas adicionales se desactivan. El modelo funciona exactamente igual que un LMM estándar.

3. Contribuciones Clave

1. Nuevo Marco de Entrenamiento: Introducen el "desruido latente" como una forma efectiva de supervisión visual directa para LMMs, unificando la corrupción continua (gaussiana) y discreta (enmascaramiento) con objetivos relacionales y contrastivos.
2. Protocolo de Evaluación de Robustez: Desarrollan un protocolo sistemático de evaluación basado en ImageNet-C, aplicando corrupciones deterministas (ruido, desenfoque, clima, digitales) directamente a las imágenes de los benchmarks de VQA y razonamiento, algo que no se hacía de forma estandarizada en LMMs.
3. Mejoras Generales: Demuestran que este método mejora la comprensión visual, el razonamiento y la robustez a través de múltiples arquitecturas (LLaVA con CLIP/SigLIP y Qwen-VL) sin modificar la inferencia.

4. Resultados Experimentales

El método se evaluó en 18 benchmarks y tres arquitecturas diferentes:

• Rendimiento en Benchmarks Estándar:

  • Mejoras consistentes en la mayoría de los benchmarks (15/18 en LLaVA+CLIP, 18/18 en LLaVA+SigLIP).
  • Ganancias significativas en razonamiento: Mejoras notables en GQA (+1.6 a +4.4 puntos), MMStar y NaturalBench (consistencia composicional).
  • Mejora incluso en modelos maduros post-tuneados (Qwen-2.5-VL), demostrando que el método refina representaciones internas sin necesidad de reentrenar desde cero.

• Robustez ante Corrupciones:

  • Bajo condiciones de corrupción severa (nivel 5 de ImageNet-C), el modelo propuesto mantiene una precisión significativamente mayor que los baselines.
  • La degradación de rendimiento es mucho menor a medida que aumenta la severidad de la corrupción (ruido, clima, etc.).
  • En muchos casos, el modelo con desruido latente supera al baseline en condiciones corruptas, llegando a igualar o superar el rendimiento del baseline en condiciones limpias.

• Análisis de Representaciones Internas:

  • CKA (Centered Kernel Alignment): Las representaciones internas del modelo con desruido latente tienen una alineación mucho más fuerte con los modelos visuales fundacionales (CLIP, DINOv2), especialmente en las capas finales.
  • Clasificación k-NN: Se elimina el "colapso" de características en las capas medias; las representaciones visuales permanecen discriminativas a lo largo de toda la red.
  • Atención Cruzada: Las visualizaciones muestran que el modelo con desruido latente tiene una atención más enfocada en las regiones relevantes de la imagen (ej. el pastel, el traje de neopreno) en lugar de dispersarse.

5. Significado e Impacto

Este trabajo es significativo porque:

• Cierra la brecha entre generación y comprensión: Aplica principios de desruido (comunes en generación de imágenes) para mejorar la comprensión visual, sugiriendo que espacios latentes de alta calidad benefician a ambas tareas.
• Eficiencia: Ofrece una mejora sustancial en la alineación visual y la robustez sin costo computacional adicional durante el uso (inferencia), lo cual es vital para la adopción práctica.
• Nueva Línea de Investigación: Establece que la supervisión visual directa mediante tareas de recuperación de latentes es una vía superior a la simple alineación de características o el refinamiento de backbones externos.
• Robustez Realista: Proporciona una evaluación más rigurosa de la capacidad de los LMMs para operar en el mundo real, donde las imágenes rara vez son perfectas.

En resumen, el Desruido Latente actúa como un mecanismo de regularización potente que fuerza al LMM a mantener representaciones visuales internas ricas, alineadas y robustas, mejorando tanto el razonamiento lógico como la resistencia al ruido en tareas multimodales.