Combating Visual Neglect and Semantic Drift in Large Multimodal Models for Enhanced Cross-Modal Retrieval

1. Declaración del Problema

El artículo aborda dos limitaciones críticas en los sistemas actuales de Recuperación Multimodal Unificada (UMR) basados en Modelos Multimodales Grandes (LMM):

• Desviación de Alineación Semántica: Los métodos existentes dependen principalmente del aprendizaje contrastivo a nivel de muestra (distinguir pares positivos frente a negativos). Esto a menudo falla al capturar semánticas a nivel de sujeto, provocando que los modelos asignen incorrectamente la atención a regiones visualmente irrelevantes en lugar de a los sujetos visuales específicos mencionados en la consulta de texto.
• Negligencia del Modal Visual: Los LMM tienden a depender en exceso de las pistas textuales, lo que conduce a un desequilibrio donde la información visual está subutilizada. Los modelos se agrupan fuertemente en regiones "sesgadas hacia el texto" del espacio de incrustación, fallando en aprovechar eficazmente el conocimiento visual complementario.

2. Metodología: Marco SSA-ME

Los autores proponen Incrustación Multimodal Consciente del Sujeto Saliente (SSA-ME), un marco diseñado para mejorar el aprendizaje de representaciones detalladas mediante un modelado consciente de la saliencia. La arquitectura consta de tres etapas principales:

A. Extracción de Características Multimodales

El marco utiliza una tubería estándar de LMM (Codificador de Visión + Proyector + Modelo de Lenguaje) pero adopta el principio de Limitación Explícita de un Token (EOL). Procesa entradas entrelazadas de imagen-texto utilizando plantillas de prompts específicas para generar una incrustación multimodal unificada.

B. Alineación de Atención Guiada por Saliencia (SGA)

Este módulo aborda la desviación de alineación semántica forzando al modelo a centrarse en sujetos visuales relevantes.

1. Extracción de Sujetos: Un LMM basado en prompts (por ejemplo, Qwen2.5-VL) analiza la consulta y su muestra positiva correspondiente para extraer un conjunto de sustantivos salientes ($S$) que aparecen en ambas y son visualmente reconocibles.
2. Segmentación: Un modelo experto en visión (Segment Anything Model - SAM) genera máscaras de segmentación binarias para estos sujetos extraídos en la imagen de consulta.
3. Generación de Mapas de Saliencia: Las máscaras binarias se suavizan utilizando núcleos gaussianos para crear mapas de saliencia continuos ($A$). Un mecanismo de validación de confianza (utilizando similitud CLIP) filtra los sujetos de baja confianza.
4. Función de Pérdida: Se introduce una Pérdida Guiada por Saliencia ($L_{SG}$) para minimizar la divergencia de Kullback-Leibler (KL) entre las distribuciones de atención internas del modelo y los mapas de saliencia generados, asegurando que el modelo preste atención a las regiones correctas.

C. Regeneración de Características Impulsada por Saliencia (SDR)

Este módulo aborda la negligencia del modal visual recalibrando las características visuales.

1. Regeneración de Características: El modelo extrae los patrones de atención visual de la capa final, los aplana y los utiliza como pesos para reagrupar los tokens de características visuales.
2. Fusión: El resumen visual regenerado y ponderado por saliencia ($\hat{F}_v$) se fusiona (mediante adición) con la característica del último token original ($F_{last}$) para formar la incrustación multimodal final. Esto asegura que la representación final incorpore pesadamente la información visual más saliente.

Objetivo de Entrenamiento: La pérdida total combina la pérdida contrastiva estándar ($L_{Con}$) con la pérdida guiada por saliencia:
$$L_{total} = L_{Con} + \alpha \cdot L_{SG}$$

3. Contribuciones Clave

1. Perspectiva a Nivel de Sujeto: El artículo identifica y analiza sistemáticamente la "desviación de alineación semántica" y la "negligencia del modal visual" como fallas fundamentales en la optimización a nivel de muestra, proponiendo un cambio hacia el razonamiento a nivel de sujeto.
2. Componentes Novedosos (SGA y SDR):
   • SGA: Alinea la atención del modelo con regiones semánticamente significativas utilizando un enfoque de destilación desde LMMs y SAM.
   • SDR: Recalibra las características visuales basándose en mapas de saliencia para evitar que el modelo ignore las entradas visuales.
3. Rendimiento de Vanguardia: El método logra nuevos puntos de referencia en el MMEB (Benchmark de Incrustación Multimodal), demostrando que el modelado explícito de sujetos mejora significativamente la precisión de recuperación y la generalización.

4. Resultados Experimentales

Los autores evaluaron SSA-ME en el benchmark MMEB, que incluye 20 conjuntos de datos dentro de la distribución (IND) y 16 fuera de la distribución (OOD) en cuatro tareas: Clasificación, VQA, Recuperación y Anclaje Visual.

• Ganancias de Rendimiento:
  • SSA-ME (Qwen2VL-2B): Logró una puntuación general del 66.0%, superando la línea base VLM2Vec (2B) en +5.9%. Mostró mejoras masivas en Clasificación (+6.7%) y VQA (+8.8%).
  • SSA-ME (Qwen2VL-7B): Logró una puntuación general del 69.0%, superando la línea base de 7B en +3.2% y otras líneas base fuertes como MMRet.
• Generalización: El modelo mostró un rendimiento robusto en conjuntos de datos OOD, con ganancias de +7.2% sobre la línea base, indicando una fuerte adaptabilidad a distribuciones de datos no vistas.
• Equilibrio de Atención: El análisis cualitativo (Figura 3) mostró que SSA-ME redujo significativamente la distancia entre los pesos de atención visual y textual (hasta una reducción del 99.5% en tareas de recuperación), mitigando eficazmente la negligencia del modal visual.
• Estudios de Ablación:
  • Tanto los componentes SGA como SDR contribuyeron positivamente, siendo su combinación la que produjo los mejores resultados.
  • Se encontró que aplicar la alineación de atención a la capa final del transformador fue lo más efectivo en comparación con las capas tempranas o intermedias.
  • El filtrado de relevancia semántica fue crucial para eliminar ruido y mejorar la precisión de anclaje.

5. Significado

Este trabajo es significativo porque va más allá del paradigma estándar de "aprendizaje contrastivo" en la recuperación multimodal. Al modelar explícitamente sujetos salientes, SSA-ME resuelve el problema de la "caja negra" sobre dónde está mirando el modelo, lo que conduce a:

• Interpretabilidad: Los mapas de atención del modelo se alinean con objetos identificables por humanos.
• Robustez: Mejor manejo de consultas complejas que requieren correspondencia visual-textual detallada.
• Eficiencia: La capacidad de regenerar características a partir de un subconjunto de tokens salientes mantiene un alto rendimiento sin procesar innecesariamente todo el conjunto de tokens.

El artículo establece que incorporar el razonamiento a nivel de sujeto es un paso crítico hacia la consecución de una comprensión multimodal verdaderamente universal y equilibrada.