Resumen Técnico: EVIDENT - Adaptación de MLLM de Ruteo a través de Evidencia Visual Anclada en Entidades

1. Declaración del Problema

El artículo aborda la falta de generalización entre dominios de los Modelos de Lenguaje Grandes Multimodales (MLLM) en la Localización Temporal de Video (VTG). Aunque los MLLM preentrenados poseen capacidades inherentes de atención a entidades independientes del dominio (la capacidad de asociar consultas lingüísticas con entidades visuales relevantes a través de distribuciones diversas), el ajuste fino ingenuo para tareas de VTG a menudo destruye esta capacidad.

Los autores identifican un fenómeno que denominan "desacoplamiento atención-localización". Cuando se ajustan finamente en un dominio fuente específico (En-Dominio, ID), los MLLM aprenden a localizar eventos confiando en atajos específicos del conjunto de datos (por ejemplo, sesgo de ubicación temporal, contexto de la escena o sesgo de apariencia) en lugar de la evidencia visual subyacente. En consecuencia, aunque el rendimiento en ID mejora, el rendimiento Fuera de Dominio (OOD) se degrada drásticamente.

Mediante un análisis empírico, el artículo diagnostica que esta degradación está impulsada principalmente por el desplazamiento del dominio visual (diferencias en la distribución visual entre los videos fuente y objetivo) y no por la presencia de conceptos de consulta no vistos. El ajuste fino estándar provoca que el modelo se sobreajuste a los contextos de escenas del dominio fuente, fallando en acoplar su conocimiento aprendido de localización temporal con su atención a entidades preentrenada.

2. Metodología: EVIDENT

Para resolver esto, los autores proponen EVIDENT (Adaptación de atención a entidades anclada en evidencia), un marco eficiente en parámetros diseñado para anclar la localización temporal en la atención a entidades inherente de los MLLM preentrenados. El marco consta de tres componentes principales:

A. Adaptador de Cuello de Botella de Entidades (Adaptador EB)

En lugar de ajustar finamente todo el MLLM o volver a ejecutar el ajuste de instrucciones, EVIDENT inserta un adaptador ligero en las primeras capas del decodificador del MLLM.

• Mecanismo: Transforma los tokens visuales densos en un conjunto compacto de ranuras a nivel de entidad aprendibles utilizando un mecanismo de Atención de Ranuras (Slot Attention).
• Función: Esto obliga al modelo a descomponer la escena visual en entidades discretas y semánticamente coherentes (por ejemplo, persona, objeto) en lugar de procesar tokens visuales crudos y entrelazados.
• Reconstrucción: El adaptador reconstruye la secuencia original de tokens a partir de estas ranuras de manera libre de parámetros, asegurando que el decodificador LLM consuma únicamente representaciones desentrelazadas y centradas en entidades.

B. Destilación de Vinculación de Entidades (Destilación EB)

Los autores observan que el espacio visual del MLLM preentrenado está "entrelazado", lo que significa que las ranuras en el cuello de botella colapsarían naturalmente en una atención uniforme sin guía.

• Mecanismo: Se introduce una función de pérdida de destilación para guiar la formación de ranuras. Utiliza DINOv2 (un modelo de visión auto-supervisado) para generar mapas de agrupamiento pseudo-verdad de los parches visuales.
• Función: A través de la correspondencia húngara y la pérdida de Entropía Cruzada Binaria (BCE), el modelo se entrena para vincular cada ranura a un clúster de entidad específico y semánticamente coherente. Esto inculca "priors de objetividad" en el espacio visual del MLLM, asegurando que las ranuras representen entidades distintas incluso bajo desplazamiento de dominio.

C. Compuerta de Entidad-a-eVidencia (E2V)

Para aprovechar estas entidades aprendidas para la localización temporal, el marco introduce un mecanismo de compuerta.

• Mecanismo: Para una consulta en lenguaje natural dada, el sistema extrae conceptos de sujeto y objeto. Luego calcula una puntuación de co-ocurrencia por cuadro basada en la similitud del coseno entre las características visuales del cuadro y los tokens de sujeto/objeto de la consulta.
• Función: Esta puntuación actúa como una compuerta, modulando la contribución de la salida del Adaptador EB. Los cuadros donde co-ocurren las entidades relevantes para la consulta reciben pesos más altos. Esto inyecta un sesgo inductivo de que el momento temporal objetivo es donde las entidades relevantes están presentes visualmente, alejando al modelo de los atajos del conjunto de datos.

Objetivo de Entrenamiento: El marco se entrena de extremo a extremo con el codificador de visión congelado. Los parámetros del Adaptador EB y LoRA se actualizan conjuntamente utilizando una pérdida combinada: $L_{total} = L_{CE} + \lambda L_{EBD}$, donde $L_{CE}$ es la pérdida estándar de entropía cruzada para la generación de marcas de tiempo y $L_{EBD}$ es la pérdida de destilación de vinculación de entidades.

3. Contribuciones Clave

1. Diagnóstico del Fallo OOD: El artículo demuestra sistemáticamente que el ajuste fino ingenuo causa "desacoplamiento atención-localización" e identifica el desplazamiento del dominio visual como la causa principal de la degradación OOD, en lugar de los vacíos conceptuales.
2. Marco EVIDENT: Un método de adaptación eficiente en parámetros que dirige el aprendizaje de VTG a través de representaciones a nivel de entidad sin volver a ejecutar el ajuste completo de instrucciones. Combina un Adaptador de Cuello de Botella de Entidades, Destilación de Vinculación de Entidades y un mecanismo de compuerta de Entidad-a-eVidencia.
3. Validación Empírica: Experimentos extensos muestran que EVIDENT mejora consistentemente la robustez OOD en diversos puntos de referencia entre dominios (Charades-STA, QVHighlights, DiDeMo) mientras mantiene un rendimiento competitivo En-Dominio con una sobrecarga de parámetros modesta (~2.36% del backbone de 7B).

4. Resultados Experimentales

Los autores evaluaron EVIDENT en configuraciones entre dominios (entrenando en un conjunto de datos y probando en otro).

• Rendimiento: EVIDENT supera significativamente a los MLLM ajustados finamente de manera ingenua (por ejemplo, Qwen2.5-VL) en escenarios OOD. Por ejemplo, en la tarea Charades-STA $\to$ QVHighlights, la línea base ingenua sufrió una caída de más de 23.9 puntos en R1@0.5, mientras que EVIDENT cerró esta brecha, logrando una ganancia de +5.5 puntos sobre la línea base.
• Comparación: EVIDENT supera a los MLLM de cero disparos (que carecen de localización temporal precisa) y a modelos especializados basados en DETR (que a menudo fallan al generalizar entre dominios).
• Estudios de Ablación:
  • Eliminar la Destilación EB resulta en que las ranuras no logren especializarse, confirmando la necesidad de la pérdida de destilación para la vinculación de entidades.
  • Eliminar la compuerta E2V reduce el rendimiento OOD, confirmando el valor de usar entidades como evidencia visual explícita.
  • Insertar el adaptador en las primeras capas del decodificador (0–10) resultó óptimo, preservando la alineación preentrenada mientras se habilita la descomposición de entidades.

5. Significado y Afirmaciones

El artículo afirma que para una VTG basada en MLLM robusta bajo desplazamiento del dominio visual, la solución es la adaptación anclada en evidencia que aprovecha plenamente la atención a entidades preentrenada, en lugar de un ajuste directo al contexto del dominio fuente.

Los autores posicionan a EVIDENT como un paso hacia la mitigación de los desplazamientos de distribución en la comprensión de video al imponer un sesgo estructural hacia el razonamiento a nivel de entidad. Argumentan que al regularizar el ajuste fino para fundamentar las predicciones en evidencia visual (entidades) en lugar de patrones memorizados, los modelos pueden lograr transferibilidad que el ajuste fino ingenuo no puede. El trabajo sugiere que la fundamentación a nivel de entidad sirve como un sesgo inductivo efectivo para la localización temporal generalizable.

El artículo mantiene modestia respecto a su alcance, señalando que se centra en los desplazamientos de distribución visual y aún no aborda otros desafíos como videos de larga duración, perspectivas egocéntricas o fundamentación de vocabulario abierto, los cuales se dejan para trabajos futuros.