Resumen Técnico: VADER – Mitigación de Alucinaciones mediante la Reasignación Adaptativa de Sesgos en Modelos de Lenguaje de Gran Escala para Video

1. Declaración del Problema

Los Modelos de Lenguaje de Gran Escala para Video (VideoLLMs) han logrado un éxito significativo en tareas de comprensión de video de código abierto, como la sumarización de eventos y el razonamiento temporal. Sin embargo, estos modelos siguen siendo propensos a las alucinaciones, generando respuestas lingüísticamente fluidas que carecen de soporte de evidencia de video real. Estos errores son particularmente prevalentes en el reconocimiento de acciones, el ordenamiento de eventos, las relaciones causales y la consistencia temporal.

Las estrategias existentes de mitigación de alucinaciones enfrentan dos limitaciones primarias cuando se aplican a video:

1. Los métodos basados en entrenamiento requieren un reentrenamiento costoso, supervisión adicional o modelado de recompensa.
2. Los métodos libres de entrenamiento a menudo dependen de intervenciones visuales globales fijas o perturbaciones de la entrada (por ejemplo, ruido, eliminación de fotogramas). Estos enfoques no logran abordar los desafíos específicos del video:
   • Intervención Estática: Un rango de capas y una fuerza fijos no pueden adaptarse a las profundidades dependientes del video en las que la evidencia visual compite con los prompts del sistema y el texto histórico.
   • Evidencia Contrastiva Inadecuada: Las perturbaciones de entrada toscas pueden dejar la evidencia recuperable a través de fotogramas vecinos redundantes, o interrumpen las dependencias temporales necesarias para un razonamiento consistente.

El desafío central es mejorar el anclaje visual (grounding) durante la decodificación sin reentrenar el modelo, abordando simultáneamente la redundancia y las dependencias temporales únicas de los datos de video.

2. Metodología

Los autores proponen VADER (Video-Adaptive Debiasing via Evidence Reweighting), un marco libre de entrenamiento que opera mediante un diseño de doble rama para calibrar el anclaje de la evidencia y suprimir las predicciones sesgadas por los conocimientos previos (priors). El marco consta de dos módulos complementarios y un mecanismo de fusión:

2.1 Reasignación del Foco Visual (VFR)

VFR trata la mejora visual como una política automatizada condicionada al video en lugar de una configuración fija. Determina dinámicamente dónde (qué capas) y con qué fuerza intervenir para cada entrada específica de video-pregunta.

• Diagnóstico: Antes de la generación, VFR realiza un pase hacia adelante diagnóstico utilizando la entrada de video-pregunta para calcular una pérdida diagnóstica ($L_{diag}$) basada en la predicción inicial del modelo. Calcula la saliencia de la atención combinando la masa de atención con su sensibilidad de primer orden respecto a esta pérdida.
• Derivación de la Política: Mide el flujo de salienciaia transmodal (flujo visual-a-texto) a través de las capas del decodificador. Se seleccionan las $K$ capas superiores con el mayor flujo normalizado como puntos de intervención ($L_{sel}$).
• Reponderación Adaptativa: La fuerza de la intervención ($a$) se deriva del flujo de saliencia agregada de las capas seleccionadas mediante un mapeo logarítmico. VFR aplica entonces una reponderación multiplicativa a las puntuaciones de atención pre-softmax:
  • Los tokens del sistema son suprimidos por un factor de $\gamma_{sup} = 1 - a$.
  • Los tokens de video son mejorados por un factor de $\gamma_{enh} = 1 + a$.
    Esto reasigna la atención hacia la evidencia de video específicamente donde el modelo depende de ella para la entrada actual.

2.2 Borrado Selectivo de Evidencia (SEE)

Para construir una rama robusta de "sesgo de conocimiento previo" que no pueda ser fácilmente compensada por la redundancia temporal, SEE opera dentro del decodificador de forma por fotograma.

• Mecanismo: En lugar de eliminar fotogramas o enmascarar tokens de entrada (lo cual puede recuperarse de los vecinos), SEE identifica tokens visuales de alta importancia dentro de cada fotograma basándose en sus puntuaciones de atención con respecto a la posición de decodificación actual.
• Borrado: Retiene solo los tokens de menor puntuación (fondo/contexto débil) y enmascara los tokens de alta puntuación (discriminativos) estableciendo sus puntuaciones de atención en $-\infty$ en una capa de inserción fija ($l^*$).
• Resultado: Esto crea una rama negativa ($z_{prior}$) que refleja las predicciones impulsadas por los conocimientos previos del lenguaje y el contexto de fondo, eliminando efectivamente la evidencia visual específica que respalda la respuesta mientras preserva la estructura temporal.

2.3 Supresión Contrastiva Temporal Conjunta

El marco fusiona las salidas de las dos ramas:

• Rama Anclada ($z_{gnd}$): Producida por VFR, maximizando el uso de la evidencia de video.
• Rama Sesgada por Conocimientos Previos ($z_{prior}$): Producida por SEE, que refleja las predicciones impulsadas por los conocimientos previos del lenguaje.
• Fusión: Los logits finales ($\bar{z}$) se computan como $\bar{z} = (1 + \lambda)z_{gnd} - \lambda z_{prior}$. Si un token es altamente confiable en ambas ramas, es probable que sea un conocimiento previo del lenguaje y se suprime. Si es confiable solo en la rama anclada, se preserva o amplifica.

3. Contribuciones Clave

1. Marco VADER: Un marco de doble rama libre de entrenamiento para mitigar las alucinaciones en VideoLLMs que calibra el anclaje de la evidencia sin actualizaciones de parámetros.
2. VFR (Reasignación del Foco Visual): Un mecanismo novedoso que formula la mejora visual como una política de intervención condicionada al video, seleccionando automáticamente las capas de intervención y la fuerza de respuesta basándose en el flujo visual-a-texto específico de la entrada.
3. SEE (Borrado Selectivo de Evidencia): Una técnica de borrado interna del decodificador, por fotograma, que enmascara tokens visuales de alta importancia para construir una rama sesgada por conocimientos previos resistente a la compensación entre fotogramas.
4. Desempeño: El método logra mejoras significativas en los benchmarks de alucinación de nivel de evento, alcanzando específicamente un 72.60% de precisión en EventHallusion usando LLaVA-Video-7B, superando a los métodos basados en entrenamiento como TPO y RRPO.

4. Resultados Experimentales

Los autores evaluaron VADER en tres benchmarks de alucinación de video (VidHalluc, VideoHallucer, EventHallusion) y tres benchmarks de comprensión de video general (MVBench, VideoMME, TVBench) a través de tres backbones (LLaVA-OneVision-7B, LLaVA-NeXT-Video-7B, Qwen3-VL-8B).

• Mitigación de Alucinaciones: VADER produjo ganancias sustanciales, particularmente en EventHallusion (mejorando LLaVA-Video-7B de 63.57% a 72.60%) y VideoHallucer. Superó a los baselines representativos libres de entrenamiento (TCD, DINO-HEAL) e incluso superó a los métodos basados en entrenamiento (TPO, RRPO) en EventHallusion sin ningún reentrenamiento.
• Comprensión General: A diferencia de algunas intervenciones que degradan el desempeño general, VADER mantuvo o mejoró ligeramente las puntuaciones en los benchmarks de comprensión de video general (por ejemplo, +1.5 puntos en el promedio de LLaVA-Video-7B), lo que indica que mejora la fidelidad sin sacrificar la percepción o el razonamiento amplio.
• Estudios de Ablación:
  • Eliminar la política adaptativa (usando capas fijas) resultó en menores ganancias, confirmando el valor de la selección condicionada al video.
  • Eliminar SEE (solo VFR) o VFR (solo SEE) resultó en un menor desempeño que el modelo completo, demostando la complementariedad de la reasignación de evidencia y la construcción de la rama sesgada por conocimientos previos.
  • El análisis de sensibilidad mostró que las proporciones de retención moderadas para SEE (manteniendo ~30% de los tokens) producen resultados óptimos, equilibrando el borrado de evidencia con la preservación del contexto.

5. Significado y Reivindicaciones

El artículo afirma que VADER aborda una brecha crítica en el despliegue de VideoLLMs: la capacidad de mitigar las alucinaciones de una manera plug-and-play sin el costo del reentrenamiento. Al alejarse de las intervenciones globales estáticas hacia políticas adaptativas específicas de la entrada, VADER maneja eficazmente la naturaleza compleja, redundante y temporalmente dependiente de los datos de video.

Los autores enfatizan que su enfoque no solo "corrige" errores, sino que altera fundamentalmente la dinámica de decodificación para distinguir entre predicciones ancladas en la evidencia y alucinaciones impulsadas por el conocimiento previo del lenguaje. Los resultados sugieren que la mitigación efectiva de alucinaciones en video requiere no solo una atención visual más fuerte, sino también un mecanismo para exponer y suprimir explícitamente las predicciones que dependen de los conocimientos previos cuando la evidencia visual se elimina.

Limitaciones: Los autores reconocen que VADER incurre en una carga adicional de computación y memoria durante la inferencia debido a la selección de capas basada en gradientes y los pases hacia adelante múltiples, sugiriendo que la estimación eficiente de la saliencia es una dirección futura.