Resumen Técnico: VISCOP (Probing Contextualizado Visualmente) para la Adaptación de Dominios de Video

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje-Visión (VLMs) demuestran un rendimiento robusto en tareas de razonamiento visual general, pero sufren una degradación significativa cuando se despliegan en nuevos dominios caracterizados por cambios sustanciales en la distribución (por ejemplo, cambios en el punto de vista, la modalidad de detección o la estructura de la tarea). Las estrategias actuales de adaptación de dominio enfrentan un compromiso crítico:

• Congelar el codificador de visión y actualizar únicamente conectores ligeros preserva el conocimiento preentrenado, pero restringe la capacidad del modelo para aprender características visuales específicas del dominio.
• El ajuste fino (fine-tuning) completo o parcial del codificador de visión permite una comprensión visual especializada, pero a menudo conduce al olvido catastrófico de las capacidades amplias adquiridas durante el preentrenamiento.

Además, los enfoques existentes suelen depender de las representaciones de la última capa de un codificador de visión congelado, descartando las características intermedias que codifican la estructura visual multinivel. El artículo postula que las representaciones abstractas de la última capa son insuficientes para cambios visuales prominentes y plantea cómo un VLM puede aprovechar las señales específicas del dominio a través de la profundidad de un codificador congelado sin causar un olvido catastrófico.

2. Metodología: VISCOP

Los autores proponen VISCOP (Visual Contextualized Probing), un mecanismo de adaptación ligero diseñado para especializar los VLMs en dominios objetivo mientras se preserva el conocimiento de propósito general.

Arquitectura Central

VISCOP aumenta un codificador de visión congelado con un conjunto compacto de sondas visuales (visual probes) aprendibles ($P \in \mathbb{R}^{M \times d_v}$) y un módulo de interacción. A diferencia de los métodos que reinterpretan características fijas o las comprimen en la capa final, VISCOP crea una vía parametrizada paralela:

1. Sondeo por Capas (Layer-wise Probing): El método extrae señales relevantes del dominio de las capas intermedias ($\ell = 1, \dots, L$) del codificador de visión congelado.
2. Módulo de Interacción ($\Phi^\ell$): En cada capa, un módulo de interacción aprendible condiciona las sondas sobre las representaciones visuales jerárquicas ($X^\ell$) mediante atención cruzada entre visión y sonda (vision-probe cross-attention).
   • Las sondas se actualizan como: $P^{\ell+1} = \Phi^\ell(P^\ell, X^\ell)$.
   • Esto permite que las sondas atiendan a todos los fotogramas en un video, aprendiendo relaciones espacio-temporales complejas específicas del dominio objetivo, incluso cuando el codificador base está congelado.
3. Proyección al LLM: Después de la capa final, las sondas actualizadas ($P^L$) se proyectan al espacio de incrustación de lenguaje mediante un conector dedicado ($C_{probe}$).
4. Objetivo de Entrenamiento: El VLM se entrena con una pérdida estándar de predicción del siguiente token autorregresivo, condicionada tanto en las incrustaciones visuales originales ($E$) como en las incrustaciones de la sonda ($Z$).

Estrategia de Entrenamiento

• Componentes Congelados: Los parámetros del codificador de visión preentrenado permanecen congelados.
• Componentes Entrenables: Solo se actualizan las sondas visuales, los módulos de interacción, el conector visión-lenguaje y, opcionalmente, los parámetros LoRA en el LLM.
• Mecanismo: Al confinar las actualizaciones a un subespacio visual definido por sondas de bajo rango, VISCOP sesga el aprendizaje hacia estructuras relevantes del dominio, evitando el "choque" (olvido catastrófico) asociado con el flujo de gradiente directo a través del codificador de visión.

3. Contribuciones Clave

1. Estrategia de Adaptación Novedosa: Introducción de VISCOP, que aprende representaciones visuales específicas del dominio mediante el sondeo por capas de un codificador congelado, permitiendo una transferencia efectiva sin alterar las representaciones preentrenadas.
2. Evaluación Exhaustiva: Establecimiento de un entorno de evaluación riguroso que abarca tres escenarios de adaptación desafiantes:
   • Cross-view (Cambio de vista): Exocéntrico $\to$ Egocéntrico.
   • Cross-modal (Cambio de modalidad): RGB $\to$ Profundidad (Depth).
   • Cross-task (Cambio de tarea): Comprensión humana $\to$ Control robótico.
3. Superioridad Empírica: Demostración de que VISCOP supera consistentemente a las estrategias existentes (incluyendo el ajuste fino completo y el ajuste fino parcial) en el rendimiento del dominio objetivo, manteniendo simultáneamente una capacidad superior en el dominio de origen.

4. Resultados Experimentales

Los autores evaluaron VISCOP frente a diversas líneas base (VLM Base, Ajuste Fino Completo, Ajuste Fino Parcial, estilo Q-Former, Prompt Tuning) a través de tres dominios:

• Comprensión de Video Egocéntrico (Exocéntrico $\to$ Egocéntrico):

  • VISCOP logró la mayor mejora en el dominio objetivo ($\Delta_{target} = +3.53$) mientras mejoraba simultáneamente la retención en el dominio de origen ($\Delta_{source} = +1.77$).
  • En contraste, el ajuste fino completo mejoró ligeramente el objetivo ($\Delta_{target} = +0.57$) pero causó olvido en el origen ($\Delta_{source} = -0.50$).

• Comprensión de Video de Profundidad (RGB $\to$ Profundidad):

  • La brecha visual entre RGB y Profundidad causó un olvido severo en los enfoques de ajuste fino estándar ($\Delta_{source} = -3.87$).
  • VISCOP logró las mayores ganancias en el objetivo ($\Delta_{target} = +19.27$) preservando el rendimiento de origen ($\Delta_{source} = +1.84$).

• Control Robótico (Comprensión Humana $\to$ Control Robótico):

  • Dado el extremo vacío de dominio (espacio visual y de lenguaje), el VLM Base tuvo un 0% de precisión.
  • VISCOP alcanzó el mejor rendimiento objetivo ($\Delta_{target} = +67.82$) y retuvo la mayor parte del conocimiento de origen ($\Delta_{source} = -4.58$) en comparación con otros expertos, que sufrieron un olvido significativo ($\Delta_{source} \approx -8.87$).

• Generalización: VISCOP también fue probado en la comprensión de audio (entrada de espectrograma), mostrando un rendimiento objetivo comparable a las líneas base pero con un olvido de origen significativamente reducido, lo que indica que el método no se limita a cambios visuales.

Eficiencia

VISCOP introduce solo un aumento modesto en la computación (un incremento del 2% en los parámetros, ~3.4 GB de aumento en VRAM) y, notablemente, demostró una latencia de inferencia menor que el VLM base debido a una generación de tokens más enfocada.

5. Significado y Reivindicaciones

El artículo afirma que VISCOP aborda el compromiso fundamental en la adaptación de dominio de los VLMs: la incapacidad de aprender nuevas características visuales sin borrar el conocimiento preentrenado. Al actuar como un "policía de tráfico" que dirige los flujos de gradiente lejos del codificador congelado y hacia una vía alternativa, VISCOP permite:

• Transferencia de Dominio Efectiva: Aprendizaje de claves específicas del dominio (por ejemplo, movimiento egocéntrico, estructura de profundidad, manipulación robótica) que están ausentes en la representación preentrenada.
• Preservación de Capacidades Generales: Mantener la competencia en el dominio de origen, lo cual es crítico para el despliegue en el mundo real donde los modelos deben manejar entradas diversas.
• Utilización de Características Intermedias: Demostrar que las capas intermedias de un codificador congelado contienen señales valiosas y específicas del dominio que se pierden si solo se utilizan las representaciones de la última capa.

Los autores concluyen que VISCOP proporciona un enfoque simple pero efectivo para la adaptación de dominio de video bajo brechas visuales prominentes sin modificar los parámetros del codificador visual preentrenado, una capacidad que no es habilitada por los enfoques existentes.