Resumen Técnico: Enrutamiento de Expertos Consciente de la Distribución (DAER) para la Adaptación Continua de Video-MLLM

1. Planteamiento del Problema

Los Modelos de Lenguaje Multimodales de Video (Video-MLLMs) han demostrado capacidades sólidas en la comprensión de video, sin embargo, su adaptación a dominios que evolucionan secuencialmente sigue siendo un área poco explorada. En despliegues del mundo real, los datos de video llegan continuamente desde dominios heterogéneos (por ejemplo, escenas de tráfico, dibujos animados educativos, razonamiento abstracto) con cambios significativos en el estilo visual, la composición de la escena y las demandas de razonamiento.

El desafío central es el aprendizaje continuo incremental de dominio: el modelo debe adquirir conocimiento específico de cada dominio sin sobrescribir las capacidades aprendidas previamente (olvido catastrófico) o sufrir una severa interferencia entre dominios. Los enfoques existentes enfrentan limitaciones específicas:

• Los métodos basados en regularización tienen dificultades ante grandes cambios de dominio.
• Los métodos basados en replay incurren en altos costos de memoria y plantean preocupaciones de privacidad.
• Los métodos basados en prompts y adaptadores a menudo dependen de espacios de adaptación compartidos o particionamiento de parámetros suaves, lo cual es insuficiente para prevenir la interferencia entre dominios altamente heterogéneos.
• Identidad de la Tarea: Una dificultad práctica es la ausencia de identificadores de tarea explícitos en el momento de la inferencia, lo que dificulta la selección del módulo de adaptación correcto.

2. Metodología: Enrutamiento de Expertos Consciente de la Distribución (DAER)

Los autores proponen DAER, un marco de trabajo eficiente en parámetros que combina el aislamiento estricto de parámetros con un enrutamiento consciente de la distribución. El marco mantiene un backbone de Video-MLLM preentrenado congelado para preservar el conocimiento multimodal general, mientras confina todo el aprendizaje incremental a pools de expertos ligeros tipo LoRA especializados en el dominio.

Componentes Clave:

1. Pools de Expertos con Aislamiento de Dominio:
   En lugar de un adaptador compartido, DAER asigna un conjunto dedicado de expertos ligeros para cada tarea. Durante el aprendizaje de la tarea $t$, los parámetros de tareas previas permanecen congelados (a menos que se fusionen), asegurando que las actualizaciones de gradiente para la tarea actual no desplacen el espacio de parámetros de las tareas anteriores.

2. Enrutamiento Intra-Dominio Consciente de la Distribución (IntraDAR):
   Para permitir una especialización fina dentro de un dominio, DAER utiliza un mecanismo de enrutamiento no paramétrico basado en la Discrepancia de la Media Máxima (MMD).

• Mapea los estados ocultos de entrada a un espacio de representación de dominio.
• Mantiene un reservorio de prototipos a nivel de experto para cada experto.
• Las decisiones de enrutamiento se toman comparando la representación de entrada con estos reservorios mediante similitud basada en kernels (aproximando la minimización de MMD). Esto activa al experto cuya distribución modelada mejor coincide con la entrada actual, en lugar de depender de una red de gating paramétrica.

3. Enrutamiento Inter-Dominio Consciente de la Distribución (InterDAR):
   Para abordar la falta de identificadores de tarea en la inferencia, DAER realiza la predicción de la tarea mediante el emparejamiento de prototipos.

• Mantiene un reservorio de prototipos a nivel de dominio para cada tarea, agregando representaciones semánticas de video y texto.
• El emparejamiento ocurre en un subespacio discriminativo (aprendido mediante una proyección de dos etapas para eliminar direcciones redundantes de baja varianza y ampliar los márgenes inter-dominios) en lugar del espacio de características bruto.
• El modelo predice el ID de la tarea encontrando el dominio con la mayor afinidad de prototipo, y luego activa el pool de expertos correspondiente.

4. Fusión de Dominios Adaptativa (ADM):
   Para evitar que el conteo de parámetros crezca linealmente con el número de tareas, DAER introduce una estrategia de fusión. Cuantifica la discrepancia de distribución entre la tarea actual y las tareas históricas utilizando MMD entre los reservorios de prototipos a nivel de dominio. Si la discrepancia cae por debajo de un umbral $\tau$, los parámetros del experto de la tarea actual se promedian con los de la tarea histórica más similar.

5. Estrategia de Optimización de Dos Etapas:
   Para estabilizar el aprendizaje y evitar la inestabilidad del arranque en frío:

• Etapa de Warm-up: Una red de gating auxiliar inicializa los reservorios de prototipos y establece un espacio de enrutamiento estable sin depender del mecanismo de enrutamiento MMD.
• Entrenamiento Principal: Se activa el mecanismo de enrutamiento completo de DAER, y los parámetros de los expertos se optimizan de extremo a extremo utilizando una pérdida de entropía cruzada estándar.

3. Configuración Experimental

• Benchmark: Un benchmark de incremento de dominio construido a partir de 10 conjuntos de datos de VidQA que cubren diversos entornos (MSVD, MSRVTT, Tráfico, Pororo, SVQA, Física, Magia, Humor, Creatividad, Abstracción).
• Backbones: Evaluado en dos Video-MLLMs potentes: InternVideo2.5-8B y VideoLLaMA3.
• Métricas: Precisión promedio ($A_t$) y Olvido Hacia Atrás ($BWF_t$).
• Baselines: Comparado contra métodos de Zero-Shot, Fine-tuning Secuencial, basados en Regularización (LwF, EWC), basados en Prompts (L2P, CODA-Prompt, S-Prompts) y basados en Adaptadores (MoE-Adapters, DAM).

4. Resultados Clave

• Desempeño: En InternVideo2.5-8B, DAER logró una precisión promedio del 67.59%, superando al baseline previo más fuerte (DAM) por un 3.21% (64.38%).
• Olvido: DAER redujo el olvido hacia atrás a -0.14 (indicando una ligera mejora en tareas antiguas), comparado con el 1.81 de DAM y otros baselines que oscilan entre 2.48 y 4.24.
• Generalización: En VideoLLaMA3, DAER mejoró la precisión promedio de 61.97% (DAM) a 63.79% mientras reducía el olvido de 1.93 a 0.02.
• Robustez: En un entorno de 20 tareas (dividiendo dominios en sub-tareas), DAER mantuvo una precisión promedio de 65.89% con un puntaje de olvido negativo (-0.47), superando significativamente a DAM.
• Eficiencia: DAER logró una mayor precisión con 139.54M de parámetros entrenables, en comparación con los 302.30M de DAM. Esto representa una reducción del 53.84% en los parámetros entrenables y una reducción del 92.67% en GFLOPs, manteniendo una latencia comparable.

5. Significación y Reivindicaciones

El artículo afirma que DAER proporciona una solución efectiva y escalable para la adaptación continua de Video-MLLM bajo dominios evolutivos. Su significación radica en:

• Desacoplamiento de la Adaptación: Separar exitosamente la adaptación específica de dominio del conocimiento multimodal general mediante la congelación del backbone y el uso de expertos aislados.
• Enrutamiento Consciente de la Distribución: Demostrar que el enrutamiento no paramétrico basado en MMD (tanto intra como inter-dominio) es superior al gating paramétrico para manejar cambios de dominio heterogéneos sin IDs de tarea explícitos.
• Escalabilidad: Probar que la fusión de dominios adaptativa permite al modelo manejar flujos de tareas largos sin un crecimiento ilimitado de parámetros.
• Estado del Arte: Establecer nuevos benchmarks de rendimiento para el VidQA incremental de dominio, mostrando que la combinación de la adaptación de expertos con aislamiento de dominio y el enrutamiento consciente de la distribución produce una gran estabilidad y precisión.

Los autores enfatizan que su enfoque aborda el problema abierto de la adaptación robusta de dominio específico sin identidad de tarea explícita, preservando en gran medida las capacidades zero-shot del modelo preentrenado.