Resumen Técnico: Olvido Oculto en el Aprendizaje Multimodal Continuo

Declaración del Problema

Los Modelos de Lenguaje Multimodales Grandes (MLLMs) deben adaptarse continuamente a tareas y dominios en evolución, tales como nuevos formatos visuales, instrucciones y habilidades de razonamiento. Mientras que las métricas estándar de aprendizaje continuo (CL) se centran en si las respuestas anteriores siguen siendo correctas, pasan por alto en gran medida la estabilidad de la anclaje multimodal (grounding).

El artículo identifica un modo de fallo específico denominado Olvido de Uso de Evidencia Oculto (Hidden Evidence-Use Forgetting). En este escenario, un MLLM retiene una alta precisión en tareas previas pero cambia silenciosamente su dependencia de los canales de evidencia anclados (por ejemplo, regiones visuales, tokens de OCR, elementos de gráficos, texto de documentos) hacia atajos menos anclados (por ejemplo, sesgos del lenguaje o del conjunto de datos). La evaluación estándar basada en respuestas falla al detectar este desplazamiento, creando una falsa sensación de estabilidad mientras el proceso de razonamiento del modelo se vuelve menos fiel.

Metodología: Aprendizaje Continuo con Restricción de Dependencia (RCL)

Para abordar esto, los autores proponen RCL, un marco de aprendizaje continuo sin replay que preserva no solo qué responde el modelo, sino cómo utiliza la evidencia.

Mecanismo Central

RCL opera congelando el checkpoint anterior como una referencia de comportamiento ("profesor") y restringiendo al modelo actual ("estudiante") para mantener el perfil de dependencia de evidencia del profesor durante la adaptación.

1. Intervenciones de Canales Contrafácticos:

   • Para cada entrada, RCL construye ejemplos contrafácticos mediante la supresión sistemática de canales de evidencia específicos (por ejemplo, enmascarando regiones visuales, eliminando tokens de OCR o escondiendo elementos de gráficos).
   • La sensibilidad del modelo a estas supresiones se mide mediante el aumento de la pérdida o el cambio en la distribución de la salida.
   • Estas sensibilidades se normalizan en un vector de dependencia $r_\theta(x, y)$, que representa la distribución de probabilidad sobre qué canales de evidencia depende el modelo para un ejemplo específico.

2. Objetivo de Preservación de la Dependencia:

   • El marco optimiza conjuntamente tres objetivos:
     • Aprendizaje de Tarea ($L_{task}$): Pérdida de entropía cruzada estándar para la etapa actual.
     • Preservación de la Predicción ($L_{pred}$): Destilación a nivel de token para asegurar que el modelo actual produzca las mismas respuestas que el anterior.
     • Preservación de la Dependencia ($L_{rel}$): Un término de pérdida que minimiza la Divergencia de Jensen–Shannon (JSD) entre el vector de dependencia del profesor y el del estudiante.
   • Una compuerta de confianza pondera la pérdida de dependencia, reduciendo el peso de las muestras donde las predicciones del profesor son inciertas o donde el profesor no muestra una dependencia medible en canales específicos, evitando la propagación de objetivos ruidosos.

3. Detalles de Implementación:

   • RCL es sin replay (replay-free): No almacena ejemplos multimodales previos.
   • Utiliza Ajuste Fino de Parámetros Eficientes (PEFT) (por ejemplo, LoRA), congelando el backbone y actualizando solo los parámetros del adaptador.
   • Sin Sobrecarga de Inferencia: Las intervenciones contrafácticas y la estimación de la dependencia ocurren solo durante el entrenamiento y la evaluación. El modelo desplegado tiene la misma arquitectura y latencia que un MLLM estandaramente adaptado con PEFT.

Principales Contribuciones

1. Formalización del Olvido de Uso de Evidencia Oculto: Los autores definen y cuantifican un modo de fallo donde la precisión de la respuesta se preserva mientras la ruta de evidencia subyacente deriva. Introducen métricas como el Desplazamiento de Dependencia de Modalidad (MRD), la Tasa de Cambio de Evidencia Dominante (DEF) y la Tasa de Olvido Oculto (HFR) para diagnosticar este fenómeno.
2. Marco RCL: Un nuevo marco sin replay que restringe el desplazamiento del uso de la evidencia mediante intervenciones de canales contrafácticos sin aumentar los costos de inferencia.
3. Validación Empírica: El artículo demuestra que preservar los perfiles de dependencia mejora tanto la retención de respuestas como la estabilidad del anclaje, ofreciendo una noción más robusta del aprendizaje multimodal continuo que la precisión de la respuesta por sí sola.

Resultados Experimentales

Los autores evaluaron RCL en cuatro benchmarks: CoIN, COAST, MCITlib y un flujo multimodal sensible a la evidencia personalizado (que cubre VQA, OCR, gráficos y documentos) utilizando backbones como LLaVA-1.5-7B/13B e InternVL-Chat-7B.

• Rendimiento vs. Olvido: RCL superó consistentemente a los baselines sin replay (por ejemplo, Seq-LoRA, EWC, LwF) y a métodos recientes de CL multimodal (por ejemplo, HiDe-LLaVA, BranchLoRA, SEFE) en términos de precisión promedio final, reduciendo significativamente el olvido promedio.
• Estabilidad de Anclaje:
  • RCL redujo el Desplazamiento de Dependencia de Modalidad (MRD) aproximadamente un 50% en comparación con los baselines fuertes (por ejemplo, de ~0.23 a ~0.10).
  • Redujo drásticamente la Tasa de Cambio de Evidencia Dominante (DEF), particularmente para evidencia estructurada como OCR, gráficos y documentos.
  • La Tasa de Olvido Oculto (HFR) se redujo de ~65% (en baselines como Answer-KD) a ~11% con RCL.
• Eficiencia de Costos: A pesar del costo en tiempo de entrenamiento de las intervenciones contrafácticas, RCL logró un rendimiento cercano al óptimo de Pareto, ofreciendo ganancias sustanciales en la estabilidad del anclaje con solo un aumento moderado en el cómputo de entrenamiento (aproximadamente 1.56 veces el costo de LoRA secuencial).

Significado y Reivindicaciones

El artículo argumenta que el aprendizaje multimodal continuo robusto requiere preservar la ruta de evidencia detrás de las respuestas correctas, no simplemente las respuestas mismas.

• Más allá de la Precisión: Los autores afirman que la evaluación estándar centrada en la respuesta es insuficiente para aplicaciones sensibles a la seguridad y de larga duración, ya que puede enmascarar la deriva del modelo hacia un razonamiento basado en atajos.
• Eficiencia Sin Replay: RCL demuestra que es posible lograr una preservación de la dependencia de alta calidad sin almacenar datos pasados ni incurrir en penalizaciones de tiempo de inferencia, lo que lo hace adecuado para el despliegue en el mundo real.
• Generalizabilidad: Se muestra que el método es efectivo a través de diferentes escalas de modelos y arquitecturas, sugiriendo que la estabilidad del uso de la evidencia es un requisito fundamental para la adaptación fiable de los MLLM.

Los autores concluyen que los futuros sistemas de aprendizaje continuo deben ser evaluados no solo por qué responden, sino por cómo utilizan la evidencia multimodal para llegar a esas respuestas.