🤖 machine learning

Regularizing modality contribution drift in multimodal continual learning

Este artículo identifica y cuantifica la "Deriva de la Contribución de la Modalidad" (MCD, por sus siglas en inglés) como un problema crítico en el aprendizaje continuo multimodal donde la importancia relativa de las modalidades cambia a través de las tareas, y propone un nuevo marco de regularización (CMCDR) con variantes basadas en la repetición y sin repetición para preservar las estructuras de contribución de las modalidades y mitigar el olvido.

Autores originales: Zhen Zhang, Jielei Chu, Bin Liu, Tianrui Li

Publicado 2026-07-31

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zhen Zhang, Jielei Chu, Bin Liu, Tianrui Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a entender el mundo. No solo le muestras imágenes; le das una experiencia sensorial completa: un video de un perro ladrando, la grabación de una sirena o una foto de un atardecer con una descripción. Esto se llama aprendizaje multimodal. El robot aprende a combinar estos diferentes "sentidos" (como la vista y el oído) para tomar decisiones inteligentes. Pero aquí está la parte difícil: el mundo cambia constantemente. Aparecen nuevos tipos de perros, nuevos sonidos, nuevas preguntas cada día. Esto es el aprendizaje continuo. El robot tiene que seguir aprendiendo cosas nuevas sin olvidar las anteriores.

Piensa en esto como un estudiante tomando una serie de exámenes. Primero, aprende a identificar animales. Luego, aprende a identificar vehículos. Un estudiante inteligente no debería olvidar cómo reconocer un gato solo porque ahora está estudiando camiones. En el pasado, los científicos intentaron resolver esto asegurándose de que el "cerebro" del robot (su representación interna) se mantuviera consistente. Querían que el robot viera un gato y un camión de una manera que no se volviera caótica. Pero este artículo sugiere que mantener el mapa interno del cerebro estable no es suficiente. El verdadero problema es cómo el robot usa ese mapa para tomar una decisión final. ¿Se basa principalmente en lo que ve? ¿O escucha más? Si el robot aprende una nueva tarea que requiere que escuche más, podría empezar accidentalmente a ignorar las pistas visuales en las que solía confiar para tareas anteriores. Este cambio se denomina Desviación de la Contribución de la Modalidad (Modality Contribution Drift). Es como un estudiante que, tras aprender una nueva materia, de repente empieza a adivinar las respuestas de problemas matemáticos antiguos basándose en una corazonada que nunca antes había usado, lo que conduce a errores.

Los investigadores, Zhen Zhang y su equipo de la Universidad de Suroeste de Jiaotong, notaron que los métodos actuales pasaban por alto este tipo específico de olvido. Descubrieron que incluso cuando la comprensión interna del robot sobre imágenes y sonidos se mantenía igual, la forma en que ponderaba esas entradas para tomar una decisión estaba derivando. Para solucionar esto, inventaron un nuevo método llamado Regularización de la Desviación de la Contribución de la Modalidad Continua (CMCDR).

Piensa en CMCDR como un estricto "entrenador de decisiones" para el robot. Cuando el robot aprende una nueva tarea, este entrenador verifica: "Oye, ¿recuerdas cómo resolvías ese problema antiguo? Dependías de una mezcla específica de sentidos para hacerlo bien. No cambies esa receta solo porque aprendiste algo nuevo". El método funciona de dos maneras. Si el robot tiene un banco de memoria con ejemplos antiguos (basado en la repetición o replay), el entrenador pone a prueba al robot con esos ejemplos antiguos para asegurarse de que todavía utiliza la mezcla correcta de sentidos. Si el robot no tiene ejemplos antiguos (sin repetición o replay-free), el entrenador utiliza los nuevos ejemplos como un campo de prueba, pidiéndole al robot que finja que está resolviendo los problemas antiguos y asegurándose de que no se desvíe de su estrategia original.

El equipo probó esta idea en varios conjuntos de datos desafiantes, incluyendo tareas audiovisivas como reconocer sonidos en videos y responder preguntas sobre imágenes. Encontraron que simplemente añadir su "entrenador" a los métodos existentes marcaba una gran diferencia. Por ejemplo, en un conjunto de datos llamado AVE, añadir CMCDR a un método estándar llamado iCaRL aumentó la precisión promedio del robot del 64.20% al 71.90% y redujo la tasa de olvido a la mitad (del 25.60% al 17.40%). Lo que es más interesante, demostraron que CMCDR funciona junto con otros métodos que intentan mantener estable la representación interna del cerebro del robot. Es como tener un entrenador que corrige el proceso de toma de decisiones mientras otro entrenador mantiene organizado el recuerdo del cerebro; juntos, funcionan mejor que cualquiera de los dos por separado.

El artículo sugiere que esta "desviación" es un problema real y distinto que los métodos anteriores no abordaron completamente. Demostraron mediante experimentos que el simple hecho de mantener estables las características internas del robot (asegurarse de que ve un gato de la misma manera) no garantiza que tome la misma decisión (depender de la vista frente al oído). Al regularizar directamente la contribución de cada sentido, demostraron que los robots pueden aprender cosas nuevas sin perder sus viejos hábitos de toma de decisiones. Esto no es solo un pequeño ajuste; es un nuevo principio para la forma en que enseñamos a las máquinas a aprender continuamente, asegurando que no solo recuerden hechos, sino que recuerden cómo llegaron a ellos en primer lugar.

Resumen Técnico: Regularización de la Deriva de la Contribución de la Modalidad en el Aprendizaje Continuo Multimodal

1. Definición del Problema: Deriva de la Contribución de la Modalidad (MCD)

El Aprendizaje Continuo Multimodal (MMCL) tiene como objetivo aprender conocimiento emergente de datos multimodales secuenciales mientras preserva el conocimiento adquirido previamente. Los métodos existentes se centran principalmente en mitigar el olvido catastrófico mediante la alineación de representaciones transmodales o la preservación de la similitud semántica a través de las etapas incrementales. Sin embargo, los autores identifican un modo de fallo crítico y poco explorado: la Deriva de la Contribución de la Modalidad (MCD, por sus siglas en inglés).

Si bien la alineación de representaciones asegura que los espacios de características permanezcan estables, esto no garantiza que las contribuciones relativas de las modalidades individuales (por ejemplo, audio, visual) y sus interacciones en la toma de decisiones permanezcan estables. Diferentes tareas suelen depender de distintas dependencias de modalidad (por ejemplo, una tarea de cruce de calle depende fuertemente de pistas visuales, mientras que una tarea de respuesta a preguntas requiere un razonamiento audio-visual conjunto). Cuando un modelo aprende una nueva tarea con diferentes patrones de dependencia, puede alterar la estructura de contribución a nivel de decisión de las tareas aprendidas anteriormente, lo que provoca olvido incluso si las representaciones subyacentes parecen estables.

Los autores formalizan la MCD como un cambio en la fuerza de contribución (magnitud del beneficio) y la dependencia relativa (distribución de la evidencia a través de las modalidades) de las tareas aprendidas previamente. Demuestran teórica y empíricamente que los mecanismos convencionales de aprendizaje continuo (como el replay y la destilación) y los métodos basados en la estabilidad de la representación (como la alineación transmodal) no previenen necesariamente esta deriva.

2. Metodología: Regularización de la Deriva de la Contribución de la Modalidad Continua (CMCDR)

Para abordar la MCD, los autores proponen la Regularización de la Deriva de la Contribución de la Modalidad Continua (CMCDR), un marco diseñado para preservar la estructura de contribución de la modalidad de las tareas aprendidas previamente permitiendo al mismo tiempo la adaptación a nuevas dependencias.

Mecanismo Central: Estimación Basada en Intervención
El método se basa en un estimador de diagnóstico basado en intervenciones. Al eliminar sistemáticamente subconjuntos de modalidades (reemplazándolos con símbolos de ausencia $\perp$ ) y medir el cambio resultante en el beneficio predictivo (margen de log-odds), el modelo computa un perfil de contribución. Este perfil descompone el beneficio de la entrada completa en términos específicos para las modalidades individuales y sus interacciones utilizando una transformada de Möbius.

Dos Variantes de CMCDR
El marco se adapta a diferentes configuraciones de MMCL según la disponibilidad de ejemplares antiguos:

CMCDR Basado en Replay:
- Contexto: Se dispone de muestras antiguas.
- Mecanismo: El modelo actual se compara con un modelo previo congelado sobre las muestras antiguas almacenadas.
- Restricción: El método minimiza la distancia entre el perfil de contribución del modelo actual y el perfil del modelo congelado para las mismas etiquetas de verdad fundamental (ground-truth). Esto restringe los cambios tanto en las contribuciones específicas de la modalidad como en las de interacción.
CMCDR Libre de Replay (Replay-Free):
- Contexto: No se dispone de muestras antiguas.
- Mecanismo: Las muestras de la tarea actual se utilizan como "sondas" para consultar el espacio de decisión de la tarea antigua.
- Restricción: El modelo actual es regularizado para coincidir con las respuestas de contribución del modelo previo congelado para los logits de las clases antiguas. Para evitar el ruido de las respuestas débiles del profesor, los perfiles de contribución se ponderan mediante la probabilidad de modalidad completa del modelo congelado sobre el espacio de salida de la clase antigua.

Función de Pérdida
La pérdida de regularización ( $L_{cmcdr}$ ) combina dos términos:

Coincidencia Absoluta: Minimiza la diferencia en los vectores de contribución brutos.
Coincidencia Relativa: Minimiza la diferencia en los vectores de contribución normalizados (ajustados por escala) para preservar los patrones de dependencia relativa entre modalidades.

3. Principales Contribuciones

Identificación del Problema: El artículo define y cuantifica formalmente la Deriva de la Contribución de la Modalidad (MCD), identificándola como una causa distinta de olvido en MMCL que persiste incluso cuando las representaciones transmodales están alineadas.
Perspectiva Teórica: Los autores proporcionan pruebas teóricas (Proposiciones 1 y 2) que demuestran que:
- Los cambios negativos de contribución suficientemente grandes pueden agotar el margen de retención, causando olvido.
- La estabilidad de la representación (restringir los mapas de características) es insuficiente para la estabilidad de la contribución porque el mapa de decisión aún puede desplazarse independientemente del mapa de características.
Propuesta Metodológica: La introducción de CMCDR, un regularizador plug-and-play disponible en versiones con y sin replay, que restringe explícitamente la evolución de las estructuras de contribución de la modalidad.
Complementariedad: El trabajo demuestra que CMCDR aborda un modo de fallo distinto de la alineación de representaciones, ofreciendo beneficios complementarios cuando se combina con métodos existentes.

4. Resultados Experimentales

Los autores evaluaron CMCDR en aprendizaje continuo de clases multimodales (AVE, Kinetics-Sounds, UESTC-MMEA-CL) y en preguntas-respuesta visual continua (VQAv2, Split-AVQA, Split-MUSIC-AVQA).

Ganancias de Rendimiento: CMCDR mejoró consistentemente la precisión promedio (ganancias del 2.13% al 7.70%) y redujo el olvido promedio (reducciones del 0.85% al 11.55%) en varios baselines (por ejemplo, LwF, EWC, iCaRL, AV-CIL).
Reducción de la Deriva: El método redujo significativamente la puntuación de MCD, indicando una mejor preservación de las estructuras originales de dependencia de la modalidad.
Complementariedad: Cuando se combina con métodos de alineación de representación (RepAlign, CrossSDC), CMCDR proporcionó mejoras adicionales en la precisión y en la reducción del olvido, confirmando que la estabilidad de la representación y la estabilidad de la contribución son objetivos complementarios.
Análisis por Clase: Los resultados mostraron que las clases con un MCD base más alto (mayor deriva inicial) se beneficiaron más de CMCDR, exhibiendo una mayor reducción de la deriva y preservación de la precisión.

5. Significado y Reivindicaciones

El artículo sostiene que la estabilidad de la contribución de la modalidad es un principio necesario y complementario a la estabilidad de la representación en el Aprendizaje Continuo Multimodal. Los autores argumentan que preservar la geometría transmodal por sí sola es insuficiente porque no restringe cómo las modalidades y sus interacciones apoyan las decisiones individuales.

Al introducir una métrica de diagnóstico (MCD) y un marco de regularización (CMCDR), el trabajo proporciona un mecanismo para gestionar explícitamente la evolución de las dependencias de las modalidades. Los autores posicionan a CMCDR como una solución generalizable que mejora el rendimiento en diversos benchmarks y configuraciones de MMCL, motivando la investigación futura en aproximaciones de coalición escalables para sistemas con muchas modalidades. El trabajo no pretende resolver todos los problemas de MMCL, sino que apunta específicamente al vacío entre la estabilidad de la representación y la estabilidad de la contribución a nivel de decisión.