MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learninga

Resumen Técnico: MultiMem: Medición y Mitigación de la Memorización en el Aprendizaje Contrastivo Multimodal

1. Planteamiento del Problema

Si bien se sabe que la memorización en los modelos de aprendizaje automático ayuda al rendimiento en muestras raras dentro de la distribución al capturar patrones atípicos, también conduce a la retención perjudicial de ruido y valores atípicos, degradando la generalización. La investigación extensa ha caracterizado la memorización en el aprendizaje supervisado (SL) y el aprendizaje autosupervisado (SSL) dentro del dominio de la visión. Sin embargo, la memorización en el aprendizaje contrastivo multimodal permanece inexplorada.

Las definiciones existentes de memorización suelen ser específicas de una modalidad (por ejemplo, basadas en la predicción de etiquetas en SL o en la correspondencia de aumentos en SSL) o están limitadas a entornos bimodales (por ejemplo, pares imagen-texto en CLIP). Estas definiciones no logran capturar las complejas interacciones globales a través de diversas modalidades (como audio, video, imagen y texto) inherentes a los modelos multimodales. Además, métodos previos como déjà vu o CLIPMem no son directamente aplicables a modelos que involucran más de dos modalidades. Existe una necesidad crítica de un marco que pueda cuantificar la memorización en todas las modalidades simultáneamente y comprender cómo las inconsistencias intermodales impulsan este fenómeno.

2. Metodología

La Métrica MultiMem
Los autores introducen MultiMem, la primera métrica diseñada para cuantificar la memorización en el aprendizaje contrastivo multimodal para cualquier número y tipo de modalidades.

• Marco de trabajo: Se basa en el marco de leave-one-out (dejar uno fuera). Se entrenan dos modelos: el modelo $f$ con el conjunto de datos completo $S$, y el modelo $g$ con el conjunto de datos $S \setminus i$ (excluyendo una muestra multimodal específica $x_i$).
• Proxi de la Memorización: En lugar de depender únicamente de la predicción de etiquetas o de la alineación por pares, MultiMem utiliza la Consistencia Intermodal (CMC) como un proxi. La CMC mide la alineación de las representaciones a través de todas las modalidades para una muestra específica frente a su alineación con muestras no relacionadas de un conjunto retenido $H$.
• Cálculo:
  1. Las representaciones para una muestra $x_i$ a través de $n$ modalidades se normalizan y se agregan en un espacio de representación $\Phi$.
  2. La CMC se calcula como la diferencia entre la similitud esperada de las modalidades dentro de la muestra (consistencia intra-muestra) y la similitud esperada entre la muestra y las muestras retenidas (separación inter-muestra).
  3. MultiMem se define como la diferencia en las puntuaciones de CMC entre el modelo $f$ y el modelo $g$:
     $$\text{MultiMem}(i, H, f) = \text{CMC}_{f \sim S}(i, H) - \text{CMC}_{g \sim S \setminus i}(i, H)$$
     Un puntaje MultiMem alto indica que la capacidad del modelo para alinear las modalidades para la muestra $x_i$ depende fuertemente de la presencia de $x_i$ en el conjunto de entrenamiento, lo que significa memorización.

Configuración Experimental
Los autores evaluaron MultiMem en varios modelos:

• AudioCLIP: Audio, Imagen, Texto.
• AVT-CLIP: Audio, Video, Texto (construido a medida).
• AVIT-CLIP: Audio, Video, Imagen, Texto (construido a medida).
• Líneas base (Baselines): OpenCLIP, VideoCLIP.
  Los conjuntos de datos incluyeron UrbanSound8K, MSR-VTT y COCO.

Estrategias de Mitigación
Basándose en la métrica, se propusieron dos estrategias para mitigar la memorización:

1. Mitigación durante el entrenamiento (In-Training Mitigation): Durante el entrenamiento, el 5% superior de las muestras más memorizadas (identificadas mediante la evaluación periódica de MultiMem) se reagrupan en nuevos lotes (batches). Solo estas muestras reciben aumentos basados en ruido dirigidos (ruido gaussiano) en sus representaciones, mientras que los otros lotes permanecen inalterados.
2. Mitigación post-entrenamiento (Post-Training Mitigation): Después del entrenamiento inicial, las muestras más memorizadas se identifican y se eliminan del conjunto de entrenamiento. El modelo es entonces ajustado (fine-tuned) con los datos restantes.

3. Resultados Clave y Hallazgos

Caracterización de la Memorización

• Global vs. Parcial: La memorización medida a través de todas las modalidades (MultiMem Global) se comporta de manera diferente a la memorización medida en subconjuntos de modalidades (por ejemplo, solo Imagen-Texto). La evaluación global es necesaria para una evaluación precisa.
• Impulsores de la Memorización: Las muestras más memorizadas no son simplemente descripciones erróneas (como se encuentra a menudo en modelos bimodales), sino que exhiben una desalineación semántica a través de todas las modalidades. La información proporcionada por las diferentes modalidades a menudo se contradice o no está relacionada entre sí.
• Influencia de la Modalidad: La desalineación semántica intermodal es el factor de mayor influencia en la memorización. El texto es la modalidad dominante que impulsa la memorización, seguido por el video, la imagen y el audio.
• Cambio de Comportamiento: Los modelos multimodales exhiben comportamientos de memorización más cercanos al Aprendizaje Autosupervisado (SSL) (memorizando patrones) que al Aprendizaje Supervisado (SL) (memorizando etiquetas). La introducción de audio y video desplaza el comportamiento del codificador de visión para que no sea puramente impulsado por la descripción (caption-driven).
• Correlación con la Generalización: Existe una fuerte correlación negativa entre la memorización global y el rendimiento de generalización (medido mediante recuperación, probación lineal y tareas zero-shot). Una mayor memorización conduce a un menor rendimiento en tareas posteriores.

Impacto de la Mitigación

• Aumento (Augmentation): Aplicar aumentos a todas las modalidades produce la menor memorización y el mayor rendimiento. Aplicar aumentos a una sola modalidad puede aumentar la memorización en los pares de modalidades no aumentadas.
• Efectividad de la Mitigación: Tanto la mitigación durante el entrenamiento como la post-entrenamiento redujeron significativamente la memorización (hasta un 20%) y mejoraron el rendimiento del modelo:
  • Recuperación (Retrieval): Hasta un 8% de mejora.
  • Clasificación Zero-shot: Hasta un 10% de mejora.
  • Clasificación en tareas posteriores (Downstream): Hasta un 4% de mejora.
• Mecanismo: La mitigación funciona aumentando la distancia promedio de las modalidades para las muestras altamente memorizadas (reduciendo su "sobre-alineación" debido al ruido) mientras preserva la brecha de modalidad general del conjunto de datos. Se encontró que la mitigación durante el entrenamiento es ligeramente más efectiva que la post-entrenamiento.

4. Significancia y Reivindicaciones

El artículo afirma establecer el primer marco para medir y mitigar la memorización específicamente para el aprendizaje contrastivo multimodal. Su significancia radica en:

1. Definir una Nueva Métrica: Proporcionar MultiMem, que se generaliza más allá de las limitaciones bimodales para capturar interacciones globales a través de configuraciones de modalidades arbitrarias.
2. Revelar Nuevos Patrones: Demostrar que la memorización multimodal es impulsada por la inconsistencia semántica intermodal en lugar de solo por el ruido de etiquetas o valores atípicos de una sola modalidad, y que estos modelos se comportan más como modelos SSL que como modelos SL.
3. Mitigación Práctica: Mostrar que las intervenciones dirigidas basadas en esta métrica (específicamente el aumento de ruido en muestras memorizadas) previenen eficazmente la retención de datos perjudiciales y conducen a modelos más robustos y de mayor rendimiento sin requerir la eliminación de grandes porciones de datos.

Los autores enfatizan que su trabajo previene la retención de datos perjudiciales y contribuye al desarrollo de modelos multimodales con mejor capacidad de generalización, abordando un vacío dejado por estudios unimodales o bimodales previos.