MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learninga

Resumo Técnico: MultiMem: Medindo e Mitigando a Memorização em Aprendizado Contrastivo Multimodal

1. Declaração do Problema

Embora a memorização em modelos de aprendizado de máquina seja conhecida por auxiliar o desempenho em amostras raras da distribuição interna ao capturar padrões atípicos, ela também leva à retenção prejudicial de ruídos e outliers, degradando a generalização. Pesquisas extensas caracterizaram a memorização no aprendizado supervisionado (SL) e no aprendizado auto-supervisionado (SSL) no domínio da visão. No entanto, a memorização no aprendizado contrastivo multimodal permanece inexplorada.

As definições existentes de memorização são frequentemente específicas de uma modalidade (por exemplo, baseadas na predição de rótulos em SL ou no pareamento de aumentos em SSL) ou limitadas a configurações bimodais (por exemplo, pares imagem-texto no CLIP). Essas definições falham em capturar as interações globais e complexas entre diversas modalidades (como áudio, vídeo, imagem e texto) inerentes aos modelos multimodais. Além disso, métodos anteriores como déjà vu ou CLIPMem não são diretamente aplicáveis a modelos que envolvem mais de duas modalidades. Há uma necessidade crítica de um framework que possa quantificar a memorização em todas as modalidades simultaneamente e compreender como as inconsistências cross-modais impulsionam esse fenômeno.

2. Metodologia

A Métrica MultiMem
Os autores introduzem o MultiMem, a primeira métrica projetada para quantificar a memorização no aprendizado contrastivo multimodal para qualquer número e tipo de modalidades.

• Framework: Baseia-se no framework leave-one-out. Dois modelos são treinados: o modelo $f$ no conjunto de dados completo $S$, e o modelo $g$ no conjunto de dados $S \setminus i$ (excluindo uma amostra multimodal específica $x_i$).
• Proxy para Memorização: Em vez de depender apenas da predição de rótulos ou do alinhamento de pares, o MultiMem utiliza a Consistência Cross-Modal (CMC) como um proxy. A CMC mede o alinhamento das representações através de todas as modalidades para uma amostra específica versus seu alinhamento com amostras não relacionadas de um conjunto mantido fora (held-out set) $H$.
• Cálculo:
  1. As representações para uma amostra $x_i$ através de $n$ modalidades são normalizadas e agregadas em um espaço de representação $\Phi$.
  2. A CMC é calculada como a diferença entre a similaridade esperada das modalidades dentro da amostra (consistência intra-amostra) e a similaridade esperada entre a amostra e as amostras do conjunto held-out (separação inter-amostra).
  3. MultiMem é definido como a diferença nos escores de CMC entre o modelo $f$ e o modelo $g$:
     $$\text{MultiMem}(i, H, f) = \text{CMC}_{f \sim S}(i, H) - \text{CMC}_{g \sim S \setminus i}(i, H)$$
     Um escore MultiMem alto indica que a capacidade do modelo de alinhar as modalidades para a amostra $x_i$ é fortemente dependente da presença de $x_i$ no conjunto de treinamento, significando memorização.

Configuração Experimental
Os autores avaliaram o MultiMem em vários modelos:

• AudioCLIP: Áudio, Imagem, Texto.
• AVT-CLIP: Áudio, Vídeo, Texto (construído customizado).
• AVIT-CLIP: Áudio, Vídeo, Imagem, Texto (construído customizado).
• Baselines: OpenCLIP, VideoCLIP.
  Os datasets incluíram UrbanSound8K, MSR-VTT e COCO.

Estratégias de Mitigação
Com base na métrica, duas estratégias foram propostas para mitigar a memorização:

1. Mitigação Durante o Treinamento (In-Training): Durante o treinamento, as top 5% das amostras mais memorizadas (identificadas via avaliação periódica do MultiMem) são reagrupadas em novos lotes (batches). Apenas essas amostras recebem aumentos baseados em ruído direcionados (ruído Gaussiano) em suas representações, enquanto os outros lotes permanecem inalterados.
2. Mitigação Pós-Treinamento (Post-Training): Após o treinamento inicial, as amostras mais memorizadas são identificadas e removidas do conjunto de treinamento. O modelo é então ajustado (fine-tuned) nos dados restantes.

3. Principais Resultados e Descobertas

Caracterização da Memorização

• Global vs. Parcial: A memorização medida através de todas as modalidades (Global MultiMem) comporta-se de forma diferente da memorização medida em subconjuntos de modalidades (por exemplo, apenas Imagem-Texto). A avaliação global é necessária para uma avaliação precisa.
• Impulsionadores da Memorização: As amostras mais memorizadas não são meramente mal legendadas (como frequentemente encontrado em modelos bimodais), mas exibem desalinhamento semântico cross-modal. A informação fornecida pelas diferentes modalidades frequentemente contradiz ou não tem relação com as outras.
• Influência da Modalidade: O desalinhamento semântico cross-modal tem a influência mais forte na memorização. O texto é a modalidade dominante que impulsiona a memorização, seguido por vídeo, imagem e áudio.
• Mudança de Comportamento: Modelos multimodais exibem comportamentos de memorização mais próximos do Aprendizado Auto-Supervisionado (SSL) (memorizando padrões) do que do Aprendizado Supervisionado (memorizando rótulos). A introdução de áudio e vídeo desloca o comportamento do codificador de visão para longe de ser puramente orientado por legendas.
• Correlação com Generalização: Existe uma forte correlação negativa entre a memorização global e o desempenho de generalização (medido via recuperação, linear probing e tarefas zero-shot). Uma maior memorização leva a um menor desempenho downstream.

Impacto da Mitigação

• Aumento (Augmentation): Aplicar aumentos a todas as modalidades resulta na menor memorização e maior desempenho. Aplicar aumentos a apenas uma única modalidade pode aumentar a memorização em pares de modalidades não aumentadas.
• Efetividade da Mitigação: Ambas as estratégias de mitigação, in-training e post-training, reduziram significativamente a memorização (em até 20%) e melhoraram o desempenho do modelo:
  • Recuperação (Retrieval): Até 8% de melhoria.
  • Classificação Zero-shot: Até 10% de melhoria.
  • Classificação Downstream: Até 4% de melhoria.
• Mecanismo: A mitigação funciona aumentando a distância média de modalidade para amostras altamente memorizadas (reduzindo seu "sobre-alinhamento" devido ao ruído) enquanto preserva o gap de modalidade geral do dataset. A mitigação in-training foi considerada ligeiramente mais eficaz que a post-training.

4. Significância e Alegações

O artigo afirma estabelecer o primeiro framework para medir e mitigar a memorização especificamente para o aprendizado contrastivo multimodal. Sua significância reside em:

1. Definindo uma Nova Métrica: Fornecendo o MultiMem, que generaliza além das limitações bimodais para capturar interações globais através de configurações arbitrárias de modalidades.
2. Revelando Novos Padrões: Demonstrando que a memorização multimodal é impulsionada pela inconsistência semântica cross-modal, em vez de apenas ruído de rótulo ou outliers de uma única modalidade, e que esses modelos comportam-se mais como modelos SSL do que SL.
3. Mitigação Prática: Mostrando que intervenções direcionadas baseadas nesta métrica (especificamente o aumento de ruído em amostras memorizadas) previnem efetivamente a retenção de dados prejudiciais e levam a modelos mais robustos e de alto desempenho, sem exigir a remoção de grandes porções de dados.

Os autores enfatizam que seu trabalho evita a retenção de dados prejudiciais e contribui para o desenvolvimento de modelos multimodais com melhor capacidade de generalização, preenchendo uma lacuna deixada por estudos uni ou bimodais anteriores.