EASE: Federated Multimodal Unlearning via Entanglement-Aware Anchor Closure

1. Declaração do Problema

O artigo aborda o desafio do Desaprendizado Multimodal Federado (FML) no contexto de modelos de grande escala visão-linguagem (por exemplo, CLIP). No FML, múltiplos clientes treinam colaborativamente um modelo em pares imagem-texto privados sem compartilhar dados brutos. Quando um cliente se retira, ou dados específicos (amostras/classe) devem ser removidos (por exemplo, devido a direitos de privacidade ou conteúdo prejudicial), o sistema deve "desaprender" esses dados sem retreinar do zero.

Os autores identificam que os métodos existentes de desaprendizado federado falham em cenários multimodais porque não levam em conta três âncoras residuais específicas que permitem que o conhecimento esquecido persista:

1. Âncora de Modalidade: Devido ao acoplamento bilinear em funções de perda contrastiva (por exemplo, InfoNCE), o gradiente de uma modalidade (por exemplo, texto) depende dos embeddings da outra (por exemplo, imagem). Se apenas um ramo for modificado, o ramo intocado atua como uma âncora, reconstruindo o alinhamento esquecido.
2. Âncora de Subespaço Único: Os subespaços de gradiente dos clientes estão emaranhados. Direções específicas de esquecimento são misturadas com direções compartilhadas pelos clientes retidos. Os métodos existentes tratam o subespaço de esquecimento como um bloco monolítico, levando a um trade-off: ou falham em remover os dados (sub-apagamento) ou danificam o conhecimento retido (sobre-apagamento).
3. Reancoragem Temporal: Mesmo que as âncoras sejam fechadas no momento do desaprendizado, as rodadas subsequentes de Média Federada (FedAvg) com clientes retidos podem reescrever gradualmente as direções removidas, fazendo com que o modelo "lembre" dos dados esquecidos ao longo do tempo.

2. Metodologia: Framework EASE

Os autores propõem o EASE (Entanglement-Aware Subspace Excision), um framework projetado para fechar simultaneamente todos os três canais de âncora. Ele opera sobre uma espinha dorsal multimodal congelada usando adaptadores LoRA leves.

A. Excisão Bilateral de Conhecimento (BKE) – Fechando a Âncora de Modalidade

• Mecanismo: Em vez de modificar apenas o ramo visual ou textual, o EASE desloca ambos os ramos simultaneamente.
• Lógica: Em um modelo de similaridade bilinear, o gradiente de alinhamento depende do produto de ambos os embeddings. Ao deslocar tanto $z_v$ quanto $z_t$ para longe de seus valores originais, a similaridade bilinear não pode mais reconstruir o pareamento esquecido.
• Resultado: Isso impede que a modalidade "intocada" atue como uma âncora de memória que puxa o ramo modificado de volta para o alinhamento original.

B. Decomposição de Subespaço de Gradiente (GSD) – Fechando a Âncora de Subespaço Único

• Mecanismo: O servidor coleta atualizações de gradiente históricas dos clientes e realiza a Decomposição em Valores Singulares (SVD) para extrair o subespaço de esquecimento ($S_f$) e o subespaço de retenção ($S_r$).
• Lógica: Usando a decomposição Cosseno-Seno, o método calcula os ângulos principais entre $S_f$ e $S_r$.
  • Direções quase ortogonais a $S_r$ são identificadas como Âncoras de Subespaço Único (removíveis).
  • Direções altamente alinhadas com $S_r$ são identificadas como Suporte de Retenção (devem ser preservadas).
• Ação: O servidor projeta os parâmetros do modelo global no complemento do subespaço único, efetivamente excisando apenas as direções exclusivas de esquecimento, enquanto preserva o suporte compartilhado.

C. Projeção com Bloqueio de Esquecimento (PFL) – Fechando a Reancoragem Temporal

• Mecanismo: Uma abordagem de duas frentes para evitar desvios durante o treinamento contínuo:
  1. Projeção no Servidor: Imediatamente após o desaprendizado, o modelo global é projetado para remover componentes do subespaço único.
  2. Bloqueio de Esquecimento no Cliente: Durante as rodadas subsequentes de SGD local, os clientes otimizam um objetivo combinado: $L_{total} = L_{align} + \alpha \cdot L_f$.
• Lógica: $L_f$ é uma penalidade quadrática que penaliza especificamente o desvio ao longo das direções identificadas do subespaço único ($U_\mu$).
• Resultado: Isso cria um "bloqueio" que limita o desvio do conhecimento esquecido de volta para o modelo, enquanto deixa o complemento ortogonal (conhecimento retido) sem restrições para recuperação.

3. Contribuições Principais

1. O Princípio da Âncora: O artigo identifica e caracteriza formalmente três mecanismos distintos (Modalidade, Subespaço Único e Reancoragem Temporal) que causam falha no desaprendizado multimodal federado. Ele demonstra que fechar qualquer subconjunto desses deixa um caminho de reconstrução mensurável.
2. Framework EASE: Uma solução unificada combinando BKE, GSD e PFL. É o primeiro método a abordar o acoplamento cruzado de modalidades e o emaranhamento de subespaços simultaneamente em um ambiente federado.
3. Garantias Teóricas: Os autores fornecem provas geométricas mostrando que:
   • O BKE elimina o sinal dominante da âncora de modalidade.
   • O GSD limita o dano colateral ao conhecimento retido com base no limiar $\delta$.
   • O PFL limita o desvio temporal do conhecimento esquecido inversamente proporcional à força do bloqueio $\alpha$.
4. Avaliação Abrangente: Experimentos extensivos em Flickr30K, MS COCO e TextCaps usando as espinhas dorsais CLIP-B/32, CLIP-L/14 e SigLIP.

4. Resultados Experimentais

O EASE foi comparado a nove baselines (incluindo FedEraser, Ferrari, FedOSD e GradAscent) em três cenários de desaprendizado: Cliente, Classe e Amostra.

• Completude do Desaprendizado: O EASE supera significativamente todas as baselines na redução do desempenho de recuperação no conjunto de esquecimento (Forget R@1). Por exemplo, no Flickr30K com CLIP-B/32, o EASE alcançou um Forget R@1 de 0,3 (próximo da referência de retreinamento de 0,1), enquanto baselines como Ferrari e FedOSD permaneceram altas (>60-80%), indicando que falharam em esquecer.
• Integridade da Retenção: Diferentemente de métodos agressivos (por exemplo, GradAscent) que destroem o conhecimento retido, o EASE mantém alto desempenho no conjunto de retenção. Ele igualou a referência de retreinamento dentro de 4,2 pontos R@1 no lado da retenção para desaprendizado de cliente, enquanto outros métodos sofreram quedas significativas.
• Verificação de Privacidade: O EASE apresentou as menores pontuações de Ataque de Inferência de Membro (MIA) e TPR de Ataque de Razão de Verossimilhança (LiRA), confirmando que os dados esquecidos são indistinguíveis de não-membros.
• Estudos de Ablação: A remoção de qualquer componente único (BKE, GSD ou Lock) resultou em modos de falha distintos, validando a necessidade de abordar as três âncoras.
• Eficiência: O EASE requer significativamente menos custo de comunicação (aproximadamente 20-25% do retreinamento completo) enquanto alcança desempenho comparável a um retreinamento completo.

5. Significado

• Mudança de Paradigma: O artigo move o desaprendizado federado de uma abordagem de "apagamento de caixa-preta" para uma abordagem "geométrica e consciente de emaranhamento". Ele destaca que, em sistemas multimodais, o desaprendizado não pode ser feito unilateralmente em uma modalidade ou tratando gradientes como blocos independentes.
• Aplicabilidade Prática: Ao usar adaptadores LoRA e operadores de projeção, o EASE é computacionalmente eficiente e compatível com a infraestrutura existente de aprendizado federado, tornando-o viável para implantação no mundo real em domínios regulamentados (por exemplo, saúde, finanças) onde o "Direito ao Esquecimento" é crítico.
• Robustez: O framework garante que o desaprendizado seja durável contra treinamento contínuo, resolvendo o problema de "desvio" que aflige muitos algoritmos de desaprendizado existentes.

Em conclusão, o EASE fornece uma solução fundamentada teoricamente e empiricamente superior para remover dados de modelos multimodais federados, fechando efetivamente os canais de reconstrução que anteriormente impediam o verdadeiro desaprendizado.