Resumo Técnico: Confiabilidade Metátrica em Desaprendizado de Máquina Multimodal

Declaração do Problema

O desaprendizado de máquina torna-se cada vez mais crítico para a conformidade com regulamentações como o Regulamento Geral sobre a Proteção de Dados (GDPR), que exige a remoção de influências específicas de dados de treinamento de modelos implantados. Embora o desaprendizado tenha sido estudado em modelos de classificação e em Modelos de Linguagem de Grande Escala (LLMs) apenas de texto, sua avaliação em Modelos de Linguagem de Grande Escala Multimodais (MLLMs) permanece inconsistente.

O problema central identificado é que as métricas de avaliação existentes para desaprendizado multimodal produzem classificações sistematicamente contraditórias dos métodos de desaprendizado. As práticas atuais dependem de cinco métricas padrão — Precisão de Esquecimento (FA), Precisão de Retenção (RA), Ataque de Inferência de Associação (MIA), Distância de Ativação (AD) e Divergência de Jensen–Shannon (JS) — sem verificar sua concordância. Este artigo demonstra que essas métricas medem aspectos ortogonais do desaprendizado (comportamento de saída vs. alinhamento de representação), levando a cenários onde um método é classificado em #1 por uma métrica e em #4 por outra. Além disso, todas as métricas existentes compartilham uma lacuna crítica: elas falham em medir a Recuperabilidade do Conhecimento (KR), ou seja, se informações esquecidas podem ser reconstruídas por meio de consultas reescritas, indiretas ou adversariais.

Metodologia

Os autores conduziram uma análise sistemática utilizando o modelo visão-linguagem LLaVA-1.5-7B em três benchmarks de VQA: MLLMU-Bench, UnLOK-VQA e MMUBench.

1. Configuração Experimental:

   • Modelos: Um modelo base ($M$) foi ajustado finamente sobre a união dos conjuntos de esquecimento e retenção. Um modelo "oráculo" ($M^*$) foi retreinado apenas no conjunto de retenção para servir como a verdade fundamental de como o modelo deveria parecer após o esquecimento.
   • Métodos de Desaprendizado: Quatro paradigmas distintos foram testados: Ascensão de Gradiente (GA), Rótulos Aleatórios (RL), Ajuste Fino de Retenção (FT) e SalUn (baseado em saliência).
   • Escala: O estudo avaliou 36 modelos (4 métodos × 3 conjuntos de dados × 3 sementes aleatórias).
   • Métricas: Métricas padrão foram computadas:
     • FA/RA: Supressão de saída e preservação de utilidade.
     • MIA: Vazamento de privacidade via pontuações de confiança.
     • AD/JS: Alinhamento do modelo desaprendido ($\hat{M}$) com o oráculo ($M^*$) por meio de distâncias de ativação e distribuições de saída.

2. Framework de Análise:

   • Correlação de Classificação: Os autores utilizaram o $\tau$ de Kendall (uma estatística não paramétrica) para medir a concordância entre as classificações induzidas pelas métricas.
   • Proximidade do Oráculo: A confiabilidade da métrica foi avaliada computando a correlação de Spearman ($\rho$) entre cada métrica e a distância $d(\hat{M}, M^*)$ no espaço de parâmetros LoRA.
   • Pilotagem de Recuperabilidade do Conhecimento (KR): Os autores sondaram manualmente os modelos desaprendidos com consultas reescritas, multi-hop e de negação para quantificar a lacuna entre "supressão de saída" (FA=0) e o verdadeiro "apagamento de conhecimento".

3. Solução Proposta: Pontuação de Qualidade Unificada (UQS):

   • Para resolver contradições, os autores introduziram a UQS, uma métrica composta.
   • Derivação de Pesos: Os pesos não são arbitrários, mas derivados empiricamente. O peso de cada métrica é proporcional à sua correlação de Spearman com a distância do oráculo $d(\hat{M}, M^*)$.
   • Formulação: $UQS = \sum w_i \cdot \text{métrica\_normalizada}_i$. Métricas com correlação negativa (como FA) são fortemente desvalorizadas ou penalizadas.

Contribuições Principais

1. Decomposição de Aspectos: O artigo mapeia as métricas existentes para objetivos distintos e frequentemente conflitantes. FA, RA e MIA medem o comportamento de saída (supressão e utilidade), enquanto AD e JS medem o alinhamento de representação com o oráculo. A divergência nas classificações é estrutural, não ruído.
2. Identificação do Aspecto Faltante (KR): Os autores definem Recuperabilidade do Conhecimento como a capacidade de reconstruir informações esquecidas por meio de consultas indiretas. Um estudo piloto revelou que, mesmo quando FA=0 (recordação direta suprimida), o vazamento de KR foi alto (até 100% para SalUn), indicando que as métricas atuais não garantem o apagamento conforme o GDPR.
3. Quantificação da Contradição: A análise de $\tau$ de Kendall em 36 modelos revelou dois clusters anti-correlacionados: $\{FA, RA, MIA\}$ e $\{AD, JS\}$. Especificamente, $\tau_{FA,AD} = -0,26$, indicando que métodos que otimizam a supressão de saída frequentemente se desviam significativamente da representação do oráculo.
4. Amplificação Multimodal: O estudo encontra que o desacordo entre métricas é mais severo em VQA multimodal ($\bar{\tau} = 0,086$) do que em classificação unimodal ($\bar{\tau} = 0,158$). Os duplos caminhos imagem-texto introduzem dimensões adicionais para divergência, pois codificadores visuais e decodificadores de linguagem podem se desacoplar.
5. Pontuação de Qualidade Unificada (UQS): Uma pontuação composta principista e orientada por dados que agrega aspectos mensuráveis usando pesos de confiabilidade. Os pesos derivados mostram a Precisão de Retenção (RA) como o preditor mais confiável da proximidade do oráculo ($\rho = 0,484, p=0,003$), enquanto a Precisão de Esquecimento (FA) é negativamente correlacionada ($\rho = -0,418$), sugerindo que uma FA baixa frequentemente resulta em colapso do modelo em vez de desaprendizado eficaz.

Resultados

• Instabilidade de Classificação: Nenhum método único de desaprendizado classifica consistentemente em primeiro lugar em todas as métricas. Por exemplo, a Ascensão de Gradiente classifica-se em #1 por MIA, mas em #4 por AD; Rótulos Aleatórios classificam-se em #1 em quatro métricas, mas em #3 por MIA.
• Replicação: A contradição foi replicada no BLIP-2 OPT-2.7B, confirmando que o problema não é específico da arquitetura, mas inerente ao cenário de avaliação.
• Confiabilidade da Métrica:
  • RA é o indicador mais forte e independente da qualidade do desaprendizado em relação ao oráculo.
  • FA é um indicador pobre; uma FA baixa frequentemente correlaciona-se com alta distância do oráculo (colapso do modelo).
  • MIA mostra confiabilidade moderada, mas não é estatisticamente significativa neste tamanho de amostra.
  • AD e JS são pouco confiáveis como métricas independentes nesta escala.
• Estabilidade da UQS: As classificações da UQS permanecem robustas sob perturbações aleatórias de pesos (média $\tau = 0,647 \pm 0,262$), demonstrando que o esquema de ponderação principista resolve as contradições encontradas nas métricas individuais.
• Descobertas de KR: No piloto, 96% das amostras com FA=0 ainda vazaram conhecimento por meio de sondagem indireta, destacando a insuficiência das métricas atuais para conformidade de privacidade.

Significado e Alegações

O artigo reivindica uma contribuição metodológica em vez de um novo algoritmo de desaprendizado. Seu significado principal reside em expor a pouca confiabilidade dos padrões de avaliação atuais para desaprendizado multimodal.

• A Contradição é Estrutural: O desacordo entre as métricas não se deve a ruído experimental, mas decorre do conflito fundamental entre medir a supressão de saída e o alinhamento de representação.
• Lacuna de Conformidade com o GDPR: As métricas atuais falham em avaliar se o conhecimento foi verdadeiramente apagado ou apenas suprimido, uma falha crítica para a conformidade regulatória. O artigo argumenta que, sem medir a Recuperabilidade do Conhecimento, alegações de conformidade com o GDPR são potencialmente enganosas.
• Avaliação Principista: A UQS fornece um framework reproduzível e orientado por dados para classificar métodos de desaprendizado. Ao ponderar métricas com base em sua correlação com um modelo oráculo, oferece uma "pontuação principista única" que se alinha melhor com o objetivo teórico do desaprendizado (atingir o estado de um modelo nunca treinado no conjunto de esquecimento).
• Liberação de Recursos: Os autores liberam o benchmark, 36 checkpoints de modelo e um leaderboard interativo para facilitar a pesquisa reproduzível neste domínio.

Os autores permanecem modestos quanto ao seu escopo, observando que os pesos da UQS são dependentes do modelo e do conjunto de dados e devem ser rederivados para novas configurações. Eles também reconhecem que a medição escalável e automatizada da Recuperabilidade do Conhecimento permanece um desafio aberto para trabalhos futuros.