Resumo Técnico: Revisão das Falhas Fundamentais de Aprendizado em Benchmarks de Esquecimento em LVLMs

1. Declaração do Problema

Modelos Visuais-Linguísticos de Grande Porte (LVLMs) apresentam riscos significativos de privacidade ao memorizar involuntariamente informações pessoais sensíveis de seus dados de treinamento. Embora o Esquecimento de Máquina (MU) tenha surgido como uma solução para remover esses dados sem retreinamento completo, os benchmarks atuais de avaliação para esquecimento em LVLMs sofrem de uma falha crítica de Estágio 1.

Os benchmarks existentes (por exemplo, FIUBench, MLLMU-bench) dependem de identidades fictícias para testar a eficácia do esquecimento. No entanto, este artigo demonstra que esses benchmarks falham em garantir que o modelo memorize efetivamente as informações-alvo durante a fase inicial de ajuste fino. Consequentemente, as avaliações subsequentes de esquecimento são pouco confiáveis, pois o modelo é solicitado a "esquecer" informações que nunca foram codificadas com sucesso. Os autores identificam duas causas raiz para essa sub-memorização:

1. Repetição Insuficiente de Dados: Os benchmarks existentes fornecem muito poucos pares de perguntas e respostas (QA) por identidade.
2. A Maldição do Multi-hop: Os benchmarks dependem fortemente de questões complexas de raciocínio multi-hop sem fornecer os passos fundamentais de single-hop necessários, fazendo com que os modelos tenham dificuldade com o aprendizado composicional.

2. Metodologia e Diagnóstico

Para diagnosticar essa falha, os autores conduziram uma análise do estado interno, comparando modelos ajustados finamente em benchmarks existentes contra um "Conjunto Real" de figuras públicas (que o modelo base memorizou com sucesso).

• Assinaturas Probabilísticas de Memorização: Usando Perplexidade Inversa (1/PPL) e Probabilidade Min-k%, os autores descobriram que os modelos tratavam identidades fictícias dos benchmarks existentes como eventos de cauda de baixa probabilidade, ao contrário da recuperação de alta confiança observada com figuras públicas reais.
• Rastreamento Causal: Ao corromper tokens de sujeito e restaurar estados ocultos, os autores mediram o Efeito de Estimativa Indireta (IE). Modelos treinados em benchmarks existentes mostraram valores de IE negligenciáveis ou dispersos, indicando uma falta de circuitos funcionais de memorização na memória paramétrica.
• Análise de Causa Raiz:
  • Escalonamento de Dados: Experimentos variando a contagem de amostras QA (de 20 a 200) revelaram uma forte correlação entre a quantidade de amostras e o desempenho de memorização (medido por EM e ROUGE).
  • Composição QA: Experimentos variando a proporção de perguntas single-hop para multi-hop mostraram que uma mistura estratégica (especificamente 70% single-hop) é necessária para estruturar o raciocínio complexo e alcançar uma memorização robusta.

3. Solução Proposta: ReMem

Os autores apresentam o ReMem (Benchmark de Memorização Confiável Multi-hop e Multi-imagem), um novo framework projetado para estabelecer uma base válida para o esquecimento em LVLMs.

• Construção do Conjunto de Dados:
  • Escala: Cada identidade fictícia está associada a 100 pares QA e 100 imagens (comparado a 1–20 em benchmarks existentes).
  • Estrutura de Raciocínio: Uma proporção de 70:30 de perguntas single-hop para multi-hop garante que os passos fundamentais sejam aprendidos antes do raciocínio complexo.
  • Diversidade Visual: A síntese multi-visão gera imagens diversas (variando pose, roupa, fundo) para cada identidade, evitando o overfitting a uma única instância visual e garantindo generalização.
  • Controle de Qualidade: Revisão manual rigorosa garante alinhamento cross-modal, consistência de personagem e segurança ética.
• Métricas de Avaliação:
  • Métricas Padrão: ROUGE-L, GPT-Score (LLM-as-a-Judge) e Exact Match (EM) tanto para retenção quanto para esquecimento.
  • Nova Métrica (Exposição): Uma nova métrica que quantifica a profundidade da eliminação de informações com base na classificação da resposta-alvo dentro da distribuição de probabilidade de um conjunto de candidatos. Ela mede se o modelo atribui a menor probabilidade ao atributo esquecido.

4. Resultados Experimentais

Os autores avaliaram cinco algoritmos de esquecimento (Ascensão de Gradiente, Diferença de Gradiente, Minimização KL, DPO, NPO) em modelos LLaVA-1.5 (7B e 13B) usando o ReMem.

• Validação de Estágio 1: Modelos ajustados finamente no ReMem codificaram com sucesso tanto narrativas contextuais quanto Informações Pessoalmente Identificáveis (PII) específicas, alcançando altas pontuações EM e ROUGE em conjuntos de treinamento e de teste mantidos, confirmando um aprendizado fundamental robusto.
• Descobertas do Estágio 2 (Esquecimento):
  • Compromisso Utilidade-Esquecimento: Existe uma correlação inversa clara entre preservar a utilidade geral do modelo e apagar efetivamente as informações-alvo. Métodos como Diferença de Gradiente (GD) preservam bem a utilidade, mas falham em esquecer efetivamente, enquanto o NPO esquece bem, mas degrada significativamente a utilidade.
  • Disparidade de Raciocínio: Os métodos de esquecimento degradam consistentemente as capacidades de raciocínio multi-hop mais severamente do que tarefas single-hop, sugerindo que os métodos atuais interrompem caminhos de raciocínio complexos como dano colateral, em vez de cortar precisamente caminhos de recuperação específicos.
  • Escalonamento de Modelo: Modelos maiores (13B) retêm informações com mais força, tornando-os mais difíceis de esquecer efetivamente em comparação com modelos menores (7B), embora também sejam mais resilientes à degradação das capacidades multimodais gerais.

5. Significado e Alegações

O artigo afirma que o ReMem fornece um framework rigoroso e confiável para diagnosticar tanto comportamentos de aprendizado quanto de esquecimento em LVLMs. Ao abordar a falha fundamental da sub-memorização, o ReMem garante que as avaliações de esquecimento estejam avaliando a remoção de informações realmente aprendidas e não artefatos de treinamento deficiente.

O trabalho destaca que benchmarks anteriores podem ter produzido conclusões enganosas sobre a eficácia do esquecimento devido a essa falha de Estágio 1. Os autores posicionam o ReMem não como uma solução final para todos os desafios de esquecimento, mas como um pré-requisito necessário para uma avaliação confiável. Eles observam explicitamente limitações, reconhecendo que o benchmark atual foca em identidades isoladas e únicas e ainda não aborda cenários complexos envolvendo múltiplos indivíduos dentro de uma única entrada visual.

O conjunto de dados e o código estão disponíveis publicamente para facilitar pesquisas adicionais sobre esquecimento confiável em LVLMs.