Resumo Técnico: CoVUBench – Benchmarking de Esquecimento de Direitos Autorais Multimodal em LVLMs

Declaração do Problema

Grandes Modelos Visuais-Linguísticos (LVLMs), treinados em corpora em escala web, correm inerentemente o risco de memorizar e regenerar conteúdo visual protegido por direitos autorais, como personagens e logotipos, juntamente com suas descrições textuais. Embora o esquecimento de máquina ofereça um caminho para remover dados específicos após o treinamento, avaliar sua eficácia no cenário multimodal permanece um problema em aberto. As estruturas de avaliação existentes são predominantemente centradas no texto (por exemplo, TOFU, MUSE) e falham em abordar as complexidades de apagar conceitos embutidos conjuntamente nos espaços visual e linguístico. Os métodos atuais carecem de robustez ao avaliar se um modelo realmente rompeu o vínculo cruzado entre reconhecimento visual e conhecimento factual associado, frequentemente falhando em distinguir entre estratégias de recusa superficiais e o apagamento genuíno de conceitos. Além disso, há uma falta crítica de benchmarks padronizados que satisfaçam simultaneamente as necessidades concorrentes dos detentores de direitos autorais (que exigem remoção robusta) e dos implantadores de modelos (que exigem a preservação da utilidade geral).

Metodologia

Para abordar essas lacunas, os autores introduzem o CoVUBench (Copyright Vision-Language Unlearning Benchmark), um framework projetado para a avaliação segura e realista do esquecimento de direitos autorais em LVLMs.

1. Construção do Conjunto de Dados

Em vez de usar propriedade intelectual (PI) do mundo real, o que apresenta riscos legais e éticos, o CoVUBench utiliza um pipeline de geração procedural para criar conteúdo sintético e legalmente seguro de direitos autorais.

• Blueprints de Persona: O pipeline gera "blueprints de persona" estruturados em JSON definindo personagens e logotipos fictícios únicos com atributos semânticos específicos (por exemplo, personalidade, habilidades) e descrições visuais.
• Geração de Conteúdo Sintético: Usando esses blueprints, o sistema gera um corpus diversificado de imagens. Isso inclui variações composicionais (diferentes fundos, cenas, pontos de vista) e manifestações de domínio (por exemplo, um personagem aparecendo como uma figura de ação 3D ou uma estampa de camiseta) para testar a generalização do esquecimento além de instâncias de treinamento específicas.
• Resposta Visual a Perguntas (VQA): O conjunto de dados inclui 2.420 pares VQA associados a 20 conceitos únicos. Esses pares são categorizados em:
  • Perguntas unimodais: Consultas apenas em texto testando a recordação factual (por exemplo, "Qual é a habilidade principal de [Personagem]?").
  • Perguntas multimodais: Consultas baseadas em imagens exigindo reconhecimento visual vinculado a conhecimento factual (por exemplo, "Qual é a habilidade do personagem nesta imagem?").
• Verificação: Um processo rigoroso de filtragem cruza atributos gerados com bancos de dados de marcas registradas (OMPI) e utiliza pesquisa reversa de imagens para garantir que não haja sobreposição com obras protegidas existentes.

2. Protocolo de Avaliação

O benchmark emprega um pipeline de duas etapas:

1. Ajuste Fino (Memorização): Um LVLM base é ajustado finamente em um conjunto de treinamento ($D_{train}$) contendo os conceitos sintéticos de direitos autorais.
2. Esquecimento: Um subconjunto ($D_{forget}$) é designado para remoção, enquanto o restante ($D_{retain}$) é preservado. Vários algoritmos de esquecimento são aplicados ao modelo ajustado finamente.

3. Métricas Centradas nas Partes Interessadas

A avaliação quantifica o desempenho através de seis métricas abordando duas perspectivas distintas:

• Perspectiva do Detentor de Direitos Autorais (Eficácia do Esquecimento):
  • Eficácia: Mede a redução nas pontuações de Correspondência Exata (EM) para palavras-chave no conjunto de esquecimento ($1 - EM(D_{forget})$).
  • Generalidade: Mede a redução nas pontuações de EM em um conjunto de teste retido ($D_{test}$) com variações visuais/textuais novas ($1 - EM(D_{test})$).
  • Divergência: Mede a dissimilaridade semântica (similaridade de cosseno de embeddings) entre respostas verdadeiras e previstas para detectar quase-duplicatas.
• Perspectiva do Implantador do Modelo (Preservação de Utilidade):
  • Fluência: Recall ROUGE-L no conjunto retido ($D_{retain}'$).
  • Especificidade: Pontuação de Correspondência Exata no conjunto retido para conteúdo não listado como bloqueado.
  • Capacidade: Precisão em benchmarks externos de propósito geral (POPE, MMBench) para garantir que o raciocínio multimodal central permaneça intacto.

4. Baselines

O estudo avalia cinco algoritmos de esquecimento representativos:

• Ascensão de Gradiente (GA): Maximiza a perda no conjunto de esquecimento.
• Diferença de Gradiente (GD): Equilibra a maximização da perda no conjunto de esquecimento com a minimização no conjunto retido.
• Regularização de Divergência KL (KL): Minimiza a divergência KL entre o modelo esquecido e o modelo original no conjunto retido.
• Otimização Direta de Preferência (DPO): Treina o modelo para preferir respostas de recusa sobre as respostas originais.
• Otimização de Preferência Negativa (NPO): Trata o conjunto de esquecimento como dados de preferência negativa para reduzir a probabilidade de respostas originais.

Principais Resultados

Os experimentos foram conduzidos nos modelos LLaVA-Phi-3B e LLaVA-1.5-7B. Os resultados revelam uma compensação nítida entre a eficácia do esquecimento e a preservação da utilidade:

• Polarização dos Métodos:
  • Métodos baseados em gradiente (GA, KL): Alcançaram alta eficácia de esquecimento (apagamento robusto de conceitos), mas causaram quedas catastróficas na utilidade do modelo (Fluência e Especificidade despencaram, especialmente no modelo de 7B).
  • Métodos baseados em preferência (DPO, NPO) e GD: Preservaram com sucesso a utilidade do modelo (alta Fluência e Especificidade), mas falharam em apagar efetivamente os conceitos, pontuando próximo de zero em Eficácia e Generalidade. Suas altas pontuações de Divergência sugerem que aprenderam estratégias de recusa superficiais em vez de verdadeiro esquecimento.
• A Lacuna de Modalidade: Uma lacuna significativa de desempenho foi observada entre consultas unimodais (apenas texto) e multimodais (incluindo visão). Métodos que pareciam eficazes em consultas apenas em texto frequentemente falharam em romper o vínculo visão-conhecimento quando testados com imagens, indicando que os métodos atuais lutam com o verdadeiro apagamento de conceitos cruzados entre modalidades.
• Impacto da Razão de Esquecimento: O aumento da razão de esquecimento (de 5% para 20%) exacerbou a compensação. Métodos baseados em gradiente exibiram "esquecimento excessivo catastrófico", destruindo capacidades dentro do domínio, enquanto métodos que preservam a utilidade permaneceram ineficazes no apagamento, independentemente da razão.
• Sensibilidade de Domínio: O NPO mostrou maior eficácia em personagens do que em logotipos, provavelmente devido à complexidade da "lenda" textual associada aos personagens, mas isso veio a um custo maior para a fluência.

Significado e Alegações

O artigo afirma que o CoVUBench é o primeiro benchmark dedicado para avaliar o esquecimento de direitos autorais em LVLMs. Seu significado principal reside em:

1. Padronização: Fornecer um framework rigoroso e legalmente seguro para avaliar a generalização do esquecimento através de diversas manifestações visuais e associações cruzadas entre modalidades.
2. Equilíbrio das Partes Interessadas: Introduzir um protocolo de avaliação de dupla perspectiva que quantifica explicitamente a tensão entre a necessidade de remoção do detentor de direitos autorais e a necessidade de utilidade do implantador.
3. Insight Empírico: Demonstrar que os algoritmos atuais de esquecimento são fundamentalmente inadequados para o domínio de direitos autorais multimodal. O estudo destaca que os métodos existentes ou destroem a utilidade do modelo para alcançar o apagamento ou falham em apagar conceitos para preservar a utilidade e, crucialmente, que eles lutam para romper o vínculo subjacente visão-conhecimento, mesmo quando as associações textuais são removidas.

Os autores concluem que há uma necessidade urgente de algoritmos novos e especializados projetados explicitamente para o esquecimento multimodal, pois as abordagens centradas no texto atuais não se transferem efetivamente para os desafios complexos e cruzados entre modalidades dos direitos autorais em LVLMs. O conjunto de dados e o benchmark estão disponíveis publicamente para facilitar pesquisas futuras nesta área.