Resumo Técnico: Desaprendizado por Reforço Livre de Alucinação de Objetos para Modelos Visão-Linguagem

Definição do Problema

Os Modelos Visão-Linguagem (VLMs) apresentam riscos significativos em relação à privacidade, direitos autorais e viés, tornando necessário o desaprendizado de máquina para remover conhecimentos específicos sensíveis. No entanto, os métodos de desaprendizado existentes dependem principalmente do ajuste fino (fine-tuning) do decodificador de linguagem. Os autores identificam uma limitação crítica nessa abordagem: ela leva a um esquecimento superficial. Embora o modelo possa suprimir a geração de palavras-chave específicas em texto aberto, ele retém as representações visuais subjacentes do conceito-alvo dentro do codificador de visão. Consequentemente, o modelo ainda pode reconhecer ou raciocinar sobre o conceito esquecido quando solicitado de forma discriminativa (por exemplo, "Esta pessoa é X?").

Além disso, o artigo destaca um modo de falha previamente negligenciado: alucinação de objetos. Quando um modelo é forçado a suprimir um conceito sem um fallback semântico, ele pode redistribuir arbitrariamente a massa de probabilidade para objetos não relacionados que não estão fundamentados na entrada visual. O artigo define formalmente o objetivo do Desaprendizado de VLM Livre de Alucinação de Objetos, que requer:

1. Esquecimento Eficaz: Eliminar a influência do conceito-alvo em tarefas generativas e discriminativas.
2. Preservação da Utilidade: Manter o desempenho em dados não-alvo (retenção) e em benchmarks gerais.
3. Geração Livre de Alucinação: Garantir que, quando o modelo não consegue identificar um conceito-alvo, ele não afirme com confiança a presença de objetos não relacionados. Em vez disso, deve expressar incerteza ou usar hiperônimos semanticamente válidos (por exemplo, "um animal" em vez de um "cachorro" específico ou um "gato" aleatório).

Metodologia: Framework HFRU

Os autores propõem o HFRU (Desaprendizado por Reforço Livre de Alucinação), um framework de duas etapas que opera diretamente no codificador de visão em vez do decodificador de linguagem. Isso garante a remoção semântica profunda ao nível da representação.

Etapa 1: Disrupção do Alinhamento de Início Frio

A primeira etapa emprega o Ajuste Fino Supervisionado (SFT) para interromper o alinhamento entre as características visuais no conjunto de esquecimento e seus rótulos semânticos originais.

• Processo: O modelo gera uma legenda para uma imagem no conjunto de esquecimento. Palavras-chave relacionadas ao conceito-alvo são aleatoriamente substituídas por tokens do conjunto de retenção (por exemplo, substituindo "cachorro" por "coelho").
• Objetivo: O codificador de visão é treinado para associar a entrada visual ao texto modificado e incompatível. Isso enfraquece a dependência do modelo do conceito-alvo e inicializa o codificador em um estado onde a associação original é significativamente interrompida.

Etapa 2: Desaprendizado por Reforço Apenas no Codificador

A segunda etapa utiliza a Otimização de Política Relativa em Grupo (GRPO) para refinar os parâmetros do codificador de visão, mantendo o decodificador de linguagem congelado.

• Estrutura de Recompensa Composta: A inovação central é uma função de recompensa projetada para penalizar conceitos-alvo enquanto incentiva abstrações semanticamente válidas.
  • Recompensa de Penalidade ($R_{pen}$): Penaliza a geração de palavras-chave-alvo e seus sinônimos.
  • Recompensa de Abstração ($R_{abs}$): Recompensa a geração de hiperônimos (por exemplo, "animal" para "cachorro") em vez de objetos não relacionados. Isso atua como um "fallback semântico seguro", guiando o modelo a substituir conceitos esquecidos por categorias de nível superior válidas.
  • Recompensa de Retenção ($R_{retain}$): Garante que o modelo retenha o conhecimento de conceitos não-alvo.
• Otimização: A GRPO calcula vantagens relativas dentro de um grupo de respostas amostradas para estabilizar o treinamento. A função objetivo maximiza a recompensa para o conjunto de esquecimento (penalizando alvos, recompensando hiperônimos) e o conjunto de retenção (recompensando a preservação), remodelando efetivamente o espaço de representação latente.

Garantia Teórica

O artigo fornece uma prova teórica (Lema 1) demonstrando que a inclusão da recompensa de abstração ($R_{abs}$) reduz sistematicamente a taxa esperada de alucinação em comparação com o uso de uma recompensa apenas de penalidade. Ao fornecer um caminho semântico válido (hiperônimos) para a massa de probabilidade removida do conceito-alvo, o modelo tem menor probabilidade de gerar objetos não fundamentados e alucinados.

Contribuições Principais

1. Definição do Problema: Os autores definem formalmente o novo problema do desaprendizado de VLM livre de alucinação de objetos, abordando o modo de falha onde a remoção de conceitos desencadeia a geração de conteúdo não fundamentado.
2. Framework HFRU: Eles propõem um framework de duas etapas direcionado ao codificador de visão. Isso garante a remoção semântica profunda em vez de filtragem léxica superficial. Teoricamente, esse mecanismo reduz as alucinações no conjunto de esquecimento.
3. Visualização Inovadora: Os autores desenvolvem um método para reconstruir a percepção interna a partir de estados ocultos usando uma rede de mapeamento e um IP-Adapter baseado em difusão, permitindo a observação direta de como as características visuais mudam durante o desaprendizado.
4. Avaliação Abrangente: Experimentos extensivos em reconhecimento de objetos (PACS) e identidade facial (VGGFace2) demonstram a eficácia do framework.

Resultados Experimentais

Os autores avaliaram o HFRU nos conjuntos de dados PACS e VGGFace2, comparando-o com baselines incluindo Ascenso de Gradiente (GA), Diferença de Gradiente (GD), NPO, RMU, SAUCE e SLUG.

• Esquecimento e Retenção: O HFRU alcançou uma taxa média de esquecimento e desempenho de retenção superiores a 98% em vários formatos de prompt (Original, Parafraseado e Discriminativo).
• Mitigação de Alucinação: Diferentemente das baselines que frequentemente trocam esquecimento por alucinação (por exemplo, o SAUCE mostrou alto esquecimento, mas uma taxa de alucinação de 20,67% no VGGFace2), o HFRU introduziu alucinação de objetos negligenciável (0,25% no PACS, 1,34% no VGGFace2).
• Utilidade Geral: O HFRU manteve capacidades gerais visão-linguagem comparáveis ao modelo base, enquanto muitas baselines sofreram degradação significativa em benchmarks gerais (MMStar, OCRBench, MMMU, RealWorldQA).
• Estudos de Ablação: A remoção da recompensa de abstração levou a um aumento massivo nas alucinações (até 99,67% no VGGFace2), confirmando seu papel crítico. Restringir as atualizações ao codificador de visão mostrou-se superior ao ajuste fino de parâmetros completos, que frequentemente resultou em supressão superficial ao nível de tokens.

Significado e Alegações

O artigo afirma que o HFRU estabelece um novo estado da arte para desaprendizado de VLM, resolvendo o duplo desafio da remoção eficaz de conceitos e prevenção de alucinações. O significado reside em:

• Mudança de Foco: Mover o desaprendizado do decodificador de linguagem para o codificador de visão para alcançar uma eliminação semântica verdadeira.
• Segurança e Confiabilidade: Fornecer um mecanismo que impede que os modelos "alucinem" novos fatos, potencialmente prejudiciais ou incorretos, quando forçados a esquecer dados específicos.
• Robustez: Demonstrar que o método generaliza para configurações fora da distribuição (OOD) (por exemplo, o domínio Sketch no PACS) sem sobreajuste à distribuição de treinamento.

Os autores concluem que seu trabalho destaca a necessidade de intervenções ao nível do codificador e design estruturado de recompensas para desaprendizado multimodal confiável, oferecendo uma abordagem prática para sistemas de IA mais seguros e confiáveis.