Resumo Técnico: Além das Recompensas Binárias: Um Estudo Comparativo de Design de Recompensa para Desaprendizado por Reforço

Declaração do Problema

O Desaprendizado de Máquina (Machine Unlearning - MU) visa remover seletivamente conhecimentos específicos (ex: dados pessoais, material protegido por direitos autorais) de Grandes Modelos de Linguagem (LLMs) treinados sem o custo proibitivo de um retreinamento completo. Essa capacidade é cada vez mais exigida por regulamentações como o GDPR e o AI Act da UE.

Abordagens recentes reformularam o desaprendizado como um problema de Aprendizado por Reforço com Recompensas Verificáveis (RLVR), especificamente utilizando a Otimização de Política Relativa de Grupo (Group Relative Policy Optimization - GRPO). Neste framework, os modelos são otimizados contra recompensas computadas diretamente de suas saídas para verificar a ausência de conceitos proibidos. No entanto, métodos existentes, como o PURGE, dependem de recompensas binárias esparsas. Essas recompensas fornecem um sinal de 1 apenas se uma conclusão contiver nenhum item proibido e 0 caso contrário. Essa esparsidade cria um sinal de treinamento ruidoso, não oferecendo ao modelo nenhuma informação de gradiente sobre o quão próximo uma resposta parcial está de um desaprendizado bem-sucedido. Essa limitação atua como um gargalo para escalar o Desaprendizado por Reforço (RUL) para tarefas mais complexas, resultando em uma convergência lenta.

Metodologia

Os autores propõem um framework principial para desacoplar verificabilidade de esparsidade. Eles argumentam que uma recompensa pode ser totalmente verificável (computável sem acesso aos dados de treinamento originais) e, ao mesmo tempo, fornecer sinais densos e informativos.

1. Framework de Decomposição de Recompensa

O artigo introduz uma estrutura de recompensa genérica definida como $\phi(y; F, \psi) = \Gamma(I(y; F, \psi); H)$, onde:

• Componente de Informação ($I$): Extrai dados do operador de correspondência proibida (contagem de ocorrências de itens proibidos) e informações laterais auxiliares (ex: grafos semânticos).
• Função de Transformação ($\Gamma$): Mapeia a informação extraída para um intervalo de recompensa $[0, 1]$.
• Hipótese: Ao variar o componente de informação e a transformação, é possível criar sinais de aprendizado mais densos sem sacrificar a verificabilidade.

2. Funções de Recompensa Propostas

Os autores instanciam este framework com duas novas funções de recompensa, posicionadas em uma hierarquia superior em uma "Hierarquia de Informação" do que a recompensa binária padrão:

• Recompensa Exponencial:

  • Mecanismo: Utiliza a contagem total de ocorrências de conceitos proibidos ($m$) como o componente de informação.
  • Fórmula: $\phi_{exp}(y) = \exp(-m/\tau)$, onde $\tau$ é uma constante de decaimento.
  • Efeito: Fornece penalidades graduais. Em vez de um 0/1 binário, a recompensa diminui suavemente conforme o número de violações aumenta, oferecendo um sinal mais denso do que a linha de base binária.

• Recompensa Inspirada em PageRank:

  • Mecanismo: Explora as relações semânticas entre conceitos proibidos. Constrói-se um grafo semântico onde os nós são itens esquecidos e as arestas representam a similaridade semântica (via similaridade de cosseno de embeddings).
  • Fórmula: Aplica um algoritmo de PageRank personalizado, enviesado para a entidade alvo primária, para computar pesos de importância ($w_j$) para cada item. A recompensa penaliza violações com base nesses pesos.
  • Efeito: Atribui penalidades maiores a violações de conceitos semanticamente centrais (ex: a própria entidade alvo) em comparação com associados periféricos. Isso cria um sinal que guia a otimização para as violações mais informativas primeiro.

3. Análise Teórica

O artigo fornece uma análise teórica da velocidade de convergência sob GRPO. Ele postula que recompensas mais densas mantêm estimativas de vantagem mais estáveis (menor variância no termo de vantagem $\hat{A}$) em comparação com recompensas binárias.

• Recompensas Binárias: Sofrem de "colapso de vantagem" conforme a probabilidade de sucesso se aproxima de 0 ou 1, levando ao desaparecimento dos gradientes.
• Recompensas Densas: Mantêm variância não nula na distribuição de recompensa durante todo o treinamento, permitindo passos efetivos maiores e convergência mais rápida.

Configuração Experimental

• Benchmark: Real World Knowledge Unlearning (RWKU), que avalia o desaprendizado de 100 pessoas famosas do mundo real.
• Modelo: Phi-3-Mini-4K-Instruct (3.8B parâmetros).
• Baselines:
  • Base: O modelo original antes do desaprendizado.
  • Binário (PURGE): A recompensa binária esparsa padrão.
• Métricas:
  • Esquecimento (Forget): Recall ROUGE-L em Fill-in-the-Blank (FB), Question-Answering (QA) e Ataques Adversários (AA). Quanto menor, melhor.
  • Vizinho (Neighbor): Retenção de conhecimento adjacente ao alvo. Quanto maior, melhor.
  • MIA: Scores de Ataque de Inferência de Membros (privacidade).
  • Utilidade (Utility): Capacidades gerais (MMLU, Raciocínio, Veracidade, etc.). Quanto maior, melhor.

Principais Resultados

Os experimentos foram conduzidos ao longo de 1.500 passos de treinamento com 20 alvos de desaprendizado.

1. Velocidade de Convergência: Ambas as recompensas propostas superam significativamente a linha de base binária em termos de eficiência de treinamento.

   • A variante PageRank Softmax atinge o mesmo nível de desempenho de esquecimento da linha de base binária em aproximadamente 3× menos passos de treinamento.
   • No passo 500, a PageRank Softmax alcança uma melhoria de 37,1% sobre a base, um limiar que a linha de base binária não atinge até o passo 1.500.

2. Desempenho de Desaprendizado:

   • A PageRank Softmax alcança os scores de esquecimento mais fortes em todas as métricas (FB, QA, AA), superando consistentemente as linhas de base de Decaimento Exponencial e Binário.
   • O Decaimento Exponencial também melhora em relação à linha de base binária, mas é geralmente menos eficaz que a PageRank.

3. Utilidade e Preservação de Vizinhos:

   • Crucialmente, a melhoria na eficiência não ocorre às custas da utilidade geral do modelo ou da retenção de conhecimento vizinho. As métricas de utilidade (GA, RA, TRU, FAC, FLU) permanecem estáveis em todos os designs de recompensa, variando em no máximo 0,014 em relação ao modelo Base.
   • Os scores de Vizinho mostram degradação uniforme em todos os métodos, indicando que o trade-off é impulsionado pelo próprio objetivo de otimização, e não pelo design específico da recompensa.

4. Estudos de Ablação:

   • Decaimento Exponencial: A constante de decaimento $\tau$ é crítica. $\tau=0,5$ foi considerado ideal, equilibrando informatividade de gradiente e pressão de otimização. Muito pequeno ($\tau=0,1$) retorna à esparsidade quase binária; muito grande ($\tau \ge 1,0$) torna-se excessivamente permissivo.
   • Variantes PageRank: A variante Softmax (que aplica softmax escalonada por temperatura aos scores brutos de PageRank) supera a PageRank padrão e a variante Linear. O Softmax efetivamente achata a distribuição de lei de potência dos pesos, distribuindo a massa de penalidade de forma mais uniforme enquanto preserva a ordem semântica, enquanto o redimensionamento Linear introduz distorção.

Significância e Alegações

O artigo afirma que o design de recompensa é um driver chave da eficiência do desaprendizado dentro do framework de Desaprendizado por Reforço.

• Contribuição Teórica: Formaliza o trade-off entre o viés indutivo da recompensa e a velocidade de otimização, demonstrando que a verificabilidade não exige esparsidade.
• Impacto Prático: Ao introduzir as recompensas Exponencial e PageRank, os autores fornecem um caminho prático para um desaprendizado de máquina escalável e eficiente. Os resultados mostram que recompensas cuidadosamente projetadas podem acelerar o processo de desaprendizado em até 3×, mantendo um forte desempenho de esquecimento e preservando a utilidade geral do modelo.
• Direção Futura: O trabalho abre caminhos para recompensas adaptativas que permaneçam verificáveis sem acesso aos dados de treinamento originais, sugerindo que a "hierarquia de informação" das recompensas pode ser ainda mais explorada.

Os autores concluem que ir além das recompensas binárias não é meramente um ajuste de implementação, mas uma melhoria fundamental na estrutura do sinal de aprendizado, permitindo que o RUL escale para tarefas de desaprendizado mais difíceis.