Resumo Técnico: Desaprendizes Podem Mentir: Avaliando e Melhorando a Honestidade no Desaprendizado de LLMs

1. Declaração do Problema

O desaprendizado de Modelos de Linguagem de Grande Escala (LLMs) visa remover seletivamente dados de treinamento específicos (por exemplo, informações sensíveis ou prejudiciais) enquanto preserva a utilidade geral do modelo. No entanto, os métodos existentes de desaprendizado frequentemente falham em garantir honestidade no modelo desaprendido. Embora um modelo possa "esquecer" com sucesso o conhecimento-alvo em termos de precisão, ele pode exibir comportamentos desonestos, como:

• Alucinação: Fabricar informações plausíveis, mas incorretas, sobre tópicos esquecidos.
• Inconsistência: Fornecer respostas diferentes para consultas semanticamente equivalentes ou falhar em manter uma postura de recusa em diálogos de múltiplas voltas.
• Recusa Espúria: Emitir respostas de "Não sei" (IDK) enquanto retém o conhecimento subjacente (conhecimento mascarado) ou selecionar opções IDK baseadas em viés posicional em vez de incerteza genuína.

O artigo argumenta que as métricas de avaliação atuais (por exemplo, precisão em conjuntos de esquecimento) são insuficientes porque não capturam o autoconhecimento (a capacidade do modelo de reconhecer suas limitações) e a autoexpressão (a comunicação consistente e verdadeira dessas limitações).

2. Metodologia

2.1 Definição Formal de Desaprendizado Honesto

Os autores definem o desaprendizado honesto através de dois pilares:

1. Conjunto de Retenção: O modelo deve preservar a utilidade e a capacidade de expressar fielmente o conhecimento retido.
2. Conjunto de Esquecimento: O modelo deve remover efetivamente o conhecimento-alvo e, crucialmente, reconhecer suas limitações de forma verdadeira e estável quando consultado sobre conteúdo esquecido.

2.2 Framework de Avaliação

Para avaliar sistematicamente a honestidade, o artigo introduz um conjunto de métricas nos cenários de Resposta a Perguntas (Q&A) e Questões de Múltipla Escolha (MCQ):

• Métricas de Utilidade: MMLU, Seguimento de Instruções (IF) e Número de Respostas Corretas (NC) em dados retidos.
• Honestidade no Conjunto de Retenção: Taxa de Concordância (AR) e Pontuação de Robustez a Enganos (MRS).
• Métricas do Conjunto de Esquecimento:
  • Taxa de Rejeição (RR): Proporção de perguntas onde o modelo recusa explicitamente ou expressa incerteza.
  • QAMRC (Consistência de Rejeição em Múltiplas Voltas de Q&A): Mede se uma recusa na primeira volta permanece estável após uma consulta de acompanhamento.
  • CIR (Taxa de Escolher-IDK) & COR (Taxa de Escolher-Outro): Em MCQs, o CIR mede a seleção de uma opção "Não sei". O COR mede a seleção de uma opção semanticamente irrelevante na mesma posição para detectar viés posicional.
  • STD & MCQSC: Medem a estabilidade das respostas sob variações de prompt e perguntas repetidas.

2.3 Método Proposto: ReVa (Alinhamento de Vetor de Recusa)

Os autores propõem o ReVa, um procedimento de alinhamento de representação projetado para melhorar a honestidade em modelos que já passaram por desaprendizado por randomização de características (por exemplo, RMU).

• Mecanismo: Em vez de ajuste fino supervisionado (SFT) para emitir tokens específicos como "Não sei", o ReVa alinha as representações internas do fluxo residual do modelo com um vetor de recusa destilado.
• Processo:
  1. Extrair uma direção de recusa $r$ das ativações internas de um modelo quando ele expressa incerteza epistêmica (por exemplo, em perguntas fora do conhecimento).
  2. Ajustar finamente o modelo desaprendido para alinhar as ativações das entradas do conjunto de esquecimento a essa direção de recusa destilada $r$ em camadas específicas do transformador (otimizado na camada 18 para Zephyr-7b).
  3. A função de perda minimiza a distância entre a ativação do modelo e o vetor de recusa escalado: $L_{ReVa} = \mathbb{E}_{x \sim D_F} [\frac{1}{L(x)} \sum ||M^{(l)}_\theta - c \cdot r||^2_2]$.
• Vantagens: O ReVa evita o mapeamento lexical superficial do IDK-SFT, é computacionalmente eficiente em comparação com métodos de ascensão de gradiente e preserva a utilidade sobre o conhecimento retido.

3. Resultados Principais

3.1 Avaliação de Métodos Existentes

O artigo avalia 9 métodos em três famílias (Baseados em Recusa, Randomização de Características, Ascensão de Gradiente) no benchmark WMDP-Bio:

• Baseados em Recusa (por exemplo, IDK+AP): Alcançam altas taxas de rejeição, mas frequentemente sofrem com comportamento "raso e enganoso". Eles podem reter alta precisão em perguntas de esquecimento apesar de emitir "IDK", indicando conhecimento mascarado.
• Ascensão de Gradiente (por exemplo, NPO, GA): Degradam severamente a utilidade (NC e MMLU caem significativamente). Eles exibem comportamento IDK espúrio: alto CIR, mas também alto COR, e entropia extremamente baixa do primeiro token. Isso sugere que eles selecionam opções "IDK" devido a viés posicional ou supressão de tokens, em vez de incerteza genuína.
• Randomização de Características (por exemplo, RMU): Melhores em preservar a utilidade e remover conhecimento (baixa ACC), mas falham em honestidade. Eles frequentemente alucinam no conjunto de esquecimento ou fornecem respostas inconsistentes entre voltas, carecendo de autoexpressão estável.

3.2 Desempenho do ReVa

O ReVa, aplicado como uma etapa de pós-processamento a modelos desaprendidos com RMU, demonstra desempenho superior:

• Honestidade: Alcança uma Taxa de Rejeição (RR) de ~60,86% e um QAMRC (estabilidade após 2 rodadas) de 45,42%, superando significativamente as linhas de base.
• Utilidade: Mantém alta utilidade no conjunto de retenção (MMLU ~57,56, NC ~1592), comparável ao modelo RMU original e melhor que RMU+IDK.
• Estabilidade: Reduz a variância de saída (STD) e melhora a consistência em MCQs.
• Eficiência: Requer apenas ~5,91 minutos de treinamento em 2x GPUs A6000, comparado a ~210 minutos para IDK+AP.

4. Contribuições Principais

1. Identificação da Desonestidade: O artigo identifica e categoriza comportamentos desonestos (alucinação, inconsistência, recusa espúria) nos métodos atuais de desaprendizado, argumentando que o desaprendizado não é apenas sobre esquecer, mas sobre autoexpressão honesta.
2. Benchmark de Honestidade: Um framework de avaliação abrangente com métricas dedicadas (RR, QAMRC, CIR/COR, MRS) para avaliar tanto a eficácia do esquecimento quanto a estabilidade da expressão de incerteza.
3. Análise Teórica e Empírica: A análise revela que métodos de ascensão de gradiente levam a otimização ilimitada, causando colapso de utilidade e preferências de tokens espúrias, enquanto métodos baseados em recusa frequentemente aprendem padrões superficiais.
4. Método ReVa: Introdução de um método leve de alinhamento de representação que permite aos modelos reconhecer genuinamente limitações sem sacrificar capacidades gerais.

5. Significado e Alegações

O artigo afirma que a honestidade é uma dimensão crítica, porém negligenciada, do desaprendizado de LLMs. Métodos atuais que falham em reconhecer limitações podem criar riscos de segurança (por exemplo, alucinar informações médicas ou biológicas perigosas) e corroer a confiança do usuário.

Os autores afirmam que o ReVa representa um passo significativo em direção ao "desaprendizado honesto", permitindo que os modelos:

• Esqueçam efetivamente o conhecimento-alvo.
• Reconheçam de forma consistente e verdadeira o que já não sabem.
• Mantenham alta utilidade sobre o conhecimento retido.

O artigo conclui que, embora o ReVa melhore a honestidade e a estabilidade, não é uma solução perfeita (por exemplo, o desempenho em MCQ ainda tem espaço para melhoria) e que o estudo está atualmente limitado ao benchmark WMDP. O trabalho enfatiza que a pesquisa futura de desaprendizado deve ir além de métricas simples de precisão para garantir que os modelos não estejam apenas "desaprendidos", mas também "honestos".