Resumo Técnico: Moldando Capacidades com Filtragem de Dados ao Nível de Token

Declaração do Problema

As abordagens atuais para reduzir capacidades indesejadas em modelos de linguagem de grande escala (LLMs) são amplamente post hoc, baseando-se em intervenções após o pré-treinamento (ex: RLHF, desaprendizado de máquina ou classificadores de entrada-saída). O artigo argumenta que esses métodos são facilmente contornados por adversários através de jailbreaking ou ajuste fino (finetuning) adversarial porque não removem as capacidades subjacentes das representações do modelo base. Embora a moldagem de capacidades durante o pré-treinamento via seleção de dados seja uma alternativa promissora, a literatura existente tem focado majoritariamente na filtragem grosseira ao nível de documento. Os autores postulam que essa granularidade é suboptimal: modelos podem aprender capacidades perigosas de subsequências curtas de tokens dentro de documentos que, de outra forma, seriam benignos, levando ou à remoção excessiva de dados úteis (baixa precisão) ou à retenção de conhecimento prejudicial (baixo recall).

Metodologia

O artigo propõe a filtragem de dados ao nível de token como uma intervenção mais precisa durante o pré-treinamento. A metodologia envolve quatro estágios:

1. Rotulagem via Autoencoders Esparsos (SAEs): Para gerar rótulos de nível de token como verdade fundamental (ground-truth) sem anotação manual dispendiosa, os autores utilizam autoencoders esparsos treinados em um modelo de 9 bilhões de parâmetros (Gemma 2). Eles identificam latentes de SAE correspondentes ao domínio a ser "esquecido" (conhecimento médico) e utilizam um LLM mais forte (Claude Sonnet 4) para classificar essas descrições de latentes. Os tokens são rotulados como "médicos" se exibirem alta ativação nesses latentes médicos específicos. Esse processo cria um conjunto de dados fracamente supervisionado de rótulos ao nível de token.
2. Treinamento de Classificador: Os autores treinam modelos de linguagem bidirecionais (biLMs) específicos para tarefas para atuarem como classificadores de nível de token. Eles demonstram que modelos pequenos e específicos para o domínio (ex: 224M de parâmetros) treinados em corpora relevantes superam modelos maiores e de propósito geral (ex: ModernBERT-large) para esta tarefa específica de classificação.
3. Estratégias de Filtragem: Duas estratégias de filtragem ao nível de token são implementadas durante o pré-treinamento:
   • Mascaramento de Perda (Loss Masking): O modelo vê os tokens do "esquecimento" durante o forward pass, mas os gradientes são mascarados (zerados) durante o backward pass para esses tokens.
   • Remoção: Os tokens do "esquecimento" são substituídos por um token especial <|hidden|> e sua perda é mascarada.
4. Experimentos de Escala: Os autores treinam modelos Transformer variando de 61M a 1.8B de parâmetros no dataset FineWeb-Edu, aplicando as estratégias de filtragem. Eles avaliam o desempenho nos domínios de "esquecimento" (capacidades médicas) e domínios de "retenção" (biologia, STEM geral) usando perplexidade de texto, questões de múltipla escolha (MedMCQA, MedQA-USMLE) e geração de resposta livre.

Principais Contribuições e Resultados

1. A Filtragem de Token Domina o Pareto da Filtragem de Documento

O artigo demonstra que a filtragem ao nível de token alcança uma melhoria de Pareto sobre a filtragem de nível de documento. Ao filtrar ao nível de token, os autores alcançam a mesma redução nas capacidades de "esquecimento" (conhecimento médico) com uma degradação significativamente menor nas capacidades de "retenção" (biologia). A filtragem de nível de documento frequentemente descarta grandes quantidades de dados benignos para capturar pequenas sequências de tokens prejudiciais, ao passo que a filtragem de token preserva o contexto dos dados benignos enquanto remove tokens prejudiciais específicos.

2. A Eficácia Escala com o Tamanho do Modelo

Um achado central é que a eficácia da filtragem de dados aumenta com a escala do modelo.

• Desaceleração de Computação: Para os maiores modelos (1.8B de parâmetros), a filtragem de token leva a uma desaceleração de computação de 7.000× no domínio de "esquecimento" em comparação com um baseline treinado em dados não filtrados. Isso significa que um adversário precisaria de 7.000 vezes mais computação para reaprender as capacidades médicas filtradas via ajuste fino adversarial em comparação com um modelo treinado em dados não filtrados.
• Leis de Escala (Scaling Laws): A lacuna de desempenho entre modelos filtrados e não filtrados aumenta conforme o computação de pré-treinamento aumenta. A filtragem de token resulta em expoentes de escala de menor magnitude no domínio de esquecimento, indicando que modelos maiores são mais efetivamente "moldados" pela filtragem.

3. Robustez a Ataques Adversariais

A filtragem de token é significativamente mais robusta ao ajuste fino (finetuning) adversarial do que os métodos de estado da arte para desaprendizado de máquina (especificamente RMU).

• Enquanto o desempenho do RMU degrada rapidamente com a escala (exigindo menos tokens adversariais para reaprender capacidades), a filtragem de dados torna-se relativamente mais robusta conforme os modelos escalam.
• Para modelos de 1.8B, o RMU requer 13× menos tokens do que a remoção de tokens para atingir paridade com o baseline, destacando a superior resistência à manipulação (tamper-resistance) da filtragem de pré-treinamento.

4. Alinhamento e Generalização de Recusa

Ao contrário das preocupações de que remover conhecimento poderia prejudicar a capacidade de um modelo de recusar consultas perigosas, os autores descobrem que modelos com filtragem de token generalizam melhor para o treinamento de recusa do que os baselines não filtrados.

• Modelos treinados com remoção de token geram recusas para consultas médicas a uma taxa 2× maior que o baseline, mantendo o comportamento normal em consultas não médicas.
• Os autores hipotetizam que isso ocorre porque o modelo aprende a distinguir entre tokens "treinados" e "não treinados", uma tarefa mais simples do que classificar toxicidade, permitindo um alinhamento eficaz mesmo sem o conhecimento perigoso subjacente.

5. Robustez a Ruído de Rótulo

O artigo investiga o impacto de rótulos imperfeitos.

• Generalização de Fraco-para-Forte (Weak-to-Strong Generalization): Classificadores de nível de token podem generalizar a partir de rótulos fracos ou grosseiros (ex: rótulos de frase ou documento) para produzir filtros eficazes ao nível de token. Classificadores de nível de documento, inversamente, falham em generalizar a partir de rótulos fracos.
• Escala Mitiga o Ruído: Mesmo com rótulos ruidosos, aumentar o tamanho do modelo e ajustar o limiar de classificação (priorizando recall sobre precisão) permite que a filtragem permaneça eficaz.

Significância e Alegações

O artigo afirma que a filtragem de dados ao nível de token é um método custo-efetivo, robusto e escalável para moldar as capacidades do modelo durante o pré-treinamento. Sua principal significância reside em:

• Segurança Preventiva: Aborda o jogo de "gato e rato" das salvaguardas post hoc ao remover as capacidades na fonte (pré-treinamento), em vez de tentar extraí-las posteriormente.
• Eficiência: Alcança alta precisão na remoção de capacidades específicas sem a perda massiva de dados associada à filtragem de nível de documento.
• Escalabilidade: O método torna-se mais eficaz conforme os modelos crescem, sugerindo que é uma estratégia viável de longo prazo para modelos de fronteira.
• Compatibilidade de Alinhamento: Demonstra que remover conhecimento perigoso não compromete necessariamente a capacidade de um modelo de ser alinhado ou de recusar solicitações prejudiciais; em alguns casos, pode até melhorar a generalização do alinhamento.

Os autores concluem que, embora a filtragem de pré-treinamento seja um "instrumento bruto" comparado ao ideal de remoção baseada em influência, é atualmente a intervenção mais eficaz e robusta disponível para evitar que modelos de fronteira adquiram capacidades indesejadas, particularmente quando combinada com uma abordagem de defesa em profundidade que inclui salvaguardas de pós-treinamento.