Resumo Técnico: Inoculação de Tokens para Conhecimento de Uso Dual em LLMs

Definição do Problema

As intervenções de segurança atuais para Grandes Modelos de Linguagem (LLMs) em relação ao conhecimento de uso dual (informação que é valiosa para a ciência legítima, mas perigosa se mal utilizada, como em virologia ou cibersegurança) dependem tipicamente de duas estratégias: destruição (ex: desaprendizado/unlearning, filtragem de dados) ou supressão (ex: treinamento de recusa).

• Métodos de destruição (desaprendizado) modificam os pesos do modelo para remover o conhecimento perigoso. No entanto, como o conhecimento perigoso e o benigno estão frequentemente entrelaçados nas mesmas representações, essa abordagem corre o risco de danificar a competência de domínios adjacentes (ex: reduzir a capacidade do modelo de discutir biologia geral ao tentar impedir que ele discuta armas biológicas).
• Métodos de supressão (treinamento de recusa) ensinam os modelos a recusar consultas específicas. Estes frequentemente aprendem heurísticas superficiais rasas, levando à "recusa excessiva" (over-refusal), onde consultas benignas são incorretamente bloqueadas.

Os autores argumentem que a falha fundamental nessas abordagens é a suposição de que o conhecimento perigoso deve tornar-se menos acessível ao próprio modelo. Em vez disso, eles propõem que a operação correta é a condicionamento, não a redução. O objetivo é reter o conhecimento perigoso dentro das representações do modelo, mas controlar sua expressão comportamental com base em um sinal controlado.

Metodologia: Inoculação de Tokens

O método proposto, Inoculação de Tokens, introduz uma abordagem de vinculação e ramificação utilizando um token de controle especial, <|ino|>. O processo ocorre em duas etapas distintas:

1. Pré-treinamento Continuado de Inoculação (inoCPT)

• Objetivo: Vincular o token especial <|ino|> às representações semânticas do domínio perigoso.
• Processo: O modelo passa por um pré-treinamento continuado em um corpus contendo documentos de uso dual. Sentenças perigosas são marcadas pelo prefixo <|ino|>.
• Mecanismo: Através da previsão do próximo token, o modelo aprende a associar o <|ino|> com a semântica específica do domínio perigoso (ex: pesquisa de ganho de função). A perda (loss) no próprio token <|ino|> é mascarada para evitar que o modelo aprenda a gerar o token; ele serve estritamente como um condicionamento de entrada.
• Significância: Isso estabelece uma "âncora" de domínio específico para o token, distinguindo-o de um gatilho genérico.

2. Ajuste Fino Supervisionado de Inoculação (inoSFT)

• Objetivo: Ensinar o modelo a ramificar seu comportamento com base na presença de <|ino|>.
• Design de Dados: O conjunto de dados de SFT consiste em três componentes:
  1. Dados de Retenção: Perguntas de domínio geral para preservar a competência ampla.
  2. Dados de Inoculação: Perguntas de domínio perigoso onde o <|ino|> é inserido antes da resposta correta (na vez do assistente). O modelo aprende a responder corretamente quando o token está presente.
  3. Dados de Recusa: As mesmas perguntas perigosas sem o <|ino|>, emparelhadas com respostas de recusa (ex: "Não posso ajudar..."). O modelo aprende a recusar quando o token está ausente.
• Escolha de Design Crítica: O token é colocado na vez da resposta do assistente, não na entrada do usuário. Isso garante que, se um usuário tentar injetar o <|ino|> em seu prompt, o modelo interprete isso como um pedido para recusar (já que o token está ausente na vez do assistente), em vez de desbloquear a capacidade.

Principais Contribuições

1. Um Novo Paradigma para Segurança: O artigo desloca o problema do alinhamento de segurança do "esquecimento" (destruição) para o "condicionamento" (acesso controlado). Demonstra que o conhecimento perigoso pode ser retido se sua expressão for controlada por um sinal privilegiado.
2. Vinculação e Ramificação em Duas Etapas: Os autores mostram que ambas as etapas são necessárias. Sem o inoCPT, o token carece de vinculação semântica específica de domínio, levando a uma recusa fraca ou excessivamente generalizada. Sem o inoSFT, o modelo retém o conhecimento, mas carece do mecanismo comportamental para recusá-lo por padrão.
3. Controle Causal: O método permite o controle preciso da seletividade da recusa. A qualidade do sinal de treinamento (a precisão das respostas fornecidas quando o <|ino|> está presente) determina causalmente a precisão do mecanismo de recusa.
4. Insight Mecanístico: A análise de logit lens revela que o <|ino|> atua como um portão representacional: ele simultaneamente suprime as ativações de tokens relacionados à recusa (ex: "Desculpe", "Não posso") e ativa as representações de tokens do domínio perigoso (ex: "vírus", "patógeno") quando o token está presente.

Resultados Experimentais

O método foi avaliado em múltiplas escalas de modelos (1B a 14B) e arquiteturas (Qwen2.5, Llama 3.1, Phi4) nos benchmarks de biosegurança (WMDP-Bio) e cibersegurança (WMDP-Cyber).

• Troca entre Segurança e Utilidade (Safety-Utility Trade-off): A Inoculação de Tokens alcança um equilíbrio Pareto-dominante em comparação com baselines como RMU (unlearning), NPO e DPO (ajuste de recusa).
  • No Qwen2.5-14B, reduziu a precisão do WMDP-Bio de 79,2% para 17,9%, enquanto reteve 93% do desempenho do modelo base no MMLU-Virology (48,2% vs. 53,6% do baseline).
  • Isso resultou no maior escore F1 de Segurança-Utilidade (0,831) em todas as escalas, com a vantagem aumentando conforme o tamanho do modelo aumentava.
• Generalização: O pipeline transferiu-se com sucesso para cibersegurança, suprimindo a precisão do WMDP-Cyber para 10,9%, mantendo 83% do desempenho do MMLU-Computer-Security.
• Segurança de Implementação:
  • Desbloqueio por Especialista: Quando o <|ino|> é inserido pelo provedor de serviço no início da resposta do assistente, as capacidades totais são restauradas (a precisão do WMDP-Bio recupera-se para ~80%).
  • Uso Público: Sem o token, o modelo assume o padrão de recusa (a precisão cai para ~10%).
  • Ataque de Injeção: Se um adversário injetar o <|ino|> na consulta do usuário, o modelo recusa (taxa de recusa de 88,8%) em vez de desbloquear, porque o token não está na posição esperada do assistente.
  • Escudo de Tokenizador: Decompor o <|ino|> em subpalavras no tokenizador reduz ainda mais a precisão perigosa para quase zero (ex: 2,3% no Qwen2.5-14B).

Significância e Alegações

O artigo afirma que, para domínios de uso dual, o acesso condicional ao conhecimento é uma abordagem mais produtiva para o alinhamento de segurança do que a destruição do conhecimento.

• Precisão: Ao reter o conhecimento, mas controlar sua expressão, o modelo evita o "dano colateral" ao conhecimento benigno adjacente que assola os métodos de desaprendizado.
• Controle: A segurança torna-se uma questão de controle de acesso (quem possui o token) em vez de remoção de capacidade. Isso apoia modelos de implantação em camadas, onde um único modelo pode servir tanto ao público (modo de recusa) quanto a especialistas autorizados (modo de desbloqueio).
• Robustez: O método mostra-se robusto contra ataques simples de injeção porque o sinal de condicionamento está vinculado ao papel do assistente no template da conversa, não à entrada do usuário.

Os autores concluem que, embora o método dependa de marcação heurística e exija uma implementação cuidadosa (ex: proteger o token), ele oferece um caminho viável para governar capacidades de uso dual sem sacrificar a utilidade subjacente do modelo ou exigir a destruição de conhecimentos científicos valiosos.