💬 NLP

Safety-Aligned Weights Are Not Enough: Refusal-Teacher-Guided Finetuning Enhances Safety and Downstream Performance under Harmful Finetuning Attacks

Este artigo propõe um framework de ajuste fino guiado por um Professor de Recusa (Refusal-Teacher) que melhora tanto a segurança quanto o desempenho em tarefas subsequentes sob ataques de ajuste fino prejudiciais ao treinar diretamente os modelos base com orientação de segurança, em vez de depender da inicialização fraca fornecida por pesos pré-alinhados.

Autores originais: Seokil Ham, Yubin Choi, Yujin Yang, Seungju Cho, Younghun Kim, Changick Kim

Publicado 2026-08-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Seokil Ham, Yubin Choi, Yujin Yang, Seungju Cho, Younghun Kim, Changick Kim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, uma nova e poderosa capacidade surgiu: a habilidade de pegar um modelo de linguagem de uso geral massivo e adaptá-lo a necessidades específicas usando os próprios dados de um usuário. Este serviço, frequentemente chamado de "ajuste fino" (finetuning), permite que empresas e indivíduos personalizem essas mentes digitais para tarefas especializadas, desde escrever código até analisar registros médicos. No entanto, essa flexibilidade vem com um perigo oculto. Se os dados usados para a customização contiverem instruções prejudiciais — como solicitações para construir armas ou gerar discurso de ódio — o modelo pode aprender a ignorar suas regras de segurança. Essa vulnerabilidade, conhecida como um "ataque de ajuste fino prejudicial", ameaça transformar ferramentas úteis em ferramentas perigosas. O desafio central para os desenvolvedores é encontrar uma maneira de permitir que os usuários customizem seus modelos sem acidentalmente ensiná-los a serem inseguros.

Por algum tempo, a solução padrão para este problema foi um processo de duas etapas. Primeiro, os desenvolvedores pegavam um modelo base e o treinavam extensivamente em dados de segurança, ensinando-o a recusar solicitações prejudiciais. Isso criava um modelo "alinhado com a segurança". Depois, eles pegavam esse modelo já seguro e o treinavam ainda mais nos dados específicos do usuário. Pesquisadores do Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST) descobriram agora que essa abordagem tradicional é falha. Eles descobriram que começar com um modelo que já foi fortemente treinado em regras de segurança na verdade torna mais difícil para o modelo aprender novas tarefas de forma eficaz. O treinamento de segurança altera as configurações internas do modelo de uma forma que não é ideal para aprender novas habilidades, levando a um compromma onde o modelo ou apresenta um desempenho ruim na tarefa do usuário ou, pior, esquece suas regras de segurança ao ser exposto a dados ruins.

Para resolver isso, os pesquisadores propuseram uma estratégia diferente que inverte o roteiro. Em vez de começar com um modelo que já foi forçado a ser seguro, eles começaram com um modelo base bruto e adaptável e o treinaram diretamente nos dados do usuário e nos dados de segurança ao mesmo tempo. No entanto, simplesmente misturar esses dois tipos de dados cria um novo problema: o modelo fica confuso porque os objetivos de ser útil e ser seguro podem, às vezes, puxar em direções opostas. Para resolver esse conflito, a equipe introduziu um "Professor de Recusa" (Refusal-Teacher). Este é um modelo separado, treinado em segurança, que atua como um guia. Ele não faz o aprendizado em si; em vez disso, ele observa o processo de aprendizado e presta dois serviços cruciais. Primeiro, ele filtra as instruções prejudiciais dos dados do usuário antes que o modelo principal as veja, evitando que os dados ruins causem danos. Segundo, ele guia suavemente o modelo sobre como lidar com a segurança sem ser excessivamente rígido, usando exemplos suaves em vez de regras rígidas para ajudar o modelo a aprender de forma fluida.

Os resultados deste novo método são impressionantes. Em testes onde os pesquisadores introduziram quantidades variadas de dados prejudiciais — variando de nenhum a metade do conjunto de treinamento — a abordagem deles superou consistentemente os métodos existentes. Quando os dados de treinamento continham 50% de prompts prejudiciais, os métodos tradicionais falharam em manter o modelo seguro, com respostas prejudiciais saltando para quase 80% em alguns casos. Em contraste, o novo método manteve as respostas prejudiciais abaixo de 1%, enquanto ainda permitia que o modelo aprendesse a tarefa do usuário com alta precisão. Esse sucesso manteve-se constante em diferentes tipos de tarefas, como resolver problemas matemáticos ou analisar artigos de notícias, e funcionou com diversas arquiteturas de modelos. Os pesquisadores também descobriram que este método reduziu a "tensão" interna ou o conflito que ocorre quando um modelo tenta aprender duas coisas opostas ao mesmo tempo, levando a um processo de treinamento mais estável e eficiente.

O estudo sugere que a chave para a customização segura não reside em pré-endurecer o modelo com regras de segurança, mas em manter o modelo flexível e guiá-lo cuidadosamente durante o processo de aprendizado. Ao usar um professor para filtrar o veneno e destilar lições de segurança, o sistema alcança um equilíbrio que era anteriormente inalcançável. Os pesquisadores demonstraram que esta abordagem funciona mesmo quando os dados prejudiciais estão disfarçados ou vêm de diferentes fontes, mostrando uma robustez que as defesas atuais carecem. Embora este trabalho seja um passo significativo à frente, ele destaca que a segurança na inteligência artificial não é uma configuração única, mas um processo dinâmico que requer orientação constante e inteligente. As descobertas oferecem um caminho claro para que provedores de serviços ofereçam customização sem sacrificar a segurança das ferramentas que implantam, garantindo que, à medida que esses modelos se tornam mais especializados, eles permaneçam confiáveis.

Resumo Técnico: Ajuste Fino Guiado por Professor de Recusa para FaaS Seguro

Declaração do Problema

O artigo aborda a vulnerabilidade do Finetuning-as-a-Service (FaaS) a ataques de ajuste fino prejudiciais. Neste cenário, usuários enviam dados de customização contendo uma mistura de prompts inofensivos e prompts prejudiciais (por exemplo, instruções para gerar conteúdo inseguro). Se um provedor realizar o ajuste fino de um Modelo de Linguagem de Grande Escala (LLM) nesses dados, o alinhamento de segurança do modelo pode degradar, levando a saídas prejudiciais.

Os autores identificam uma falha crítica no pipeline de dois estágios predominante usado para mitigar este risco:

Estágio de Alinhamento: Modelos pré-treinados são alinhados com dados de segurança.
Estágio de Ajuste Fino (Finetuning): O modelo resultante, já alinhado com segurança, é ajustado com dados do usuário.

O artigo argumenta que esta abordagem é subótima porque os pesos alinhados com segurança fornecem uma inicialização fraca para o aprendizado de tarefas subsequentes. Isso leva a um compromisso (trade-off) onde o modelo sofre ou com baixo desempenho na tarefa ou com a perda do alinhamento de segurança após o ajuste fino do usuário. Além disso, realizar o ajuste fino direto de um modelo base tanto nos dados do usuário quanto nos dados de segurança simultaneamente (sem um mecanismo específico) introduz conflitos de gradiente entre os objetivos de segurança e utilidade, desestabilizando o treinamento.

Metodologia: Ajuste Fino Guiado por Professor de Recusa (Refusal-Teacher-Guided Finetuning)

Para superar essas limitações, os autores propõem uma mudança de paradigma: em vez de realizar o ajuste fino de pesos já alinhados com segurança, eles propõem o ajuste fino de pesos base sob orientação explícita de um professor de segurança. Isso é implementado através do framework de ajuste fino guiado pelo Professor de Recusa (Ref-Teacher), que consiste em dois estágios:

1. Estágio de Preparação do Professor

O objetivo é treinar um modelo professor de segurança capaz de distinguir prompts prejudiciais de inofensivos e gerar rótulos de recusa suaves (soft refusal labels).

Característica de Recusa (Refusal Feature): O framework aproveita a "característica de recusa", um vetor que codifica o comportamento de rejeição de LLMs alinhados com segurança. Ela é definida como a diferença média entre as representações de características de prompts prejudiciais e inofensivos em uma camada $l$ específica.
Objetivo de Treinamento: O Ref-Teacher é treinado usando uma perda combinada:
- Perda de Alinhamento de Segurança ( $L_{align}$ ): Ajuste fino supervisionado padrão pareando prompts prejudiciais com respostas de recusa e prompts inofensivos com respostas úteis.
- Perda de Regularização ( $L_{regul}$ ): Um termo de perda que impõe uma separação mais clara entre as características de prompts prejudiciais e inofensivos em relação à característica de recusa. Isso empurra a similaridade de cosseno das características prejudiciais para 1 e das características inofensivas para -1.
Atualização Dinâmica: Como um modelo pré-alinhado pode não estar disponível para extrair a característica de recusa inicialmente, o framework atualiza dinamicamente a característica de recusa durante o treinamento, acumulando características de prompts em buffers.

2. Estágio de Ajuste Fino (Finetuning)

O LLM base é ajustado nos dados do usuário e nos dados de alinhamento de segurança sob a orientação congelada do Ref-Teacher. Este estágio emprega dois mecanismos complementares:

Destilação de Alinhamento (Alignment Distillation): Em vez de rótulos rígidos (hard labels), o Ref-Teacher gera rótulos de recusa suaves (soft refusal labels). O modelo base é treinado para corresponder ao comportamento seguro do Ref-Teacher nos dados de alinhamento de segurança usando uma perda de divergência KL. Isso fornece supervisão mais rica e superfícies de perda mais suaves, mitigando conflitos de gradiente entre segurança e utilidade.
Filtragem de Dados (Data Filtering): O Ref-Teacher usa sua característica de recusa para classificar os prompts nos dados do usuário. Prompts com uma alta similaridade de cosseno com a característica de recusa (excedendo um limiar $\tau$ ) são identificados como prejudiciais e excluídos da perda de ajuste fino supervisionado (ponderados por um indicador binário $\omega_i = 0$ ). Isso evita que amostras prejudiciais desestabilizem o processo de treinamento.

A função objetivo geral combina a perda supervisionada filtrada para tarefas do usuário e a perda de destilação de alinhamento para segurança:
$L_{ft} = \frac{1}{N_{user}} \sum \omega_i \cdot \ell(x_i, y_i) + \alpha T^2 \cdot \frac{1}{N_{safety}} \sum KL(p^T_{t,i} || p^T_{s,i})$

Principais Contribuições

Mudança de Paradigma: O artigo desafia o pipeline padrão de dois estágios (Alinhamento de Segurança $\to$ Ajuste Fino), demonstrando que ele resulta em segurança e utilidade subótimas. Propõe a mudança para o ajuste fino de pesos base sob orientação de um professor.
Framework Ref-Teacher: A introdução de um framework que treina dinamicamente um modelo professor para realizar Destilação de Alinhamento (via rótulos suaves) e Filtragem de Dados (via características de recusa) simultaneamente.
Mitigação de Conflito de Gradiente: Ao combinar a destilação de rótulos suaves e a filtragem de dados, o método reduz efetivamente os conflitos de gradiente entre os objetivos de segurança e utilidade, levando a um treinamento mais estável.
Sem Necessidade de Pré-alinhamento: O estágio de preparação do professor permite o cálculo de características de recusa e representações discriminativas dentro de um único processo de treinamento, removendo a dependência de um modelo de segurança pré-existente.

Resultados Experimentais

O framework foi avaliado em diversos cenários, incluindo proporções variadas de prompts prejudiciais ( $p$ ), tamanhos de dados do usuário, tarefas de domínio descendente (GSM8K, SST2, AGNEWS, AlpacaEval) e arquiteturas de modelos (Llama3-8B, Gemma2-9B, Qwen2-7B).

Compromisso entre Segurança e Utilidade: O método proposto alcançou consistentemente a menor Pontuação de Dano (HS - Harmful Score) e a maior Precisão de Ajuste Fino (FA - Finetuning Accuracy) em todas as proporções de danos comparado aos baselines (ex: RepNoise, Vaccine, Booster, LDIFS, SafeInstruct).
Robustez: Mesmo com altas proporções de dados prejudiciais ( $p=0.5$ ), o método manteve um HS baixo (ex: 0,9% para a variante Ref-Teacher vs. 71,3% para o SFT padrão) enquanto preservava uma alta precisão de tarefa.
Generalização: A abordagem generalizou bem através de diferentes conjuntos de dados de tarefas inofensivas e backbones de modelos.
Estudos de Ablação:
- Destilação de Alinhamento (AD) isolada: Reduziu os conflitos de gradiente, mas falhou em melhorar a segurança se os prompts prejudiciais permanecessem.
- Filtragem de Dados isolada: Removeu efetivamente os prompts prejudiciais e reduziu os conflitos, mas correu o risco de overfitting e menor precisão devido à redução do volume de dados.
- Combinação: A sinergia de ambos os componentes foi necessária para alcançar segurança e utilidade ideais.
Suavidade da Perda: A destilação de alinhamento reduziu a estimativa de Lipschitz do gradiente, indicando uma superfície de perda mais suave e melhor estabilidade de treinamento.

Significância e Alegações

O artigo alega que pesos alinhados com segurança não são suficientes como inicialização para adaptação de tarefas subsequentes quando os dados do usuário podem conter prompts prejudiciais. Os autores argumentam que o pipeline padrão de dois estágios cria um gargalo onde os objetivos de segurança e utilidade interferem entre si.

A significância deste trabalho reside em demonstrar que o ajuste fino de pesos base sob orientação explícita de um professor de segurança é um paradigma superior. Ao desacoplar a aplicação de segurança (via professor) da inicialização do modelo base, o framework preserva a adaptabilidade do modelo base enquanto impõe a segurança de forma dinâmica. Esta abordagem resolve efetivamente a tensão entre manter o alinhamento de segurança e alcançar alto desempenho em tarefas específicas do usuário, mesmo na presença de ataques de ajuste fino prejudiciais. Os autores enfatizam que seu método não requer um modelo pré-alinhado para começar, tornando-o uma solução prática para provedores de FaaS.