Robust Fine-Tuning from Non-Robust Pretrained Models: Mitigating Suboptimal Transfer With Epsilon-Scheduling

Este artigo identifica o fenômeno de transferência subótima ao realizar o ajuste fino robusto em modelos pré-treinados não robustos e propõe a técnica de "Epsilon-Scheduling" para mitigar esse problema, melhorando consistentemente o desempenho e a robustez esperada em diversas configurações.

O essencial

Imagine que você tem um chef de cozinha extremamente talentoso que foi treinado por anos em uma grande escola de culinária (o modelo pré-treinado). Esse chef sabe cozinhar pratos deliciosos e complexos, mas ele nunca foi treinado para lidar com alergias severas ou ingredientes estragados (os exemplos adversários).

Agora, você quer contratar esse chef para trabalhar na sua própria cozinha (a tarefa específica, como classificar fotos de carros ou pássaros). O problema é que, na sua cozinha, você precisa que ele seja à prova de falhas: ele não pode errar nem mesmo se alguém tentar sabotar o prato com um ingrediente escondido.

Aqui está o que a descoberta deste paper diz, traduzida para uma linguagem simples:

1. O Problema: O "Choque de Realidade" (Transferência Subótima)

Quando tentamos treinar esse chef talentoso (mas não à prova de falhas) para ser à prova de falhas imediatamente, algo estranho acontece.

Se você começar a jogar ingredientes estragados (perturbações) no prato dele desde o primeiro dia de trabalho, o chef fica tão confuso e assustado que esquece como cozinhar. Ele tenta se defender dos ingredientes ruins a ponto de esquecer a receita original.

• Resultado: O prato final fica horrível. Ele não é mais um bom chef para a sua cozinha específica, e também não é um chef à prova de falhas. Isso é o que os autores chamam de "Transferência Subótima". O modelo pré-treinado, que deveria ser uma vantagem, torna-se um obstáculo.

2. A Descoberta: O Chef Precisa de Tempo

Os pesquisadores notaram que, quando tentam forçar a robustez desde o início, o chef demora muito para "acordar" e entender a nova receita. Ele fica travado, tentando se defender de ataques que nem existem ainda, e só começa a aprender a tarefa real muito tarde no processo.

3. A Solução: O "Planejamento de Perturbação" (Epsilon-Scheduling)

Para resolver isso, os autores criaram uma estratégia inteligente chamada Epsilon-Scheduling (Agendamento de Épsilon). Pense nisso como um plano de treinamento gradual:

1. Fase 1 (Aprendizado Puro): Nos primeiros dias, o chef trabalha sem ingredientes estragados. Ele foca 100% em aprender a sua receita específica (adaptar-se à tarefa). Ele fica rápido e eficiente.
2. Fase 2 (O Desafio Gradual): Depois que ele já domina a receita, você começa a introduzir pouco a pouco os ingredientes estragados. Primeiro um pouquinho, depois um pouco mais.
3. Fase 3 (A Resistência Total): No final do treinamento, ele já está tão forte e adaptado que consegue cozinhar o prato perfeito, mesmo com os ingredientes sabotados.

A analogia do ginasta: É como treinar um ginasta. Você não joga ele de um trampolim de 10 metros no primeiro dia de treino. Você começa no chão, depois no tapete, depois em uma barra baixa, e só depois sobe para a altura máxima. Se você começar no topo, ele cai e se machuca (o modelo falha).

4. A Nova Régua de Medida: "Robustez Esperada"

Antes, as pessoas mediam o sucesso de duas formas:

• "O prato ficou bom?" (Precisão limpa).
• "O prato ficou bom com o ingrediente estragado máximo?" (Precisão robusta).

O paper introduz uma nova métrica chamada Robustez Esperada. Imagine que você quer saber: "Qual a chance de o prato ficar bom se, aleatoriamente, alguém colocar um ingrediente estragado de qualquer tamanho?"
Em vez de olhar apenas para o pior caso ou o melhor caso, essa métrica olha para a média de tudo. É como dizer: "Este chef é confiável em 90% das situações, não importa o tamanho do problema".

O Resultado Final

Ao usar esse "planejamento gradual" (Epsilon-Scheduling):

• O chef (modelo) aprende a tarefa específica muito bem.
• Ele se torna resistente a ataques.
• Ele não "esquece" o que sabia antes.

Resumo em uma frase:
Não tente ensinar alguém a ser super-resistente e especialista ao mesmo tempo desde o primeiro segundo; deixe-o aprender a especialidade primeiro e, só então, ensine-o a se defender dos problemas gradualmente. Isso salva o modelo de falhar e o torna muito mais forte.

Resumo técnico

Título: Ajuste Fino Robusto a partir de Modelos Pré-Treinados Não Robustos: Mitigando a Transferência Subótima com Agendamento de Épsilon

1. O Problema: Transferência Subótima no Ajuste Fino Robusto (RFT)

O ajuste fino (fine-tuning) de modelos pré-treinados é o padrão na aprendizagem de máquina moderna. No entanto, em aplicações de alto risco, a vulnerabilidade a exemplos adversariais é uma grande preocupação. A Ajuste Fino Robusto (RFT) visa adaptar um modelo a uma tarefa downstream enquanto mantém robustez contra ataques adversariais.

O problema central identificado pelos autores é que a maioria dos modelos pré-treinados disponíveis em repositórios públicos (como Hugging Face) são não robustos. A literatura anterior frequentemente assume que a robustez deve ser adquirida durante o pré-treinamento ou que modelos robustos são necessários para um RFT eficaz.

Os autores descobriram que, ao tentar realizar um RFT padrão (usando treinamento adversarial clássico) em modelos não robustos, ocorre um fenômeno chamado Transferência Subótima:

• Mesmo com perturbações pequenas (ex: $\epsilon = 4/255$), a precisão limpa (clean accuracy) do modelo ajustado cai drasticamente, muitas vezes ficando muito abaixo do que seria alcançado com um ajuste fino padrão (sem perturbação).
• Em casos extremos, o desempenho cai para níveis próximos ao acaso, configurando uma falha de transferência.
• A causa raiz é um atraso na adaptação à tarefa: a introdução imediata de um objetivo robusto distorce as características relevantes da tarefa, impedindo que o modelo aprenda a nova tarefa nas fases iniciais do treinamento.

2. Metodologia e Proposta: Epsilon-Scheduling

Para resolver o atraso na adaptação e mitigar a transferência subótima, os autores propõem uma nova heurística chamada Epsilon-Scheduling (Agendamento de Épsilon).

• Conceito: Em vez de manter a força da perturbação ($\epsilon$) fixa em um valor alvo ($\epsilon_g$) durante todo o treinamento (estratégia RFT-fix), o método propõe um agendamento linear de duas "dobras" (two-hinge linear schedule) para a força da perturbação ao longo das épocas de treinamento.
• O Agendamento:
  1. Fase de Adaptação ($t < T_1$): O modelo é ajustado com $\epsilon = 0$ (apenas ajuste fino padrão). Isso permite que o modelo se adapte rapidamente à nova tarefa e recupere a precisão limpa.
  2. Fase de Transição ($T_1 \le t < T_2$): A força da perturbação aumenta linearmente de 0 até o valor alvo $\epsilon_g$.
  3. Fase de Robustez ($t \ge T_2$): O modelo é treinado com a perturbação fixa em $\epsilon_g$ para refinar a robustez.
• Interpretação: Esta estratégia atua como uma forma de Curriculum Learning, expondo o modelo primeiro a exemplos mais fáceis (sem ruído adversarial) antes de introduzir gradualmente exemplos mais difíceis, evitando a distorção prematura das características da tarefa.

3. Nova Métrica de Avaliação: Robustez Esperada

Os autores argumentam que as métricas tradicionais (precisão limpa vs. precisão adversarial em um $\epsilon$ fixo) não capturam adequadamente o compromisso (trade-off) entre precisão e robustez. Eles introduzem a Robustez Esperada (Expected Robustness):

• É definida como a expectativa da precisão do modelo sobre todo o intervalo de perturbações uniformes de 0 até o limite alvo $\epsilon_g$.
• Matematicamente, é a área sob a curva de precisão (AUC) normalizada entre 0 e $\epsilon_g$.
• Esta métrica oferece uma visão mais holística, penalizando modelos que têm alta precisão limpa mas colapsam rapidamente com pequenas perturbações, ou vice-versa.

4. Resultados Experimentais

Os experimentos foram conduzidos em 6 backbones pré-treinados (incluindo ViT, Swin, ResNet-50, ConvNeXt e modelos CLIP) e 5 conjuntos de dados (CUB, Dogs, Caltech, Cars, Aircraft), cobrindo regimes de perturbação moderada ($4/255$) e alta ($8/255$).

• Mitigação da Transferência Subótima: O Epsilon-Scheduling (RFT-scheduler) recuperou consistentemente a precisão limpa que o método padrão (RFT-fix) perdia. Em muitos casos, o RFT-fix falhou completamente (precisão < 5%), enquanto o agendamento manteve a precisão próxima à do ajuste fino padrão.
• Melhoria na Robustez Esperada: O método proposto superou consistentemente o RFT-fix na métrica de Robustez Esperada em todas as configurações (30 combinações de modelo/dataset), mesmo quando a robustez adversarial no ponto final era similar.
• Análise de Backbones Robustos: Mesmo quando aplicado a backbones que já são robustos, o agendamento melhorou a precisão limpa, embora com um leve custo na robustez no ponto alvo, resultando em uma melhoria líquida na robustez esperada.
• Análise de Otimização: O método encontra um mínimo local diferente no espaço de perda, onde a perda limpa é minimizada primeiro, permitindo que o modelo aprenda a tarefa antes de lidar com a restrição de robustez, algo que o RFT-fix não consegue fazer devido ao conflito de gradientes inicial.

5. Contribuições Principais

1. Identificação do Fenômeno: Demonstração empírica de que o RFT padrão em modelos não robustos leva a uma transferência subótima devido ao atraso na adaptação da tarefa.
2. Solução Prática: Proposta do Epsilon-Scheduling, uma estratégia simples e eficaz que permite o ajuste fino robusto a partir de modelos não robustos sem sacrificar a precisão.
3. Nova Métrica: Introdução da Robustez Esperada para uma avaliação mais completa do compromisso precisão-robustez.
4. Validação Abrangente: Evidências extensivas mostrando que a abordagem funciona em diversas arquiteturas (Transformers e CNNs) e níveis de dificuldade de tarefa.

6. Significado e Impacto

Este trabalho é significativo porque desafia a suposição de que o pré-treinamento robusto é indispensável para o ajuste fino robusto.

• Viabilidade Prática: Permite que a comunidade utilize a vasta quantidade de modelos pré-treinados não robustos disponíveis publicamente para criar sistemas robustos, reduzindo a barreira de entrada para aplicações de segurança crítica.
• Insight Teórico: Revela que a dinâmica de otimização no RFT é sensível ao momento da introdução da perda adversarial, sugerindo que a ordem de aprendizado (curriculum) é crucial.
• Futuro: Abre caminho para novas estratégias de agendamento e exploração de como a robustez pode ser adquirida de forma mais eficiente em estágios downstream, em vez de depender exclusivamente do pré-treinamento.

Em resumo, o artigo oferece uma solução prática e teoricamente fundamentada para um problema crítico na implantação de IA robusta: como tornar modelos pré-treinados comuns (não robustos) em sistemas seguros e adaptáveis sem perder sua eficácia na tarefa principal.