Resumo Técnico: O Treinamento em Tempo de Teste Desestabiliza os Mecanismos de Segurança

Declaração do Problema

O artigo aborda uma vulnerabilidade de segurança crítica que emerge da mudança de paradigma nos Modelos de Linguagem de Grande Escala (LLMs) em direção ao Treinamento em Tempo de Teste (TTT). Embora o TTT permita que os modelos adaptem seus parâmetros dinamicamente durante a inferência para melhorar a generalização e o raciocínio (por exemplo, via aprendizado com poucos exemplos ou geração aumentada por recuperação), esse mecanismo altera fundamentalmente o cenário de ameaças. A alinhamento de segurança atual depende de pesos estáticos fixados após procedimentos de pós-treinamento, como Aprendizado por Reforço com Feedback Humano (RLHF) ou Otimização Direta de Preferência (DPO). Os autores hipotetizam que essas barreiras de segurança estáticas são frágeis e podem não persistir quando os pesos do modelo são atualizados em tempo real, mesmo para atualizações de gradiente específicas de instância e de poucos passos. O problema central é saber se a adaptação dinâmica inerente ao TTT permite que adversários contornem filtros de segurança e induzam comportamentos prejudiciais que o modelo estava previamente alinhado a recusar.

Metodologia

Os autores formalizam a superfície de ataque do TTT através de três modelos de ameaça distintos, unificados sob um framework de otimização bilevel, onde o nível externo busca entradas/adaptação de dados adversariais e o nível interno realiza a adaptação do TTT.

1. Modelo de Ameaça Auto-supervisionado: O modelo adapta seus pesos no próprio prompt do usuário usando a perda de previsão do próximo token (NTP) auto-supervisionada. O atacante fornece um prompt limpo ou perturbado adversarialmente, e o modelo minimiza a perplexidade nesse prompt antes de gerar uma resposta.
2. Modelo de Ameaça com Poucos Exemplos: O atacante fornece um pequeno conjunto de suporte ($\psi$) de pares entrada-saída onde as saídas são prefixos prejudiciais (por exemplo, "Claro, aqui está..."). O modelo realiza ajuste fino supervisionado neste conjunto de suporte antes de responder à consulta alvo.
3. Modelo de Ameaça na Fase de Geração: O atacante fornece um prefixo alvo ($\psi$) condicionado ao prompt. O modelo adapta-se para minimizar a perda NTP condicional desse prefixo, efetivamente preparando o modelo para começar com uma resposta afirmativa que contorna as recusas de segurança.

Configuração Experimental:

• Modelos: Os experimentos foram conduzidos em uma suíte diversificada de modelos instruídos de pesos abertos, incluindo Llama3 (8B, 70B), Gemma 7B e a família Qwen (1.5B, 7B, 8B, 32B).
• Conjuntos de Dados: A principal referência é um subconjunto curado de 50 comportamentos prejudiciais do AdvBench. Avaliações adicionais utilizaram o JailbreakBench e o conjunto de dados Transluce CBRN (tarefas prejudiciais de alta complexidade).
• Métricas: Taxa de Sucesso do Ataque (ASR) e ASR@10 (a fração de prompts onde pelo menos uma de 10 gerações é julgada prejudicial).
• Desafio de Avaliação: Os autores identificaram que o sobreajuste induzido pelo TTT pode produzir "saídas degeneradas" (por exemplo, ecos do prefixo alvo, gibberish, regurgitação do prompt) que enganam juízes de segurança padrão de LLM. Para abordar isso, eles introduziram um pipeline de avaliação consciente de validade usando heurísticas simbólicas e um juiz de validade baseado em LLM para filtrar gerações inválidas antes de calcular a ASR.
• Defesa: Foi proposto um detector leve do lado do provedor que monitora a mudança na perplexidade em um conjunto privado e retido de exemplos prejudiciais. Se a perplexidade em alvos prejudiciais cair significativamente após o TTT, a solicitação é sinalizada.

Principais Resultados

Os experimentos demonstram que o alinhamento de segurança é altamente frágil sob TTT, com taxas de sucesso de ataque aumentando dramaticamente em comparação com baselines estáticas.

• Eficácia dos Ataques:
  • Modelos com Poucos Exemplos e na Fase de Geração: Esses modelos alcançaram taxas de sucesso extremamente altas. Sob adaptação LoRA, os modelos de ameaça com Poucos Exemplos e na Fase de Geração alcançaram uma ASR@10 média de 95% e 93%, respectivamente, em várias famílias de modelos. Configurações individuais atingiram 100% de ASR@10, significando que cada prompt foi contornado (jailbroken) em pelo menos uma de 10 tentativas.
  • Modelo Auto-supervisionado: Mesmo sem dados adversariais, simplesmente adaptar-se no prompt limpo do usuário aumentou a ASR@10 média de 4% para 17% entre os modelos, confirmando que o próprio ato de ajuste fino em tempo de teste corrói a segurança.
  • Modelos Grandes: As vulnerabilidades transferem-se para modelos maiores. O Llama3 70B atingiu 94% de ASR@10 sob TTT com Poucos Exemplos, e o Qwen3 32B atingiu 96% de ASR@10 sob TTT na Fase de Geração.
• Transferência para o Mundo Real: Os autores avaliaram esses ataques em uma API de ajuste fino de produção (Tinker API) usando Qwen3 8B e GPT-OSS 120B. Sem nenhum ajuste específico da API, os ataques contornaram com sucesso o modelo de 120 bilhões de parâmetros, alcançando 100% de ASR@10 para Poucos Exemplos e 98% para a Fase de Geração em 10 passos. O custo de tal ataque foi estimado em menos de 2 dólares.
• Saídas Degeneradas: Juízes de segurança padrão foram encontrados superestimando a ASR em até 13 pontos percentuais ao falhar em filtrar saídas degeneradas do TTT. A avaliação consciente de validade proposta corrigiu isso, garantindo que as métricas reflitam a geração genuína de conteúdo prejudicial.
• Eficácia da Defesa: O detector baseado em perplexidade sinalizou com sucesso solicitações adversariais de TTT com uma Taxa de Verdadeiros Positivos de 100% e uma Taxa de Falsos Positivos de ≤2% em solicitações benignas, embora os autores observem que isso depende do sigilo do conjunto de retenção de dados prejudiciais.

Significado e Alegações

O artigo alega identificar uma nova e potente superfície de ataque que desestabiliza os mecanismos de segurança existentes. O principal significado reside em demonstrar que atualizações dinâmicas de pesos durante a inferência podem efetivamente remover o alinhamento de segurança, mesmo em modelos que são robustos a ataques adversariais estáticos.

• Fragilidade do Alinhamento Estático: As descobertas sugerem que as restrições de segurança aprendidas durante o treinamento são superficiais o suficiente para serem enfraquecidas por atualizações de gradiente mínimas e direcionadas no momento da inferência.
• Novo Vetor de Ataque: O TTT permite que adversários manipulem simultaneamente a consulta de entrada e o mecanismo de processamento do modelo (pesos), uma capacidade não presente na pesquisa tradicional de contornes (jailbreaking), que assume pesos congelados.
• Necessidade de Avaliação: O trabalho destaca uma falha crítica nas avaliações de segurança atuais: juízes padrão são suscetíveis a saídas degeneradas induzidas pelo TTT, tornando necessárias pipelines de avaliação conscientes de validade.
• Direção de Defesa: Embora um detector leve seja proposto, os autores alegam modestamente que uma defesa robusta exigirá, em última análise, procedimentos de alinhamento dinâmico que restrinjam ativamente o modelo de desviar para variedades (manifolds) prejudiciais durante atualizações em tempo de teste, em vez de depender exclusivamente de alinhamento pós-treinamento estático ou detecção estática.

Os autores concluem que, à medida que o campo adota cada vez mais a adaptação em tempo de teste para aprimorar as capacidades dos modelos, as avaliações de segurança devem evoluir de sondagem estática para testes de estresse dinâmicos para avaliar a resistência de um modelo às suas próprias atualizações de pesos.