Resumo Técnico: A2D – Alinhamento de Segurança para Qualquer Ordem e Qualquer Passo em Modelos de Linguagem de Difusão

1. Definição do Problema

Os Modelos de Linguagem de Difusão (dLLMs) representam um afastamento significativo dos modelos autorregressivos (AR), ao permitir a decodificação de qualquer ordem, onde os tokens são gerados iterativamente em posições arbitrárias, em vez de uma sequência fixa da esquerda para a direita. Embora essa flexibilidade suporte raciocínio complexo e síntese de conteúdo estruturado, ela introduz vulnerabilidades de segurança únicas que tornam os métodos de alinhamento convencionais ineficazes.

O problema central identificado é o alinhamento raso. Semelhante aos modelos AR, os atuais dLLMs exibem sinais de segurança fortes apenas nos passos iniciais de geração, que decaem rapidamente conforme a decodificação progride. Essa limitação cria uma grande superfície de ataque:

• Vulnerabilidade de Qualquer Ordem: Conteúdo nocivo pode ser injetado em quaisquer posições durante a trajetória de decodificação, contornando recusas iniciais.
• Vulnerabilidade de Qualquer Passo: Ataques baseados em templates, como o DIJA (Wen et al., 2025), exploram esse decaimento intercalando texto adversário com tokens [MASK] em prompts parcialmente preenchidos. Esses ataques visam o modelo após vários passos de decodificação, quando os sinais de segurança já enfraqueceram, induzindo conclusões inseguras que métodos de alinhamento ao nível da resposta falham em prevenir.

As linhas de base existentes, incluindo Treinamento de Recusa (RT), Ajuste Fino Supervisionado (SFT) e Otimização de Preferência com Redução de Variância (VRPO), dependem de supervisão ao nível da resposta. Consequentemente, elas têm dificuldade em manter a segurança sob diversas estratégias de decodificação (ex: aleatória, baseada em confiança) e falham contra ataques que contornam os tokens iniciais.

2. Metodologia: A2D (Defesa de Qualquer Ordem, Qualquer Passo)

Os autores propõem o A2D, um método de alinhamento ao nível do token projetado especificamente para o processo de decodificação flexível dos dLLMs. Ao contrário das abordagens anteriores que supervisionam recusas apenas no nível da resposta completa, o A2D alinha o modelo para emitir um token específico [EOS] (End of Sequence) sempre que um conteúdo nocivo for encontrado em qualquer posição mascarada.

Mecanismo Central

• Supervisão ao Nível do Token: Durante o treinamento, se um intervalo nocivo estiver presente na sequência alvo, o modelo é supervisionado para substituir os tokens mascarados dentro desse intervalo por [EOS], em vez do token nocivo original.
• Objetivo de Treinamento: O método utiliza um objetivo de difusão mascarada padrão com uma distribuição alvo modificada:
  • Conjunto Nocivo ($D_{harm}$): Tokens mascarados em respostas nocivas são supervisionados para prever [EOS]. Isso ensina o modelo a interromper continuações nocivas, independentemente do contexto parcial.
  • Conjunto de Retenção ($D_{retain}$): Tokens mascarados em respostas seguras (ou conclusões seguras de prompts nocivos) são supervisionados para reconstruir os tokens originais, preservando a utilidade geral.
• Mascaramento Aleatório: O processo de treinamento amostra uma taxa de corrupção $\lambda$ uniformemente, expondo o modelo a estágios iniciais e tardios de decodificação. Isso garante que o alinhamento permaneça robusto em toda a trajetória de geração, prevenindo o fenômeno do "alinhamento raso".
• Token de Recusa: O token [EOS] é escolhido porque já é um marcador padrão de preenchimento e fim em dLLMs, garantindo que o modelo esteja familiarizado com seu uso sem exigir a introdução de tokens fora da distribuição (OOD) que possam degradar o desempenho.

Monitoramento em Tempo Real e Rejeição Precoce

O A2D fornece inerentemente um sinal de segurança em tempo real. Como o modelo é treinado para atribuir alta probabilidade ao [EOS] quando o conteúdo é nocivo, essa massa de probabilidade atua como um indicador de segurança online.

• Intervenção Dinâmica: O modelo pode iniciar uma resposta, mas interromper automaticamente se continuações inseguras surgirem no meio da geração.
• Rejeição Precoce: Ao monitorar a probabilidade do [EOS] na posição mascarada mais à esquerda do primeiro passo de decodificação, o sistema pode implementar um mecanismo de rejeição precoce baseado em limiar. Se a probabilidade exceder um limiar $\tau$, o modelo para imediatamente sem gerar nenhum token, reduzindo significativamente a latência de inferência para prompts nocivos.

3. Principais Contribuições

1. Identificação de Vulnerabilidades de Qualquer Ordem/Passo: O artigo demonstra que os dLLMs sofrem de alinhamento raso que decai rapidamente através dos passos de decodificação e não é robusto a ordens de decodificação arbitrárias, tornando-os suscetíveis a ataques como o DIJA.
2. Estrutura de Alinhamento ao Nível do Token: O A2D introduz um novo paradigma de alinhamento que muda das recusas ao nível da resposta para a supressão ao nível do token usando [EOS], permitindo uma defesa robusta em qualquer etapa do processo de geração.
3. Monitoramento de Segurança em Tempo Real: O método utiliza a probabilidade do [EOS] como um sinal de segurança interno, permitindo intervenção dinâmica e rejeição precoce de prompts nocivos.
4. Avaliação Abrangente: Os autores introduzem o ataque Fill-in-the-Sentence (FITS) para testar o alinhamento sob condições extremas, onde uma única frase mascarada é inserida dentro de uma resposta nociva.

4. Resultados Experimentais

Os autores avaliaram o A2D em três dLLMs ajustados por instrução: LLaDA-8B-Instruct, LLaDA-1.5 e Dream-v0-Instruct-7B, comparando-o com as linhas de base RT, SFT e VRPO.

• Defesa Contra Jailbreaks: O A2D alcançou consistentemente a menor Taxa de Sucesso de Ataque (ASR) média em todos os benchmarks (Zeroshot, PAIR, ReNeLLM, Prefilling e DIJA).
  • Desempenho DIJA: O A2D reduziu as taxas de sucesso do DIJA de mais de 80% nos modelos de linha de base para quase zero: 1,3% no LLaDA-8B, 3,5% no LLaDA-1.5 e 0,0% no Dream.
  • Ataque FITS: Sob o ataque extremo FITS (onde apenas uma frase está faltando de uma resposta nociva), o A2D reduziu o ASR para quase 0% em todos os modelos, enquanto outros métodos falharam com ASRs superiores a 60%.
• Robustez a Estratégias de Decodificação: O A2D manteve baixo ASR através de cinco estratégias de decodificação (Esquerda para Direita, Direita para Esquerda, Confiança, Entropia, Aleatória), enquanto os modelos de linha de base mostraram alta vulnerabilidade a ordens específicas.
• Preservação de Utilidade: O A2D evitou a recusa excessiva, alcançando 0% de falsos positivos no benchmark XSTest (prompts benignos que se assemelham a inseguros). Ele manteve um desempenho competitivo em benchmarks de capacidade geral (MMLU, GSM8K, HumanEval), superando outros métodos de alinhamento que sofreram degradação significativa de capacidade.
• Ganhos de Eficiência: O mecanismo de rejeição precoce gerou uma terminação segura até 19,3× mais rápida em prompts nocivos (em $\tau=0.8$), mantendo alta fidelidade de alinhamento.

5. Significância e Alegações

O artigo afirma que o A2D estabelece um novo padrão para a segurança na geração de texto baseada em difusão, abordando o descompasso fundamental entre a decodificação flexível dos dLLMs e a natureza rígida, ao nível da resposta, do alinhamento tradicional.

• Alinhamento Profundo: O A2D alcança o "alinhamento profundo", garantindo que os sinais de segurança persistam durante toda a trajetória de geração, não apenas no início.
• Independência de Ordem: Fornece uma defesa que é robusta independentemente da estratégia de decodificação, um requisito crítico para a implantação prática de dLLMs.
• Implantação Prática: Ao permitir o monitoramento em tempo real e a rejeição precoce, o A2D oferece um caminho para implantar dLLMs com segurança em aplicações do mundo real, onde latência e segurança são primordiais.

Os autores concluem que esta abordagem preenche a lacuna entre a flexibilidade generativa dos dLLMs e as restrições de segurança exigidas para o uso no mundo real, pavimentando o caminho para sistemas de linguagem baseados em difusão confiáveis.