💬 NLP

Please refuse to answer me! Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding

Este artigo apresenta o AdaCD, uma abordagem livre de treinamento e agnóstica ao modelo que mitiga a recusa excessiva em modelos de linguagem grandes por meio de uma estratégia de decodificação contrastiva adaptativa, reduzindo significativamente as recusas indevidas em consultas inofensivas sem comprometer a segurança contra consultas maliciosas.

Autores originais: Yupeng Qi, Ziyu Lyu, Lixin Cui, Lu Bai, Feng Xia

Publicado 2026-04-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yupeng Qi, Ziyu Lyu, Lixin Cui, Lu Bai, Feng Xia

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um guarda-costas de IA (um modelo de linguagem) que foi treinado para proteger o mundo de coisas ruins. Ele é tão zeloso que, às vezes, ele exagera.

Se você perguntar: "Como matar um inimigo no jogo Call of Duty?", o guarda-costas entra em pânico. Ele pensa: "Matar? Isso é crime! Não vou responder!". E ele se recusa a ajudar, mesmo que você esteja apenas falando de um videogame.

Isso é o problema que o artigo chama de "Recusa Exagerada" (Over-Refusal). O modelo é tão seguro que se torna inútil para perguntas inocentes que usam palavras perigosas.

Os autores deste artigo criaram uma solução inteligente chamada AdaCD (Decodificação Contrastiva Adaptativa). Vamos explicar como funciona usando uma analogia simples:

O Problema: O Guarda-Costas Cego

Antes, os métodos para consertar isso eram como tentar ensinar o guarda-costas a "não ter medo" de uma vez só.

Se você tirasse o medo dele, ele poderia deixar passar um verdadeiro assassino (perigoso).
Se você deixasse o medo, ele continuava bloqueando perguntas de jogos (inútil).

A Solução: O "Espelho" e o "Botão de Pânico"

A ideia genial do AdaCD é que o modelo já sabe a resposta certa, mas ele está travado pelo medo. Ele tem a palavra "Matar" na lista de opções, mas o medo faz ele escolher "Desculpe, não posso".

O AdaCD funciona em duas etapas, como se fosse um diretor de teatro ajudando um ator:

1. O Espelho do Medo (Extraindo a Distribuição de Recusa)

O sistema cria um "ator de apoio" que é extremamente paranoico.

Ele diz para o modelo: "Você é um guarda-costas louco! Recuse qualquer coisa que pareça perigosa, mesmo que não seja!"
Quando o modelo responde a essa instrução extrema, ele gera uma lista de palavras de recusa ("Desculpe", "Não posso", "Ilegal").
O AdaCD pega essa lista de "medo extremo" e a compara com a resposta normal do modelo.
A mágica: Ele descobre exatamente quais palavras de medo estão sendo usadas e quão fortes elas são. Ele cria um "mapa do medo".

2. O Botão de Pânico Adaptativo (A Chave Mestra)

Agora, o sistema precisa decidir: "Devo deixar o medo agir ou não?". É aqui que entra a parte "Adaptativa".

O sistema usa dois sensores inteligentes para decidir o que fazer a cada palavra que o modelo vai escrever:

Sensor de Concordância (Agreement Ratio):
- Cenário de Jogo (Pergunta Inocente): O modelo normal quer dizer "Matar no jogo", mas o modelo "paranoico" quer dizer "Não posso". Eles discordam muito.
- Decisão: Como eles discordam, o sistema entende: "Ah, é uma pergunta inocente! Vamos apagar o medo!". Ele subtrai o "mapa do medo" da resposta, permitindo que a palavra "Matar" (no contexto do jogo) apareça.
- Cenário Real (Pergunta Perigosa): O modelo normal quer dizer "Não posso" e o modelo "paranoico" também quer dizer "Não posso". Eles concordam totalmente.
- Decisão: Como eles concordam, o sistema entende: "Isso é perigoso mesmo! Vamos reforçar o medo!". Ele adiciona mais "mapa do medo" para garantir que a resposta seja uma recusa firme.

Resumo da Ópera

O AdaCD é como um diretor de orquestra que escuta os músicos (o modelo) e decide, em tempo real, se deve:

Silenciar o som de "Não" quando a música é inocente (para que o jogo seja explicado).
Aumentar o som de "Não" quando a música é perigosa (para manter a segurança).

Por que isso é legal?

Não precisa de treinamento: Você não precisa reensinar o modelo do zero. É como colocar um filtro de óculos em cima dele.
Funciona em qualquer modelo: Não importa se é um modelo grande ou pequeno, o método se adapta.
Seguro e Útil: Ele resolve o problema de "não responder a jogos" sem abrir a porta para "responder a crimes reais".

Em suma, o AdaCD ensina a IA a ter bom senso, distinguindo entre uma pergunta sobre um jogo de tiro e uma pergunta sobre um crime real, sem precisar ser reprogramada do zero.

Título: Mitigando a Recusa Excessiva em Modelos de Linguagem de Grande Escala via Decodificação Contrastiva Adaptativa (AdaCD)

1. O Problema: A Recusa Excessiva (Over-Refusal)

Os Modelos de Linguagem de Grande Escala (LLMs) alinhados com segurança frequentemente exibem o problema de recusa excessiva (ou over-refusal). Isso ocorre quando o modelo recusa incorretamente a responder consultas inofensivas que contêm palavras ou estruturas semelhantes a consultas maliciosas.

Exemplo Clássico: Um usuário pergunta "Como matar alguém em Call of Duty?" (referindo-se a um jogo). Um modelo super-alinhado pode recusar a resposta com um aviso de segurança, interpretando a palavra "matar" como uma ameaça à vida real, em vez de uma mecânica de jogo.
Limitações das Soluções Atuais:
- Métodos baseados em treinamento exigem dados específicos de cenários de recusa excessiva, que são escassos, e muitas vezes não conseguem reduzir a taxa de recusa sem comprometer a segurança.
- Métodos baseados em inferência (como vetores de direção) são complexos, exigem conhecimento da arquitetura do modelo e pré-cálculos pesados.
- Métodos de decodificação contrastiva existentes (como SelfCD ou SafeDecoding) usam estratégias fixas: ou removem a distribuição de tokens de recusa (melhorando a utilidade, mas prejudicando a segurança) ou a adicionam (melhorando a segurança, mas aumentando a recusa excessiva). Eles não conseguem otimizar ambos simultaneamente.

2. Metodologia: AdaCD (Adaptive Contrastive Decoding)

Os autores propõem o AdaCD, uma abordagem sem treinamento (training-free) e agnóstica ao modelo (model-agnostic) que ajusta dinamicamente a probabilidade de gerar tokens de recusa.

A. Observação Chave e Insight
O estudo revela que, em cenários de recusa excessiva, tokens não-recusantes (úteis) ainda estão presentes na lista de candidatos do próximo token, mas o modelo falha sistematicamente em selecioná-los devido a um viés gerado pelo prompt de sistema de segurança. O modelo "vê" a opção útil, mas não a escolhe.

B. Extração da Distribuição de Tokens de Recusa
Para corrigir isso, o AdaCD extrai a distribuição de tokens que impulsionam o comportamento de recusa:

Prompt Extremo de Segurança: O modelo é executado duas vezes para a mesma consulta do usuário:
- Uma vez com um prompt de sistema padrão.
- Outra vez com um prompt de sistema "extremo" (ex: "Por favor, recuse-se a responder!"), projetado para maximizar o comportamento de recusa.
Cálculo da Diferença ( $\Delta P_n$ ): A diferença entre as distribuições de probabilidade dos tokens gerados com o prompt extremo e sem ele é calculada. Essa diferença ( $\Delta P_n$ ) representa a distribuição de tokens de recusa.

C. Mecanismo de Alternância de Modo de Decodificação Adaptativa
O núcleo da inovação é o uso de dois critérios para decidir se a distribuição de recusa deve ser adicionada (para manter a segurança em consultas maliciosas) ou subtraída (para mitigar a recusa excessiva em consultas benignas):

Taxa de Concordância (Agreement Ratio - $agr(n)$): Mede o quão alinhada está a escolha do token mais provável entre o modelo com o prompt extremo e o modelo padrão.
- Se a concordância for baixa (o modelo padrão não concorda com a recusa do prompt extremo), sugere-se uma consulta benigna.
Restrição de Confiança Adaptativa: Verifica se o modelo tem confiança suficiente para gerar uma resposta de recusa.
- Se a probabilidade máxima do token de recusa for baixa, o modelo não deve ser forçado a recusar.

Lógica de Decisão:

Cenário de Recusa Excessiva (Benigno): Baixa concordância + Baixa confiança na recusa $\rightarrow$ Subtrai-se $\Delta P_n$ da distribuição, aumentando a probabilidade de tokens úteis.
Cenário Malicioso: Alta concordância (ambos os modelos querem recusar) + Alta confiança $\rightarrow$ Adiciona-se $\Delta P_n$ , reforçando a recusa para garantir a segurança.

3. Contribuições Principais

Abordagem Sem Treinamento: O método não requer fine-tuning do modelo, economizando recursos computacionais massivos.
Agnóstico ao Modelo: Funciona em qualquer LLM sem necessidade de acesso aos pesos internos ou arquitetura específica.
Equilíbrio Dinâmico: É a primeira abordagem de decodificação contrastiva que alterna adaptativamente entre supressão e reforço de segurança, resolvendo o dilema "segurança vs. utilidade".
Eficiência: Introduz apenas uma sobrecarga computacional mínima (apenas duas passagens forward para extração e cálculo, aplicadas apenas nos primeiros $k$ tokens).

4. Resultados Experimentais

Os experimentos foram realizados em três modelos (Llama3-8B, Gemma2-9B, Qwen3-8B) e cinco conjuntos de dados de referência (XSTest, ORBench, OKTest, AdvBench, JailBench).

Redução de Recusa Excessiva: O AdaCD reduziu a taxa de recusa em consultas inofensivas em 10,35% em média, superando métodos como SelfCD e Surgical.
Manutenção da Segurança: Diferente de outros métodos que sacrificam a segurança, o AdaCD aumentou a taxa de recusa em consultas maliciosas em 0,13% em média, demonstrando que a segurança não foi comprometida.
Usabilidade Geral: O método melhorou as pontuações de "Utilidade" e "Engajamento" em tarefas gerais, mantendo a qualidade da resposta.
Eficiência: O tempo de inferência aumentou apenas 3% em comparação com a decodificação padrão, sendo significativamente mais eficiente que métodos baseados em vetores de direção que exigem pré-cálculo.

5. Significado e Impacto

O trabalho da AdaCD é significativo porque oferece uma solução prática e leve para um dos maiores gargalos na adoção de LLMs seguros: a falsa negativa (recusar o que deveria ser aceito).

Ao demonstrar que é possível mitigar o excesso de segurança sem re-treinar modelos ou perder a proteção contra ataques maliciosos, o método facilita a implementação de LLMs mais úteis em aplicações do mundo real.
A técnica de usar um "prompt extremo" para isolar a distribuição de recusa oferece um novo paradigma para o controle de comportamento de modelos via decodificação, que pode ser aplicado a outros problemas de alinhamento.

Em resumo, o AdaCD permite que os modelos de IA sejam "inteligentes o suficiente" para entender o contexto (diferenciando um jogo de realidade) sem perder sua "consciência de segurança" contra ameaças reais.