Resumo Técnico: Aprendendo Quando Confiar via Otimização de Preferência de Contexto Seletivo

Declaração do Problema

Grandes modelos de linguagem (LLMs) dependem cada vez mais de sinais externos (ex: documentos recuperados, dicas do usuário ou chaves de resposta) para condicionar seu raciocínio. No entanto, um único sinal enganoso pode fazer com que um modelo abandone uma resposta correta, mesmo que o modelo possua o conhecimento interno para resolver o problema.

Os paradigmas de avaliação atuais frequentemente tratam a robustez como "resistência" — treinar modelos para ignorar o contexto externo. Os autores argumentam que este é um alvo falho. Um modelo que ignora indiscriminadamente todo o contexto parece robusto em cenários adversariais, mas falha em cenários úteis onde o contexto é correto ou onde ele deve distinguir entre informações relevantes e irrelevantes. O problema central não é meramente resistir a maus sinais, mas aprender a confiança seletiva: a capacidade de rejeitar sinais enganosos enquanto preserva o raciocínio limpo, beneficiando-se de contextos corretos e permanecendo imperturbável por contextos irrelevantes.

Benchmarks existentes tipicamente avaliam modelos sob uma única condição de contexto, falhando em separar se uma queda na precisão se deve à dificuldade da tarefa ou à suscetibilidade a sinais específicos. Além disso, estratégias de mitigação padrão (ex: treinar apenas em exemplos enganosos) frequentemente degradam o desempenho em tarefas de contexto limpo ou correto, criando um compromisso entre robustez e utilidade.

Metodologia

1. O MIST Benchmark (Testbed de Sinais Enganosos)

Para medir a confiança seletiva, os autores introduzem o MIST, um benchmark anotado por humanos consistindo de 1.000 itens de raciocínio. Cada item é renderizado sob quatro condições correspondentes, variando apenas o contexto adicionado enquanto mantém a pergunta, o espaço de resposta, a resposta de ouro e a resposta errada plausível fixos:

• Clean (Limpo): Sem contexto adicionado.
• Misleading (Enganoso): O contexto implica uma resposta plausível, porém errada.
• Correct-Context (Contexto Correto): O contexto suporta a resposta de ouro.
• Irrelevant-Context (Contexto Irrelevante): O contexto está relacionado, mas não contém informações que conduzam a uma resposta.

Métricas de Avaliação:

• Condition Accuracies (Acurácias por Condição): Desempenho em cada uma das quatro condições.
• SC2W (Signal-Induced Correct-to-Wrong / Erro Induzido pelo Sinal): Uma métrica pareada que condiciona nos itens que o modelo responde corretamente na condição clean. Ela mede a porcentagem desses itens que mudam para uma resposta errada quando um sinal enganoso é introduzido. Isso isola falhas induzidas pelo sinal de limitações inerentes do modelo.

2. SCOPE (Otimização de Preferência de Contexto Seletivo)

Os autores propõem o SCOPE, um framework de treinamento projetado para otimizar a confiança seletiva sem sacrificar o desempenho em condições não adversariais.

• Construção de Dados: Para cada item onde o modelo base está correto no prompt limpo, mas errado no prompt enganoso, um par de preferência contrafactual é construído:
  • Escolhido ($r^+$): A resposta correta do modelo (da condição limpa ou de um fallback diagnóstico).
  • Rejeitado ($r^-$): A resposta errada do modelo após o sinal enganoso.
• Objetivo Balanceado: Diferente do DPO padrão, que pode treinar apenas em pares enganosos (ensinando a desconfiança generalizada), o SCOPE otimiza um objetivo único sobre quatro conjuntos de preferência balanceados:
  1. Misleading ($D_{mis}$): Preferir a verdade sobre sinais enganosos.
  2. Clean ($D_{clean}$): Preservar o raciocínio quando nenhum sinal está presente.
  3. Correct-Context ($D_{cor}$): Manter a correção quando o contexto é útil.
  4. Irrelevant-Context ($D_{irr}$): Permanecer robusto a textos distrativos, mas não enganosos.
• Otimização: O método utiliza um DPO de completamento total padrão. A novidade reside inteiramente na construção de dados de preferência correspondentes e balanceados. Os pesos para as quatro condições são fixos (25% para cada um dos quatro conjuntos, com o correto e o irrelevante combinados em um componente não adversarial), garantindo que o modelo aprenda a pesar o contexto com base em sua utilidade, em vez de rejeitá-lo totalmente.

Principais Resultados

Suscetibilidade Universal

Através de 23 modelos, incluindo modelos proprietários de fronteira (GPT-5.5, Claude Opus, Gemini) e modelos de pesos abertos (Qwen, Llama, DeepSeek), a suscetibilidade a sinais enganosos é universal.

• Substituir um contexto limpo por um enganoso plausível causa uma queda significativa de precisão para todos os modelos avaliados.
• Mesmo modelos com alta precisão limpa (ex: GPT-5.5 com 96,0%) sofrem de um SC2W não nulo (10,5%), indicando que eles ainda alteram respostas corretas quando induzidos ao erro.

Eficácia do SCOPE

Experimentos no Qwen3-4B e Llama-3.2-3B demonstram que o SCOPE supera estratégias de mitigação alternativas:

• Redução no SC2W: O SCOPE reduz o SC2W em aproximadamente metade (ex: de 35,0% para 16,3% no Qwen3-4B) em comparação com o modelo base.
• Preservação de Controles: Ao contrário do "Standard-DPO" (treinado apenas em pares enganosos) ou "Prompt-Defense", o SCOPE preserva ou melhora a precisão nas condições de contexto limpo, correto e irrelevante. O Standard-DPO, por exemplo, melhorou a precisão enganosa, mas colapsou a precisão de contexto correto no Llama-3.2-3B.
• Transferência Zero-Shot: Modelos treinados com SCOPE no benchmark MIST transferem efetivamente para benchmarks externos (GSM-IC, GSM-Plus e testes de sicofancia) sem ajuste adicional. O SCOPE melhora ou mantém a precisão nessas tarefas enquanto mantém as taxas de seguimento de viés comparáveis ao modelo base, enquanto métodos concorrentes frequentemente sacrificam a precisão em prol da resistência.

Ablação e Mecanismo

• Necessidade de Correspondência: Remover o pareamento correspondente ou usar pares aleatórios degrada significativamente o desempenho, confirmando que a estrutura contrafactual é crítica.
• Necessidade de Controles: Remover os pares de contexto limpo, correto ou irrelevante do treinamento leva a uma perda de equilíbrio; os modelos podem se tornar mais resistentes, mas falham em utilizar contextos úteis ou degradam o raciocínio limpo.
• Auditoria Humana: Uma auditoria humana assistida por referência confirma que a pontuação automática determinística (SC2W e acurácias de condição) alinha-se fortemente com os julgamentos de correção semântica humana (Spearman $\rho \geq 0,97$ para a maioria das métricas).

Significância e Alegações

O artigo argumenta que a robustez ao contexto enganoso é o alvo errado se isso vier ao custo da utilidade. Um modelo que desconfia de todo sinal é indistinguível de um que julga os sinais corretamente, a menos que a avaliação inclua sinais dignos de confiança.

• Reenquadramento do Objetivo: Os autores propõem mudar o paradigma de avaliação e treinamento de "resistência" para confiança seletiva.
• Mensurabilidade: MIST e SC2W fornecem a primeira medição direta e controlada da capacidade de um modelo de distinguir entre contexto útil, enganoso e irrelevante dentro da mesma tarefa de raciocínio.
• Contribuição Metodológica: O SCOPE demonstra que a confiança seletiva pode ser aprendida ao balancear pares de preferência em todos os tipos de contexto dentro de um framework DPO padrão, evitando a necessidade de novas funções de perda ou arquiteturas complexas.
• Limitações: Os autores observam que o MIST é um diagnóstico controlado e puramente textual e não mede a prevalência de implantação. A contaminação de benchmarks públicos não pode ser totalmente excluída, embora a métrica SC2W mitigue isso ao condicionar no comportamento correto-limpo. O método foi testado em duas famílias de modelos, deixando outras arquiteturas não testadas.

Em conclusão, este trabalho estabelece que modelos de raciocínio confiáveis devem ser julgados por sua capacidade de aprender quando confiar, em vez de sua capacidade de simplesmente ignorar informações externas.