Three Regimes of Context-Parametric Conflict: A Predictive Framework and Empirical Validation

Resumo Técnico: Três Regimes de Conflito Paramétrico-Contextual

Declaração do Problema
A literatura sobre como os Modelos de Linguagem de Grande Escala (LLMs) resolvem conflitos entre seu conhecimento paramétrico de treinamento e documentos externos contraditórios apresenta uma contradição empírica persistente. Alguns estudos (por exemplo, Longpre et al., 2021) observam modelos teimosamente retendo respostas treinadas, enquanto outros (por exemplo, Xie et al., 2024) encontram modelos prontamente deferindo aos documentos. Este artigo argumenta que essas contradições surgem porque pesquisas anteriores confluíram três situações de processamento qualitativamente distintas. Sem distinguir essas situações, os achados parecem irreconciliáveis, obscurecendo as variáveis específicas que impulsionam o comportamento do modelo em cada contexto.

Metodologia
Os autores propõem e validam um framework de três regimes por meio de uma série de experimentos envolvendo 9.970 chamadas de API em cinco modelos de ponta: Claude Sonnet 4.6, GPT-5.5, Gemini 2.5 Flash, Llama 4 Maverick e DeepSeek V3.

1. Definição do Framework: O artigo define três regimes baseados na situação de processamento:

   • Regime 1 (Atualização de fonte única): Apenas um documento é mostrado; o conhecimento de treinamento não é explicitamente ativado.
   • Regime 2 (Integração competitiva): Tanto o conhecimento de treinamento quanto um documento conflitante estão explicitamente ativos simultaneamente.
   • Regime 3 (Seleção apropriada à tarefa): As instruções da tarefa ditam explicitamente qual fonte (contexto ou conhecimento paramétrico) deve prevalecer.

2. Design Experimental:

   • Conjunto de Dados: 450 itens do PopQA, estratificados em níveis de baixa, média e alta certeza com base na frequência de visualização de páginas da Wikipedia (força paramétrica).
   • Validação dos Regimes 1 e 2: O estudo compara prompts de turno único (Regime 1) contra designs conversacionais de múltiplos turnos onde o modelo primeiro se compromete com uma resposta treinada antes de enfrentar uma contradição (Regime 2). A análise estatística utiliza Equações de Estimação Generalizadas (GEE) com famílias binomiais para modelar probabilidades de seguimento de contexto, controlando por agrupamento no nível do item.
   • Dimensões Paramétricas: Os autores distinguem formalmente entre força paramétrica (frequência de exposição) e unicidade paramétrica (consistência de codificação/frequência inversa de edição), testando sua ortogonalidade e poder preditivo.
   • Ablação do Regime 3: Um experimento dedicado (1.000 chamadas) testa os mesmos itens sob duas condições de enquadramento: instruções "Apenas Contexto" (CK) versus "Apenas Paramétrico" (PK).

Principais Contribuições

1. Framework de Três Regimes: Uma taxonomia preditiva que resolve quatro grandes contradições na literatura ao mapeá-las para regimes específicos. Clarifica que achados de regimes diferentes não são diretamente comparáveis.
2. Ortogonalidade das Propriedades de Memória: Evidência empírica demonstrando que a força paramétrica e a unicidade paramétrica são dimensões ortogonais ($r = -0,002$). O estudo identifica que, em domínios factuais estáveis (como o PopQA), a força é o preditor operacional de resistência, ao passo que a unicidade não o é.
3. Design de Manipulação como Variável de Primeira Ordem: O artigo demonstra que a estrutura do prompt (afirmação de turno único versus conversa de múltiplos turnos) altera fundamentalmente o comportamento de conflito observado, particularmente para modelos de pesos fechados.
4. Dominância do Enquadramento da Tarefa: Validação de que as instruções da tarefa (Regime 3) são a variável mais poderosa, capaz de inverter as taxas de seguimento de contexto de quase 100% para dígitos simples.

Resultados

• Regime 1: Os modelos geralmente seguem o contexto em níveis de teto, independentemente da certeza do fato, desde que a evidência seja coerente. A certeza paramétrica não é um preditor dominante aqui.
• Regime 2: Surge um gradiente de certeza significativo. À medida que a força paramétrica aumenta (fatos famosos), os modelos tornam-se mais resistentes a documentos conflitantes. A regressão logística GEE confirma esse gradiente em todos os cinco modelos ($\beta = -0,38$ a $-0,50$, todos $p \le .013$).
  • Magnitude do Gradiente: O Llama 4 Maverick mostrou o gradiente mais íngreme (30,8 pontos percentuais), enquanto o Gemini mostrou um gradiente mínimo (1,5 pp) neste regime, embora tenha permanecido estatisticamente significativo na modelagem contínua.
  • Sensibilidade ao Design: Modelos de pesos fechados (Claude, GPT-5.5) mostraram seguimento de contexto quase de teto no Regime 2 de turno único, mas revelaram resistência significativa em designs de múltiplos turnos, sugerindo que afirmações de turno único não desencadeiam competição paramétrica genuína para esses modelos.
• Regime 3: O enquadramento da tarefa inverte completamente o comportamento. Sob instruções "Apenas Contexto", todos os modelos seguiram o distrator em $\approx$100% das vezes. Sob instruções "Apenas Paramétrico", o seguimento de contexto caiu para 6–71%. O gradiente de certeza reemergiu dentro da condição PK, modulando a magnitude da resistência.
• Diferenças entre Modelos: Existe uma divisão entre modelos de pesos fechados e de pesos abertos. Modelos de pesos fechados são altamente compliantes com o enquadramento da tarefa (deferindo ao contexto ou resistindo a ele conforme instruído), ao passo que modelos de pesos abertos (Llama, DeepSeek) mostram menor compliance com instruções de "use seu próprio conhecimento".

Significado e Alegações
O artigo alega que as "contradições" na literatura de conflito são artefatos de comparar laranjas com maçãs. Ao reconhecer os três regimes, os pesquisadores podem explicar por que os modelos parecem teimosos em alguns estudos e receptivos em outros.

Os autores afirmam que:

1. Os preditores são específicos do regime: A coerência da evidência impulsiona o Regime 1, a certeza paramétrica impulsiona o Regime 2 e os requisitos da tarefa impulsionam o Regime 3.
2. O design de manipulação é crítico: O método usado para introduzir o conflito (por exemplo, turno único versus múltiplos turnos) é uma variável primária que pode obscurecer ou revelar resistência paramétrica, particularmente em modelos comerciais.
3. Implicação Prática: Para Geração Aumentada por Recuperação (RAG) e aplicações de segurança, a classificação de regimes deve preceder a comparação de achados de conflito. O enquadramento da tarefa oferece uma estratégia de mitigação potencial para injeção de desinformação, pois pode ativar resistência paramétrica quando explicitamente instruído.

O estudo conclui que o framework resolve as contradições empíricas existentes e fornece uma base estruturada para pesquisas futuras, alertando que os preditores não se generalizam através das fronteiras dos regimes.