Resumo Técnico: Interpretabilidade e Fidelidade do Pensamento em Cadeia sob Conflito de Conhecimento

Declaração do Problema

Quando modelos de linguagem de grande porte (LLMs) encontram um documento que contradiz seu conhecimento paramétrico de treinamento, devem escolher entre seguir o documento ou confiar em seu conhecimento interno. Pesquisas anteriores estabeleceram que essa decisão é impulsionada pela "fama" da entidade (visualizações de páginas da Wikipedia), onde fatos famosos são resistidos e fatos obscuros são seguidos. No entanto, os praticantes dependem cada vez mais do raciocínio de Pensamento em Cadeia (CoT) para entender por que um modelo fez uma escolha específica.

O problema central abordado é a fidelidade introspectiva: o raciocínio CoT declarado reflete com precisão o mecanismo real de tomada de decisão? Especificamente, quando um modelo inverte sua decisão sobre a mesma pergunta (por exemplo, de seguir um distrator para resistir a ele), o texto de raciocínio muda para refletir a nova decisão, ou o raciocínio é uma "exibição de conhecimento" estática que meramente é envolta em frases de atribuição diferentes? Se o CoT for apenas uma racionalização post-hoc em vez de um relatório causal, sistemas de monitoramento que dependem de argumentos lógicos podem fornecer falsa confiança.

Metodologia

O estudo emprega uma sondagem comportamental em 200 perguntas factuais (do conjunto de dados PopQA) e 8 modelos (incluindo GPT-4o, Claude Sonnet 4.6, Gemini 2.5, variantes do DeepSeek e Llama 4 Maverick).

Design Experimental

• Paradigma de Conflito de Conhecimento: Os itens foram divididos em níveis de alta certeza (entidades famosas) e baixa certeza (entidades obscuras). Cada item incluía um distrator plausível, mas incorreto.
• Condições de Prompt:
  • C1/C2 (Conflito Multi-turno): O modelo responde a uma pergunta, recebe um documento contraditório e deve raciocinar passo a passo, avaliar a confiança (1–5) e fornecer uma resposta final.
  • C3 (Apenas Documento): O modelo responde com base apenas no documento (servindo como âncora de conformidade).
  • C4 (Próprio Conhecimento): O modelo é instruído a priorizar seu próprio conhecimento sobre o documento.
• Variantes de Modelo: O estudo inclui modelos de "raciocínio nativo" (expondo tokens de pensamento interno) e suas contrapartes "padrão" (apenas saída voltada ao usuário) para isolar o efeito do recurso de raciocínio.
• Controles: Ablações de temperatura combinadas (por exemplo, GPT-4o em $T=1$) foram usadas para descartar a temperatura como um fator de confusão para anomalias observadas.

Medidas Analíticas

1. Consistência do Raciocínio: Similaridade de cosseno (usando all-MiniLM-L6-v2) e pontuações ROUGE-L foram computadas entre textos CoT de "pares de inversão" (onde o modelo dá respostas opostas no mesmo item) versus "pares de mesma resposta". Frases de atribuição (por exemplo, "o documento diz") foram removidas para isolar o conteúdo substantivo.
2. Calibração de Confiança: Correlações foram testadas entre a autoavaliação de confiança e (a) saliência da entidade ($spop$) e (b) correção de base (se o modelo conhecia o fato antes do conflito).
3. Coerência Comportamental: Regressão logística de Equações de Estimação Generalizadas (GEE) testou se a confiança prevê independentemente a decisão de seguir ou resistir, controlando a fama da entidade.
4. Atribuição de Fonte: Análise de respostas "SEGUIR" para detectar confabulação (inventar fatos para justificar seguir um distrator).

Principais Resultados

1. Consistência do Raciocínio: O Fenômeno da "Inversão"

Quando os modelos chegaram a conclusões opostas sobre a mesma pergunta, seu raciocínio passo a passo permaneceu altamente similar.

• Similaridade: Pares de inversão retiveram 96% da similaridade encontrada em pares de mesma resposta (similaridade de cosseno 0,784 vs. 0,817; $d=0,34$).
• Implicação: A maior parte do CoT é uma "exibição de conhecimento" estática (recitando fatos sobre a entidade) que não muda com a decisão. Apenas a atribuição final ou o enquadramento mudam.
• Exceção: GPT-4o foi o único modelo que mostrou um delta negativo estatisticamente confiável ($\Delta = -0,132$), significando que seu raciocínio mudou genuinamente quando sua decisão inverteu. Para outros modelos, o argumento lógico é efetivamente invariante à decisão.

2. Confiança como o Sinal Genuíno

Enquanto a narrativa lógica era estável, a autoavaliação de confiança mostrou um sinal introspectivo fraco, mas genuíno.

• Conhecimento em Nível de Item: No nível de baixa certeza, a fama da entidade ($spop$) não previu confiança ($\rho = -0,005$). No entanto, a correção de base (se o modelo realmente conhecia o fato) previu fracamente a confiança ($r = 0,134, p < 0,001$).
• Previsão de Decisão: Menor confiança previu uma probabilidade maior de seguir o distrator ($coef = -0,475, p < 0,001$). Isso estabelece um caminho em nível de item: conhece o fato $\rightarrow$ maior confiança $\rightarrow$ resiste ao distrator.
• Especificidade do Modelo:
  • GPT-4o: Mostrou acoplamento estatisticamente confiável entre raciocínio e decisão.
  • Claude Sonnet 4.6: Exibiu uma "Anomalia Claude". Sua correlação agrupada confiança-decisão foi próxima de zero ($r \approx 0$) porque a relação se inverteu entre as condições. Sob o enquadramento de "próprio conhecimento", ele seguiu distratores com alta confiança, cancelando a correlação negativa observada nas condições de conflito. Isso sugere que o Claude rastreia o enquadramento da instrução em vez de seu estado de conhecimento interno.

3. Raciocínio Interno vs. Declarado

Para modelos de raciocínio nativo, os tokens de pensamento interno mostraram maior sensibilidade à decisão do que o CoT voltado ao usuário.

• Tokens internos em pares de inversão foram menos similares ($0,709$) do que as saídas declaradas ($0,787$), uma diferença significativa ($p=0,033$).
• Isso sugere que a saída voltada ao usuário "suaviza" as diferenças preservadas no processo interno, provavelmente para apresentar uma narrativa coerente.

4. Confabulação

Entre os modelos que seguiram distratores, o Llama 4 Maverick foi um claro outlier, exibindo 15,2% de confabulação (fabricando fatos específicos, por exemplo, uma vila inexistente, para validar o distrator). Outros modelos mostraram taxas abaixo de 6,3%.

Significado e Alegações

O artigo afirma fornecer o primeiro teste direto de se o raciocínio declarado rastreia o motor empírico das decisões de conflito de conhecimento. Suas principais contribuições são:

1. Decomposição do CoT: O estudo decompõe o CoT em duas funções distintas:
   • Função 1 (Exibição de Conhecimento): Uma recitação estável de conhecimento paramétrico que permanece quase idêntica independentemente da decisão final.
   • Função 2 (Justificativa de Decisão): Uma fina camada de atribuição e pontuações de confiança que se ajusta à decisão.
2. Implicações para Monitoramento: Os autores argumentam que, para monitoramento de segurança e auditoria, argumentos lógicos são a métrica errada para ler porque são frequentemente invariantes à decisão. Em vez disso, a confiança expressa (e hesitações) é onde reside o sinal genuíno de autoconhecimento, embora seja fraco e sujeito a problemas de calibração específicos do modelo (como a anomalia do Claude).
3. Limitações da Introspecção: O artigo conclui modestamente que os modelos possuem apenas metacognição "modesta" em nível de item. Embora possam distinguir fatos conhecidos de desconhecidos ligeiramente melhor do que o acaso, suas pontuações de confiança são fortemente influenciadas pela fama da entidade e pelo enquadramento da instrução, em vez de um estado interno preciso.

O estudo não afirma fidelidade causal, mas estabelece consistência correlacional entre sinais comportamentais e um preditor validado ($spop$ e correção de base), sugerindo que as saídas atuais de CoT frequentemente servem como racionalizações post-hoc em vez de relatórios transparentes do mecanismo de decisão.