Resumo Técnico: Investigando a Interação entre a Fidelidade do Pensamento em Cadeia Contextual e Paramétrica sob Otimização

Declaração do Problema

O raciocínio em Pensamento em Cadeia (CoT) provou ser eficaz para melhorar o desempenho de Modelos de Linguagem de Grande Escala (LLM), mas uma preocupação crítica permanece: a fidelidade do CoT. Isso refere-se à questão de saber se as etapas de raciocínio geradas refletem genuinamente o processo computacional subjacente do modelo ou se servem meramente como racionalizações plausíveis post-hoc.

A avaliação atual da fidelidade do CoT está fragmentada em dois paradigmas disjuntos:

1. Fidelidade Contextual: Avaliada perturbando a entrada ou o rastro de raciocínio (por exemplo, inserindo erros, parafraseando ou injetando dicas) e observando se a resposta do modelo muda de acordo. Isso mede a consistência entre o rastro de raciocínio e a saída, mas ignora o conhecimento paramétrico interno do modelo.
2. Fidelidade Paramétrica: Avaliada intervindo no conhecimento paramétrico do modelo (por exemplo, desaprendendo o conhecimento subjacente a uma etapa específica de raciocínio) para ver se a resposta muda. Isso visa mecanismos internos, mas está limitado ao conhecimento explicitamente verbalizado no CoT, potencialmente perdendo fatores não expressos que moldam a geração.

Trabalhos anteriores compararam esses paradigmas principalmente de forma descritiva em CoTs fixos, deixando uma lacuna na compreensão de como eles interagem quando os modelos são explicitamente otimizados para fidelidade. Permanece incerto se a otimização para um paradigma produz ganhos no outro, ou se esses paradigmas recompensam propriedades conflitantes.

Metodologia: Framework FaithMATE

Para abordar isso, os autores introduzem o FaithMATE (Avaliação de Alinhamento e Transferência de Métricas de Fidelidade), uma interface unificada de alinhamento de preferências projetada para otimizar modelos em direção à fidelidade contextual ou paramétrica e avaliar a transferência desses ganhos.

O framework opera em quatro etapas principais:

1. Amostragem de CoT: Para cada entrada, o modelo base amostra um conjunto de $m$ CoTs.
2. Avaliação de Fidelidade: Cada CoT amostrado é pontuado usando um conjunto de métricas ($\mathcal{F}$). O conjunto inclui:
   • Métricas Contextuais: Baseadas em corrupção (Resposta Antecipada, Adição de Erro, Parafraseamento, Token de Preenchimento) e baseadas em atribuição (CC-SHAP).
   • Métricas Paramétricas: Medidas Binárias ($f_{hard}$) e Contínuas ($f_{cont}$) baseadas na desaprendizagem de etapas de raciocínio.
3. Construção de Pares de Preferência: Para uma métrica de treinamento escolhida ($F_{train}$), o CoT mais fiel é selecionado como a resposta "escolhida" ($y_w$) e o menos fiel como a resposta "rejeitada" ($y_l$).
4. Otimização: O modelo é otimizado usando Ajuste Fino Supervisionado (SFT) nos CoTs escolhidos ou Otimização Direta de Preferência (DPO) usando os pares construídos.

A investigação central envolve a Transferência de Ganho de Fidelidade ($\delta$): Após a otimização para uma métrica específica $f_i$, o modelo é avaliado em todas as outras métricas ($f_j$) para medir $\delta(f_i, f_j) = f_j(c') - f_j(c)$, onde $c'$ é a saída do modelo otimizado e $c$ é o modelo base.

Contribuições Principais

1. Interface Unificada de Otimização: O FaithMATE fornece o primeiro framework para otimizar sistematicamente LLMs em direção a objetivos de fidelidade contextual e paramétrica, permitindo um estudo controlado de sua interação.
2. Descoberta de Acoplamento Assimétrico: O estudo revela que, embora os dois paradigmas estejam positivamente acoplados, eles são assimétricos. A otimização para fidelidade paramétrica produz ganhos consistentes em ambos os paradigmas. Em contraste, a otimização para fidelidade contextual produz ganhos variáveis; melhorias em uma métrica contextual não se transferem consistentemente para outras.
3. Inconsistência Interna das Métricas Contextuais: Os autores demonstram que as métricas de fidelidade contextual capturam facetas disjuntas da fidelidade. Por exemplo, otimizar para "Adição de Erro" pode às vezes degradar o desempenho em "Parafraseamento", sugerindo que essas métricas não são proxies intercambiáveis para uma única quantidade latente.
4. Diferenciação Mecanística: A análise qualitativa mostra que os ganhos contextuais derivam principalmente de uma melhor consistência entre raciocínio e resposta e da mitigação de racionalizações post-hoc. Os ganhos paramétricos, por outro lado, surgem de um enraizamento mais explícito em fatos e conhecimentos relevantes para a tarefa.
5. Estratégia de Fusão de Modelos: O artigo explora a fusão aritmética de tarefas de modelos otimizados para diferentes métricas contextuais. Descobre-se que fundir modelos otimizados para "Resposta Antecipada" e "Token de Preenchimento" amplifica os ganhos de fidelidade, enquanto incluir "Parafraseamento" frequentemente dilui os ganhos, provavelmente devido a direções opostas de atualização de parâmetros.

Resultados Experimentais

Os experimentos foram conduzidos em três modelos (Gemma3-4B, Qwen2.5-7B, Llama3.1-8B) em dois conjuntos de dados (OpenBookQA, LogiQA) usando seis métricas de fidelidade.

• Transferência Inter-Paradigma:
  • Paramétrica $\Rightarrow$ Contextual: Altamente consistente. A otimização para fidelidade paramétrica melhorou a fidelidade contextual em 28/30 casos no OpenBookQA e 24/25 no LogiQA.
  • Contextual $\Rightarrow$ Paramétrica: Positiva, mas altamente variável. Embora 32/48 casos tenham mostrado transferência positiva, a magnitude variou significativamente dependendo da métrica contextual específica (por exemplo, "Token de Preenchimento" transferiu-se bem, enquanto "Adição de Erro" transferiu-se mal).
• Transferência Intra-Paradigma (Contextual):
  • Os ganhos não se transferiram consistentemente entre diferentes métricas contextuais. Por exemplo, otimizar para "Parafraseamento" não melhorou de forma confiável as pontuações de "Adição de Erro", e em alguns casos, as duas métricas estavam em tensão.
• Paradigmas de Treinamento:
  • O DPO superou consistentemente o SFT na geração de ganhos de fidelidade, sugerindo que sinais contrastantes (distinguir alta vs. baixa fidelidade) são mais eficazes do que a simples maximização de verossimilhança.
• Desempenho da Tarefa:
  • A otimização de fidelidade preservou ou melhorou em grande parte a precisão geral da tarefa, sem degradação significativa observada.

Significado e Alegações

O artigo afirma que a fidelidade do CoT não é um objetivo monolítico. As descobertas implicam que:

• A fidelidade paramétrica é um alvo mais confiável para generalização ampla, pois melhora consistentemente tanto as medidas paramétricas quanto as contextuais.
• A fidelidade contextual é uma família de propriedades relacionadas, mas distintas. Confiar em uma única métrica contextual para avaliação ou otimização é insuficiente e potencialmente enganoso, pois melhorias em uma área podem não refletir melhorias em outras.
• A Otimização Multifacetada é necessária. Como diferentes métricas recompensam comportamentos subjacentes diferentes (por exemplo, consistência de raciocínio vs. enraizamento factual), uma abordagem abrangente para melhorar a fidelidade do CoT requer abordar essas facetas distintas, possivelmente através de técnicas como fusão de modelos ou otimização multi-objetivo.

Os autores concluem que o FaithMATE serve como uma fundação para desenvolver objetivos de fidelidade que sejam tanto fundamentados parametricamente quanto robustos contextualmente, permitindo alegações mais precisamente delimitadas sobre a validade de métricas individuais de fidelidade.