Resumo Técnico: Atribuição Causal Local de Raciocínio de Cadeia de Pensamento (Chain-of-Thought)

Declaração do Problema

O sucesso dos Modelos de Raciocínio Grandes (LRMs) depende fortemente do raciocínio de Cadeia de Pensamento (CoT - Chain-of-Thought), onde os modelos geram sequências longas de etapas intermediárias. No entanto, a fidelidade dessas sequências de texto CoT ao processo de raciocínio latente subjacente do modelo permanece uma preocupidade crítica. Pesquisas indicam que o texto CoT pode, por vezes, ignorar manipulações de entrada ou construir justificativas elaboradas, porém falsas, particularmente quando os modelos são apresentados com dicas incorretas. Embora trabalhos anteriores tenham explorado estruturas causais ao nível de representações internas (caixa-branca) ou distribuições sobre trajetórias de raciocínio (via reamostragem), há uma necessidade de métodos locais eficientes para analisar as relações causais dentro de um traço de CoT específico. Métodos de caixa-preta existentes frequentemente focam na atribuição ao nível da resposta ou falham em considerar o impacto de etapas intermediárias sobre etapas de racocínio subsequentes.

Metodologia: AttriCoT

Os autores propõem o AttriCoT, um método de caixa-preta para estimar atribuições causais locais dentro de um traço de CoT específico. A abordagem é fundamentada em um Modelo Causal Estrutural (SCM) e opera com complexidade computacional linear em relação ao número de unidades de raciocínio.

1. Formulação do Modelo Causal Estrutural

O método trata um traço de CoT e sua entrada como uma sequência de "unidades" ($x_1, \dots, x_S$ para entrada; $y_1, \dots, y_T$ para etapas de saída e resposta final). A premissa central é uma propriedade auto-regressiva onde a log probabilidade de gerar uma unidade $y_t$ depende da presença ou ausência de unidades anteriores.

• Escalarização: A unidade $y_t$ é escalarizada usando sua log probabilidade condicional: $S_t(y_t) = \log P(y_t | x, y_{<t})$.
• Equação Estrutural Linear: A influência de unidades anteriores é modelada via uma equação linear:
  $$S_t(y_t) = \sum_{s=1}^S \alpha_{s,t} I(x_s) + \sum_{\tau=1}^{t-1} \beta_{\tau,t} I(y_\tau) + \gamma_t + u_t$$
  Aqui, $I(\cdot)$ são funções indicadoras (1 se presente, 0 se removido), e os coeficientes $\alpha_{s,t}$ e $\beta_{\tau,t}$ representam a importância causal da entrada e das unidades de saída anteriores, respectivamente.

2. O Algoritmo AttriCoT

O algoritmo estima esses coeficientes através de três etapas:

1. Intervenção: O método realiza intervenções removendo unidades específicas da sequência. A estratégia padrão é "Leave-One-Out" (LOO), removendo uma unidade por vez ($N = S + T$ intervenções). Uma variante aprimorada ("AttriCoT-2x") inclui intervenções "Leave-Two-Out".
2. Medição: Para cada sequência perturbada, o modelo realiza uma passagem direta (forward pass) para calcular as log probabilidades das unidades de saída restantes. A mudança na log probabilidade para uma unidade alvo $y_t$ serve como o valor alvo para a regressão.
3. Regressão: Uma regressão linear (com regularização L1 opcional) é ajustada para estimar os coeficientes $\alpha$ e $\beta$. Este processo requer $O(N)$ passagens diretas, mantendo a complexidade linear em relação ao número de unidades.

3. Métrica de Avaliação

A qualidade da atribuição é avaliada usando a Fidelidade Comportamental, medida pela Área Sob a Curva de Perturbação (AUPC).

• Procedimento: As unidades anteriores são classificadas por seus escores de atribuição. As top $k$ unidades são removidas, e a diminuição resultante na log probabilidade da unidade alvo é medida.
• Métrica: A AUPC agrega essas diminuições conforme $k$ varia de 0 a 20% das unidades anteriores. Um AUPC mais alto indica que o método de atribuição identifica corretamente as unidades que são causalmente críticas para a geração de etapas subsequentes.

Principais Contribuições

1. Framework AttriCoT: A proposta de um método de explicação de caixa-preta e local que atribui etapas de CoT a unidades anteriores usando um modelo causal estrutural, exigindo apenas um número linear de passagens diretas ($O(S+T)$).
2. Fidelidade Superior: Evidência empírica demonstrando que o AttriCoT produz atribuições mais fiéis ao comportamento do modelo do que métodos alternativos, incluindo mascaramento sentença a sentença (Thought Anchors) e baselines baseados em prompting.
3. Métricas Analíticas: A introdução de métricas derivadas de matrizes de atribuição (ex: densidade de escore, influência média, razão de entrada) para revelar diferenças estruturais no raciocínio entre modelos e domínios.

Resultados Experimentais

O método foi avaliado em 5 conjuntos de dados (GSM8K, MATH500, GPQA-Diamond, MMLU-Pro, ZebraLogic) e 4 modelos de raciocínio (DS-Llama-8B, DS-Qwen-14B, DS-Qwen3-8B, Qwen3-8B).

• Desempenho: O AttriCoT alcançou consistentemente os maiores escores de AUPC em todos os modelos e conjuntos de dados. No GSM8K, mostrou melhorias de 15–30% sobre o Thought Anchors e 70–165% sobre os baselines de prompting.
• Eficiência: Ao contrário de métodos baseados em reamostragem, o AttriCoT evita o alto custo computacional de gerar novas trajetórias de CoT, baseando-se em passagens diretas não generativas.
• Análise Comparativa:
  • Thought Anchors: Embora competitivo, o Thought Anchors (que utiliza divergência KL em distribuições de tokens) geralmente teve desempenho inferior ao AttriCoT, provavelmente porque não mede o impacto direto na log probabilidade da unidade gerada da mesma maneira local.
  • Prompting: Solicitar que LLMs classifiquem as unidades (mesmo com Aprendizado em Contexto) resultou em escores de fidelidade significativamente menores.
  • Atenção de Caixa-Branca: Um método exploratório de caixa-branca intervindo em pesos de atenção mostrou-se promissor, mas não superou os métodos de intervenção causal.

Análise de Estruturas de Raciocínio

Ao analisar as matrizes de atribuição, os autores observaram padrões distintos:

• Decaimento de Influência: A importância geralmente decai rapidamente com a distância entre as etapas, mas estabiliza em uma cauda longa.
• Dependência de Entrada: A métrica "Razão de Entrada" revela que os modelos dependem fortemente das unidades de entrada no início de um traço. Curiosamente, essa dependência muitas vezes aumenta novamente nas fases intermediárias e finais (em torno de 50–80% do traço), sugerindo que os modelos retornam ao contexto de entrada para verificar ou finalizar respostas.
• Diferenças entre Modelos: Modelos maiores ou destilados (ex: DS-Llama-8B) exibiram densidades de escore mais altas e padrões de influência diferentes em comparação com seus equivalentes não destilados, indicando variações estruturais na forma como processam o raciocínio.

Significância e Alegações

O artigo afirma que tratar traços de CoT como objetos causais fornece um framework vital para transparência e segurança. Ao decompor um traço em unidades definidas pelo usuário e ajustar equações estruturais, o AttriCoT oferece uma maneira computacionalmente eficiente de entender por que etapas de raciocínio específicas são produzidas e se o raciocínio intermediário é consequencial.

Os autores enfatizam que seu trabalho aborda o nível "local" da causalidade (traços específicos) em vez de mecanismos internos ou distribuições de trajetórias. Eles concluem que as matrizes de atribuição resultantes revelam padrões sugestivos, como a influência especial das etapas iniciais e finais e a tendência dos modelos de revisitar a entrada durante a verificação. Os autores reconhecem limitações, incluindo a expressividade de equações estruturais lineares e a simplicidade da intervenção LOO padrão, posicionando o trabalho futuro em direção ao desenvolvimento de métodos de caixa-branca computacionalmente baratos e à investigação de como as estruturas de raciocínio dependem de famílias de modelos e da dificuldade do problema.