Resumo Técnico: Diagnóstico de Falhas de Raciocínio Multi-etapa em LLMs de Caixa Preta via Atribuição de Confiança Passo a Passo

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) demonstraram forte desempenho em tarefas de raciocínio ao gerar soluções passo a passo (por exemplo, Cadeia de Pensamento). No entanto, diagnosticar onde um traço de raciocínio multi-etapa falha permanece um desafio significativo. Abordagens existentes dividem-se em duas categorias: classificadores supervisionados que exigem anotações humanas dispendiosas, ou métodos de LLM como juiz que herdam viés e inconsistência. Além disso, métodos padrão de Estimação de Confiança (EC) operam tipicamente apenas no nível da resposta final, fornecendo sinais de confiabilidade grosseiros que falham em identificar etapas específicas errôneas.

Um desafio crítico na extensão da EC para o cenário passo a passo é distinguir entre variabilidade legítima (soluções corretas que diferem em ordem, expressão ou detalhe) e erros de raciocínio verdadeiros. Caminhos de raciocínio corretos frequentemente convergem para "invariantes lógicos" específicos (estados intermediários críticos), enquanto erros representam desvios desse consenso. O artigo aborda a necessidade de Atribuição de Confiança Passo a Passo (ACPP): um framework para LLMs de código fechado (caixa preta) que atribui pontuações de confiança a etapas individuais de raciocínio usando apenas traços gerados e rótulos de correção da resposta final, sem exigir acesso interno ao modelo ou anotações em nível de etapa.

2. Metodologia

Os autores propõem um framework baseado no princípio do Gargalo de Informação (GI). A intuição central é comprimir a trajetória de raciocínio de entrada descartando variações não essenciais, enquanto retém informações máximas sobre o padrão de raciocínio correto subjacente.

O framework define a entrada $X$ como uma trajetória de raciocínio, a representação comprimida $Z$ como uma trajetória com pesos de confiança em suas etapas, e o alvo $Y$ como o sinal de correção. O objetivo é minimizar $I(X; Z) - \beta I(Z; Y)$, incentivando a seleção de um subconjunto esparso de etapas altamente relevantes para a correção.

O artigo introduz duas instâncias complementares deste princípio:

A. GI Não Paramétrico para Confiança Passo a Passo (NIBS)

NIBS é uma abordagem sem treinamento e de forma fechada. Assume que etapas que aparecem consistentemente em soluções corretas são as mais informativas.

• Mecanismo: Agrega múltiplos traços de solução de soluções corretas para formar "âncoras de consenso".
• Pontuação: Para uma etapa dada em uma trajetória, a confiança é calculada medindo sua similaridade semântica com etapas no conjunto de trajetórias corretas.
• Implementação: Utiliza funções de similaridade semântica (por exemplo, similaridade de cosseno de incorporações de sentenças ou NLI de implicação) e estratégias de agregação (máximo ou média) para calcular pontuações sem aprendizado de parâmetros.

B. GI Baseado em Grafos para Confiança Passo a Passo (GIBS)

GIBS aborda a limitação do NIBS de ignorar dependências estruturais entre etapas.

• Representação: Traços de raciocínio são modelados como grafos direcionados onde nós representam resultados intermediários e arestas representam operações lógicas ou subperguntas.
• Construção de Consenso: Um grafo de consenso ($G_{MC}$) é construído agregando Subgrafos Comuns Máximos (MCS) entre grafos candidatos e grafos de soluções corretas.
• Aprendizado: GIBS aprende uma máscara diferenciável $p_\theta$ para selecionar um subgrafo $G^*$ que se alinha com a estrutura de consenso.
• Otimização: O objetivo GI é aproximado usando uma abordagem variacional:
  • Compressão: Minimizada via divergência KL entre a máscara prevista e um prior esparso (incentivando seleção binária).
  • Relevância: Maximizada minimizando a Entropia Cruzada entre a máscara prevista e a máscara de consenso derivada de soluções corretas.
• Arquitetura: O modelo usa um codificador BERT para características semânticas de etapa e uma Rede de Convolução em Grafos (GCN) para contexto estrutural para prever probabilidades de seleção suave.

3. Contribuições Principais

1. Framework ACPP: A introdução da Atribuição de Confiança Passo a Passo, o primeiro framework projetado especificamente para LLMs de caixa preta para fornecer sinais de confiabilidade em nível de etapa, granulares, usando apenas traços gerados e rótulos de resposta final.
2. Formulação Baseada em GI: A aplicação do princípio do Gargalo de Informação a traços de raciocínio, formalizando o compromisso entre comprimir a variabilidade de saída e reter invariantes lógicos.
3. Dois Métodos Novos:
   • NIBS: Um método não paramétrico, sem treinamento, que aproveita o consenso semântico.
   • GIBS: Um método baseado em grafos, aprendível, que captura dependências estruturais e variabilidade lógica através da seleção de subgrafos.
4. Utilidade Diagnóstica e Corretiva: Demonstração de que sinais de confiança em nível de etapa não apenas diagnosticam erros, mas também orientam efetivamente a autocorreção, superando o feedback em nível de resposta.

4. Resultados Experimentais

Os métodos foram avaliados em três benchmarks: GSM8K (problemas de palavras matemáticas), Math (matemática de nível competitivo) e MoreHopQA (QA multi-salto), usando três LLMs (Llama-3.1-8B, Phi-4-Reasoning, DeepSeek-R1-Distill-Qwen-32B).

• Precisão (RQ1): GIBS superou consistentemente fortes baselines de caixa branca (por exemplo, Entropia de Token, Probabilidade de Sequência) e métodos adaptados de caixa preta. Em MoreHopQA, GIBS alcançou um AUROC de 0,8084 no DeepSeek, significativamente mais alto que as baselines. Variantes NIBS também alcançaram desempenho competitivo sem treinamento, demonstrando a robustez do alinhamento de consenso.
• Autocorreção (RQ2): Usar confiança em nível de etapa para orientar a autocorreção melhorou a taxa de sucesso de correção em até 13,5% comparado ao uso de apenas feedback em nível de resposta. Isso foi particularmente eficaz para modelos de raciocínio mais fortes que podiam utilizar sinais de erro localizados.
• Ablação e Robustez (RQ3):
  • Remover qualquer um dos codificadores de aresta ou de grafo em GIBS levou a uma queda significativa no desempenho, confirmando a necessidade de sinais estruturais locais e globais.
  • Generalização sem Rótulos: O framework permanece eficaz em configurações sem rótulos ao usar "Autoconsistência" (trajetórias pseudo-corretas votadas por maioria) para construir âncoras de consenso, embora o desempenho se correlacione com a qualidade dos pseudo-rótulos.
  • Mudança de Domínio: GIBS treinado em MoreHopQA (textual) generalizou bem para o conjunto de dados Math sem re-treinamento, superando NIBS e baselines de caixa branca, sugerindo que a modelagem baseada em grafos captura padrões de raciocínio abstratos menos ligados a vocabulário de domínio específico.

5. Significado e Alegações

O artigo alega que a ACPP fornece um mecanismo escalável e confiável para auditoria de LLMs de caixa preta sem exigir acesso interno ou anotações humanas custosas. Ao distinguir entre variabilidade legítima e erros verdadeiros através da lente de invariantes lógicos, o framework permite:

• Diagnóstico Granular: Identificação de etapas específicas responsáveis por falhas de raciocínio.
• Melhoria de Confiabilidade: Orientar modelos a se autocorrigirem destacando etapas de baixa confiança, melhorando assim a precisão da resposta final.
• Generalizabilidade: A abordagem é robusta entre diferentes formatos de raciocínio (matemática vs. textual) e arquiteturas de modelo.

Os autores posicionam este trabalho como uma "ferramenta de auditoria para supervisão humana" em vez de um substituto para o julgamento humano, visando melhorar a interpretabilidade e confiabilidade do raciocínio de LLMs em cenários de tomada de decisão de alto risco.