Self-Consistency from Only Two Samples: CoT-PoT Ensembling for Efficient LLM Reasoning

Título: Auto-Consistência a partir de Apenas Duas Amostras: Ensamblagem CoT-PoT para Raciocínio Eficiente em LLMs

1. O Problema

A Auto-Consistência (Self-Consistency - SC) é uma técnica amplamente adotada para melhorar a precisão do raciocínio em Grandes Modelos de Linguagem (LLMs). O método padrão gera múltiplas trajetórias de raciocínio (amostras) para a mesma entrada e seleciona a resposta mais frequente (votação majoritária). Embora eficaz, a SC tradicional apresenta um custo computacional proibitivo, exigindo tipicamente 40 ou mais amostras para atingir níveis ótimos de precisão.

Abordagens anteriores para reduzir esse custo, como a "consistência adaptativa" (parada antecipada baseada em maioria confiante), ainda exigem um número significativo de amostras (mínimo de 4 a 5) e muitas vezes resultam em precisão inferior à amostragem completa. O desafio central é: como manter ou aumentar a precisão do raciocínio enquanto se reduz drasticamente o número de inferências necessárias?

2. Metodologia Proposta

Os autores propõem uma abordagem de ensamblagem híbrida que combina dois modos de raciocínio distintos e complementares:

1. Chain-of-Thought (CoT): Raciocínio passo a passo em linguagem natural. É flexível e concreto, mas propenso a erros de cálculo aritmético ou imprecisão.
2. Program-of-Thought (PoT): O modelo formula a solução como um programa (código) que é executado para obter a resposta. É mais robusto computacionalmente, mas pode cometer erros na formulação simbólica ou lógica.

A premissa central é que a diversidade das trajetórias de raciocínio é mais importante do que a quantidade. Como CoT e PoT cometem tipos de erros diferentes (ex: CoT erra na conta, PoT erra na lógica do código), a concordância entre eles serve como um sinal de confiança muito mais forte do que a concordância entre múltiplas amostras do mesmo modo (CoT-CoT).

A metodologia é dividida em duas estratégias principais:

A. Amostragem Completa (Full Sampling)
Utiliza todo o orçamento de amostragem disponível (ex: 40 amostras), mas distribuído entre CoT e PoT. O artigo explora três estratégias de agregação:

• CPMaj: Votação majoritária sobre todas as amostras (CoT + PoT).
• CPMax: Seleciona a resposta mais frequente dentro do modo (CoT ou PoT) que tiver a maior frequência individual.
• CPAgr: Prioriza respostas que aparecem em ambos os modos (concordância cruzada) antes de aplicar a votação majoritária.

B. Parada Antecipada (Early-Stopping)
Esta é a contribuição mais inovadora. Em vez de gerar 40 amostras, o sistema alterna a geração de uma resposta CoT e uma PoT. O processo para assim que houver concordância entre os dois modos.

• Modelo Bayesiano: Os autores formalizam um modelo bayesiano para calcular a probabilidade de uma resposta ser "segura" (correta ou consistentemente errada) dada a concordância cruzada.
• Estratégias:
  • Data-Driven (CPDAA, CPDFA): Aprendem parâmetros de probabilidade a partir de dados de validação para decidir quando parar.
  • Data-Independent (CPAA, CPFA, CPFF): Regras heurísticas simples baseadas na suposição de que a concordância cruzada é quase sempre um sinal de segurança (ex: parar assim que qualquer CoT e PoT concordarem).

3. Principais Contribuições

1. Eficiência Radical: Demonstraram que a maioria das tarefas (78,6% em média) pode ser resolvida com apenas duas amostras (uma CoT e uma PoT) que concordam entre si. Isso é um salto qualitativo, pois métodos anteriores exigiam no mínimo 4 amostras.
2. Redução de Custo: A técnica reduz o número de amostras necessárias em um fator de 9,3x em comparação com a amostragem completa tradicional, mantendo ou superando a precisão.
3. Modelo Teórico de Concordância Cruzada: Formalizaram a concordância entre CoT e PoT como um sinal de parada antecipada robusto, provando que a correlação de erros entre modos distintos é muito baixa, tornando a concordância um indicador de alta confiança.
4. Bootstrapping de PoT: Demonstraram que é possível melhorar a capacidade de um modelo pequeno em gerar PoT (código) usando dados de CoT como base para fine-tuning, permitindo que modelos menores também se beneficiem da abordagem.

4. Resultados Experimentais

Os experimentos foram realizados em 5 benchmarks (GSM8K, MATH, FinQA, SVAMP, TabMWP) e 5 LLMs principais (GPT-3.5, GPT-4o, Mistral-Large, Qwen3-Coder, DeepSeek-R1).

• Precisão: A abordagem de amostragem completa (CoT-PoT) superou consistentemente os métodos baseados apenas em CoT ou apenas em PoT, com um aumento médio de precisão de 1,1%.
• Eficiência:
  • O método de parada antecipada mais eficiente (CPAA) alcançou precisão superior à amostragem completa de CoT, mas com apenas 4,3 amostras em média (vs. 40).
  • Em comparação com os melhores métodos de parada antecipada anteriores (ASC e ESC), a nova abordagem reduziu o número de amostras em 9,3x (vs. 5,6x dos anteriores).
• Caso de Uso de 2 Amostras: Em 78,6% dos casos, o sistema parou após apenas 2 amostras (1 CoT + 1 PoT). Para modelos de raciocínio mais avançados (como DeepSeek-R1), essa taxa superou 90%.
• Ablação: A concordância cruzada (CoT-PoT) provou ser um sinal de parada muito mais forte do que a concordância dentro do mesmo modo (CoT-CoT), que frequentemente falha em detectar erros sistemáticos.

5. Significância e Impacto

Este trabalho redefine o estado da arte em inferência de LLMs para tarefas de raciocínio:

• Viabilidade Econômica: Ao reduzir o custo de inferência em quase 10 vezes, torna viável o uso de técnicas de auto-consistência em produção, onde o custo computacional era uma barreira.
• Mudança de Paradigma: Mostra que a diversidade modal (misturar linguagem natural e código) é mais eficaz para a robustez do que a simples repetição da mesma modalidade.
• Aplicabilidade: Embora focado em tarefas matemáticas e lógicas onde o PoT é aplicável, o framework oferece um novo caminho para otimizar a inferência em modelos grandes, especialmente aqueles com capacidades de raciocínio intensivo.

Em resumo, o artigo prova que menos amostras podem ser melhores se forem estrategicamente diversas, permitindo que LLMs atinjam o máximo de precisão com o mínimo de custo computacional.