Does More Deliberation Help? A Comparative Evaluation of Chain-of-Thought Prompting Strategies for Grade-School Math Reasoning in Open-Source Instruction-Tuned Language Models
Este artigo demonstra empiricamente que, para modelos de pesos abertos ajustados para instrução de pequeno porte (3,8–8B) que resolvem problemas matemáticos do ensino fundamental, o prompting de Cadeia de Pensamento (Chain-of-Thought) com poucos disparos (few-shot) supera significativamente os baselines zero-shot, enquanto estratégias de deliberação mais complexas, como consistência de autoconsistência (self-consistency) e árvore de pensamento (tree-of-thought), falham em fornecer melhorias de precisão estatisticamente confiáveis sobre métodos mais simples.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da inteligência artificial, que evolui rapidamente, pesquisadores há muito buscam uma maneira de fazer com que programas de computador pensem mais como os humanos, particularmente ao resolver problemas que exigem uma sequência de passos lógicos. Durante anos, a abordagem padrão envolvia fornecer a esses sistemas uma pergunta direta e esperar por uma resposta, mas isso frequentemente levava a erros de aritmética e lógica. Um avanço ocorreu quando cientistas perceberam que, se pedissem aos modelos para escreverem seu processo de pensamento primeiro — mostrando seu trabalho antes de declarar uma conclusão — sua precisão melhorava dramaticamente. Essa técnica, conhecida como prompting de cadeia de pensamento (chain-of-thought prompting), tornou-se um pilar para fazer as máquinas raciocinarem. No entanto, à medida que essas ferramentas migraram de supercomputadores massivos e caros para versões menores e mais acessíveis que indivíduos e empresas podem executar em seus próprios dispositivos, uma questão crítica surgiu: os truques de raciocínio mais complexos e pesados em recursos ainda funcionam, ou eles simplesmente adicionam custos desnecessários sem melhorar o resultado?
Um estudo recente propôs-se a responder a essa questão colocando quatro diferentes estratégias de raciocínio à prova em três modelos de linguagem populares de menor escala. Os pesquisadores focaram em um benchmark de cem problemas matemáticos de palavras do ensino fundamental, um conjunto de enigmas projetados para serem simples para pessoas, mas complicados para computadores que pulam etapas. Eles queriam ver se os modelos performavam melhor quando apenas instruídos a pensar passo a passo, quando recebiam alguns exemplos de como resolver problemas semelhantes, quando solicitados a gerar múltiplas respostas possíveis e votar na melhor, ou quando forçados a explorar uma árvore de ramificação de diferentes ideias antes de estabelecer uma solução. O objetivo era determinar qual método oferecia o melhor equilíbrio entre precisão e eficiência para os tipos de modelos que estão se tornando comuns em aplicações cotidianas.
A investigação revelou uma hierarquia de eficácia clara e um tanto surpreendente. A ferramenta mais poderosa revelou ser a forma mais simples de mostrar exemplos. Quando os modelos receberam alguns problemas resolvidos para estudar antes de tentar as questões de teste, sua precisão saltou significamente em comparação a quando recebiam apenas um comando para pensar cuidadosamente. Essa melhoria foi consistente em todos os três modelos testados, com taxas de sucesso subindo tanto quanto quarenta pontos percentuais em alguns casos. Os dados mostraram que ver um exemplo concreto de como decompor um problema era muito mais valioso do que qualquer quantidade de instrução abstrata ou deliberação interna.
Em contraste, as estratégias mais elaboradas que envolvem a geração de múltiplos caminhos de raciocínio não proporcionaram os benefícios esperados. Uma abordagem, que pede ao modelo para gerar três soluções diferentes e escolher a resposta mais comum, não conseguiu superar o método de um único exemplo. Embora essa técnica seja conhecida por ajudar modelos maiores e mais poderosos, o estudo descobriu que, para esses sistemas menores, o esforço extra de gerar múltiplas respostas não se traduziu em uma melhoria estatisticamente confiável na correção. Os pesquisadores observaram que os modelos não estavam cometendo erros suficientemente diversos para que uma votação pudesse corrigi-los, o que significa que o poder computacional extra gasto com este método foi, em grande parte, desperdiçado.
Ainda mais impressionante foi o desempenho da estratégia de árvore de pensamento (tree-of-thought), um método complexo onde o modelo é encorajado a explorar diferentes ramos de pensamento, avaliá-los e retroceder se um caminho levar a um beco sem saída. Esta técnica já havia mostrado grande promessa para enigmas difíceis que exigem olhar adiante ou tentar múltiplas possibilidades. No entanto, nestes problemas aritméticos diretos, ela não performou melhor do que o método básico de simplesmente pedir ao modelo para pensar passo a passo sem quaisquer exemplos. Em dois dos três modelos testados, este método de busca complexo performou, de fato, pior do que a abordagem baseada em exemplos simples. O estudo sugere que, para problemas matemáticos curtos e lineares, o overhead de explorar múltiplos ramos é um fardo que os modelos não podem justificar, pois os problemas não requerem o tipo de exploração profunda que essa estratégia fornece.
As descobertas oferecem um guia prático para aqueles que utilizam essas tecnologias. A pesquisa indica que, para modelos de código aberto menores lidando com aritmética padrão, o caminho mais eficaz não é adicionar mais maquinário de raciocínio complexo ou forçar o modelo a pensar em múltiplas direções. Em vez disso, a maneira mais confiável de aumentar o desempenho é investir tempo na elaboração de alguns exemplos de alta qualidade que demonstrem a maneira correta de resolver um problema. Embora os métodos mais sofisticados possam parecer uma forma de obter resultados mais inteligentes, os dados sugerem que eles adicionam custo e tempo significativos sem entregar um ganho correspondente em precisão para este tipo específico de tarefa. Para profissionais que buscam implantar esses modelos de forma eficiente, o estudo conclui que um exemplo bem construído vale muito mais do que um algoritmo de busca complexo.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.