Soft Guidance Starts to Outperform CoT Prompting as LLMs Improve
O artigo argumenta que, à medida que os grandes modelos de linguagem melhoram, o prompting de Cadeia de Pensamento (Chain-of-Thought) de poucos disparos (few-shot) padrão frequentemente prejudica o desempenho ao introduzir distrações de formatação e restrições de estilo, tornando abordagens de zero disparo (zero-shot) simples mais eficazes para tarefas de raciocínio.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está ensinando um robô a resolver um enigma. Por muito tempo, a melhor maneira de fazer isso era mostrar ao robô vários exemplos onde um humano escrevia cada etapa de seu raciocínio, como uma receita detalhada. Esse método, chamado de "Chain-of-Thought" (Cadeia de Pensamento), era como dar ao robô um manual de treinamento que dizia: "Primeiro, faça isso. Depois, faça aquilo. Finalmente, aqui está a resposta." Isso funcionava maravilhas para robôs mais antigos e simples, que tendiam a apenas adivinhar a resposta sem pensar.
Mas agora, construímos robôs mais inteligentes e avançados. Esses novos modelos leram tantos livros e resolveram tantos quebra-cabeças por conta própria que naturalmente começam a pensar passo a passo, mesmo que você não lhes dê um manual. Eles possuem uma bússola interna de lógica. A grande questão que os cientistas estão fazendo é: se um robô já sabe como pensar, ele ainda precisa de nós segurando sua mão com uma receita detalhada? Ou será que essa receita na verdade atrapalha, confundindo o robô com regras demais sobre como escrever seus pensamentos? Este artigo mergulha exatamente nessa questão para ver se nossos antigos métodos de ensino estão agora limitando nossos alunos mais novos e espertos.
O Robô "Orientado Demais": Quando Ajuda Demais Prejudica
Neste estudo, os pesquisadores decidiram testar alguns dos robôs matemáticos mais inteligentes disponíveis atualmente. Eles queriam ver se o método da velha guarda de mostrar exemplos (few-shot prompting) ainda era a melhor maneira de obter boas respostas, ou se estava, na verdade, fazendo os robôs terem um desempenho pior.
Pense nisso desta forma: Imagine que você é um mestre chef que cozinha há anos. Você sabe exatamente como fazer um suflê perfeito sem uma receita. Agora, imagine que alguém lhe entrega um post-it que diz: "Primeiro, quebre os ovos. Depois, bata-os. Depois, asse a 350 graus", e insiste que você siga exatamente o que está escrito. Você pode ficar irritado, ou pode ficar tão focado em seguir a nota perfeitamente que esquece seus próprios instintos de cozinheiro. Você pode até estragar o prato porque foi distraído pelas instruções.
Os pesquisadores descobriram que é exatamente isso que está acontecendo com a IA moderna. Quando pediram a esses modelos avançados "especializados em raciocínio" para resolver problemas matemáticos usando o método padrão — mostrando-lhes alguns exemplos de como humanos resolveram problemas semelhantes — os modelos tiveram um desempenho pior.
Por exemplo, considere um modelo chamado Mathstral. Quando os pesquisadores o deixaram resolver problemas por conta própria, sem nenhum exemplo (uma abordagem "zero-shot"), ele acertou cerca de 83,8% das respostas. Mas quando deram a ele o "manual de treinamento" padrão com exemplos escritos por humanos, sua pontuação caiu para cerca de 74,2%. É uma diferença enorme! Foi como se o robô estivesse tão ocupado tentando copiar o estilo e a formatação dos exemplos que esqueceu de realmente fazer a matemática.
O artigo sugere que isso acontece porque os exemplos padrão forçam o robô a adaptar seu estilo para corresponder aos exemplos humanos. Ele tem que se preocupar com a formatação, seguir estruturas de frases específicas e caber em uma caixa que não foi construída para ele. Isso cria um equilíbrio entre "orientação e distração". A orientação (os exemplos) deveria ajudar, mas para esses modelos superinteligentes, torna-se uma distração que desvia o foco da tarefa principal de resolver o problema.
O Truque do "Vamos Pensar": Ainda Útil, Mas Menos Mágico
Os pesquisadores também testaram um truque mais simples chamado "Zero-Shot CoT". É onde você não mostra nenhum exemplo, apenas adiciona a frase "Vamos pensar passo a passo" à pergunta.
Para os robôs de uso geral mais antigos (como o modelo Llama), esse truque ainda era muito útil. Ele aumentou suas pontuações significativamente, agindo como um empurrãozinho gentil para despertar suas habilidades de raciocínio. No entanto, para os modelos especializados em raciocínio e superinteligentes, esse truque deu apenas um pequeno impulso. Passou de 83,8% para 86,1% para o Mathstral.
Os autores argumentam que isso ocorre porque esses modelos já são tão bons em pensar passo a passo que não precisam tanto desse empurrão quanto antes. Eles comparam isso aos primórdios da ciência da computação, onde engenheiros tinham que projetar manualmente cada característica de um programa. Eventualmente, os computadores ficaram tão inteligentes que puderam aprender essas características por conta própria, tornando o design manual desnecessário. O artigo sugere que a frase "Vamos pensar passo a passo" está se tornando como aquelas antigas funcionalidades manuais: costumava ser essencial, mas agora é apenas um pequeno extra que não muda muito.
Por Que a Velha Maneira Está Falhando
Uma das descobertas mais surpreendentes foi que, mesmo quando os pesquisadores tentaram corrigir o problema usando exemplos gerados pelos próprios modelos (para que o estilo fosse compatível), isso ainda não superou a abordagem simples de "sem exemplos" para os modelos mais inteligentes.
Acontece que o problema não é apenas os exemplos serem de humanos; é sobre a estrutura dos exemplos. Ao forçar o modelo a seguir um padrão específico, você está limitando sua habilidade natural de resolver o problema da maneira que funciona melhor para ele. O artigo descarta explicitamente a ideia de que mostrar mais exemplos ou escolher "melhores" exemplos corrigirá isso para modelos especializados em raciocínio. Na verdade, eles descobriram que, para os modelos mais avançados, quanto mais você tenta guiá-los com exemplos, mais você pode estar segurando-os.
A Conclusão: Confie nos Instintos do Robô
Então, o que isso significa para o futuro do teste de IA? Os autores sugerem que precisamos mudar a forma como medimos esses modelos. Por muito tempo, o teste padrão era mostrar ao modelo alguns exemplos e ver o quão bem ele os copiava. Mas este artigo mostra que, para os modelos mais novos e inteligentes, esse teste é injusto. É como testar um piloto de corrida fazendo-o dirigir em uma zona escolar com uma placa de limite de velocidade; isso não mostra sua verdadeira velocidade.
Em vez disso, os pesquisadores argumentam que devemos apenas fazer as perguntas diretamente aos modelos, sem quaisquer exemplos ou instruções especiais, e ver o que eles produzem por conta própria. Este método "zero-shot" oferece um retrato mais fiel do que o modelo realmente consegue fazer.
O artigo não afirma que o prompting de Chain-of-Thought está morto para sempre. Pode ainda ser útil para modelos mais simples ou para tarefas específicas onde o modelo precisa de um pouco de ajuda. Mas para os grandes nomes — os modelos projetados especificamente para raciocinar — a velha maneira de ensiná-los está se tornando uma distração. À medida que esses modelos ficam mais inteligentes, eles precisam de menos orientação e mais liberdade para pensar por si mesmos. A melhor maneira de ver o quão inteligentes eles realmente são pode ser simplesmente parar de segurar sua mão e deixá-los resolver o quebra-cabeça à sua própria maneira.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.