Reasoning Models of Artificial Intelligence Think Like Humans Do

Durante décadas, cientistas debateram como a mente resolve problemas que nunca foram explicitamente ensinados. Quando uma criança aprende a identificar um carro a partir de uma imagem, ou quando um estudante compreende um novo problema matemático sem que lhe tenham mostrado os passos exatos, muitas vezes parece que conexões "derivadas" e ocultas surgiram subitamente no cérebro. Algumas teorias sugerem que essas conexões emergem espontaneamente, contornando a instrução direta. Uma perspectiva diferente argumenta que nada realmente emerge sem um histórico de reforço. Esta visão, conhecida como teoria mediacional, propõe que o que parece ser um insight súbito é, na verdade, o resultado de uma série de pequenos passos intermediários. Esses passos — frequentemente palavras silenciosas ou imagens mentais — são praticados e fortalecidos por suas próprias consequências, mesmo que o professor ou o pesquisador nunca tenha pretendido treiná-los especificamente. É uma questão de se a mente constrói pontes entre ideias através de hábitos invisíveis e reforçados ou através de um misterioso salto de lógica.

Esta questão recentemente ultrapassou o estudo do comportamento humano e chegou ao coração da inteligência artificial. Uma nova perspectiva de pesquisadores da Claremont Graduate University, do Florida Institute of Technology e da California State University Los Angeles sugere que os programas de computador mais avançados estão agora provando o mesmo ponto que os cientistas do comportamento há muito tempo defendem. Ao examinar como os modelos de linguagem de grande escala modernos resolvem tarefas complexas, os autores mostram que essas máquinas não saltam diretamente para uma resposta. Em vez disso, elas se envolvem em um processo passo a passo que espelha o próprio comportamento humano descrito pela teoria mediacional. Os pesquisadores argumentam que o "raciocínio" observado nesses sistemas não é magia ou um súbito surgimento de inteligência, mas sim o resultado de um treinamento que reforça cada etapa intermediária de uma solução, tal como um aprendiz humano reforça seus próprios pensamentos internos.

O artigo começa revisitando a ideia de relações derivadas, que são conexões entre coisas que uma pessoa não foi diretamente ensinada a ligar. Em experimentos tradicionais, uma criança pode ser ensinada que uma imagem de um carro combina com a palavra "carro" e, mais tarde, sem treinamento adicional, pode apontar corretamente para o carro ao ser solicitada a encontrar o "carro" entre outros objetos. Isso é frequentemente chamado de equivalência de estímulo. Os autores desafiam a ideia de que esse elo seja não treinado ou não reforçado. Eles propõem que, quando a criança ouve a palavra "carro", ela repete a palavra para si mesma, silenciosamente ou em voz alta. Este ato de repetir a palavra é um comportamento mediador. Como a criança está na presença do carro, dizer a palavra "carro" é reforçado pela correspondência entre o que ela ouve e o que ela diz. Esse reforço acontece diretamente, mesmo que o pesquisador não tenha planejado explicitamente recompensar a criança por dizer a palavra. A conexão não é um mistério; é um resultado direto do próprio comportamento da criança sendo fortalecido pelo ambiente.

Os autores estendem essa lógica à forma como os computadores estão sendo ensinados a pensar. Versões iniciais de inteligência artificial eram como simples máquinas de previsão. Elas olhavam para uma frase e adivinhavam a próxima palavra com base em padrões estatísticos, de forma muito semelhante a uma pessoa adivinhando a próxima palavra em uma frase familiar. Esses sistemas podiam responder perguntas, mas o faziam em um único e rápido disparo, sem decompor o problema. Eles careciam da capacidade de raciocinar através de uma questão complexa. A mudança em direção aos "modelos de raciocínio" ocorreu quando os engenheiros perceberam que forçar o computador a mostrar seu trabalho melhorava seu desempenho. Em vez de apenas dar uma resposta, o computador era estimulado a gerar uma cadeia de pensamento, uma sequência de passos que levavam à solução. Essa mudança na forma como o computador foi treinado alinha-se perfeitamente com a teoria mediacional do comportamento humano.

O treinamento desses modelos de raciocínio ocorre em estágios, cada um refinando como a máquina aprende. Primeiro, o modelo é expposto a vastas quantidades de texto, aprendendo os padrões básicos da linguagem. Depois, ele é ajustado com exemplos de respostas úteis e seguras fornecidas por especialistas humanos. Por fim, e mais importante para este argumento, o modelo passa pelo aprendizado por reforço. Nesta fase, o computador não é apenas informado se sua resposta final está certa ou errada; ele é avaliado pelos passos que tomou para chegar até lá. Quando um modelo resolve um problema corretamente, o sistema reforça toda a cadeia de passos que levou a essa resposta. No entanto, em modelos padrão que recompensam apenas a resposta final, o sistema reforça toda a cadeia como um grupo, o que significa que um passo falho pode ser fortalecido se a resposta final for correta por acaso. Para abordar isso, foram desenvolvidos modelos específicos de "recompensa de processo" que verificam a precisão de cada etapa individualmente. Nesses sistemas avançados, se um passo estiver incorreto, sua probabilidade é diminuída mesmo que a resposta final esteja correta, garantindo que a máquina aprenda a dar passos intermediários corretos em vez de chegar a uma conclusão correta por sorte.

Os pesquisadores apontam que é exatamente assim que o problema de solução humana funciona. Quando uma pessoa enfrenta uma tarefa difícil, ela geralmente não produz a resposta final em um único surto ininterrupto. Em vez disso, ela decompõe o problema, falando consigo mesma ou escrevendo os passos. Cada passo serve como um gatilho para o próximo e é reforçado pelo progresso que faz em direção à solução. Os autores observam que, quando os engenheiros de computação notaram seus modelos começando subitamente a verificar o próprio trabalho ou a corrigir os próprios erros, eles chamaram isso de um comportamento "emergente". Os pesquisadores argumentam que este é um erro de nomenclatura. Nada emergiu que não tenha sido reforçado. Os modelos aprenderam a verificar seu próprio trabalho porque fazer isso levava a respostas corretas com mais frequência, e o sistema recompensava essas cadeias de comportamento. A "emergência" foi simplesmente uma lacuna no conhecimento do observador sobre o histórico de treinamento, não uma lacuna no mecanismo de ação.

Essa convergência entre a ciência da computação e a ciência do comportamento oferece um insight poderoso. Os engenheiros que construíram esses sistemas chegaram à mesma conclusão que os cientistas do comportamento: a maneira mais eficaz de resolver um problema complexo é usar uma sequência de passos mediadores que são reforçados ao longo do caminho. O artigo sugere que isso não é uma coincidência, mas uma verdade fundamental sobre como os problemas são resolvidos, seja por um cérebro humano ou por um chip de silício. O "raciocínio" que vemos nesses modelos avançados é simplesmente o resultado de um histórico de treinamento que fortalece os comportamentos intermediários necessários para atingir um objetivo. Ao compreender isso, podemos ver que o pensamento complexo e passo a passo que admiramos tanto em humanos quanto em máquinas é construído sobre os mesmos princípios básicos de aprendizagem e reforço. O mistério de como pensamos não reside em um salto de lógica oculto, mas nos passos silenciosos e reforçados que damos para chegar lá.