Experimental reasoning in large language models

A ciência sempre foi uma conversa entre uma pergunta e o mundo físico. Um pesquisador propõe uma ideia, projeta um teste para ver se o mundo concorda e, então, observa o que acontece. Se o resultado é inesperado, o pesquisador muda o plano e tenta novamente. Este ciclo de perguntar, agir e ajustar é o motor da descoberta. Por décadas, cientistas tentaram construir máquinas que pudessem fazer esse trabalho por eles. As tentativas iniciais focaram na automação: robôs que podiam seguir um conjunto estrito de instruções, como um chef seguindo uma receita ao pé da letra. Essas máquinas são excelentes na repetição, mas têm dificuldade quando a cozinha pega fogo ou um ingrediente está faltando. Elas não conseguem pensar rapidamente sob pressão. A questão agora é se a nova geração de inteligência artificial, especificamente os modelos de linguagem de grande escala, pode fazer mais do que apenas seguir ordens. Podem esses programas de computador realmente raciocinar através de um experimento científico, decidindo o que fazer a seguir com base no que veem, tal como um cientista humano faria?

Uma equipe de pesquisadores da Universidade Duke estabeleceu o objetivo de responder a isso construindo um sistema que chamam de PEARL. Eles conectaram um programa de computador padrão, projetado para compreender e gerar linguagem humana, a um robô de laboratório simples e uma webcam. O robô podia mover líquidos entre pequenos recipientes, e a câmera podia observar os resultados. Os pesquisadores deram ao sistema um objetivo, como "criar um arco-íris na bandeja de recipientes", mas não forneceram um guia passo a passo de como fazê-lo. Eles não disseram ao sistema quais cores misturar, em que ordem, ou mesmo quais frascos continham quais corantes. O sistema teve que descobrir todo o processo por conta própria. Ele teve que observar as ferramentas disponíveis, decidir o que misturar, realizar a ação, observar o resultado e, então, decidir se tinha tido sucesso ou se precisava tentar algo diferente.

O sistema funcionava dividindo o processo de pensamento em diferentes funções que conversavam entre si. Uma parte do sistema planejava o experimento, outra previa o que aconteceria e uma terceira observava erros. Quando o robô misturava dois líquidos e a cor saía errada, o sistema não apenas continuava. Ele parava, observava a evidência e percebia que sua previsão estava incorreta. Ele então revisava seu plano e tentava uma nova mistura. Em um teste, os pesquisadores pediram ao sistema para fazer roxo usando apenas corantes vermelho e verde. O sistema percebeu corretamente que isso era impossível e recusou-se a misturá-los, pedindo uma instrução melhor. Em outro teste, um humano rotacionou secretamente a bandeja de recipientes enquanto o sistema trabalhava. O sistema notou que as cores estavam nos lugares errados, atualizou seu mapa mental da bandeja e ajustou suas ações para misturar os líquidos corretos nas novas localizações. Ele fez isso sem ser informado de que a bandeja havia se movido.

Os pesquisadores levaram isso além, pedindo ao sistema para realizar um teste bioquímico real para medir a rapidez com que uma enzima funciona. Isso exigia medições precisas e um tempo cuidadoso. O sistema teve que decidir quanto líquido misturar, quando tirar uma foto e como analisar a mudança de cores ao longo do tempo. Quando os pesquisadores introduziram um problema, como adicionar líquido demais a um recipiente por erro, o sistema detectou o erro, ignorou os dados ruins e usou os dados bons restantes para terminar o cálculo. Quando a mistura inicial estava forte demais para ser medida com precisão, o sistema percebeu que precisava de mais informações. Em vez de adivinhar, ele projetou um novo experimento menor apenas para diluir a mistura e ver as cores reais. Ele então usou essa nova informação para corrigir o experimento principal. Em cada cenário, o sistema traduziu com sucesso um objetivo vago em uma ação física, interpretou o resultado e decidiu o que fazer a seguir.

O estudo também testou quanto auxílio o sistema precisava para ter sucesso. Os pesquisadores tentaram executar as mesmas tarefas com uma configuração mais simples que possuía menos funções internas e nenhum registro compartilhado do histórico do experimento. Esta versão mais simples frequentemente falhava em conectar os pontos entre o que via e o que deveria fazer a seguir. Poderia detectar um problema, mas esquecer de corrigi-lo, ou perder-se na sequência de etapas. No entanto, quando o sistema possuía um registro persistente do experimento e algumas funções especializadas para checar o trabalho umas das outras, ele tinha sucesso quase todas as vezes. Isso sugere que a capacidade de raciocinar através de um experimento provém, em grande parte, da própria inteligência subjacente do modelo de linguagem, mas que um pouco de estrutura ajuda a manter o foco e a confiabilidade.

Essas descobertas sugerem uma mudança na forma como podemos pensar sobre a automação laboratorial. Em vez de programar robôs para prever todas as contingências com antecedência, poderemos em breve dar-lhes um objetivo e deixá-los descobrir os detalhes. O sistema não precisou de uma receita pré-escrita para lidar com uma bandeja rotacionada ou um corante concentrado; ele resolveu essas situações no momento. Os pesquisadores enfatizam que isto ainda não é um cientista totalmente autônomo que pode inventar novas teorias ou fazer perguntas profundas sobre o universo. Os experimentos foram limitados a tarefas específicas com resultados visuais. No entanto, o trabalho mostra que modelos de computador de propósito geral já podem atuar como uma camada de pensamento entre um objetivo científico e o mundo físico. Eles podem observar, interpretar e adaptar, transformando o ato da experimentação em parte do próprio processo de raciocínio. Isso move o campo da simples automação em direção a um futuro onde as máquinas podem participar diretamente do processo científico, lidando com o inesperado e aprendendo com o que veem.