Em um laboratório, um cientista raramente segue uma receita impressa exatamente como escrita. O mundo da biologia de bancada é definido pela adaptação. Um protocolo, que é simplesmente um conjunto detalhado de instruções para um experimento, é frequentemente um ponto de partida. Quando um pesquisador transfere esse experimento para um novo tipo de célula, uma máquina diferente ou um ambiente químico ligeiramente distinto, ele deve modificar as etapas. Isso não se trata apenas de mudar um número; trata-se de entender como uma mudança reverbera pelo restante do processo. Se um cientista altera a temperatura na primeira etapa, ele pode precisar ajustar o tempo na terceira etapa, ou trocar um produto químico na etapa final. Fazer isso corretamente exige uma compreensão profunda e prática de causa e efeito, onde um pequeno erro no meio pode arruinar os resultados no final. Por décadas, esse tipo de raciocínio tem sido uma habilidade exclusivamente humana, baseada em experiência e intuição que os computadores têm tido dificuldade em mimetizar.

Pesquisadores da Benchling, uma empresa que constrói software para cientistas, criaram uma nova maneira de testar se a inteligência artificial pode dominar esse tipo específico de pensamento. Eles introduziram um teste chamado BenchBench-Protocol. Em vez de pedir a um computador que resolva um problema inventado ou recite fatos de um livro didático, eles deram a ele um desafio do mundo real: pegar um protocolo científico publicado e modificá-lo para uma nova situação, exatamente como um cientista humano faria. A equipe não inventou esses desafios do zero. Eles observaram milhares de experimentos reais realizados por cientistas reais na plataforma Benchling. Eles encontraram instâncias onde um cientista pegou um protocolo padrão publicado e o alterou para atender às suas necessidades específicas. Ao comparar as instruções originais com a versão modificada pelo cientista, os pesquisadores extraíram a lógica exata que o humano utilizou. Eles então transformaram essas mudanças da vida real em 149 questões de teste distintas. Cada questão pede que uma inteligência artificial explique como ela adaptaria um protocolo e, crucialmente, justifique por que essas mudanças são necessárias.

Para garantir que esses testes fossem justos e precisos, os pesquisadores não confiaram em computadores para avaliar as respostas. Eles trouxeram especialistas humanos. Cada uma das 149 tarefas foi revisada por cientistas que possuem títulos avançados e passaram pelo menos três anos trabalhando em um laboratório. Esses especialistas verificaram se as perguntas faziam sentido, se as regras para uma resposta correta eram cientificamente sólidas e se a tarefa realmente refletia o tipo de trabalho que um cientista real realiza. Eles mantiveram apenas as tarefas que receberam as classificações mais altas de qualidade e relevância. O conjunto final abrange nove áreas diferentes da biologia, desde o trabalho com proteínas e células até o sequenciamento de DNA e o cultivo de micróbios. O objetivo era criar um benchmark que meça se uma máquina consegue raciocinar através das consequências subsequentes de uma mudança, em vez de apenas adivinhar a resposta certa.

Os pesquisadores então submeteram nove modelos diferentes de inteligência artificial ao teste. Esses modelos receberam o protocolo original, uma descrição do novo objetivo experimental e acesso a ferramentas de busca para encontrar informações. Foi solicitado que escrevessem uma resposta de texto livre explicando como modificar o protocolo. As respostas foram então avaliadas contra as regras verificadas pelos especialistas. Os resultados mostraram que, embora esses modelos tenham feito progressos significativos, eles ainda têm um longo caminho a percorrer. O modelo com melhor desempenho, o Claude Opus 5, alcançou uma pontuação de 59,2 por cento. Isso significa que ele abordou corretamente as mudanças necessárias e suas consequências em pouco mais da metade dos casos. Os outros modelos pontuaram entre 34,1 por cento e 47,1 por cento. Mesmo o melhor desempenho deixou uma grande quantidade de crédito não conquistado, indicando que o teste é difícil e que os modelos ainda não são perfeitos.

O estudo também observou o que acontece quando um modelo tem permissão para tentar a mesma questão várias vezes, simulando um cientista que pode realizar uma simulação ou verificar algumas opções diferentes antes de decidir. Quando os pesquisadores selecionaram a melhor resposta de dez tentativas, as pontuações melhoraram, mas a lacuna entre os modelos mudou. Alguns modelos que foram medianos em uma única tentativa tornaram-se muito mais fortes quando tiveram várias chances, enquanto outros permaneceram consistentes. Isso sugere que diferentes modelos têm diferentes pontos fortes; alguns são mais confiáveis, enquanto outros têm maior probabilidade de produzir uma resposta brilhante se tiverem sorte. No entanto, mesmo com dez tentativas, o melhor modelo ainda não capturou todos os pontos disponíveis, provando que o benchmark ainda não está "saturado" ou é fácil demais para a tecnologia atual.

Os pesquisadores descobriram que os modelos tiveram desempenhos diferentes dependendo do tipo de tarefa. Eles foram relativamente bons em tarefas que exigiam observar evidências experimentais e tirar uma conclusão lógica. No entanto, tiveram mais dificuldade em tarefas que exigiam "conhecimento tácito" — o tipo de sensação ou intuição que um especialista tem sobre qual é a abordagem mais provável ou melhor em uma situação real e complexa. Isso foi particularmente evidente no troubleshooting (resolução de problemas), onde um modelo precisa descobrir por que um experimento falhou e como consertá-lo. Os modelos também variaram na forma como utilizaram suas ferramentas de busca. Alguns modelos, como o Grok, consumiram uma quantidade massiva de dados ao pesquisar extensivamente na internet, enquanto outros foram mais conservadores. O estudo observou que essas configurações de alto raciocínio, que permitiam aos modelos pensar profundamente e pesquisar amplamente, vinham acompanhadas de um alto custo em termos de poder computacional e tempo.

Em última análise, este trabalho fornece uma maneira fundamentada de medir o progresso da inteligência artificial para a ciência. Ao construir o teste baseado em modificações reais feitas por cientistas reais, os pesquisadores evitaram a armadilha de criar problemas artificiais que poderiam não refletir a complexidade do trabalho laboratorial real. As descobertas mostram que, embora a inteligência artificial esteja se tornando uma ferramenta útil para os cientistas, ela ainda não é um substituto para o julgamento humano no laboratório. Os modelos conseguem recordar fatos e seguir instruções, mas ainda lutam com o raciocínio matizado, passo a passo, necessário para adaptar um protocolo científico de forma segura e eficaz. À medida que essas ferramentas se tornam mais comuns na pesquisa, benchmarks como o BenchBench-Protocol serão essenciais para entender onde elas têm sucesso e onde ainda precisam aprender. O caminho a seguir envolve não apenas tornar os modelos mais inteligentes, mas ensiná-los a compreender a cadeia de causa e efeito que define o método científico.