Federation Is Nearly Free, Reasoning Is Not: Tradeoffs for AI Co-Scientists in Protein Characterization Workflows

No laboratório moderno, um novo tipo de assistente está surgindo, um que não segura uma pipeta, mas sim mantém uma conversa. Estes são sistemas de inteligência artificial projetados para agir como "co-cientistas", agentes autônomos que podem ler uma sequência biológica, decidir quais ferramentas digitais usar e montar uma resposta para uma questão complexa. Eles operam decompondo um grande objetivo em passos menores, verificando seu trabalho e refinando seu caminho, de forma muito semelhante a um pesquisador humano movendo-se de uma hipótese para uma conclusão. No entanto, construir esses sistemas envolve uma escolha difícil. Um caminho baseia-se em modelos de linguagem massivos e flexíveis que conseguem raciocinar através da incerteza, mas são caros, lentos e, por vezes, inconsistentes. O outro caminho utiliza políticas clássicas aprendidas — sistemas treinados através de tentativa e erro para seguir um conjunto estrito de regras. Estes são baratos, rápidos e perfeitamente consistentes, mas carecem da capacidade de explicar seu pensamento ou se adaptar a novas situações. À medida que os cientistas começam a implantar essas ferramentas em diferentes instituições e redes de computadores, surge uma questão crítica: o modo como esses agentes estão conectados ou o cérebro específico que utilizam importa mais do que a estratégia que seguem?

Uma equipe de pesquisadores do Pacific Northwest National Laboratory propôs-se a responder a isso, colocando essas diferentes abordagens à prova num ambiente controlado. Eles focaram numa tarefa rotineira, mas vital na biologia: a caracterização de proteínas. Uma proteína é uma molécula que desempenha funções específicas dentro das células vivas, e sua função é frequentemente determinada pela sua sequência de blocos de construção. Os pesquisadores pediram aos seus agentes de IA que analisassem uma sequência de proteína e previssem sua função, roteando-a através de uma série de ferramentas digitais, tais como bases de dados que comparam sequências ou softwares que preveem estruturas 3D. Eles testaram os agentes sob duas configurações de rede diferentes: uma configuração simples de servidor único, onde todas as ferramentas estavam próximas, e uma configuração federada mais complexa, onde as ferramentas estavam espalhadas por diferentes servidores, mimetizando a forma como laboratórios científicos do mundo real poderiam partilhar dados através de fronteiras.

O estudo comparou dois tipos principais de agentes. O primeiro tipo utilizava um modelo de linguagem poderoso, essencialmente um chatbot sofisticado, para decidir qual ferramenta usar a seguir. Estes modelos recebiam instruções simples ou comandos (prompts) detalhados de nível especialista para guiar seu raciocínio. O segundo tipo utilizava um agente de aprendizagem por reforço clássico, um sistema treinado através de milhares de rodadas de prática para aprender o caminho mais eficiente para uma resposta correta sem qualquer raciocínio de linguagem natural. Os pesquisadores realizaram estes experimentos centenas de vezes, medindo a frequência com que os agentes obtinham a resposta correta, quanto tempo levavam, qual era o custo e se os agentes davam a mesma resposta sempre que lhes era feita a mesma pergunta.

Os resultados revelaram uma hierarquia clara de importância. O fator mais significativo para o sucesso não foi a configuração da rede ou as instruções específicas dadas, mas sim a inteligência subjacente do próprio modelo. Quando os agentes utilizavam um modelo de linguagem de alto nível, alcançavam uma taxa de precisão de aproximadamente 92 a 94 por cento. Quando utilizavam um modelo menor e menos capaz, a precisão despencava para entre 40 e 50 por cento. A forma como as ferramentas estavam conectadas na rede quase não teve efeito no desempenho; quer os agentes estivessem a trabalhar num único recinto ou numa rede distribuída, as suas taxas de sucesso permaneciam quase idênticas. Isto sugere que, para este tipo de tarefas, a distância física ou digital entre as ferramentas não é uma barreira importante para a descoberta científica.

Talvez a descoberta mais marcante tenha sido relativa ao equilíbrio entre flexibilidade e fiabilidade. Os modelos de linguagem poderosos podiam produzir resultados de alta qualidade, mas eram caros e inconsistentes. Mesmo o melhor modelo de linguagem dava uma resposta diferente para a mesma proteína em cerca de 2 a 3 por cento dos casos, e o custo para executar estes modelos era significativo, variando de aproximadamente 63 centavos a 93 centavos por proteína. Em contraste, o agente de aprendizagem clássica, que não tinha capacidade de explicar o seu raciocínio ou adaptar a sua estratégia, era perfeito em todos os ensaios. Alcançou uma precisão de 88 por cento, aproximando-se da melhor linguagem de modelo, mas fez-no em cerca de 15 segundos e a custo zero. Era também completamente consistente, nunca alterando a sua resposta quando questionado cinco vezes sobre a mesma questão.

Os investigadores descobriram que a escolha da estratégia depende inteiramente da natureza do trabalho. Para tarefas rotineiras onde a resposta pode ser verificada contra dados conhecidos, como identificar uma proteína com uma função bem conhecida, o agente clássico — barato, rápido e perfeitamente consistente — é a escolha superior. Ele entrega uma precisão próxima da fronteira tecnológica sem o custo ou o risco de erros aleatórios. No entanto, para a descoberta científica aberta, onde a resposta é desconhecida e a flexibilidade é necessária, o modelo de linguagem caro continua a ser necessário. O estudo sugere que o valor dos rastros de raciocínio detalhados fornecidos pelos modelos de linguagem escala com a novidade da tarefa; para a simples recuperação de factos conhecidos, o raciocínio é menos valioso do que a certeza de uma política fixa. Em última análise, o trabalho fornece um guia prático para os cientistas que constroem estes sistemas: não assumam que um cérebro mais complexo e flexível é sempre melhor. Para muitos fluxos de trabalho científicos, uma regra simples e aprendida não é apenas suficiente, mas o caminho mais eficiente a seguir.