HEPTABench: A framework for portable and controlled agentic evaluations in high energy physics

Nos vastos e silenciosos corredores da física moderna, os cientistas já não procuram apenas novas partículas; procuram também novas formas de realizar o trabalho de as encontrar. Durante décadas, o campo da física de altas energias dependeu de investigadores humanos para traduzir teorias abstratas em cálculos concretos, escrevendo códigos informáticos complexos para simular como as partículas poderiam comportar-se em detectores gigantes ou para prever os resultados de colisões. Hoje, um novo tipo de trabalhador entrou no laboratório: o agente de inteligência artificial. Estes não são programas simples que seguem uma lista rígida de instruções, mas sistemas sofisticados capazes de planear tarefas de múltiplos passos, escrever o seu próprio código, executar simulações e corrigir os seus próprios erros quando algo corre mal. Eles prometem acelerar o ritmo da descoberta, mas também introduzem uma nova questão: podemos confiar neles para realizar o trabalho delicado e preciso da ciência? Para responder a isto, os investigadores devem ir além de testes simples e criar um ambiente controlado onde possam ver exatamente como estes assistentes digitais atuam, que ferramentas necessitam e onde podem falhar.

Uma equipa de físicos e cientistas da computação construiu tal ambiente, um quadro que chamam HEPTABench, concebido para colocar estes agentes de IA à prova no mundo específico da física de altas energias. O seu objetivo não era apenas ver se uma IA conseguia resolver um problema, mas compreender como as ferramentas que utiliza alteram o resultado. Estabeleceram uma série de experiências onde a mesma tarefa científica era atribuída a diferentes sistemas de IA, mas com uma variável crucial alterada: em alguns ensaios, a IA tinha de construir as suas próprias ferramentas matemáticas do zero, enquanto noutros, era entregue um conjunto de ferramentas especializadas e verificadas de instrumentos específicos. Os resultados foram claros e consistentes. Quando os agentes de IA foram autorizados a utilizar estas ferramentas especializadas e específicas do domínio, o seu trabalho tornou-se significativamente mais preciso e muito mais fiável. Os resultados que produziram estavam mais próximos da verdade conhecida, e as respostas que deram foram muito mais consistentes de uma tentativa para a seguinte.

Os investigadores testaram esta ideia com dois tipos de problemas de física muito diferentes. O primeiro foi um cálculo complexo envolvendo uma partícula hipotética que vive durante um longo tempo antes de decair. Este tipo de cálculo é um elemento fundamental do campo, exigindo uma cadeia de passos que inclui prever como a partícula é criada, como viaja através de um detetor e qual a probabilidade de ser vista. A equipa pediu a quatro sistemas de IA avançados diferentes para realizar este cálculo. Na primeira ronda, os sistemas receberam apenas as leis básicas da física e a configuração experimental, forçando-os a escrever cada peça de código necessária para simular a jornada da partícula. Na segunda ronda, os mesmos sistemas receberam a mesma tarefa, mas também lhes foi fornecido um conjunto de ferramentas especializadas que podiam lidar com partes específicas do cálculo, tais como gerar fluxos de partículas ou calcular probabilidades de decaimento. A diferença foi marcante. Todos os sistemas, independentemente da sua arquitetura subjacente, produziram melhores resultados quando tiveram acesso às ferramentas especializadas. Os números que calcularam estavam mais próximos dos valores corretos, e a variação entre diferentes tentativas do mesmo sistema diminuiu dramaticamente. Os agentes de IA também escreveram muito menos código, confiando nas ferramentas de confiança para o trabalho pesado em vez de reinventarem a roda para cada tentativa.

O segundo experimento focou-se num tipo diferente de desafio: matemática simbólica. Aqui, a tarefa era derivar fórmulas de como as partículas decaem, um processo que requer a manipulação de expressões algébricas complexas em vez de apenas processar números. Os investigadores testaram um modelo de IA específico em oito cenários de decaimento diferentes. Sem as ferramentas especializadas, o modelo teve imensas dificuldades, obtendo sucesso em apenas uma fração ínfima das suas tentativas. Frequentemente produzia respostas incompletas ou fórmulas que não correspondiam à física. No entanto, quando o mesmo modelo recebeu acesso a um conjunto de ferramentas concebido especificamente para cálculos de física simbólica, o seu desempenho disparou. A fração de tentativas bem-sucedidas saltou de meros oito por cento para quase oitenta por cento. Isto mostrou que fornecer as ferramentas certas podia transformar um sistema que era mal funcional num sistema altamente eficaz. Curiosamente, um modelo de IA diferente, mais poderoso, foi capaz de resolver estes problemas perfeitamente utilizando apenas as suas capacidades integradas, sugerindo que, embora as ferramentas sejam essenciais para alguns sistemas, os modelos mais avançados poderão eventualmente ser capazes de lidar com estas tarefas por conta própria.

O estudo faz mais do que apenas mostrar que as ferramentas ajudam; estabelece um método para o provar. Ao manter todos os outros fatores constantes — a tarefa, o modelo de IA e o ambiente informático — os investigadores puderam isolar o efeito das próprias ferramentas. Descobriram que a melhoria não era apenas uma questão de obter a resposta certa uma vez; era uma questão de consistência. Os agentes de IA tornaram-se mais fiáveis, produzindo resultados que permaneciam próximos da verdade sempre que executavam o experimento. Esta fiabilidade é crítica para a ciência, onde um único palpite sortudo não é suficiente; os investigadores precisam de saber que um resultado se manterá sob escrutínio. O quadro que construíram permite este tipo de inspeção detalhada, registando cada passo que a IA deu, cada ficheiro que criou e cada decisão que tomou. Esta transparência significa que, se um resultado for questionado, os cientistas podem voltar atrás e observar o caminho exato que a IA percorreu para chegar lá, em vez de apenas aceitar um número final.

As implicações deste trabalho estendem-se para além das partículas ou cálculos específicos testados. Sugerem uma nova forma de pensar sobre como a inteligência artificial será utilizada na ciência. Em vez de esperar por uma única IA onisciente que faça tudo, o futuro poderá residir em parear estes sistemas inteligentes com conjuntos de ferramentas especializados e verificados por humanos. Tal como um físico humano depende de uma biblioteca de fórmulas estabelecidas e pacotes de software para realizar o seu trabalho, um agente de IA pode ser tornado mais capaz e digno de confiança ao ter acesso aos mesmos recursos. Os investigadores demonstraram que esta abordagem funciona através de diferentes tipos de IA e diferentes tipos de problemas de física, desde a simulação de colisões de partículas até à derivação de fórmulas matemáticas. Oferece um caminho em que a velocidade e a adaptabilidade da IA são combinadas com a precisão e a fiabilidade das ferramentas concebidas por humanos.

Em última análise, o trabalho apresentado neste artigo é sobre construir confiança. À medida que a inteligência artificial se torna mais integrada no processo científico, a comunidade precisa de uma forma de medir as suas capacidades e limitações com o mesmo rigor utilizado para qualquer outro instrumento científico. O HEPTABench fornece essa régua de medição. Mostra que, com a configuração correta, os agentes de IA podem ser guiados para produzir um trabalho científico de alta qualidade e reprodutível. As conclusões sugerem que a forma mais eficaz de implementar estes sistemas no futuro não é deixá-los vagar livremente, mas sim equipá-los com as ferramentas específicas e verificadas de que necessitam para ter sucesso. Esta abordagem garante que os resultados que produzem não são apenas palpites inteligentes, mas contribuições fiáveis para a nossa compreensão do universo.