LLMs Can Tackle High Energy Theoretical Physics, yet Gaps Remain: Part I, Quantum Field Theory

O universo em sua menor escala não é uma coleção de pequenas bolas sólidas, mas sim uma tapeçaria complexa de campos que se estendem por todo o espaço e tempo. Para entender como partículas como elétrons ou quarks interagem, os físicos utilizam uma estrutura chamada teoria quântica de campos. É a linguagem matemática que descreve o Modelo Padrão, nosso melhor mapa atual dos blocos fundamentais da natureza. No entanto, trabalhar com essa linguagem é notoriamente difícil. Requer navegar por longas cadeias de lógica onde um único pequeno erro no cálculo pode mudar completamente o resultado final. Por décadas, resolver esses problemas tem sido o domínio exclusivo de especialistas humanos altamente treinados, que passam anos dominando as regras intrincadas do jogo.

Recentemente, surgiu um novo tipo de ferramenta: modelos de linguagem de grande escala. Estes são sistemas de inteligência artificial treinados em vastas quantidades de texto, capazes de ler, escrever e raciocinar. Eles já demonstraram que podem resolver problemas matemáticos complexos e escrever código de computador, muitas vezes com uma velocidade e precisidade que rivalizam com especialistas humanos. Isso levanta uma questão fascinante: podem esses modelos fazer o mesmo pelo raciocínio profundo e abstrato exigido pela física teórica? Podem eles navegar pelas águas traiçoeiras da teoria quântica de campos, ou simplesmente mimetizam a aparência de compreensão sem a substância?

Para encontrar a resposta, uma equipe de pesquisadores de instituições de toda a Europa e Ásia criou um novo teste especificamente projetado para este propósito. Eles construíram uma coleção de setenta e cinco problemas desafiadores, variando desde cursos de pós-graduação avançada até tópicos de pesquisa inicial. Essas questões abrangem as áreas centrais do campo, desde o comportamento da luz e da matéria até as teorias exóticas que tentam unificar todas as forças. Crucialmente, cada questão neste teste possui uma única resposta correta que pode ser verificada com precisão matemática. Os pesquisadores então pediram a trinta e nove modelos diferentes de inteligência artificial para resolver esses problemas. Esses modelos incluíam os sistemas mais poderosos disponíveis de grandes empresas de tecnologia, bem como diversas alternativas de código aberto desenvolvidas pela comunidade de pesquisa.

Os resultados revelam um cenário de capacidade notável e limitação persistente. Os modelos mais fortes, os sistemas mais avançados existentes atualmente, demonstraram um nível surpreendente de habilidade. Eles resolveram a vasta maioria dos problemas corretamente, com os melhores desempenhos alcançando taxas de precisão acima de noventa e cinco por cento. Isso sugere que esses sistemas de fato aprenderam a navegar pelas regras complexas da teoria quântica de campos e podem realizar o trabalho pesado de derivação que antes exigia anos de estudo humano. No entanto, a lacuna entre os melhores e o restante é significativa. Modelos mais antigos, e muitos dos sistemas de código aberto, tiveram dificuldades consideráveis, muitas vezes falhando no nível de conceitos físicos básicos ou perdendo-se nos detalhes da derivação.

Mas obter a resposta correta é apenas metade da história. Os pesquisadores também observaram de perto como os modelos chegaram às suas conclusões, examinando o raciocínio passo a passo que forneceram. Eles descobriram uma falha sutil, mas importante: mesmo quando um modelo produzia a resposta final correta, o caminho que ele descrevia para chegar lá era às vezes errado. Em alguns casos, o modelo cometia um erro em um passo intermediário, mas, de alguma forma, ainda chegava ao resultado correto, como se tivesse memorizado a resposta de seus dados de treinamento em vez de calculá-la do zero. Essa "infidelidade" significa que a explicação do modelo não sustenta de fato a resposta que ele deu. Embora os modelos mais capazes tenham apresentado menos esse comportamento, ele ainda estava presente, indicando que esses sistemas ainda não são totalmente confiáveis em seu raciocínio.

O estudo também destacou formas específicas pelas quais esses modelos falham. Às vezes, eles confundem as regras do jogo, aplicando uma fórmula padrão quando o problema exigia uma variação específica e incomum. Outras vezes, eles simplesmente cometem erros aritméticos ou falham em seguir as instruções específicas dadas no comando. Esses erros sugerem que, embora os modelos tenham aprendido a forma geral do assunto, eles ainda não dominaram a disciplina rigorosa necessária para evitar erros pequenos, mas fatais. A pesquisa confirma que a inteligência artificial está começando a enfrentar problemas que antes eram o domínio exclusivo de físicos teóricos, mas também mostra que ainda não chegamos a um ponto em que possamos confiar nessas ferramentas para trabalharem inteiramente sozinhas. A jornada em direção a uma inteligência artificial que possa verdadeiramente descobrir novas físicas está em andamento, mas ainda existem lacunas claras a serem preenchidas antes que esses sistemas possam ser considerados parceiros reais na descoberta científica.