ASI-Bench: At the Dawn of Artificial Superintelligence

A jornada em direção a uma máquina que possa pensar como um ser humano tem se concentrado há muito tempo em quão bem os computadores conseguem memorizar fatos, resolver enigmas conhecidos ou seguir um conjunto de instruções para alcançar uma resposta específica. Durante anos, os sistemas de inteligência artificial mais avançados destacaram-se nessas tarefas, absorvendo vastas bibliotecas de conhecimento humano e aplicando-as com uma velocidade incrível. Mas existe um tipo diferente de inteligência que permanece amplamente fora de alcance: a capacidade de entrar no desconhecido, de olhar para um problema confuso e não explicado, e descobrir não apenas a resposta, mas o próprio caminho para encontrá-la. Este é o reino da descoberta científica, onde o objetivo não é recordar uma fórmula, mas sim inventar uma, projetar um experimento e transformar uma pergunta vaga em um resultado verificado. A questão que impulsiona um novo estudo é se as máquinas atuais podem realmente fazer isso por conta própria, ou se ainda são inteiramente dependentes de humanos para conduzi-las pela mão em cada etapa do processo.

Uma equipe de pesquisadores de universidades e institutos de todo o mundo construiu um novo campo de testes chamado ASI-Bench para responder a essa pergunta. Eles criaram sessenta projetos de pesquisa complexos em onze campos diferentes da ciência, abrangendo desde a física e a química até a biologia e a engenharia. Cada projeto foi desenhado para mimetizar uma investigação científica real, completa com dados brutos, um objetivo específico e a exigência de produzir uma solução funcional. O brilhantismo do design reside na forma como testaram as máquinas. Para cada um dos projetos de pesquisa, eles executaram o mesmo sistema de IA quatro vezes, mas alteraram a quantidade de ajuda que lhe davam. No primeiro cenário, a IA recebeu um manual completo e passo a passo sobre exatamente como resolver o problema. No segundo, foram informados apenas o método geral a ser usado, como dizer para "usar um martelo" sem mostrar como balançá-lo. No terceiro, a IA recebeu apenas o problema e os dados, sem instruções sobre como proceder, forçando-a a decidir o método por conta própria. Finalmente, no quarto cenário, adicionaram uma camada de informações irrelevantes e confusas para ver se a máquina conseguiria manter o foco na tarefa real.

Os resultados revelam uma realidade dura sobre o estado atual da inteligência artificial. Quando as máquinas recebiam instruções completas, apresentavam um desempenho razoável, pontuando uma média de cerca de cinquenta e um de um possível cem. No entanto, assim que os pesquisadores removeram a orientação passo a passo e pediram à IA que descobrisse o procedimento por conta própria, o desempenho despencou. Quando a IA teve que escolher o método por si mesma, a pontuação média caiu para aproximadamente vinte e sete. Esse declínio acentuado sugere que, embora os sistemas atuais sejam excelentes em seguir um caminho que os humanos já pavimentaram, eles têm imensa dificuldade em construir a estrada por conta própria. O maior obstáculo não foi escolher a ferramenta certa, mas sim traduzir uma ideia geral em um plano detalhado e funcional. Mesmo quando a IA sabia qual método usar, ela frequentemente falhava em construir as etapas necessárias para fazê-lo funcionar, fazendo com que as pontuações caíssem significativamente quando as instruções detalhadas eram removidas.

Os pesquisadores também descobriram que adicionar informações extras e distrativas não confundiu as máquinas tanto quanto a remoção das instruções. Quando a IA recebeu a mesma tarefa difícil, mas com um monte de fatos irrelevantes e conversas paralelas adicionadas ao comando, seu desempenho permaneceu quase exatamente o mesmo de quando não havia instruções. Isso indica que a principal fraqueza dos sistemas atuais não é a falta de foco ou a incapacidade de filtrar ruídos, mas uma incapacidade fundamental de operar sem um roteiro definido por humanos. O estudo envolveu dezoito combinações diferentes de modelos de IA e agentes de software e, mesmo a configuração mais avançada, que utilizava o raciocínio mais poderoso disponível, conseguiu pontuar apenas cerca de cinquenta e dois quando deixada por conta própria. Este é um sucesso modesto, mas fica muito aquém da confiabilidade necessária para que uma máquina conduza pesquisas científicas independentes.

O custo dessa independência também é alto. Quando a IA tinha que descobrir as etapas por conta própria, consumia significativamente mais poder de computação e tempo do que quando estava simplesmente seguindo ordens. Em alguns casos, o sistema utilizou quase sessenta por cento a mais de recursos computacionais apenas para tentar a mesma tarefa sem um guia, muitas vezes ficando preso em loops ou tentando caminhos ineficientes. Isso sugere que a verdadeira autonomia não é apenas uma questão de inteligência, mas de eficiência; sem a orientação humana, as máquinas desperdiçam vastas quantidades de esforço tentando resolver problemas que poderiam ter resolvido rapidamente se tivessem sido instruídas como fazer. O estudo conclui que ainda estamos longe do amanhecer da superinteligência artificial, um estado em que as máquinas possam explorar o desconhecido e criar novos conhecimentos sem intervenção humana. Em vez disso, estamos em uma fase em que as máquinas são assistentes poderosos que podem executar tarefas complexas, mas ainda dependem fortemente dos humanos para definir a estratégia.

Este novo benchmark não pretende ser um julgamento final, mas sim um ponto de partida para a comunidade científica. Os pesquisadores disponibilizaram suas sessenta tarefas e seus métodos de teste para o mundo, convidando outros cientistas e engenheiros a contribuir com novos problemas e a testar seus próprios sistemas contra esses desafios. Eles acreditam que, ao adicionar continuamente novos projetos de pesquisa difíceis e refinar os testes, a comunidade pode rastrear o progresso de forma mais precisa. O objetivo é ir além de simples testes de memória e lógica para um futuro onde possamos medir se uma máquina pode verdadeiramente pensar como um cientista, capaz de navegar pelo desconhecido e transformar uma página em branco em uma descoberta. Por enquanto, os dados mostram que, embora nossas máquinas estejam ficando mais inteligentes, elas ainda estão esperando que digamos a elas o que fazer em seguida.