AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
O artigo apresenta o AI4AI-Bench, um novo benchmark composto por 10 repositórios de pesquisa congelados que avalia a capacidade de agentes de LLM para projetar e reescrever algoritmos de treinamento para autodesenvolvimento recursivo, revelando que mesmo os sistemas mais avançados atualmente alcançam menos de um quarto do ganho de desempenho potencial entre os algoritmos existentes e os ótimos teóricos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
O sonho da inteligência artificial frequentemente inclui uma visão de uma máquina que pode ensinar a si mesma a se tornar mais inteligente, não apenas memorizando mais fatos, mas reescrevendo as próprias regras que utiliza para aprender. Essa ideia, conhecida como autoaperfeiçoamento recursivo, sugere um ciclo onde um sistema de IA projeta uma versão melhor de si mesmo, que então projeta uma versão ainda melhor, criando uma cadeia de avanço rápido. Para que esse ciclo funcione, a máquina deve ser capaz de melhorar o algoritmo de treinamento — o conjunto de instruções que diz ao computador como ajustar suas conexões internas com base na experiência. Embora as máquinas tenham se tornado muito boas em seguir instruções e até mesmo em ajustar pequenas configurações dentro dessas instruções, continua sendo uma questão em aberto se elas podem realmente redesenhar as instruções em si. Esta é a diferença entre um motorista que sabe como ajustar o volume do rádio e um mecânico que sabe como reconstruir o motor.
Uma equipe de pesquisadores construiu um novo teste para ver se os sistemas atuais de inteligência artificial podem realizar esse tipo de trabalho mecânico profundo. Eles criaram um desafio chamado AI44-Bench, que apresenta dez diferentes projetos de pesquisa do mundo real para um grupo de agentes de IA avançados. Cada projeto envolve um tipo específico de tarefa de aprendizado, como ensinar um computador a resolver problemas matemáticos, a gerar imagens ou a compreender preferências humanas. Os pesquisadores deram a cada agente de IA quatro horas de tempo de computação para ler o código de um desses projetos e tentar melhorar o método de aprendizado usado dentro dele. O agente teve permissão para alterar o código como quisesse, mas não pôde ver os resultados finais de suas alterações durante essas quatro horas. Em vez disso, teve que confiar em uma estimativa rápida e aproximada para adivinhar se sua ideia era boa. Assim que o tempo acabou, o código modificado pelo agente foi retirado, e o projeto foi executado do zero por até doze horas usando um conjunto fixo e oculto de regras para julgar o resultado final. Essa configuração mimetiza a experiência do mundo real de um cientista humano, que pode testar uma ideia pequena rapidamente, mas deve esperar dias para ver se um novo método de treinamento realmente funciona em grande escala.
Os resultados deste experimento foram reveladores. Através de vinte e nove combinações diferentes de sistemas de IA e níveis de esforço, o desempenho médio foi bastante baixo. Em uma escala onde o código original, não modificado, pontuou 0,1 e a pontuação teórica máxima possível era 1,0, o resultado médio foi de apenas 0,166. Mesmo o sistema mais forte conseguiu atingir apenas 0,250. Isso significa que os agentes mais capazes conseguiram fechar menos de um quinto da distância entre o método existente e o melhor resultado possível. Os pesquisadores descobriram que a razão para essa lacuna não era a falta de esforço ou de poder computacional, mas sim uma falta de direção. Quando a equipe analisou as mudanças de código que os agentes fizeram, descobriu que a vasta maioria das submissões nunca sequer tocou as regras centrais de aprendizado. Em vez disso, a maioria dos agentes simplesmente ajustou quanto tempo o treinamento durava, com que frequência salvava seu progresso ou os números específicos usados para ajustar o processo. Estas são mudanças na execução, não mudanças na forma como o modelo aprende.
Apenas uma pequena minoria dos agentes, cerca de 46 por cento daqueles que fizeram qualquer alteração, realmente alcançou o algoritmo de aprendizado para alterar o objetivo, o sinal de supervisão ou a regra de atualização. Esses agentes tiveram um desempenho significamente melhor, com média de 0,226 comparado a 0,126 para os outros. Isso sugere que o caminho para o verdadeiro aprimoramento reside em mudar a forma fundamental como a máquina aprende, um passo que a maioria dos sistemas atuais hesita em dar. O estudo também mostrou que aumentar a quantidade de esforço de raciocínio que um agente podia usar não tornou os agentes mais inteligentes em um sentido geral, mas os tornou mais ousados. Quando os agentes receberam mais tempo para pensar e planejar, a porcentagem daqueles que ousaram mudar as regras de aprendizado saltou de 8 por cento para 64 por cento. Esse aumento na disposição de assumir um risco no algoritmo central foi o que impulsionou a melhoria, em vez de um salto repentino na qualidade das ideias geradas.
Em última análise, o artigo conclui que os agentes de IA de hoje ainda estão recuperando um padrão competente em vez de projetar além dele. Eles são excelentes em otimizar o processo ao redor do aprendizado, mas lutam para redesenhar o próprio processo de aprendizado. Os pesquisadores liberaram todos os seus dados, incluindo as mudanças de código e as pontuações, para que outros possam repetir o teste conforme os sistemas de IA evoluem. O benchmark serve como uma régua de medição para um tipo específico de progresso: se uma máquina consegue olhar para seu próprio método de treinamento, diagnosticar uma falha e reescrever o mecanismo que impulsiona seu próprio aprimoramento. Por enquanto, a resposta é que, embora possam tentar, raramente conseguem realizar as mudanças profundas necessárias para verdadeiramente capitalizar sua própria inteligência.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.