Frontier AI Forecasting Has a Measurement Problem: An Audit of Progress Evidence

Vivemos em uma era em que as capacidades da inteligência artificial são frequentemente previstas com a precisão de uma previsão do tempo. Especialistas observam o quão rápido os computadores estão se tornando, quanta informação eles estão recebendo e o quão bem se saem em testes padronizados para adivinhar quando as máquinas alcançarão o raciocínio de nível humano ou até o superarão. Essas previsões geralmente assumem a forma de uma data específica em um calendário, sugerindo que, até um determinado ano, uma IA será capaz de resolver um problema complexo ou realizar uma tarefa específica. A lógica parece direta: se você pode medir a velocidade de um carro, pode calcular quando ele chegará ao seu destino. Mas essa abordagem baseia-se em uma premissa oculta — a de que a régua usada para medir a velocidade é a mesma de ontem e que o velocímetro está funcionando corretamente para cada um dos carros na estrada.

Uma nova análise de Fabricio F. Costa desafia essa premissa. O artigo não argumenta que prever o futuro da IA seja impossível, mas sim que a maneira atual como tentamos fazê-lo é construída sobre uma base instável. O autor realizou uma auditoria rigorosa dos registros públicos usados para fazer essas previsões, tratando os dados não como uma linha suave em um gráfico, mas como uma coleção de eventos, medições e fontes individuais. A investigação revela que a conexão entre os recursos usados para construir esses sistemas e seu desempenho real é muito mais fragmentada do que as previsões populares sugerem. O estudo descobre que as evidências que sustentam essas previsões são frequentemente incompletas, inconsistentes e fortemente dependentes de uma única fonte de informação, tornando as datas específicas frequentemente citadas nas notícias mais um palpite do que uma conclusão científica.

Para entender o escopo do problema, deve-se primeiro observar como essas previsões são tipicamente construídas. Pesquisadores geralmente tentam ligar duas coisas: a quantidade de poder computacional usado para treinar um modelo e os resultados que ele alcança em um teste de referência (benchmark). Um benchmark é simplesmente um conjunto padronizado de perguntas ou tarefas projetadas para medir uma habilidade específica, como responder a curiosidades ou resolver problemas matemáticos. A ideia é que, conforme você fornece mais poder computacional a um modelo, sua pontuação nesses testes aumenta de uma forma previsível. Se você conseguir mapear essa relação, poderá projetar para o futuro para ver quando a pontuação atingirá um certo limiar. No entanto, para que essa projeção seja válida, você precisa ter pontos de dados onde tanto o poder computacional quanto a pontuação no teste sejam conhecidos para o mesmo sistema.

Quando o autor examinou o registro público de sessenta e dois grandes sistemas de inteligência artificial, um hiato significativo apareceu. Embora informações sobre o poder computacional usado estivessem disponíveis para muitos sistemas, elas estavam ausentes para um grande número dos modelos mais avançados e de código fechado. Por outro lado, as pontuações de desempenho de um programa de medição específico e amplamente citado chamado METR estavam disponíveis para muitos modelos fechados, mas eram completamente ausentes para os sistemas de código aberto. Isso criou uma situação em que as duas partes de dados necessárias para traçar uma linha — o "combustível" e a "velocidade" — raramente existiam juntas para a mesma máquina. Em todo o conjunto de sessenta e dois sistemas, apenas sete possuíam tanto a estimativa de computação quanto a pontuação de desempenho registradas. Isso significa que as curvas suaves frequentemente vistas em previsões são, na verdade, desenhadas através de apenas um punhado de pontos de dados, enquanto o restante do cenário é um espaço em branco.

O problema se aprofunda quando se considera que os próprios testes não são estáticos. Assim como uma régua pode ser substituída por uma nova com marcações ligeiramente diferentes, os benchmarks usados para medir a IA estão sendo constantemente atualizados, revisados ou substituídos para evitar que os modelos simplesmente memorizem as respostas. A auditoria analisou como essas diferentes versões de testes se relacionam entre si. Descobriu que, quando se tenta comparar as pontuações de uma versão antiga de um teste com uma versão nova, a relação nem sempre é um deslocamento simples e direto. Às vezes, o novo teste mede algo ligeiramente diferente, ou a dificuldade muda de uma forma que faz as pontuações saltarem ou caírem inesperadamente. O estudo testou isso ao observar como sistemas se saíram em duas versões de um teste popular e descobriu que a conexão entre as pontuações antigas e as novas dependia fortemente do método matemático usado para compará-las. Em alguns casos, a nova versão parecia mostrar uma melhoria muito mais acentuada do que a antiga, enquanto em outros, a melhoria parecia plana. Isso sugere que um aumento na pontuação pode nem sempre significar que a IA ficou mais inteligente; pode ser apenas que o teste mudou.

Outra questão crítica identificada é a concentração das evidências. A vasta maioria dos pontos de dados específicos usados para rastrear o progresso da IA provém de um único programa de medição. De setenta e uma grandes ocorrências quantitativas registradas na auditoria, cinquenta e duas vieram de apenas uma fonte. Isso é como tentar entender os padrões climáticos de um continente inteiro baseando-se nas leituras de termômetros de uma única cidade. Embora essa cidade possa ser precisa, ela não diz se o resto do continente está passando pelas mesmas condições. A auditoria também observou que muitas dessas medições vêm de lançamentos laboratoriais, em vez de testes de campo no mundo real. Em um laboratório, as condições são controladas, mas no mundo real, a IA interage com ambientes imprevisíveis, usuários diferentes e níveis variados de suporte. O artigo argumenta que confiar em uma única fonte e em um único tipo de teste cria uma falsa sensação de certeza, onde a confiança em uma previsão é alta simplesmente porque os dados parecem consistentes, embora não sejam verdadeiramente independentes.

O autor também observou o poder dos testes estatísticos usados para ligar essas diferentes medições. A análise mostrou que os conjuntos de dados atuais são frequentemente pequenos demais para detectar qualquer coisa além de mudanças muito grandes. Se a relação entre o poder computacional e o desempenho mudasse em uma pequena quantidade, os registros atuais provavelmente perderiam isso inteiramente. O estudo calculou que, para detectar de forma confiável um pequeno desvio na forma como esses sistemas melhoram, os pesquisadores precisariam de muito mais sistemas sendo testados tanto nos benchmarks antigos quanto nos novos simultaneamente. Sem esse conjunto de dados maior e mais diversificado, qualquer previsão que afirme saber exatamente quando um marco específico será alcançado é essencialmente um palpe.

O artigo não sugere que devamos parar de tentar medir o progresso da IA. Em vez disso, ele pede uma abordagem mais honesta e complexa. Em vez de tentar espremer todas as capacidades da IA em um único número ou em uma única data, o autor propõe um "portfólio" de medições. Isso envolveria rastrear coisas diferentes ao mesmo tempo: quanta energia e dinheiro custa para rodar um modelo, quão confiável ele é ao longo de períodos longos, como ele se sai em tarefas do mundo real e como lida com riscos de segurança. Também exigiria um sistema onde diferentes grupos de pesquisa testassem os mesmos modelos usando métodos diferentes para garantir que os resultados não sejam apenas um artefato de um laboratório específico ou de um teste específico. O objetivo é afastar-se da ideia de uma única régua perfeita e caminhar em direção a uma coleção de ferramentas que possam medir diferentes aspectos da inteligência com suas próprias incertezas.

Em última análise, o estudo conclui que uma previsão defensável sobre o futuro da inteligência artificial deve ser transparente sobre o que está medindo e como está medindo. Ela deve admitir onde os dados estão faltando, onde os testes mudaram e de onde vem a evidência. Uma previsão que simplesmente fornece uma data sem explicar o sistema de medição por trás dela não é uma afirmação científica; é um palpite. O artigo urge o campo a tratar o próprio sistema de medição como parte da previsão, reconhecendo que a data é tão significativa quanto a régua usada para encontrá-la. Até que a comunidade consiga construir um registro onde o poder computacional, o desempenho e os resultados do mundo real sejam medidos de forma consistente e independente em muitos sistemas diferentes, a parte mais precisa de qualquer previsão será a data no calendário, enquanto a parte menos precisa será o que realmente está sendo medido no caminho até lá.