🤖 AI

Measuring AI Ability to Complete Long Software Tasks

Este artigo introduz a métrica "horizonte de tempo de conclusão de 50% da tarefa" para quantificar as capacidades da IA ao compará-las com o esforço humano, constatando que os modelos de fronteira podem agora completar em 50 minutos tarefas que os humanos normalmente levam 50 minutos para terminar, com uma tendência de duplicação sugerindo que a IA poderá automatizar tarefas de software de um mês dentro de cinco anos.

Autores originais: Thomas Kwa, Ben West, Joel Becker, Amy Deng, Katharyn Garcia, Max Hasin, Sami Jawhar, Megan Kinniment, Nate Rush, Sydney Von Arx, Ryan Bloom, Thomas Broadley, Haoxing Du, Brian Goodrich, Nikola Jurkov

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Thomas Kwa, Ben West, Joel Becker, Amy Deng, Katharyn Garcia, Max Hasin, Sami Jawhar, Megan Kinniment, Nate Rush, Sydney Von Arx, Ryan Bloom, Thomas Broadley, Haoxing Du, Brian Goodrich, Nikola Jurkovic, Luke Harold Miles, Seraphina Nix, Tao Lin, Chris Painter, Neev Parikh, David Rein, Lucas Jun Koba Sato, Hjalmar Wijk, Daniel M. Ziegler, Elizabeth Barnes, Lawrence Chan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a uma corrida entre um humano e um robô, mas em vez de correrem em uma pista, ambos estão tentando resolver uma pilha gigante e crescente de enigmas de software. Durante anos, tentamos medir o quão bons esses robôs de IA são usando testes complicados, mas esses testes muitas vezes parecem níveis artificiais de videogames que não dizem realmente o quão rápido o robô pode realmente trabalhar no mundo real.

Para corrigir isso, uma equipe de pesquisadores da METR decidiu medir algo muito mais intuitivo: Quanto tempo uma IA consegue trabalhar antes de começar a falhar?

Eles chamaram isso de "Horizonte Temporal" (Time Horizon). Pense nisso como a duração da bateria de uma inteligência. Se uma IA consegue resolver um enigma que leva um humano 10 minutos para terminar, seu horizonte temporal é de 10 minutos. Se ela consegue lidar com uma tarefa que leva um humano 4 horas, seu horizonte é de 4 horas. Os pesquisadores queriam encontrar o ponto específico onde uma IA tem 50% de chance de realizar o trabalho corretamente.

A Grande Descoberta: A Explosão Exponencial

A equipe reuniu uma coleção massiva de 170 tarefas diferentes, variando de verificações minúsculas de 1 segundo (como identificar um nome de arquivo específico) até projetos de pesquisa massivos de 8 horas. Eles contrataram especialistas humanos qualificados para cronometrar quanto tempo eles levavam para concluir essas tarefas. Em seguida, deixaram 12 modelos de IA diferentes, desde o antigo GPT-2 (lançado em 2019) até o novo o3 (lançado em 2025), tentarem resolver os problemas.

Aqui está a parte selvagem: A "duração da bateria" da IA está dobrando a cada sete meses.

Em 2019, a melhor IA conseguia lidar de forma confiável apenas com tarefas que levavam um humano cerca de 2 segundos para terminar. Em 2025, os melhores modelos (como o o3) podem lidar com tarefas que levam um humano cerca de 110 minutos (quase duas horas) com uma taxa de sucesso de 50%.

Os pesquisadores descobriram que esse crescimento não é apenas um pouco mais rápido; é uma curva exponencial. É como observar uma bola de neve rolando ladeira abaixo, ficando duas vezes maior a cada vez que passa por uma árvore. Eles mediram essa tendência de 2019 a 2025 e descobriram que o "tempo de duplicação" é de aproximadamente 207 dias (cerca de sete meses).

Por Que Elas Estão Melhorando?

O artigo sugere que a IA não está apenas ficando "mais inteligente" de uma forma vaga; ela está ficando melhor em habilidades específicas e práticas. Quando os pesquisadores analisaram por que os modelos antigos falhavam e os novos tinham sucesso, descobriram que os modelos mais recentes eram:

Melhores no uso de ferramentas: Eles sabem usar uma calculadora ou um editor de código sem quebrá-los.
Melhores em corrigir erros: Se uma IA antiga cometesse um erro, ela frequentemente repetiria o mesmo erro repetidamente. Os novos modelos conseguem detectar o erro, dizer "Ops" e tentar um caminho diferente.
Melhores em raciocínio lógico: Eles conseguem seguir uma cadeia de pensamento sem se perderem.

A Ressalva "Bagunçada": A Vida Real é Mais Difícil

No entanto, o artigo é muito cuidadoso ao não dizer que os robôs já venceram a guerra. Os pesquisadores argumentam explicitamente que esses testes podem ser "limpos" demais.

Imagine que a IA está jogando um videogame onde as regras estão escritas em um manual claro, os inimigos são previsíveis e não há quedas de energia repentinas. Os pesquisadores chamam o trabalho do mundo real de "bagunçado" (messy). No mundo real, as tarefas costalmente têm instruções pouco claras, exigem conversar com outras pessoas ou envolvem recursos que se esgotam.

Quando a equipe testou a IA em tarefas que eram "mais bagunçadas" (menos estruturadas, mais caóticas), o desempenho da IA caiu significativamente. O artigo sugere que, embora a IA esteja ficando ótima em enigmas "limpos", ela ainda pode ter dificuldades com a natureza caótica e imprevisível do dia a dia de um engenheiro de software real. Eles não encontraram evidências de que a melhoria da IA diminui em tarefas bagunçadas ainda, mas alertam que a lacuna entre o "teste limpo" e a "realidade bagunçada" é um grande desconhecido.

O Que Isso Significa para o Futuro?

Os pesquisadores fizeram alguns cálculos para ver onde essa curva leva. Se a tendência de dobrar a cada sete meses continuar, eles preveem que, dentro de 5 anos (algum momento entre meados de 2028 e meados de 2031), os sistemas de IA poderão completar autonomamente tarefas de software que atualmente levam um humano um mês (cerca de 167 horas de trabalho) para terminar.

Eles enfatizam que isso é uma projeção, não uma garantia. Depende de a IA continuar melhorando nesta exata velocidade e se esses resultados de testes "limpos" se aplicam ao mundo real "bagunçado". Se a tendência se mantiver, poderemos ver agentes de IA que podem essencialmente trabalhar como funcionários em tempo integral em projetos complexos em um futuro próximo. Mas se a tendência diminuir ou se a "bagunça" da vida real se mostrar difícil demais, esse cronograma pode mudar.

O Resumo Final

O artigo não afirma que a IA resolveu tudo. Em vez disso, ele nos dá uma nova régua para medir o progresso. Ele mostra que, nos últimos seis anos, a capacidade da IA de lidar com tarefas longas e complexas cresceu em um ritmo assustadoramente rápido, dobrando seu "dia de trabalho" aproximadamente a cada sete meses. Embora ainda existam grandes lacunas na forma como lidam com o caos bagunçado do mundo real, a trajetória sugere que o dia em que uma IA poderá trabalhar um turno de um mês inteiro por conta própria pode estar mais próximo do que imaginamos.

Resumo Técnico: Medindo a Capacidade da IA para Completar Longas Tarefas de Software

Declaração do Problema

Apesar do rápido progresso nos benchmarks de IA, o significado real do desempenho em benchmarks permanece ambíguo. Os benchmarks existentes sofrem de três limitações primárias: frequentemente consistem em tarefas artificiais que carecem de valor econômico; são frequentemente selecionados adversariamente para destacar as fraquezas atuais dos modelos, enviesando as comparações contra o desempenho humano; e saturam rapidamente, tornando difícil comparar modelos de capacidades vastamente diferentes (ex: GPT-2 vs. Claude 3.7) em uma escala unificada. Consequentemente, há uma falta de uma métrica geral, intuitiva e quantitativa para rastrear o progresso da capacidade da IA ao longo do tempo em termos de trabalho humano.

Metodologia

Os autores propõem uma nova métrica: o horizonte de tempo de conclusão de tarefa. Este é definido como a duração das tarefas que um modelo de IA pode completar com uma probabilidade de sucesso específica (ex: 50%). Esta métrica relaciona o desempenho da IA diretamente ao tempo típico exigido por especialistas humanos para completar tarefas similares.

Dados e Conjunto de Tarefas

Para operacionalizar esta métrica, os autores construíram um conjunto de dados de 170 tarefas abrangendo uma ampla gama de dificuldades, categorizadas em três suítes:

HCAST (Human-Calibrated Autonomy Software Tasks): 97 tarefas de software diversas (cibersegurança, ML, engenharia de software) variando de 1 minuto a 30 horas.
RE-Bench: 7 tarefas difíceis de engenharia de pesquisa em aprendizado de máquina, cada uma projetada para levar aproximadamente 8 horas de um especialista humano.
Software Atomic Actions (SWAA): Uma nova suíte de 66 tarefas curtas de etapa única (1 segundo a 30 segundos) projetada para medir modelos pré-2023 e preencher a lacuna para durações muito curtas.

Linha de Base Humana

Para fundamentar o desempenho da IA, os autores mediram o tempo levado por profissionais qualificados (engenheiros de software, pesquisadores de ML, especialistas em cibersegurança) para completar estas tarefas.

Esforço Total: Mais de 800 linhas de base humanas totalizando 2.529 horas.
Métrica: A dificuldade da tarefa é definida pelo tempo da média geométrica das linhas de base humanas bem-sucedidas.
Contexto: Os baseliners receberam contexto mínimo específico da tarefa (semelhante a um contratado externo), distinto do conhecimento institucional profundo de mantenedores internos.

Avaliação de IA e Modelagem

Os autores avaliaram 12 modelos de fronteira e quase-fronteira lançados entre 2019 e 2025. Cada modelo foi executado múltiplas vezes por tarefa usando scaffolds de agentes padronizados (ex: modular-public, trimeframe) que forneciam ferramentas como execução de Python e Bash.

Binarização: Pontuações contínuas foram convertidas em sucesso/falha binários com base em limiares específicos da tarefa que representam níveis de desempenho humano.
Regressão Logística: Os autores ajustaram um modelo de regressão logística inspirado na Teoria de Resposta ao Item (IRT) para estimar o horizonte de tempo ( $h_{agent}$ ) onde a probabilidade de sucesso é 50%:
$P_{success}(agent, task) = \sigma((\log h_{agent} - \log t_{task}) \cdot \beta_{agent})$
Onde $t_{task}$ é o tempo de linha de base humana e $h_{agent}$ é o parâmetro aprendido que representa o horizonte de tempo de 50%.

Principais Resultados

Crescimento Exponencial na Capacidade

O estudo descobre que o horizonte de tempo de conclusão de tarefa de 50% cresceu exponencialmente de 2019 a 2025.

Tempo de Duplicação: O horizonte de tempo dobra aproximadamente a cada 207 dias (cerca de 7 meses).
Intervalo: O horizonte expandiu de ~2 segundos para o GPT-2 para aproximadamente 110 minutos para o modelo o3.
Aceleração Recente: A taxa de crescimento entre 2023–2025 parece ser cerca de 20% mais rápida do que a média de 2019–2025, embora isso esteja dentro da margem de erro.

Impulsionadores de Melhoria

A análise qualitativa dos modos de falha (comparando GPT-4 1106 e o1) indica que o progresso é impulsionado por:

Confiabilidade e Adaptação: Uma redução acentuada em "repetir ações falhas" e uma maior capacidade de recuperar-se de erros.
Uso de Ferramentas: Melhor capacidade de usar ferramentas (ex: editar arquivos, executar comandos) sem erros de sintaxe.
Raciocínio Lógico: Melhor desempenho em tarefas que exigem raciocínio lógico de múltiplas etapas e geração de código.
Limitações: Os modelos ainda lutam significativamente em ambientes "bagunçados" que carecem de loops de feedback claros ou que exigem busca proativa de informações.

Validade Externa e Robustez

SWE-bench Verificado: Aplicar a metodologia ao SWE-bench Verified produz uma tendência exponencial semelhante com uma inclinação ainda mais íngreme (tempo de duplicação ~70 dias), embora os autores notem que isso pode ser devido à subestimação do tempo humano por anotadores para tarefas mais fáceis.
Fatores de "Bagunça": As tarefas foram avaliadas em 16 fatores de "bagunça" (ex: ambientes dinâmicos, restrições de recursos). Embora o desempenho absoluto seja menor em tarefas mais bagunçadas, a taxa de melhoria ao longo do tempo é semelhante tanto para subconjuntos de alta quanto de baixa bagunça.
PRs Internos: Testar em pull requests internos revelou que o desempenho da IA correlaciona-se melhor com o tempo gasto por contratados externos (baixo contexto) do que por mantenedores de repositórios (alto contexto), sugerando que as métricas atuais refletem capacidades de trabalho de baixo contexto.

Extrapolação e Previsões

Usando a tendência exponencial observada, os autores extrapolam quando sistemas de IA podem alcançar um horizonte de tempo de um mês (aprox. 167 horas de trabalho), um limiar frequentemente associado a valor econômico transformador ou risco catastrófico.

Estimativa Central: Se a tendência continuar, prevê-se que sistemas de IA capazes de completar autonomamente tarefas de software de um mês de duração surjam entre meados de 2028 e meados de 2031.
Sensibilidade: Se a tendência mais rápida de 2024–2025 persistir, isso poderia ocorrer tão cedo quanto o início de 2027.
Ressalvas: Os autores enfatizam que esta extrapolação assume que a tendência se generaliza para tarefas do mundo real e não considera potenciais mudanças futuras na tendência (ex: saturação, avanços algorítmicos ou AGI).

Significância e Alegações

O artigo afirma fornecer a primeira métrica robusta e quantitativa para rastrear o progresso de agentes de IA em termos de horas de trabalho humano, indo além de pontuações estáticas de benchmarks.

Governança: Os autores argumentam que tais métricas são fundamentais para uma governança de IA responsável, permitindo que desenvolvedores determinem as mitigações de risco necessárias conforme os sistemas se tornam mais poderosos.
Implicações de Segurança: A rápida duplicação dos horizontes de tempo sugere que sistemas de IA capazes de realizar autonomamente tarefas complexas de várias semanas (incluindo capacidades potencialmente perigosas como desenvolvimento de CBRN ou autorreplicação) podem chegar mais cedo do que o antecipado se as tendências atuais se mantiverem.
Modéstia: Os autores declaram explicitamente que seus resultados são limitados a tarefas de software e pesquisa e podem não se generalizar perfeitamente para todas as formas de trabalho intelectual. Eles alertam que preocupações de validade externa e mudanças futuras na taxa de tendência introduzem incerteza significativa nas previsões de longo prazo.