The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents

No mundo em rápida evolução da inteligência artificial, um novo tipo de software surgiu: agentes que não apenas respondem a perguntas, mas tomam ações. Esses sistemas podem planejar uma sequência de etapas, usar ferramentas digitais e navegar em ambientes complexos como códigos de software ou navegadores web, muitas vezes com pouca ou nenhuma supervisão humana. Para rastrear o quão capazes esses agentes estão se tornando, pesquisadores desenvolveram uma forma de medir seu progresso usando um "horizonte temporal". Esse conceito descreve a duração de uma tarefa, medida pelo tempo que um especialista humano levaria para completá-la, que um agente de IA consegue finalizar com sucesso metade das vezes. Se um agente tem um horizonte temporal de uma hora, isso significa que ele pode resolver com confiabilidade problemas que levam cerca de uma hora para um humano terminar, mas provavelmente falhará em tarefas que levam duas horas. Essa métrica tornou-se uma linguagem padrão para descrever o progresso da IA, com relatórios mostrando que esse horizonte está dobrando aproximadamente a cada sete meses, sugerindo um futuro onde as máquinas podem lidar com trabalhos cada vez mais complexos.

No entanto, existe uma distinção crítica entre o que um agente pode fazer em média e o que se pode confiar que ele faça todas as vezes. Para um gerente humano atribuindo um trabalho recorrente ou um regulador supervisionando um sistema autônomo, uma taxa de sucesso de 50 por cento é frequentemente insuficiente. Se uma tarefa ocorre repetidamente, o objetivo não é que o agente tenha sucesso metade das vezes, mas que tenha sucesso toda vez que a tarefa aparecer. Um sistema que falha uma vez em cada duas tentativas não é confiável o suficiente para muitas aplicações do mundo real, embora a métrica padrão do "horizonte temporal" não capture esse risco. Ela mede a fronteira da capacidade, não o piso da confiabilidade. Esse hiato entre o desempenho médio e o desempenho consistente é o mistério central que um novo estudo busca resolver, perguntando o quão atrás a verdadeira confiabilidade desses agentes está em comparação com suas pontuações de capacidade chamativas.

Para responder a isso, pesquisadores recorreram a uma vasta coleção de registros públicos da organização METR, que tem realizado avaliações de agentes de IA em centenas de tarefas diferentes desde 2023. O estudo focou em 30 modelos diferentes lançados entre 2023 e o início de 2026, analisando mais de 60.000 tentativas individuais em várias tarefas. Em vez de observar se um agente teve sucesso ou falhou apenas uma vez, os pesquisadores examinaram o que acontecia quando o mesmo agente tentava a mesma tarefa múltiplas vezes. Eles observaram especificamente o ponto em que um agente poderia completar uma tarefa quatro vezes seguidas com uma probabilidade de 50 por cento de sucesso total. Este "horizonte de confiabilidade" representa a duração de uma tarefa que um agente pode ser esperado a lidar de forma consistente, em vez de apenas ocasionalmente.

Os resultados revelaram um hiato significativo e persistente entre o que os agentes podem fazer e o que se pode confiar que façam. Para cada modelo testado, o horizonte temporal para o sucesso repetido e confiável foi muito menor do que o horizonte de capacidade padrão. Em média, o horizonte de confiabilidade foi cerca de 2,4 vezes menor do que o horizonte de sucesso médio. Para colocar em perspectiva, se um modelo de alto nível é capaz de lidar com uma tarefa que leva um humano 715 minutos para completar com 50 por cento de chance de sucesso, esse mesmo modelo só pode ser confiado para completar uma tarefa de cerca de 355 minutos quatro vezes seguidas com o mesmo nível de confiança. Esse hiato não diminuiu significamente nos últimos três anos; apesar de os modelos estarem se tornando mais poderosos, a distância entre seu desempenho médio e seu desempenho consistente permaneceu aproximadamente a mesma.

Poderia se assumir que, se um agente falha em uma tarefa, é simplesmente uma questão de má sorte ou um erro aleatório, e que tentar novamente provavelmente produziria um resultado diferente. O estudo descobriu que essa suposição é incorreta. Os pesquisadores descobriram que os resultados de tentativas repetidas estão fortemente ligados à própria tarefa, em vez de serem aleatórios. Quando um agente falha em uma tarefa, ele tende a falhar todas as vezes que tenta essa mesma tarefa. Inversamente, quando tem sucesso, tende a ter sucesso todas as vezes. Isso significa que a confiabilidade de um agente não é determinada por um lançamento de dados para cada tentativa, mas pela dificuldade inerente da tarefa em relação às habilidades do agente. Devido a essa forte conexão, a confiabilidade observada é muito maior do que seria se cada tentativa fosse independente. Se as tentativas fossem verdadeiramente aleatórias e não relacionadas, o horizonte de confiabilidade seria drasticamente mais curto, mas a realidade é que o desempenho do agente é consistente dentro do contexto de um problema específico.

O estudo também localizou exatamente onde essas inconsistências ocorrem. O comportamento mais imprevisível não ocorre nas tarefas mais difíceis, onde os agentes falham consistentemente, nem nas tarefas mais fáceis, onde eles têm sucesso consistentemente. Em vez disso, os "resultados mistos" — onde um agente tem sucesso algumas vezes e falha em outras — agrupam-se firmemente ao redor da borda da capacidade do agente. Esta é a zona logo abaixo do horizonte temporal padrão, onde uma tarefa é difícil o suficiente para desafiar o agente, mas não tão difícil que seja impossível. É precisamente nesta zona que novas tarefas delegadas têm maior probabilidade de cair, tornando-a a área mais crítica para a compreensão do risco.

Apesar da evidência clara de um hiato, os pesquisadores descobriram que a taxa com que esse hiato está se fechando não é estatisticamente significativa. Embora os dados mostrem uma leve tendência de o horizonte de confiabilidade alcançar o horizonte de capacidade, a tendência é pequena demais para ser distinguida de variação aleatória dado o número atual de modelos testados. Isso sugere que, embora os agentes de IA estejam ficando melhores em resolver problemas mais difíceis, eles não estão necessariamente se tornando mais consistentes em sua execução no mesmo ritmo. O estudo conclui que, para qualquer pessoa que implemente esses sistemas, confiar apenas nas taxas de sucesso médio proporciona uma visão excessivamente otimista do futuro. Para entender verdadeiramente o que um agente pode ser confiado para fazer, os relatórios devem incluir um horizonte ajustado pela confiabilidade que leve em conta a necessidade de sucesso repetido e consistente. Sem esse ajuste, a promessa dos agentes autônomos permanece uma medida de potencial, não uma garantia de desempenho.