StateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling
O artigo apresenta o StateM, um runtime nativo de agentes que aproveita o escalonamento de suporte por meio de estados duráveis, transições verificadas e runbooks versionados para aumentar significativamente a precisão de agentes de longo horizonte no Terminal-Bench 2.1 para 95,3%, reduzindo drasticamente os custos de inferência em comparação com os modelos de linha de base.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No campo em rápida evolução da inteligência artificial, um enigma persistente surgiu: por que programas de computador sofisticados, capazes de resolver etapas complexas individualmente, frequentemente falham ao serem solicitados a completar um trabalho de múltiplas etapas e longo prazo? Imagine um arquiteto brilhante que consegue projetar uma sala perfeita, mas esquece de lançar a fundação, ou um cirurgião habilidoso que realiza uma incisão impecável, mas perde o controle dos sinais vitais do paciente no meio do processo. Esses sistemas, conhecidos como agentes de longo horizonte, frequentemente tropeçam não porque careçam de inteligência, mas porque perdem o lugar no processo. Eles podem esquecer o que já fizeram, pular uma verificação necessária ou parar de trabalhar antes que o objetivo final seja verdadeiramente alcançado. Durante anos, a solução padrão tem sido construir cérebros maiores e mais inteligentes, esperando que um modelo mais poderoso simplesmente não cometa esses erros. No entanto, uma nova linha de investigação sugere que o problema pode não ser o cérebro, mas sim o ambiente no qual ele trabalha.
Os pesquisadores começaram a fazer uma pergunta diferente: o quanto desse fracasso é, na verdade, uma falha do sistema que retém a atenção do agente, monitora seu progresso e o força a terminar o trabalho? Essa abordagem, que os autores chamam de "escalonamento de harness" (harness scaling), propõe que podemos tornar um modelo existente e capaz muito mais confiável ao melhorar as ferramentas e as regras que o cercam, sem alterar o modelo em si. Em vez de tentar forçar o modelo a lembrar de tudo por conta própria, este método fornece ao agente um caderno externo compartilhado que tanto ele quanto um supervisor humano podem ler e atualizar. Este caderno atua como um registro durável de onde o agente está, o que ele prometeu fazer a seguir e qual prova é necessária antes que ele possa avançar. Ao tratar o processo de execução como uma série de fases distintas com checkpoints claros, o sistema garante que o agente não se desvie do curso ou deixe uma tarefa inacabada.
Os pesquisadores por trás deste estudo, liderados por Ziheng Qin e colegas, construíram um sistema leve chamado StateM para testar essa ideia. Eles o projetaram para funcionar com agentes de computador padrão que operam através de linhas de comando, de forma muito semelhante a um humano digitando instruções em um terminal. O núcleo de sua invenção é um documento simples e legível chamado runbook. Este documento atua como um mapa e um contrato para o agente. Ele divide uma grande tarefa em estágios específicos, ou estados, tais como planejamento, construção, verificação e entrega do trabalho. Quando o agente entra em um novo estágio, o sistema atualiza suas instruções e mostra exatamente o que ele precisa realizar antes de poder sair. Crucialmente, o agente não pode simplesmente declarar um estágio como concluído; ele deve passar por uma verificação de conformidade. Se o agente tentar pular uma etapa ou falhar em uma verificação, o sistema o interrompe e o força a reparar o erro antes de prosseguir. Isso cria um espaço compartilhado onde o agente e um humano podem inspecionar o trabalho, auditar as decisões e atualizar as regras juntos.
Para ver se essa abordagem funcionava, a equipe a testou em um conjunto rigoroso de 89 tarefas de computador complexas conhecidas como Terminal-Bench. Eles começaram com um modelo poderoso chamado GPT-5.5 e aplicaram seu novo sistema. Os resultados foram impressionantes. Sem alterar o código interno do modelo ou treiná-lo com novos dados, o sistema melhorou a taxa de sucesso do modelo de 83,1 por cento para 92,1 por cento. Esse ganho foi tão significativo que efetivamente fechou a lacuna entre este modelo mais antigo e uma versão mais recente e avançada do software. Os pesquisadores então pegaram o mesmo conjunto de regras, ou runbook, e o aplicaram a um modelo ainda mais novo, o GPT-5.6, sem fazer quaisquer ajustes. O sistema teve um desempenho ainda melhor, alcançando uma precisão bruta de 95,3 por cento ao longo de centenas de tentativas. Ele resolveu com sucesso todas as 89 tarefas pelo menos uma vez, demonstrando que as regras desenvolvidas para um modelo podiam ser transferidas perfeitamente para um modelo mais novo.
O estudo também explorou se esses benefícios poderiam ser alcançados com tipos de modelos de inteligência artificial mais baratos e diferentes. Quando aplicaram os mesmos princípios a um modelo chamado DeepSeek-V4 Flash, os resultados iniciais foram mistos porque as regras exatas não se ajustavam perfeitamente. No entanto, ao gastar uma pequena quantia — menos de trinta e oito dólares — para adaptar as práticas específicas a este novo modelo, eles conseguiram elevar seu desempenho de 82,7 por cento para 88,1 por cento. O custo total para provar este resultado, incluindo a adaptação e o teste final, foi de aproximadamente cinquenta e dois dólares. Em contraste, a submissão pública mais cara para um resultado de alto nível semelhante custou quase seiscentos dólares. Isso sugere que investir em um melhor sistema de execução pode ser muito mais econômico do que simplesmente comprar o modelo mais poderoso disponível.
Os pesquisadores também testaram seu sistema em um conjunto diferente de tarefas envolvendo fluxos de trabalho de negócios, como aprovação de orçamentos ou operação de maquinário. Aqui, os resultados mostraram que as regras funcionavam melhor quando correspondiam à natureza específica do trabalho. Para tarefas que exigiam adesão estrita às regras e entregas claras, o sistema proporcionou melhorias massivas, às vezes dobrando a taxa de sucesso. No entanto, para tarefas que eram muito diferentes em estrutura, o sistema às vezes tornava as coisas piores se as regras fossem muito rígidas ou aplicadas à parte errada do processo. Isso ensinou aos pesquisadores que a chave não é ter uma lista massiva de regras para cada situação possível, mas identificar os limites específicos onde os erros são mais propensos a acontecer e aplicar verificações apenas ali.
Em última análise, este trabalho sugere que a confiabilidade da inteligência artificial depende tanto de como gerenciamos seu trabalho quanto de quão inteligente é o modelo. Os pesquisadores identificaram três razões principais pelas quais agentes capazes falham: eles carecem do conhecimento certo no momento da decisão, esquecem lições aprendidas de tentativas anteriores ou falham em seguir um procedimento que já conhecem. Seu sistema aborda essas questões mantendo um registro fresco e claro da fase atual, armazenando lições em um documento versionado que pode ser reutilizado e forçando o agente a provar que concluiu uma etapa antes de prosseguir. As descobertas indicam que não precisamos necessariamente esperar pela próxima geração de modelos superinteligentes para resolver problemas complexos. Em vez disso, ao construir melhores sistemas para guiar os modelos que já possuímos, podemos transformar agentes capazes, porém não confiáveis, em máquinas robustas que concluem o trabalho. O caminho a seguir não é apenas sobre tornar o cérebro maior, mas sobre construir um corpo melhor para carregá-lo através do trabalho.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.