Resumo Técnico: Long-Horizon-Terminal-Bench

Definição do Problema

Os agentes de IA atuais, construídos sobre Grandes Modelos de Linguagem (LLMs), demonstraram proficiência em tarefas de terminal curtas e bem delimitadas (por exemplo, corrigir um problema de código específico ou emitir alguns comandos de shell). No entanto, os benchmarks de terminal existentes (como o Terminal-Bench e o SWE-Bench) concentram-se majoritariamente nesses problemas de horizonte curto, tipicamente avaliados em minutos e graduados puramente por um resultado binário de "passou/falhou". Esse paradigma de avaliação cria duas lacunas críticas:

1. Subestimação da Dificuldade: Horizontes curtos não conseguem capturar a complexidade de fluxos de trabalho do mundo real que exigem centenas de etapas, planejamento sustentado ao longo de horas e depuração iterativa.
2. Sinais de Recompensa Esparsos: A graduação binária ignora o progresso intermediário. Um agente que completa 90% de um fluxo de trabalho complexo, mas falha na etapa final, recebe a mesma pontuação que um agente que falha imediatamente, obscurecendo a capacidade real do agente e dificultando o diagnóstico de modos de falha específicos (ex: parada prematura vs. tempo esgotado/timeout).

Metodologia

Os autores introduzem o Long-Horizon-Terminal-Bench (LHTB), um benchmark projetado para testar o estresse de agentes em tarefas de terminal de longo horizonte e domínio específico, utilizando uma graduação de recompensa baseada em processo e densa.

Construção das Tarefas

• Escopo: O benchmark consiste em 46 tarefas abrangendo nove categorias, incluindo reprodução de experimentos, engenharia de software, análise multimodal, jogos interativos e computação científica.
• Formato: As tarefas seguem a formulação do Terminal-Bench: um ambiente Docker conteinerizado com uma instrução em linguagem natural, arquivos/ferramentas relevantes e uma solução oráculo. Os agentes interagem inteiramente via terminal.
• Complexidade: As tarefas foram explicitamente projetadas para exigir centenas de etapas e tempos de execução variando de dezenas de minutos a horas. Elas envolvem leitura/modificação de código, execução de scripts longos e inspeção de saídas parciais.
• Calibragem de Dificuldade: As tarefas foram construídas criando projetos de terminal "deliberadamente quebrados". Para evitar o overfitting, as verificações públicas são mínimas (validando apenas o comportamento da CLI e exemplos simples), enquanto a maior parte da recompensa é derivada de casos de estresse ocultos (ex: manifestos aninhados, variações de esquema, ruído injetado) que exigem soluções robustas e generalizáveis.

Mecanismo de Graduação: Recompensas Densas

Ao contrário da avaliação binária, o LHTB emprega um esquema de graduação baseado em subtarefas:

• Cada tarefa é decomposta em subtarefas semanticamente significativas ($s_1, \dots, s_K$).
• Um graduador determinístico atribui uma pontuação normalizada $r_k \in [0, 1]$ a cada subtarefa com base em evidências objetivas (arquivos, saídas, resultados de testes).
• A recompensa final $R$ é uma média ponderada: $R = \frac{\sum w_k r_k}{\sum w_k}$.
• Isso permite o crédito parcial, capturando o quão longe um agente progrediu mesmo que ele falhe em atingir o objetivo final.

Configuração de Avaliação

• Modelos: 15 modelos de fronteira foram avaliados (incluindo GPT-5.5, DeepSeek V4 Pro, Kimi K2.7 Code, etc.).
• Harness: O harness de agente Terminus-2 foi utilizado para a maioria dos modelos, interagindo através de uma única sessão de terminal de longo horizonte.
• Restrições: As tarefas possuem um limite de tempo (wall-clock timeout) de 90 minutos.
• Métricas: Pass@1 (nos limiares $R \ge 0.9, 0.95, 1.0$), recompensa normalizada média, episódios por tarefa, tempo de execução e custo estimado.

Principais Resultados

A avaliação revela que a execução de longo horizonte continua sendo um gargalo significativo mesmo para os modelos mais avançados.

• Baixas Taxas de Sucesso: Mesmo o modelo mais forte, GPT-5.5, alcançou uma taxa de passagem de apenas 15,2% no limiar de $R \ge 0,95$ e 10,9% de conclusão perfeita ($R=1,0$). A taxa de passagem média entre todos os 15 modelos foi de apenas 4,3% em $R \ge 0,95$.
• Consumo de Recursos: As tarefas são extremamente exigentes, com uma média de 231 episódios, 9,9 milhões de tokens e 85,3 minutos de tempo de execução por execução.
• Eficiência de Custo: Existe uma grande variância na eficiência de custo. O GPT-5.5 é o mais caro ($21/tarefa), porém o mais eficaz. O Hy3 ancora a fronteira de baixo custo ($2,5/tarefa) com sucesso moderado. Muitos modelos incorrem em altos custos com sucesso negligenciável, indicando que o aumento nos gastos de inferência por si só não resolve as falhas de longo horizonte.
• Modos de Falha:
  • Timeouts: 79% das execuções não resolvidas terminaram devido ao esgotamento do orçamento de 90 minutos enquanto o agente ainda estava trabalhando, frequentemente com baixas recompensas médias (0,10–0,35).
  • Falsos Términos (False Finishes): Uma parte significativa das "saídas antecipadas" (agentes parando voluntariamente) ocorreu em níveis de recompensa elevados ($R \ge 0,75$), onde o agente julgou incorretamente que a tarefa estava completa. Isso destaca uma fraqueza na autoverificação e nos critérios de parada.
  • Binário vs. Denso: Sob graduação binária estrita ($R \ge 1,0$), 10 dos 15 modelos resolveram zero tarefas. A graduação densa revelou que 62,8% das execuções fizeram um progresso parcial significativo, distinguindo modelos que estavam "perto" daqueles que falharam imediatamente.

Significância e Alegações

O artigo afirma que o Long-Horizon-Terminal-Bench é necessário para ir além das limitações da avaliação baseada apenas no resultado. Suas principais contribuições são:

1. Revelar o Progresso Oculto: Recompensas densas expõem "quase-acertos" e progresso parcial que a graduação binária obscurece, fornecendo uma visão mais matizada das capacidades dos agentes.
2. Identificar o Gargalo: Os resultados sugerem que a principal limitação para os agentes atuais não é a correção do raciocínio local (que os benchmarks curtos medem), mas sim a conclusão confiável de longo horizonte. Os agentes têm dificuldade em gerenciar o tempo, manter o estado ao longo de trajetórias longas e calibrar decisões de parada.
3. Benchmarking da Realidade: Ao exigir centenas de etapas e horas de execução, o LHTB fornece um teste de estresse mais realista para agentes autônomos do que os benchmarks anteriores, mostrando um amplo espaço para melhorias.
4. Recurso para Trabalhos Futuros: Os autores liberam o benchmark e o harness de avaliação para apoiar o desenvolvimento de agentes capazes de planejar, verificar e executar de forma confiável ao longo de horizontes estendidos.

Os autores concluem que, embora os agentes atuais possam realizar etapas locais corretamente, eles carecem da robustez necessária para sustentar o progresso e verificar a conclusão nos longos horizontes exigidos por fluxos de trabalho práticos do mundo real.