$\texttt{YC-Bench}$: Benchmarking AI Agents for Long-Term Planning and Consistent Execution

Resumo Técnico: YC-Bench

1. O Problema

À medida que os agentes baseados em Grandes Modelos de Linguagem (LLMs) assumem tarefas cada vez mais complexas, surge uma questão crítica: eles conseguem manter a coerência estratégica ao longo de horizontes temporais longos?
Existem lacunas significativas na avaliação atual:

• Falta de Coerência de Longo Prazo: Muitos modelos falham em manter o alinhamento com objetivos iniciais ao longo de centenas ou milhares de interações, caindo em comportamentos repetitivos, alucinações ou "loops de colapso".
• Feedback Imediato vs. Atrasado: Benchmarks existentes (como Vending-Bench) testam consequências imediatas (ex: preço errado gera queda de vendas no dia seguinte). No entanto, o mundo real (como gerir um negócio) envolve riscos calculados com resultados não imediatos, onde decisões subótimas no curto prazo podem gerar recompensas no longo prazo.
• Adaptação Dinâmica: Os agentes precisam aprender com erros passados e adaptar-se a um mercado adversário, algo que benchmarks estáticos não capturam adequadamente.

2. Metodologia: O Benchmark YC-Bench

Os autores introduzem o YC-Bench, um benchmark de simulação baseado em Processo de Decisão de Markov Parcialmente Observável (POMDP). O objetivo é avaliar a capacidade de um agente de gerir uma startup simulada ao longo de um ano (centenas de turnos).

Mecânicas Principais do Ambiente:

• Objetivo: Maximizar o capital final da empresa (começando com $200.000) após um ano.
• Interface: O agente interage via uma interface de linha de comando (CLI), executando comandos como market browse (navegar no mercado), task accept (aceitar tarefas), task assign (atribuir a funcionários) e scratchpad write (escrever no bloco de notas).
• Dinâmica de Tarefas e Domínios: Existem 4 domínios (treinamento, inferência, pesquisa, engenharia de dados). As tarefas têm recompensas, prazos e requisitos de "prestígio" e "confiança" do cliente.
• Funcionários e Produtividade: A empresa possui uma equipe fixa com habilidades variadas por domínio. A produtividade aumenta com o sucesso, mas os salários também sobem, criando uma pressão financeira (folha de pagamento crescente).
• Clientes Adversários (O Desafio Central): Cerca de 35% dos clientes são "adversários". Eles oferecem recompensas altas, mas inflacionam secretamente a quantidade de trabalho após a aceitação, tornando o prazo impossível de cumprir. O status adversário é oculto; o agente deve inferi-lo analisando padrões de falha histórica.
• Memória e Janela de Contexto: A janela de contexto é truncada para os últimos 20 turnos. O único mecanismo para reter informações de longo prazo é um Scratchpad (bloco de notas persistente) injetado no prompt do sistema a cada turno. Isso força o agente a decidir autonomamente o que é crucial memorizar.

3. Contribuições Principais

1. Novo Benchmark de Coerência de Longo Prazo: O YC-Bench testa a capacidade de planejamento sob incerteza, recompensas esparsas e atrasadas, e adaptação a dinâmicas adversárias, superando benchmarks anteriores que focavam em tarefas de horizonte curto ou feedback imediato.
2. Avaliação Abrangente de Modelos: Testou 12 modelos (proprietários e open-source) de 7 provedores diferentes (OpenAI, Anthropic, Google, Alibaba, Zhipu, Moonshot, xAI), incluindo os modelos mais recentes (ex: GPT-5.4, Claude Opus 4.6, GLM-5).
3. Análise de Falhas e Lacunas: Identificou modos de falha específicos, como a incapacidade de detectar clientes adversários e a "desconexão entre raciocínio e execução" (o agente sabe o que fazer, mas não age).

4. Resultados Experimentais

Os resultados revelaram uma grande disparidade de desempenho entre os modelos de ponta:

• Sobrevivência e Lucro: Apenas 3 dos 12 modelos conseguiram consistentemente superar o capital inicial de $200K e gerar lucro substancial:

  1. Claude Opus 4.6: Média final de $1.27M (o melhor desempenho absoluto).
  2. GLM-5: Média final de $1.21M.
  3. GPT-5.4: Também lucrou, mas com desempenho inferior aos dois anteriores.
  • Nota: 7 modelos terminaram com prejuízo ou faliram em pelo menos uma das sementes (seeds).

• Fator Crítico de Sucesso: Uso do Scratchpad:

  • O uso do scratchpad foi o preditor mais forte de sucesso.
  • Modelos vencedores usaram o scratchpad para criar "listas negras" de clientes adversários e "listas brancas" de clientes confiáveis, mantendo essa estratégia mesmo após o truncamento do histórico de conversa.
  • Modelos que falharam frequentemente ignoraram o scratchpad ou não atualizaram suas regras estratégicas.

• Modos de Falha Dominantes:

  • Detecção de Clientes Adversários: Responsável por 47% das falências. A maioria dos modelos não conseguiu identificar o padrão de inflação de trabalho e continuou aceitando tarefas de clientes ruins.
  • Atribuição Incorreta de Funcionários: Falha em alinhar as habilidades específicas dos funcionários com as tarefas, levando a atrasos e penalidades.
  • Superparalelização: Aceitar muitas tarefas simultaneamente, diluindo a produtividade da equipe.

• Eficiência de Custo:

  • O Kimi-K2.5 foi o modelo mais eficiente em termos de custo (receita gerada por dólar de custo de API), superando modelos proprietários caros.
  • O GLM-5 ofereceu um desempenho de topo com um custo de inferência 11 vezes menor que o do Claude Opus 4.6.

5. Significado e Conclusão

O YC-Bench demonstra que, embora os modelos de fronteira sejam capazes de raciocínio complexo em tarefas curtas, eles ainda lutam com a coerência estratégica de longo prazo.

• A Lacuna Raciocínio-Ação: O estudo revela que muitos modelos conseguem derivar estratégias corretas (ex: "evitar o cliente X") no scratchpad, mas falham em executar essas ações consistentemente ao longo do tempo, indicando que a deliberação e a execução ainda não são capacidades unificadas.
• Importância da Memória Persistente: A capacidade de usar ferramentas de memória externa (como o scratchpad) para contornar limitações de contexto é essencial para tarefas de longo horizonte.
• Reprodutibilidade: O benchmark é de código aberto, reproduzível e configurável, permitindo que a comunidade teste futuros modelos contra dinâmicas adversárias e de crescimento composto.

Em suma, o YC-Bench estabelece um novo padrão para avaliar se os agentes de IA podem realmente "gerir negócios" complexos, onde o sucesso depende não apenas de inteligência pontual, mas de disciplina estratégica, aprendizado contínuo e adaptação a um ambiente hostil ao longo do tempo.