Resumo Técnico: HERCULEAN – Um Benchmark Agêntico para Inteligência Financeira

Declaração do Problema

O desafio central no avanço de agentes de IA não é mais sua capacidade de resolver tarefas isoladas e bem definidas, mas sua capacidade de executar com confiabilidade fluxos de trabalho profissionais complexos e interconectados. No domínio financeiro, essa distinção é crítica: a análise só tem valor quando se traduz em decisões acionáveis sob incerteza. Os benchmarks financeiros existentes avaliam principalmente competências estáticas — como resposta a perguntas, sumarização, recuperação e classificação — ou ambientes interativos confinados, como negociação em sandbox. Essas abordagens falham em capturar as características definidoras do trabalho financeiro profissional, que exigem a coordenação de tipos de tarefas heterogêneas, a manutenção da coerência do raciocínio em ambientes de informação em evolução e o equilíbrio entre geração e verificação rigorosa. Consequentemente, há uma falta de avaliação padronizada para saber se agentes de ponta podem operar de ponta a ponta em fluxos de trabalho financeiros do mundo real.

Metodologia

Para abordar essa lacuna, os autores apresentam o HERCULEAN, o primeiro benchmark especializado projetado para avaliar agentes de IA de ponta em quatro formas representativas de trabalho financeiro: Negociação, Proteção (Hedging), Insights de Mercado e Auditoria.

Arquitetura do Benchmark

O HERCULEAN emprega um paradigma de avaliação padronizado e agnóstico à arquitetura, baseado no Protocolo de Contexto de Modelo (MCP). Cada fluxo de trabalho é instanciado como um ambiente dedicado de "habilidade" com suas próprias ferramentas, dinâmicas de interação, restrições e critérios de sucesso.

• Estrutura de Interação de Dois Níveis: Os agentes não interagem diretamente com o ambiente financeiro bruto. Em vez disso, interagem por meio de uma Camada de Habilidade estruturada que encapsula o protocolo de execução (ações permitidas, restrições temporais, especificações de saída). Essa camada é fundamentada por um Servidor MCP independente que gerencia o ambiente da tarefa, expõe ferramentas (por exemplo, recuperação de dados, cálculos) e aplica a lógica de avaliação.
• Definições de Fluxo de Trabalho:
  • Negociação: Os agentes tomam decisões diárias sequenciais (COMPRAR, VENDER, MANTER) para ativos únicos ao longo de um horizonte de três meses, com base em estados de mercado em evolução (preços, notícias, arquivos). A avaliação depende do retorno cumulativo (CR), do índice de Sharpe (SR) e do drawdown máximo (MDD).
  • Proteção (Hedging): Os agentes selecionam um par de ativos correlacionados e gerenciam uma posição neutra ao mercado (LONGO_CURTO, CURTO_LONGO, MANTER, FECHAR) ao longo de três meses. Isso exige raciocínio relacional entre ativos e rastreamento persistente de estado.
  • Insights de Mercado: Os agentes geram relatórios de investimento semanais estruturados (incluindo classificações e tese) para ativos únicos. A avaliação combina desempenho de negociação simulada com uma avaliação baseada em rubrica da qualidade do relatório (estrutura, precisão, fidelidade das evidências, raciocínio).
  • Auditoria: Os agentes verificam fatos numéricos XBRL em arquivos da SEC contra a taxonomia US-GAAP. Esta é uma tarefa determinística que exige que o agente localize valores reportados, raciocine sobre bases de links de cálculo e identifique discrepâncias. A avaliação utiliza precisão (ACC) e taxas de erro granulares (estrutural, extração, cálculo).

Configuração Experimental

O benchmark avaliou cinco frameworks de agentes (Agente ReAct, Claude Code, Codex, Hermes, OpenClaw) em quatro modelos base (Claude Sonnet 4.6, GPT-5.4, Qwen3.5-397B, Qwen3.5-27B).

• Restrições: Memória persistente e pesquisa na web integrada foram desativadas para isolar as capacidades de raciocínio em contexto.
• Dados: O ambiente utiliza uma janela de 16 meses (dezembro de 2024 a março de 2026) para backtesting e um regime ao vivo (abril a maio de 2026), cobrindo ações de grande capitalização dos EUA (MSFT, TSLA, AAPL, NVDA, etc.) e arquivos da SEC.
• Custo: O custo total de inferência foi de aproximadamente 4.000 USD.

Principais Resultados

A avaliação revela que os agentes de ponta atuais estão longe de serem sistemas profissionais confiáveis, com desempenho fortemente dependente do fluxo de trabalho específico e do controle de execução do framework do agente.

1. Capacidade Dependente do Fluxo de Trabalho:

   • Alto Desempenho: Os agentes performaram relativamente bem em Insights de Mercado e Negociação, onde as tarefas dependem fortemente de geração fluente, recuperação e síntese narrativa. Várias configurações alcançaram pontuações de rubrica acima de 9,0 em Insights de Mercado.
   • Lutas Significativas: Os agentes degradaram substancialmente em Proteção e Auditoria. A Proteção provou ser difícil devido à necessidade de raciocínio relacional entre ativos e rastreamento persistente de posições. A Auditoria permaneceu o desafio mais difícil, com até mesmo os sistemas mais fortes alcançando apenas 66,15% de precisão, indicando que a verificação financeira determinística é um gargalo fundamental.
   • Execução vs. Raciocínio: Muitas falhas ocorreram no nível de execução, e não no nível de raciocínio. Por exemplo, frameworks no estilo ReAct exibiram falhas estruturais graves na Auditoria (até 80% de taxas de erro estrutural), enquanto frameworks orientados a CLI (como o Claude Code) mantiveram taxas de falha estrutural próximas de zero.

2. Impacto do Design do Framework:

   • O mesmo modelo base exibiu comportamentos dramaticamente diferentes sob diferentes frameworks de agentes. Estabilidade de execução, gerenciamento de trajetória e interação estruturada com ferramentas foram encontrados como tão críticos quanto a capacidade de raciocínio do modelo base.
   • Laços leves de raciocínio-ação frequentemente colapsaram sob o uso repetido de ferramentas e restrições de fluxo de trabalho, enquanto frameworks pesados em execução demonstraram comportamento mais estável em horizontes longos.

3. Limitações do Modelo Base:

   • Embora os modelos base de ponta (Sonnet, GPT) geralmente superassem modelos de código aberto menores, a modelagem de linguagem superior por si só não garantiu competência financeira generalizada. Por exemplo, um modelo que se destacava na geração narrativa (Insights de Mercado) não necessariamente performou bem na verificação determinística (Auditoria).

Significado e Contribuições

O artigo reivindica três contribuições principais:

1. Benchmark HERCULEAN: A introdução do primeiro benchmark especializado avaliando agentes de ponta em fluxos de trabalho de serviços financeiros de ponta a ponta (Negociação, Proteção, Insights de Mercado, Auditoria), indo além de QA estático para trabalho profissional dinâmico.
2. Paradigma de Avaliação Padronizado: Uma proposta para um ambiente de habilidade fundamentado no MCP que permite avaliação consistente e agnóstica à arquitetura de sistemas de agentes heterogêneos por meio de protocolos de interação unificados e dinâmicas de execução.
3. Insights Empíricos: Uma avaliação abrangente revelando que o gargalo central na inteligência financeira agêntica atual não é meramente o conhecimento financeiro, mas a estrutura de controle necessária para preservar, atualizar e verificar o raciocínio através de formas heterogêneas de trabalho profissional.

Os autores posicionam o HERCULEAN como uma fundação para o desenvolvimento de agentes capazes de execução confiável de fluxos de trabalho financeiros, destacando que a transição da resolução de tarefas isoladas para a execução de fluxos de trabalho profissionais permanece um desafio significativo para o campo. O benchmark é lançado como um harness de avaliação acadêmica de código aberto, isentando explicitamente qualquer uso como aconselhamento financeiro, jurídico ou de investimento.