Resumo Técnico: CLQT – Um Benchmark de Ciclo Fechado, Consciente de Custos e Consistente com Estratégia para Avaliação Diagnóstica de Agentes de Gestão de Portfólio de LLM

1. Declaração do Problema

Os benchmarks atuais para agentes de Large Language Model (LLM) em finanças mudaram de perguntas estáticas de resposta para negociações sequenciais. No entanto, o paradigma de avaliação prevalecente baseia-se em leaderboards que classificam agentes por retornos (ex: razão de Sharpe, retorno cumulativo) sobre janelas fixas. Os autores argumentam que esta abordagem é fundamentalmente falha para fins de pesquisa porque:

• Dominância do Mercado: Os retornos são frequentemente dominados pelo caminho realizado do mercado e pelo perfil de risco, em vez da qualidade do raciocínio do agente.
• Vazamento e Alpha: O "alpha" aparente muitas vezes se dissolve quando o vazamento de dados de antecipação (look-ahead) é controlado, deixando majoritariamente uma exposição a fatores passivos.
• Diagnóstico Incompleto: Uma pontuação única não certifica nem a solidez do raciocínio, nem a consistência da estratégia, nem a durabilidade de uma vantagem (edge).
• Infraestrutura Ausente: Os benchmarks existentes falham em implementar simultaneamente semântica de dados ponto-no-tempo (PiT), modelagem realista de custos de transação/financiamento, avaliação de decisões de nível de portfólio, medição de consistência de estratégia entre rodadas, acumulação de memória estruturada e tratamento da orquestração de ferramentas como uma capacidade mensurável.

O artigo postula que a contribuição duradoura de um benchmark não deve ser um ranking, mas sim um instrumento diagnóstico que localize onde e por que o processo de decisão de um agente tem sucesso ou falha.

2. Metodologia e Design do Sistema

2.1 Arquitetura Central: O Ciclo Fechado

O CLQT é um ambiente de ciclo fechado, consciente de custos e temporalmente controlado. Ele opera em um ciclo de cinco estágios (coletar, sintetizar, construir, executar, refletir) seguindo a tradição raciocinar–agir–refletir:

1. Aquisição de Inteligência (IA): Coleta dados de mercado, notícias, macro e classes de ativos.
2. Síntese de Sinais de Múltiplas Fontes (MSS): Produz sinais, avaliações de risco e decomposições de fatores.
3. Construção de Portfólio Consciente de Mandato (MAPC): Propõe e valida alocações alvo contra mandatos de investimento.
4. Execução de Ordens com Custo Ótimo (COE): Gera e executa ordens com estratégias de minimização de custos.
5. Atribuição e Extração de Lições (ALE): Atribui o desempenho, extrai lições estruturadas e atualiza a memória.

O sistema suporta dois Modos de Habilidade:

• Estruturado: Um comitê de seis agentes (Pesquisa, Analista, PM, Oficial de Risco, Execução, Reflexão) com subconjuntos de ferramentas restritos e fluxos de trabalho prescritos.
• Autônomo: Um único agente detendo todo o pipeline com acesso total a ferramentas e autonomia de decisão.

2.2 Seis Pilares de Design

1. Hard TimeGate: Impõe semântica de dados ponto-no-tempo. Nenhum acesso a dados é permitido se timestamp > as_of_ts. Isso trata o vazamento como uma precondição falha.
2. Modelagem de Custo Institucional: Rastreia o PnL por posição com base de custo de média ponderada, custos de financiamento diários e quatro modelos de impacto de mercado selecionáveis (fixo, raiz quadrada, Almgren–Chriss, estrutural).
3. Pontuação de Consistência de Estratégia: Computa um ConsistencyScore por rodada baseado em desvio de estilo, consistência de turnover, adesão ao sinal e alinhamento ao mandato.
4. Memória de Três Níveis:
   • Trabalho: Observação atual + rodadas recentes.
   • Episódica: Registros de evento-ação-resultado com decaimento.
   • Semântica: Padrões generalizados entre classes de ativos.
   • Inclui uma passagem de consolidação para fundir registros e mecanismos de decaimento para simular o esquecimento.
5. Camada de Ferramentas Model-Context-Protocol (MCP): Os agentes interagem via 19 ferramentas quantitativas tipadas (dados de mercado, ferramentas quant, notícias, execução). Cada chamada de ferramenta é rastreada por hash, tempo e auditável.
6. Síntese Consciente de Mandato: Um pipeline que reconcilia propostas de otimizadores quantitativos com sobreposições táticas do agente, sujeito a restrições e validação do Oficial de Risco.

2.3 Integridade de Dados e Trilha de Auditoria

• Cadeia de Hash à Prova de Adulteração: Cada rodada emite um DecisionRound selado em uma cadeia de hash. O hash da observação e o hash da ação estão vinculados ao hash da ação da rodada anterior. Qualquer edição post-hoc quebra a cadeia, permitindo verificação por terceiros sem instrumentação adicional.
• Controle de Contaminação: Utiliza cortes de treinamento de modelos para filtrar janelas de backtest e um rastreamento de corretora real para validação de dados pós-corte.

3. Estrutura de Avaliação: O Scorecard de Cinco Eixos (APM-CS)

Em vez de uma métrica única de retorno, o CLQT computa um scorecard de capacidade de cinco eixos derivado inteiramente da trilha de auditoria:

1. Coerência: Mede se a alocação escolhida decorre da análise declarada pelo agente.
   • Métrica: 50% de Acordo Sinal-Ação (correspondência de direção) + 50% de Pontuação do Juiz LLM Independente (consistência de raciocínio).
   • Inovação: Utiliza um juiz LLM com raciocínio avançado (minimax-m3) para mitir o viés de auto-preferência.
2. Acuidade: Mede a atenção a sinais informativos versus ruído.
   • Métrica: Correlação das operações propostas com um composto informativo (momentum, ganhos, macro) menos a correlação com um distrator de volatilidade de ruído.
3. Compostura: Mede a robustez à volatilidade (evitando churn).
   • Métrica: Regressão do turnover contra a volatilidade do mercado (menor inclinação é melhor) combinada com a consistência da estratégia.
4. Disciplina: Mede a autorregulação aos mandatos sem guardrails rígidos.
   • Métrica: Taxa de rodadas auto-restritas versus dependência do clipper MAPC.
5. Confiabilidade: Mede a adesão ao protocolo e robustez operacional.
   • Métrica: Taxa de conclusão, taxa de falha de parse e taxa de truncamento.

Agregação: Cada eixo é mapeado para um percentil de coorte. O APM-CS composto é a média desses cinco percentis. Um agente "superior" é definido como aquele que mostra dominância consistente através dos eixos e subperíodos, um padrão raramente alcançado de forma limpa.

4. Resultados Principais

4.1 Configuração da Campanha

• Coorte: 5 modelos (Qwen, Gemini, DeepSeek, GPT-5, Claude) nos modos Estruturado e Autônomo.
• Duração: 26 rodadas quinzenais (1 ano) para backtest; 9 dias para negociação em papel com corretora real.
• Ablação: 13 configurações incluindo exclusões de módulo único e remoções de clusters de múltiplos módulos.

4.2 Principais Descobertas

• Capacidade $\neq$ Resultado: O "vencedor de Sharpe" (Qwen-estruturado, Sharpe 9.82) foi exposto como um artefato de 5 rodadas com uma pontuação de Confiabilidade de 0.19 (devido a truncamentos e limites de taxa). O verdadeiro líder de capacidade (DeepSeek-estruturado, APM-CS 72.4) teve um Sharpe médio (2.96), mas um perfil equilibrado.
• Efeitos de Scaffold: Modos estruturados geralmente melhoraram os perfis de capacidade (especialmente Compostura e Disciplina), mas a magnitude variou conforme o modelo (ex: DeepSeek viu um aumento de +36 no APM-CS; GPT-5 viu um aumento de +1).
• Déficits Ocultos:
  • Confiabilidade: O Gemini-estruturado teve uma Confiabilidade de 0.61 apesar de um Sharpe saudável, devido a falhas persistentes de parse de esquema.
  • Acuidade: A Acuidade de toda a coorte foi fraca (0.06–0.18), indicando que os agentes tiveram dificuldade em distinguir sinais de alpha do ruído.
  • Lacuna de Coerência: Existe uma lacuna sistemática entre o acordo mecânico sinal-ação (0.6) e a pontuação do juiz de raciocínio (0.28). Esta lacuna persistiu tanto no backtest quanto nos dados reais (+0.33 vs +0.34), sugerindo um déficit fundamental em traduzir conhecimento declarativo em ação procedimental.
• Insights de Ablação: Remover módulos (notícias, macro, memória) não prejudicou significativamente os retornos no regime de mercado benigno e ascendente (todas as ablações permaneceram dentro da banda de ruído). No entanto, os eixos de capacidade revelaram degradação severa (ex: a Acuidade caiu para 0.02 quando a pilha de informações foi removida).
• Validação de Track Live: O instrumento mediu as mesmas propriedades de decisão em dados reais não vistos. A lacuna de coerência permaneceu estável, e o track live expôs modos de falha específicos do modo autônomo (comportamentos intermitentes de "hold" devido ao esgotamento do orçamento de ferramentas ou falhas de esquema) que os modos estruturados preveniram.

5. Significância e Alegações

O artigo afirma que o CLQT não é um leaderboard, mas um instrumento diagnóstico. Sua significância reside em:

1. Separar Resultado de Capacidade: Demonstra que altos retornos podem ser espúrios (impulsionados por regimes de mercado ou artefatos), enquanto baixos retornos podem mascarar um raciocínio robusto e disciplinado.
2. Processo sobre Produto: Ao pontuar a trilha de decisão (Coerência, Acuidade, etc.) em vez de apenas PnL, identifica modos de falha específicos (ex: déficits de "declarar-versus-fazer") que métricas baseadas em retornos perdem.
3. Auditabilidade: A cadeia de hash à prova de adulteração permite que qualquer terceiro verifique que as métricas relatadas são exatamente as produzidas pelo motor, sem instrumentação oculta.
4. Diagnóstico de Agentes Gerais: Os cinco eixos são enquadrados como instâncias financeiras de capacidades gerais de agentes (ex: Coerência como raciocínio de nível de sistema, Compostura como robustez à perturbação), tornando o benchmark aplicável a agentes mais amplos.
5. Ranking Modesto: Os autores explicitamente declinam de ranquear modelos, argumentando que um ranking credível requer um número de ordens de magnitude maior de modelos, regimes e execuções do que um único estudo pode fornecer. Em vez disso, fornecem um "mapa de limitações" para a coorte avaliada.

O artigo conclui que a "contribuição duradoura" é um mapa durável e extensível de competências e limitações de agentes, em vez de um snapshot de quem está "vencendo" atualmente.