Resumo Técnico: PORTBENCH

Declaração do Problema

Enquanto os Modelos de Linguagem de Grande Escala (LLMs) demonstraram proficiência em diversas tarefas financeiras, como recuperação de conhecimento e raciocínio numérico, a Gestão de Carteiras (PM) permanece inadequadamente avaliada por benchmarks. Os benchmarks financeiros existentes sofrem de duas lacunas críticas:

1. Negligência da Correlação entre Ativos: A maioria dos benchmarks restringe a cobertura a classes de ativos únicas ou avalia ativos isoladamente. Esse design falha em distinguir entre carteiras genuinamente diversificadas e aquelas altamente concentradas, ignorando as estruturas de correlação essenciais para a gestão de riscos (Markowitz, 1952; Qian et al., 2005).
2. Pipelines de Decisão Incompletas: As avaliações atuais dependem de previsões estáticas de etapa única ou avaliações parciais de múltiplas etapas. Elas falham em capturar o fluxo de trabalho sequencial completo da PM — abrangendo interpretação de mercado, geração de sinais, otimização de pesos, execução e monitoramento de riscos — onde erros em estágios iniciais podem se propagar em falhas catastróficas a jusante. Além disso, os benchmarks existentes geralmente avaliam sob condições normais de mercado com um único perfil de risco implícito, deixando a resiliência das estratégias sob estresse e seu alinhamento com tolerâncias específicas de investidores não testadas.

Metodologia

Os autores introduzem o PORTBENCH, um benchmark consciente de correlação e de pipeline completo, projetado para avaliar LLMs em seis classes de ativos heterogêneas (ações, commodities, títulos, criptomoedas, imóveis e equivalentes de caixa) ao longo de um período de dez anos (2015–2025). O framework consiste em quatro módulos principais:

1. Conjunto de Dados Base de Mercado

O conjunto de dados compreende 183 instrumentos financeiros distintos, incluindo históricos de preços diários, séries de retornos e textos de notícias associados. Inclui indicadores macroeconômicos (taxas de juros, inflação, spreads de crédito, índices de volatilidade) e é estruturado para destacar a disparidade entre baixas correlações interclasse e fortes correlações intraclasse.

2. Framework de Avaliação de Dupla Camada

O PORTBENCH avalia LLMs através de duas camadas complementares:

• Camada Estática de QA: Um conjunto de dados de 6.269 perguntas baseadas em correlação em sete modelos de tarefa (T1–T7), variando de previsão de ativo único até rebalanceamento impulsionado por regimes. Perguntas e verdades fundamentais são geradas automaticamente a partir de dados históricos usando fórmulas analíticas.
• Pipeline Dinâmico de Cinco Estágios: Um sandbox que espelha o ciclo completo de decisão da PM em cada data de rebalanceamento:
  • S1 (Interpretação de Mercado): Atribui pontuações de sentimento e identifica regimes de mercado.
  • S2 (Geração de Sinais): Mapeia o sentimento para sinais de negociação direcionais (comprar/vender/manter).
  • S3 (Otimização de Pesos): Propõe pesos de carteira sujeitos a restrições.
  • S4 (Simulação de Execução): Uma passagem determinística aplicando custos de transação e medindo o desvio de giro em relação ao oráculo.
  • S5 (Monitoramento de Riscos): Calcula Valor em Risco (VaR), drawdown e desvio de pesos, acionando o rebalanceamento se os limites forem violados.

3. Métricas Novas

Para abordar as limitações dos métodos de pontuação existentes, o PORTBENCH introduz:

• Pontuação de Correlação de Duas Camadas (para S3): Decompõe a pontuação de otimização de pesos em precisão (proximidade do índice de Sharpe ótimo) e estrutura de correlação. O componente de correlação penaliza a concentração intraclasse e recompensa o hedge interclasse, garantindo que as carteiras sejam avaliadas pela qualidade de sua diversificação, e não apenas pela otimização de retornos.
• CEPS (Pontuação de Propagação de Erros entre Estágios): Uma métrica que quantifica como erros de raciocínio se acumulam ao longo do pipeline. Diferente de uma média simples, o CEPS penaliza modelos onde o desempenho cai significativamente entre estágios consecutivos (por exemplo, sinais fortes levando a execução pobre), distinguindo falhas em cascata de desempenho uniformemente medíocre.

4. Avaliação de Estresse e Perfil de Investidor

Os modelos são avaliados sob três regimes históricos de estresse (Choque Chinês de 2015, Colapso da COVID de 2020, Colapso das Criptomoedas de 2022) e três perfis de investidor (Conservador, Equilibrado, Agressivo). O desempenho é medido pela capacidade dos modelos de passar por um "portão de estresse" (manter drawdowns dentro de tolerâncias específicas do perfil) e por sua capacidade de adaptar alocações a diferentes restrições de risco (Pontuação de Alinhamento de Perfil).

Resultados Principais

Os autores avaliaram dez LLMs de ponta (incluindo DeepSeek-V4, Qwen3, GLM-5 e Kimi-K2) contra cinco baselines clássicas (Peso Igual, 60/40, Paridade de Risco, Paridade de Risco de Covariância, Variância Mínima).

• Lacuna entre Conhecimento e Competência: Apesar do forte desempenho em tarefas estáticas de QA (particularmente tarefas orientadas por fórmulas onde matrizes de covariância são fornecidas), 90% das combinações modelo-perfil falharam em superar uma baseline básica de peso igual (1/N) em termos de retornos ajustados ao risco.
• Colapso de Execução: Uma modalidade de falha crítica identificada é o "subcomércio universal". Os modelos frequentemente geram sinais fortes (S2), mas falham em traduzi-los em um rebalanceamento significativo da carteira (S4). Isso é atribuído aos modelos tratarem a matriz de covariância como ruído ou falharem em analisá-la, resultando em pesos quase uniformes que exigem giro mínimo, colapsando assim as pontuações de execução.
• Fragilidade sob Estresse: Alto desempenho em mercados normais não prevê resiliência sob estresse. Seis dos dez modelos falharam no portão de estresse sob o perfil conservador durante o Colapso das Criptomoedas de 2022, apesar de satisfazerem todas as restrições procedimentais. Esses modelos sofreram drawdowns catastróficos porque suas alocações não hedgearam efetivamente contra quedas correlacionadas de ativos.
• Dissociação de Classificação: Há uma correlação negativa fraca ($\rho = -0.32$) entre a precisão de QA estática e o desempenho do pipeline dinâmico (CEPS). Modelos que se destacam na recuperação factual isolada frequentemente falham em sustentar o raciocínio ao longo da cadeia causal da gestão de carteiras.
• Valor da Adaptação: O principal valor dos LLMs identificado não é a geração bruta de retornos, mas a adaptação a restrições. Modelos que ajustaram com sucesso suas alocações a perfis de risco específicos de investidores (por exemplo, apertando limites de ações para investidores conservadores) demonstraram uma capacidade que as baselines estáticas não possuem, mesmo que seus retornos absolutos nem sempre superassem heurísticas simples.

Significado e Alegações

O artigo alega que o PORTBENCH fornece o primeiro benchmark abrangente e consciente de correlação para gestão de carteiras impulsionada por LLMs. Seu significado reside em:

1. Expor os Limites dos LLMs Atuais: Demonstra que forte conhecimento financeiro estático não se traduz em capacidades robustas de gestão de carteiras no mundo real, particularmente no que diz respeito à utilização de estruturas de covariância e execução de rebalanceamento.
2. Redefinir Padrões de Avaliação: Ao introduzir o CEPS e a pontuação consciente de correlação, o benchmark desloca o foco de resultados terminais para a qualidade do processo decisório e a propagação de erros.
3. Destacar a "Armadilha de Conformidade": O estudo revela que modelos podem satisfazer todas as restrições procedimentais (por exemplo, limites de ativos) enquanto ainda violam a segurança de resultados (por exemplo, drawdowns excessivos) sob estresse, uma modalidade de falha anteriormente não medida em benchmarks padrão.

Os autores concluem que o valor dos LLMs na gestão de carteiras atualmente reside na adaptação a restrições e na consciência de risco de cauda dentro de um único framework de decisão, em vez de gerar retornos superiores a estratégias ingênuas de diversificação. Eles alertam contra a implementação de alocações geradas por LLMs em negociação ao vivo sem supervisão humana rigorosa, pois até mesmo modelos de ponta exibem comportamento frágil sob condições de estresse.