When Valid Signals Fail: Regime Boundaries Between LLM Features and RL Trading Policies

Título: Quando Sinais Válidos Falham: Limites de Regime entre Recursos de LLM e Políticas de Trading por RL

Autor: Zhengzhe Yang (Pesquisador Independente)

1. O Problema

A aplicação de Grandes Modelos de Linguagem (LLMs) em decisões financeiras frequentemente sofre de uma mismatch de objetivos.

• O Dilema: Pipelines modulares geralmente otimizam o LLM para métricas de Processamento de Linguagem Natural (NLP), como precisão de classificação ou polaridade de sentimento. No entanto, essas métricas não garantem que os recursos extraídos (features) sejam preditivos para o objetivo final: a utilidade financeira em um agente de Aprendizado por Reforço (RL).
• A Lacuna: Existe uma desconexão entre a validade de um recurso intermediário (ex: um vetor de sentimento bem classificado) e sua capacidade de melhorar a performance de uma política de trading contínua, especialmente sob mudanças de distribuição (regimes de mercado diferentes).
• Objetivo do Trabalho: Investigar se LLMs podem gerar recursos numéricos contínuos que melhorem agentes de RL e entender por que recursos estatisticamente válidos às vezes falham em melhorar a performance do agente em cenários de estresse.

2. Metodologia

Arquitetura do Sistema

O sistema é projetado com separação estrita de componentes para isolar a contribuição do LLM:

1. Pipeline de Ingestão (Go): Coleta notícias, filings da SEC (EDGAR) e dados macroeconômicos. Garante a ausência de look-ahead bias ao processar dados apenas até o fechamento do dia $d$.
2. Extrator de Recursos (LLM Congelado): Um modelo Qwen3-235B (frozen) atua como um extrator de estado stateless. Ele transforma bundles de texto não estruturado em um vetor numérico fixo de 9 dimensões:
   • Recursos Nível de Ação (4 dims): Sentimento, Impacto, Sinais Conflitantes, Novidade da Notícia.
   • Recursos Macroeconômicos (5 dims): VIX, Treasury 10y, Spread de Crédito, e flags de regime inferidas.
3. Agente de RL (PPO): Um agente PPO (Proximal Policy Optimization) consome o vetor do LLM junto com dados de preços (OHLCV) e indicadores técnicos para tomar decisões de portfólio.

Otimização de Prompt (Loop Automatizado)

Em vez de usar perda de NLP (como BLEU ou Cross-Entropy), o autor introduz um loop de otimização onde o prompt é tratado como um hiperparâmetro discreto:

• Mecanismo: Um meta-otimizador (Claude API) sugere mutações estruturais no prompt (ex: adicionar exemplos few-shot, redefinir faixas de saída).
• Métrica de Otimização: O prompt é ajustado diretamente contra o Coeficiente de Informação (IC) — a correlação de posto de Spearman entre os recursos previstos e os retornos realizados — e não contra a qualidade do texto.
• Processo: Mutação $\rightarrow$ Extração $\rightarrow$ Avaliação de IC $\rightarrow$ Seleção.

Configuração Experimental

• Treinamento: Dados de 2023-2024.
• Validação (H1 2025): Período de alta volatilidade macroeconômica (choque de tarifas).
• Teste (H2 2025): Período de mercado mais calmo.
• Ablação: Comparação de quatro configurações: (1) Baseline (apenas preço/técnico), (2) Apenas LLM, (3) Apenas Macro, (4) LLM + Macro.

3. Principais Contribuições

1. Otimização de Prompt como Hiperparâmetro: Demonstração de que otimizar prompts contra métricas financeiras (IC) é superior à otimização contra métricas de NLP. O prompt otimizado elevou o IC de -0,024 para +0,104.
2. Descoberta da Lacuna "Validade de Recurso vs. Utilidade de Política": Evidência empírica de que recursos intermediários válidos (com alta correlação preditiva) não se traduzem automaticamente em melhoria de performance do RL. A eficácia depende do regime de mercado.
3. Análise Multi-Regime: Identificação de que variáveis macroeconômicas atuam como um "freio de regime" essencial, enquanto recursos de notícias podem adicionar ruído durante choques sistêmicos.

4. Resultados Chave

Validade dos Recursos (Pré-RL)

• O prompt otimizado (com exemplos few-shot) gerou recursos com IC positivo significativo.
• Os recursos de Impacto e Sinais Conflitantes tiveram os maiores ICs.
• A validade do sinal de sentimento segue um padrão de decaimento: é próximo de zero em 1 dia, atinge o pico em 3-10 dias e decai após 20 dias (devido à latência das notícias gratuitas).

Performance do Agente de RL (Pós-RL)

• Regime de Choque (H1 2025 - Alta Volatilidade):
  • O agente LLM-only teve o pior desempenho (Sharpe: -0,411), pior que a baseline.
  • O agente LLM + Macro também ficou abaixo da baseline (Sharpe: -0,267).
  • Conclusão: Durante choques macroeconômicos, os sinais de notícias específicas das ações tornam-se ruído, e o agente falha em ignorá-los, enquanto a baseline (focada em preço) é mais robusta.
• Regime Calmo (H2 2025):
  • Todos os agentes aumentados superaram a baseline.
  • O agente LLM-only recuperou performance (Sharpe: 1,001).
  • O agente Macro-only foi o mais forte (Sharpe: 1,099).
  • O agente combinado (LLM+Macro) teve desempenho intermediário, mas não estatisticamente superior à baseline (p=0,49).

Importância dos Recursos

• Análise de importância de árvore mostrou que, apesar de terem IC cruzado zero (pois são constantes para todas as ações no mesmo dia), os recursos macroeconômicos (VIX, Spread, Treasury) representam 58% da importância na decisão do agente. Eles informam quando reduzir a exposição, não qual ação escolher.

5. Significado e Conclusões

• Validade de Recurso $\neq$ Robustez de Política: O artigo alerta que métricas de validação de features (como IC) são insuficientes para garantir o sucesso de um agente de RL. Um recurso pode ser preditivo em média, mas destrutivo em regimes de distribuição shift (mudança de regime).
• O Papel do Macro: Variáveis macroeconômicas são os drivers mais robustos para a melhoria da política, atuando como um mecanismo de controle de risco ("regime brake") que os dados de notícias não conseguem replicar.
• Latência como Limitação: A resolução diária e a latência das fontes de notícias gratuitas limitam o horizonte de previsão útil dos LLMs a janelas de médio prazo (3-10 dias), tornando-os ineficazes para reações de curto prazo a choques.
• Recomendação: Pipelines que integram LLMs em RL financeiro devem incluir testes de estresse em múltiplos regimes e não depender apenas de otimização de features isolada. A avaliação deve ser feita na performance da política final sob condições de distribuição variáveis.

Em suma, o trabalho demonstra que, embora os LLMs possam ser calibrados para extrair sinais financeiros válidos, a integração desses sinais em agentes de trading autônomos exige uma compreensão profunda da dinâmica de regimes de mercado, onde o ruído das notícias pode superar o sinal durante crises sistêmicas.