Portfolio Optimization Proxies under Label Scarcity and Regime Shifts via Bayesian and Deterministic Students under Semi-Supervised Sandwich Training

Este artigo propõe um framework de otimização de portfólio assistido por aprendizado de máquina que utiliza um pipeline de ensino-aprendizagem com dados sintéticos e modelos Bayesianos e determinísticos para superar a escassez de dados e a incerteza de regimes, demonstrando robustez e desempenho superior ao otimizador CVaR em ambientes de mercado reais.

O essencial

Imagine que você é um chef de cozinha tentando criar a receita perfeita para um prato que nunca falha, mesmo quando os ingredientes mudam de qualidade ou o clima da cozinha fica caótico.

Este artigo científico é sobre como usar Inteligência Artificial (IA) para gerenciar investimentos (carteiras de ações) de forma mais inteligente, especialmente quando há poucos dados históricos e o mercado é imprevisível.

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Problema: A Cozinha Caótica

Tradicionalmente, os investidores usam fórmulas matemáticas antigas (como a de Markowitz) para decidir onde colocar o dinheiro. O problema é que essas fórmulas são como receitas de bolo escritas para um dia de sol perfeito.

• Elas assumem que o mercado se comporta de forma suave e previsível.
• Quando chega uma crise (uma "tempestade" no mercado), essas fórmulas falham porque não preveem o pior cenário (cauda gorda).
• Além disso, elas são muito sensíveis: um pequeno erro na previsão de hoje pode fazer o chef trocar todos os ingredientes amanhã, gerando custos desnecessários (muitas trocas de ações).

2. A Solução: O Mestre e o Aprendiz (Teacher-Student)

Os autores criaram um sistema de aprendizado inspirado em como um mestre ensina um aprendiz.

• O Mestre (Teacher): É um robô super-rigoroso e conservador. Ele usa uma técnica chamada CVaR (que é como um "seguro contra o pior desastre possível"). Ele calcula a melhor carteira possível para evitar perdas catastróficas. Ele é lento e difícil de usar em tempo real, mas é muito seguro.
• O Aprendiz (Student): É uma Rede Neural (um tipo de IA). O objetivo é treinar esse aprendiz para imitar o Mestre, mas de forma mais rápida e adaptável.

3. O Truque: O "Sanduíche" de Treinamento

Como o mercado real tem poucos dados confiáveis (poucas "receitas testadas"), como treinar o aprendiz?
Eles usaram um método chamado "Treinamento de Sanduíche":

1. Pão de Cima (Dados Reais): O aprendiz vê os dados reais e tenta copiar o Mestre.
2. Recheio (Dados Sintéticos): Como não há dados suficientes, eles criaram milhares de cenários de mercado falsos, mas realistas (como simulações de computador). O aprendiz pratica nesses cenários para aprender a lidar com o caos.
3. Pão de Baixo (Dados Reais): O aprendiz volta aos dados reais para "ancorar" o que aprendeu, garantindo que ele não esqueceu a realidade.

É como um piloto de avião que treina em simuladores de tempestade (dados sintéticos) e depois voa em dias reais, sempre tendo um instrutor (o Mestre) por perto.

4. A Grande Descoberta: A IA "Bayesiana" (O Aprendiz Consciente)

Eles testaram dois tipos de aprendizes:

• O Determinístico: Acredita que sabe tudo. Se o sinal for um pouco confuso, ele muda a carteira drasticamente. Isso gera muitas trocas de ações e custos altos.
• O Bayesiano (O Vencedor): Este é o "aprendiz cauteloso". Ele não diz apenas "compre esta ação". Ele diz: "Eu acho que devo comprar, mas tenho 30% de dúvida sobre isso".
  • A Mágica: Quando a IA tem dúvida, ela não faz nada ou faz mudanças pequenas.
  • Resultado: Isso cria uma economia automática de custos. O modelo Bayesiano troca menos ações (cerca de 50% menos que o outro), economizando dinheiro em taxas de corretagem, sem que ninguém tenha programado uma regra para isso. É uma "regularização implícita".

5. O Paradoxo da Alta Volatilidade (O Efeito "HIGHVOL")

Aqui está a parte mais surpreendente e contra-intuitiva:

• Eles treinaram a IA com dados de um conjunto de ações (ex: ETFs grandes).
• Depois, testaram em um conjunto totalmente diferente de ações (outros ETFs e setores).
• O Resultado: Em tempos de mercado calmo, a IA funcionou bem no novo conjunto. Mas, em tempos de pânico e alta volatilidade, a IA ficou MUITO melhor no novo conjunto do que no original!
• Por quê? A IA aprendeu a lógica de "fuga para a segurança" (como ir para títulos do governo ou setores defensivos). Quando o mercado de teste tinha opções mais específicas para se defender (como ações de utilidade pública ou saúde), a IA soube usar essas ferramentas melhor do que no mercado de treinamento. Ela aprendeu o princípio da defesa, não apenas a receita específica.

Resumo dos Benefícios

1. Menos Risco de Desastre: O modelo protege melhor contra quedas bruscas do que as fórmulas tradicionais.
2. Menos Custos: Ele troca menos ações automaticamente porque "duvida" quando o mercado está confuso, economizando taxas.
3. Adaptabilidade: Funciona bem mesmo quando o mercado muda de comportamento ou quando usamos em grupos de ações diferentes dos que usamos para treinar.

Conclusão

O artigo mostra que, em um mundo onde os dados são escassos e o mercado é caótico, a melhor estratégia não é tentar prever o futuro com certeza absoluta (o que gera erros e custos), mas sim usar uma IA que sabe quando não sabe. Essa "humildade" da IA (incerteza) é o que a torna mais lucrativa e segura para o investidor comum.

Resumo técnico

Resumo Técnico: Otimização de Carteiras com Escassez de Dados e Mudanças de Regime

1. O Problema

A otimização de carteiras clássica (baseada em Markowitz ou CVaR) enfrenta limitações práticas severas em mercados reais:

• Suposições Irrealistas: Assume distribuições normais e correlações lineares, falhando em capturar "caudas gordas" (fat tails) e não-linearidades durante estresses de mercado.
• Fragilidade de Estimação: Pequenos erros na estimativa de retornos esperados e covariâncias levam a grandes mudanças nos pesos da carteira.
• Cegueira de Cenários: Otimizadores tradicionais não generalizam para regimes de estresse não vistos anteriormente.
• Escassez de Dados: Em ambientes financeiros, o número de observações rotuladas (dados históricos de alta qualidade) é frequentemente baixo em relação à dimensionalidade dos dados (small-n, high-p), levando ao sobreajuste em modelos de Deep Learning padrão.
• Falta de Incerteza: Modelos determinísticos não quantificam a incerteza, tornando difícil detectar quando o modelo está operando fora de sua distribuição de treinamento.

O objetivo deste trabalho é desenvolver um framework de aprendizado de máquina que funcione em ambientes com escassez de dados e incerteza de regime, superando as limitações dos otimizadores clássicos e dos modelos de deep learning puramente determinísticos.

2. Metodologia

O artigo propõe um pipeline de Aprendizado de Máquina Assistido baseado em uma arquitetura Professor-Aluno (Teacher-Student) utilizando Treinamento em Sanduíche Semi-supervisionado.

A. O Professor (Teacher):

• Um otimizador de CVaR (Conditional Value at Risk) que gera os rótulos de supervisão (pesos da carteira ótimos).
• O CVaR é escolhido por sua capacidade de controlar o risco de cauda, sendo mais robusto que a variância em distribuições não gaussianas.
• O professor resolve o problema de otimização convexa em datas rotuladas para gerar os alvos de treinamento.

B. O Aluno (Student):

• Redes Neurais que aprendem a aproximar o comportamento do professor.
• São comparados quatro tipos de alunos:
  1. DNN-sup: Rede Determinística, apenas supervisionada.
  2. BNN-sup: Rede Bayesiana (BNN), apenas supervisionada.
  3. DNN-S: Rede Determinística com Treinamento em Sanduíche.
  4. BNN-S: Rede Bayesiana com Treinamento em Sanduíche (o modelo proposto).

C. Treinamento em Sanduíche (Sandwich Training):
Adaptado da literatura de otimização de redes elétricas, este método alterna entre fases supervisionadas e não supervisionadas:

1. Aquecimento Supervisionado: O modelo aprende a imitar os rótulos do professor CVaR.
2. Ciclos Alternados:
   • Fase Supervisionada: Mantém a fidelidade à imitação do professor.
   • Fase Não Supervisionada: Utiliza dados sintéticos (gerados por um modelo de fatores com resíduos t-copula) para minimizar o CVaR empírico e penalizar a concentração da carteira, sem rótulos do professor. Isso força o modelo a aprender a estrutura de risco subjacente.
3. Ancoragem Supervisionada: Re-alinha o modelo com as preferências de risco do professor.

D. Geração de Dados Sintéticos:
Para contornar a escassez de dados rotulados reais (apenas 104 pares), o pipeline gera trajetórias de mercado sintéticas usando:

• Dinâmica de fatores via processo VAR(1).
• Dependência de cauda entre ativos preservada via t-copula.
• Isso cria um pool de treinamento expandido (104 reais + 323 sintéticos).

E. Avaliação:
O framework é testado em três níveis:

1. Estabilidade de Treinamento (GRID 3x5): Variação de sementes em dados sintéticos.
2. C2A (In-Distribution): Avaliação em dados reais no mesmo universo de ativos (2022-2026), focando em robustez a restrições.
3. D2A (Cross-Universe): Generalização para um universo de ativos desconectado (diferentes ETFs/setores), testando a capacidade de transferência de heurísticas de risco.

3. Principais Contribuições

1. Framework Professor-Aluno para Finanças: Adaptação do paradigma de "proxy de otimização" para finanças, usando CVaR como sinal de supervisão para redes neurais lidarem com dados esparsos e de cauda gorda.
2. Pipeline BNN com Consciência de Incerteza: Combinação de geração de dados sintéticos baseada em fatores com Redes Neurais Bayesianas. O BNN fornece estimativas de incerteza calibradas, evitando compromissos excessivos quando os dados são limitados ou o regime muda.
3. Redução Implícita de Turnover (Rotação): Descoberta de uma propriedade emergente: modelos Bayesianos (BNN-S) regulam automaticamente o turnover semanal para 11-14% (cerca de 50% menos que modelos determinísticos), sem penalidade explícita de custo de transação no objetivo de treinamento. Isso ocorre porque a marginalização da incerteza posterior inibe ajustes de peso agressivos baseados em sinais ruidosos.
4. Generalização Hierárquica e o "Paradoxo HIGHVOL":
   • Em regimes de alta volatilidade, o modelo treinado em índices agregados (C2A) apresentou desempenho superior quando aplicado a um universo de ativos desconhecido e decomposto por fatores (D2A).
   • O Sharpe Ratio melhorou em +140% a +276% no D2A durante alta volatilidade.
   • Isso sugere que o modelo aprendeu heurísticas de redução de risco (ex: "voar para renda fixa") que se tornam mais eficazes quando o universo de avaliação oferece instrumentos defensivos específicos (ETFs setoriais, low-vol) que não estavam disponíveis no treinamento.

4. Resultados Chave

• Desempenho em Dados Reais (C2A e D2A): O modelo BNN-S (Bayesiano + Sanduíche) liderou consistentemente, alcançando um Sharpe Ratio de 2.44 sob restrições realistas no C2A e mantendo robustez no D2A.
• Eficiência de Pareto: O BNN-S dominou o otimizador CVaR (Professor) e a otimização Média-Variância, oferecendo um risco de cauda (CVaR) aproximadamente 2.4 vezes menor que a otimização Média-Variância, com retornos ajustados ao risco superiores.
• Estabilidade: O BNN-S apresentou menor variância no desempenho em diferentes sementes e regimes de mercado em comparação com modelos determinísticos.
• Resiliência a Regimes:
  • Em mercados de alta (bull market), modelos determinísticos (DNN-S) performaram melhor.
  • Em regimes de estresse (alta volatilidade), o BNN-S foi significativamente mais resiliente, superando estratégias como Risk-Parity e Minimum-Variance.
• Impacto de Custos: A redução implícita de turnover no BNN-S resultou em uma economia anual de custos de transação de aproximadamente 0.6% (assumindo 10 bps de atrito), comparado a ~1.23% em modelos determinísticos.

5. Significado e Implicações

• Validação do Paradigma de Proxy: Demonstra que aprender a estrutura de um otimizador ótimo (CVaR) é mais valioso do que memorizar soluções específicas, permitindo generalização para novos ativos e regimes.
• Regularização Natural via Bayesiano: A incerteza epistêmica das BNNs atua como um regularizador natural, prevenindo o overtrading (excesso de negociação) e melhorando a robustez sem a necessidade de adicionar penalidades de custo de transação no loss function.
• Transferência de Aprendizado em Finanças: O resultado do "Paradoxo HIGHVOL" sugere que, em finanças, a generalização pode melhorar quando o universo de destino oferece instrumentos mais granulares (fatores/setores) do que o universo de treinamento, permitindo que heurísticas aprendidas sejam aplicadas de forma mais eficaz.
• Aplicabilidade Prática: O framework é viável para sistemas de portfólio de varejo, operando com restrições realistas e exigindo menos dados rotulados do que métodos tradicionais de Deep Learning.

Conclusão:
O artigo apresenta uma abordagem híbrida (Otimização + Aprendizado) que supera as limitações dos métodos clássicos e puramente estatísticos em ambientes de dados escassos. Ao combinar otimização CVaR, dados sintéticos estruturados e redes bayesianas, o método proposto oferece carteiras mais robustas, com menor risco de cauda e menor custo de transação, adaptando-se melhor a mudanças estruturais no mercado.