💻 computer science

A Reinforcement Learning Supervisor with Dynamic Performance-Metric Weighting for Cryptocurrency Portfolio Management

Este artigo propõe uma estrutura de supervisão de aprendizado por reforço que pondera dinamicamente múltiplas métricas de desempenho para selecionar a política de negociação ideal a partir de um conjunto heterogêneo de agentes, demonstrando retornos ajustados ao risco superiores em mercados de criptomoedas não estacionários em comparação com agentes individuais e estratégias fixas.

Autores originais: Hee-jae Kwon, Su-cheon Lee, Eun-Ji Lee, Se-hun Lee, Tae-Geol Woo, Kang-moon Park

Publicado 2026-09-16

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hee-jae Kwon, Su-cheon Lee, Eun-Ji Lee, Se-hun Lee, Tae-Geol Woo, Kang-moon Park

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Investir nos mercados financeiros é um jogo constante de adaptação. As regras do jogo mudam conforme a economia transita de um período de crescimento em alta para uma deriva lenta e lateral, ou para um declínio súbito e acentuado. Nesses ambientes, uma única estratégia que funciona perfeitamente durante um boom frequentemente falha miseravelmente quando o mercado vira. Este é o cerne do desafio da gestão de portfólios: decidir como dividir o dinheiro entre diferentes ativos quando o futuro é incerto e o passado não é um mapa confiável. Durante décadas, os investidores confiaram em fórmulas matemáticas para equilibrar risco e recompensa, mas esses modelos estáticos muitas vezes têm dificuldade quando as condições de mercado mudam rapidamente. Mais recentemente, cientistas da computação voltaram-se para um tipo de inteligência artificial chamada aprendizagem por reforço. Em vez de serem ensinados regras específicas, esses programas de computador aprendem por tentativa e erro, interagindo com um mercado simulado para descobrir quais ações levam aos melhores resultados de longo prazo. Embora esses programas possam aprender a negociar, eles frequentemente ficam presos em uma única forma de pensar, sendo incapazes de pivotar quando o regime de mercado muda.

Uma equipe de pesquisadores da Universidade Nacional de Transporte da Coreia propôs uma nova maneira de resolver este problema. Em vez de tentar construir um único robô de negociação perfeito, eles criaram um sistema que atua como um supervisor, gerenciando uma equipe de cinco robôs de negociação diferentes, cada um treinado com um método de aprendizagem ligeiramente distinto. O supervisor não realiza as negociações em si. Em vez disso, ele observa como cada robô tem performado recentemente e decide qual deles deve estar no comando em qualquer momento dado. Os pesquisadores testaram este sistema usando dados reais de alta frequência do mercado de criptomoedas, um lugar conhecido por sua volatilidade extrema e mudanças rápidas. Eles descobriram que este sistema de supervisão superou consistentemente qualquer robô individual, bem como estratégias de investimento tradicionais, ao alternar dinamicamente para o agente mais adequado às condições atuais do mercado.

Os pesquisadores começaram construindo uma equipe de cinco agentes distintos. Cada agente é um programa de computador projetado para tomar decisões de investimento, mas todos foram treinados usando abordagens matemáticas diferentes. Embora todos os agentes tenham sido treinados no mesmo ambiente de portfólio com a mesma função de recompensa, seus mecanismos de aprendizagem distintos fizeram com que cada agente desenvolvesse uma "personalidade" única. Um pode ser muito agressivo, buscando altos lucros mas assumindo grandes riscos, enquanto outro pode ser mais cauteloso, priorizando a estabilidade sobre ganhos rápidos. Em um mercado estável, o agente agressivo pode brilhar. Em um mercado turbulento, o cauteloso pode ser o único que sobrevive. O problema é que nenhum agente individual é o melhor em tudo o tempo todo. Se um investidor escolher apenas um agente e permanecer com ele, provavelmente sofrerá quando o mercado mudar de uma forma que aquele agente não aprecia.

Para resolver isso, os pesquisadores introduziram um agente supervisor. Este supervisor não conhece o código interno dos cinco agentes que está gerenciando. Em vez disso, ele atua como um treinador observando um jogo, olhando apenas para o placar. Ele monitora sete métricas de desempenho diferentes para cada agente, tais como quanto lucro eles geraram, quanto risco assumiram para obter esse lucro e a proporção de períodos com retornos positivos. Ele observa esses números ao longo de diferentes períodos de tempo, desde as últimas horas até os últimos dias. O trabalho do supervisor é descobrir qual dessas métricas é mais importante no momento atual. Em um mercado calmo, o supervisor pode decidir que lucros constantes e estáveis são o sinal mais importante de um bom agente. Em um mercado caótico, ele pode decidir que evitar grandes perdas é a única coisa que conta.

O supervisor aprende este sistema de ponderação através de seu próprio processo de treinamento. Ele observa o mercado e os históricos recentes dos agentes e, então, aprende a atribuir pontuações de importância para as diferentes métricas de desempenho. Ele não escolhe simplesmente o agente com o lucro recente mais alto. Em vez disso, ele calcula uma pontuação para cada agente combinando seus dados de desempenho com os pesos de importância que o supervisor aprendeu para aquele momento específico. O agente com a pontuação total mais alta é selecionado para gerenciar o portfólio para o próximo período de negociação. Isso cria um sistema que está constantemente reavaliando suas escolhas, mudando sua confiança de um agente para outro conforme o ambiente de mercado muda.

Os pesquisadores testaram este sistema usando dados de preços de trinta minutos da exchange de criptomoedas Binance, cobrindo um período de 1º de janeiro de 2021 a 31 de dezembro de 2025. Eles configuraram dois cenários diferentes: um com quatro criptomoedas populares e outro com cinco, adicionando um quinto ativo para ver se o sistema poderia lidar com um grupo de investimentos ligeiramente maior. Eles compararam seu sistema de supervisão contra os cinco agentes individuais, uma estratégia simples de comprar e manter todos os ativos igualmente, e várias fórmulas de investimento tradicionais. Os resultados foram claros. O sistema de supervisão gerou valores finais de portfólio significativamente maiores do que qualquer um dos agentes individuais ou das estratégias tradicionais. No cenário de quatro ativos, o supervisor elevou o valor do portfólio para 2,349 vezes o valor inicial, enquanto o melhor agente individual atingiu apenas 1,652. No cenário de cinco ativos, o supervisor alcançou 3,044 vezes o valor inicial, comparado a 2,554 para o melhor agente individual.

Crucialmente, esse crescimento extra não veio ao custo de um risco maior. O sistema de supervisão também apresentou menores perdas máximas, conhecidas como drawdowns, do que os agentes individuais. Isso sugere que o sistema não estava apenas fazendo apostas maiores para obter retornos mais altos; ele estava, na verdade, gerenciando o risco melhor ao saber quando mudar para um agente mais seguro. Os pesquisadores também compararam seu sistema com uma versão mais simples que usava apenas uma regra fixa para trocar de agentes, como sempre escolher o agente com o lucro recente mais alto. O sistema de supervisão superou vastamente essas estratégias de regra única. Isso provou que o sucesso do sistema veio de sua capacidade de ponderar múltiplos fatores simultaneamente, em vez de depender de um critério único e rígido.

Para entender exatamente o que fez o sistema funcionar, os pesquisadores realizaram uma série de testes onde removeram partes do sistema para ver o que acontecia. Eles descobriram que o sistema precisava das sete métricas de desempenho e das quatro janelas temporais para funcionar em seu nível ideal. Remover as métricas relacionadas ao lucro prejudicou a capacidade do sistema de gerar riqueza, enquanto remover as métricas relacionadas ao risco prejudicou sua capacidade de proteção contra perdas. Da mesma forma, o sistema precisava observar o histórico de desempenho de curto e longo prazo. No teste de quatro ativos, o histórico de longo prazo foi o mais importante, enquanto no teste de cinco ativos, o histórico de curto prazo foi o que mais importou. Essa variação mostrou que o sistema não estava usando uma regra fixa, mas estava genuinamente se adaptando às necessidades específicas do portfólio atual e das condições de mercado.

O estudo conclui que gerenciar um portfólio não é apenas encontrar o melhor algoritmo de negociação individual. É criar uma estrutura que possa escolher a ferramenta certa para o trabalho conforme o trabalho muda. Ao usar um supervisor para ponderar dinamicamente diferentes sinais de desempenho, o sistema pode navegar pela natureza imprevisível dos mercados de criptomoedas de forma mais eficaz do que qualquer agente individual ou estratégia estática. Os pesquisadores observam que seu sistema atual utiliza um conjunto específico de cinco agentes e um conjunto específico de dados de mercado. Trabalhos futuros poderiam expandir isso incluindo agentes com diferentes perfis de risco ou testando o sistema em outros tipos de ativos. No entanto, o achado central permanece robusto: uma abordagem hierárquica que aprende a selecionar políticas baseadas em uma visão flexível e multifacetada de desempenho oferece uma maneira poderosa de lidar com a incerteza dos mercados financeiros.

Resumo Técnico: Um Supervisor de Aprendizado por Reforço com Ponderação Dinâmica de Métricas de Desempenho para Gestão de Portfólio de Criptomoedas

1. Definição do Problema

A gestão de portfólio é inerentemente um problema de tomada de decisão sequencial caracterizado por incerteza e não estacionaridade. Os mercados financeiros não exibem padrões permanentemente recorrentes; estratégias que performam bem em mercados de alta (bull markets) podem falar em regimes de baixa (bear markets) ou laterais. Embora o Aprendizado por Reforço (RL) tenha sido aplicado para aprender alocações de ativos diretamente, as abordagens existentes frequentemente focam na otimização de uma única política. Um único agente de RL, treinado em condições de mercado específicas, pode tornar-se subótimo quando os regimes de mercado mudam. Além disso, selecionar o "melhor" agente com base em um único critério fixo (ex: maior retorno recente ou Índice Sharpe) é insuficiente, pois diferentes métricas podem favorecer agentes distintos dependendo do estado atual do mercado. O problema central abordado é como selecionar dinamicamente a política operacional mais apropriada de um conjunto de agentes de RL heterogêneos sem depender de uma regra de seleção estática.

2. Metodologia

O artigo propõe um Framework Supervisor-Agente que reformula a gestão de portfólio como um problema de seleção de política de nível superior. A arquitetura consiste em duas camadas:

A. Agentes de Base (Conjunto de Políticas Candidatas)
Cinco algoritmos de RL distintos — DDPG, TD3, SAC, PPO e A2C — são treinados independentemente no mesmo ambiente de portfólio. Esses agentes servem como um conjunto candidato heterogêneo, cada um desenvolvendo características únicas de risco-retorno devido aos seus diferentes mecanismos de aprendizado (ex: off-policy vs. on-policy, determinístico vs. estocástico, regularização de entropia).

Ambiente: Dados de mercado de criptomoedas de 30 minutos (Binance spot).
Estado: Inclui características específicas dos ativos (retornos, momentum, volatilidade, RSI, MACD), características comuns do mercado (indicadores de BTC) e histórico do portfólio.
Ação: Pesos de portfólio contínuos para $N$ ativos de risco e caixa.
Recompensa: Retornos ajustados por custos de transação com uma penalidade de rotatividade (turnover).

B. Agente Supervisor (Seletor de Política)
O supervisor não gera diretamente os pesos do portfólio ou seleciona um ID de agente específico. Em vez disso, ele aprende pesos dinâmicos para métricas de desempenho para avaliar os agentes de base.

Sinais de Entrada: O supervisor observa o desempenho realizado recente de todos os cinco agentes de base. O desempenho é quantificado usando sete métricas (Retorno Médio, Índice Sharpe, Índice Sortino, Retorno Acumulado, Penalidade de Máximo Drawdown, Penalidade de Volatilidade, Taxa de Acerto) calculadas sobre quatro janelas de observação (12, 24, 48 e 96 passos). Isso resulta em 28 sinais de desempenho por agente.
Construção do Estado: O estado do supervisor inclui características de mercado padronizadas e os sinais de desempenho padronizados dos agentes de base.
Mecanismo:
1. O supervisor gera um vetor de ação contínuo representando a importância relativa dos 28 sinais de desempenho.
2. Uma função softmax converte essas ações em uma distribuição de probabilidade (pesos de importância) $\theta_t$ sobre os sinais.
3. Um escore de seleção $q_{i,t}$ para cada agente de base $i$ é calculado como o produto escalar do vetor de sinal de desempenho do agente pelos pesos de importância aprendidos.
4. Fase de Treinamento: O supervisor utiliza um mecanismo de roteamento suave (soft-routing), implantando uma combinação ponderada dos portfólios de todos os agentes de base com base em seus escores.
5. Fase de Teste: O supervisor seleciona o único agente de base com o maior escore ( $i^*_t = \arg\max_i q_{i,t}$ ) para implantação.
Algoritmos: O próprio supervisor é treinado utilizando algoritmos de RL de ação contínua (TD3, PPO ou SAC).

3. Principais Contribuições

Reenquadramento da Gestão de Portfólio: O estudo desloca o foco da otimização de uma única política de RL para um problema de tomada de decisão hierárquica, onde o objetivo é selecionar a política operacional ideal a partir de um conjunto heterogêneo de candidatas.
Ponderação Dinâmica de Métricas: Ao contrário dos métodos de ensemble que fazem a média dos agentes ou regras de alternância baseadas em critérios fixos, o supervisor proposto aprende pesos dependentes do estado para múltiplas métricas de desempenho. Ele determina quais critérios (ex: risco-ajustado vs. lucratividade) e horizontos temporais são mais relevantes sob as atuais condições de mercado.
Validação Empírica: O framework é rigorosamente testado em dados de criptomoedas não estacionários, demonstrando que os ganhos de desempenho derivam da estrutura de seleção dinâmica e não da superioridade inerente de um algoritmo de base específico ou de uma única métrica fixa.

4. Resultados Experimentais

O framework foi avaliado em dois universos de ativos ( $K=4$ e $K=5$ criptomoedas) usando dados da Binance de 30 minutos (jan/2021 – dez/2025).

vs. Agentes Individuais e Benchmarks Passivos: O Supervisor (especificamente o supervisor baseado em TD3) alcançou o maior Valor Final do Portfólio (FPV) e o maior Índice Sharpe, mantendo um Máximo Drawdown (MDD) inferior a qualquer agente de base individual (DDPG, TD3, SAC, PPO, A2C) e à estratégia de Compra e Manutenção com Peso Igual (EWBH). Para $K=4$ , o supervisor alcançou um FPV de 2.349 e Sharpe de 1.025, superando o melhor agente individual (SAC, FPV 1.652).
vs. Alternância de Métrica Única: O supervisor superou significativamente as estratégias que alternavam agentes com base em uma única métrica fixa (ex: maior Sharpe, maior taxa de acerto). Nenhuma métrica única superou consistentemente as outras através de diferentes configurações de portfólio, confirmando a necessidade de aprender pesos de métricas dinâmicas.
vs. Otimização Tradicional: O supervisor superou abordagens tradicionais de média-variância e paridade de risco (HRP, ERC, IV, CLA MaxSharpe) tanto em FPV quanto em desempenho ajustado ao risco.
Estudos de Ablação:
- Grupos de Métricas: Remover qualquer grupo de métricas (Lucratividade, Risco Ajustado ou Risco de Queda) degradou o desempenho, indicando que o uso conjunto de todos os sinais é necessário. A importância marginal de grupos específicos variou conforme a composição do portfólio (ex: a lucratividade foi mais crítica para $K=4$ , enquanto o risco de queda foi mais crítico para $K=5$ ).
- Janelas de Observação: O conjunto completo de horizontos temporais (curto, médio e longo prazo) produziu os melhores resultados. A importância de janelas específicas também variou conforme o tamanho do portfólio (sinais de longo prazo foram mais críticos para $K=4$ , curto prazo para $K=5$ ).

5. Significância e Alegações

O artigo afirma que o framework proposto oferece uma solução mais robusta para mercados financeiros não estacionários ao tratar a alocação de portfólio como um problema de seleção de política dinâmica. A principal significância reside na capacidade do supervisor de alterar adaptativamente os critérios usados para avaliar os agentes com base nas informações do mercado em tempo real e no desempenho recente dos agentes, em vez de depender de uma regra estática ou de um único "melhor" algoritmo.

Os autores concluem que as melhorias de desempenho não são impulsionadas por um algoritmo de base específico (ex: TD3) ou por uma única métrica favorável, mas pela estrutura supervisor-agente que pondera conjuntamente múltiplos sinais de retorno, risco e estabilidade. Essa abordagem permite navegar por mudanças de regime de forma mais eficaz do que estratégias de política única ou de alternância de regra fixa.

Limitações Reconhecidas:
O estudo observa que o conjunto de candidatos é limitado a cinco agentes de base treinados com estruturas de recompensa e restrições idênticas. O framework não inclui explicitamente agentes que representam perfis de risco distintos (agressivo, neutro, conservador). Sugere-se que trabalhos futuros expandam o conjunto de candidatos com preferências de risco diversas e universos de ativos mais amplos.