Resumo Técnico: Moira – Aprendizado por Reforço Hierárquico Orientado por Linguagem para Negociação de Pares

1. Formulação do Problema

O artigo aborda o desafio da tomada de decisão sequencial em ambientes caracterizados por estrutura hierárquica, retroalimentação atrasada e atribuição de crédito ambígua. Especificamente, os autores focam na negociação de pares, um domínio financeiro que combina naturalmente duas escalas temporais e semânticas distintas:

1. Abstração de Alto Nível (Seleção de Pares): Requer raciocínio semântico de longo horizonte para identificar pares de ativos com relações econômicas ou estatísticas estáveis.
2. Execução de Baixo Nível (Negociação): Requer tomada de decisão reativa de curto horizonte sob observabilidade parcial (ruído de mercado) para executar negociações neutras ao mercado.

A dificuldade central reside na atribuição de crédito: quando uma estratégia de negociação falha, não está claro se o erro decorre de uma abstração de alto nível defeituosa (escolha do par errado), de uma execução de baixo nível subótima (timing inadequado) ou da interação entre os dois. O aprendizado por reforço (RL) tradicional de ponta a ponta entrelaça esses componentes, tornando difícil isolar a fonte da falha. Além disso, o RL Hierárquico (HRL) padrão frequentemente depende de abstrações temporais rígidas ou assume distribuições de ruído fixas, limitando a adaptabilidade quando as relações semânticas se desviam.

2. Metodologia: Framework Moira

Os autores propõem o Moira, um framework de aprendizado por reforço hierárquico orientado por linguagem. Em vez de usar ajuste fino baseado em gradiente ou dados rotulados por especialistas, o Moira parametriza tanto o seletor de alto nível quanto o negociador de baixo nível como Modelos de Linguagem de Grande Escala (LLMs) condicionados a prompts. As políticas são otimizadas exclusivamente por meio de atualizações de prompts impulsionadas por feedback textual.

2.1 Design de Política Hierárquica

O framework separa explicitamente a seleção de abstração da execução, alinhando seus cronogramas de adaptação à disponibilidade de feedback:

• Seletor de Alto Nível ($\pi_{sel}$): Opera no nível de episódio (por exemplo, mensal). Observa estatísticas agregadas de preços e resumos semânticos (notícias, sentimento) para selecionar um par de ativos $z$. Essa seleção permanece fixa durante a duração do episódio.
• Negociador de Baixo Nível ($\pi_{tr}$): Opera no nível intra-episódio (por exemplo, diário/semanal). Condicionado ao par fixo $z$, executa ações de negociação com base na dinâmica do spread em tempo real e em características locais de preços.

2.2 Otimização via Adaptação de Prompt

O sistema utiliza um processo de otimização textual em duas etapas para ambos os níveis, evitando a descida de gradiente nos pesos do modelo:

1. Crítica ao Nível de Trajetória (Etapa 1): Um LLM "Crítico" analisa a trajetória executada (observações, ações, recompensas) e gera um sinal de feedback em linguagem natural ($g_{text}$). Esse sinal identifica falhas nas regras de decisão (por exemplo, "saídas prematuras" ou "ignorar catalisadores de notícias").
2. Atualização de Prompt (Etapa 2): Um LLM "Atualizador" incorpora o feedback textual ao prompt da política atual, gerando um prompt atualizado ($\theta^{(k)}$) para o próximo sub-episódio ou episódio.

Distinção Chave nos Cronogramas de Adaptação:

• Negociador: Sofre atualizações de prompt intra-episódio. Adapta suas regras de execução com base no feedback ao nível de trajetória, enquanto o contexto do par permanece fixo.
• Seletor: Sofre atualizações de prompt episódicas. Recebe feedback atrasado e agregado (retorno cumulativo) após o negociador ter concluído sua adaptação e execução para o episódio.

3. Contribuições Principais

1. Linguagem como Interface Semântica Compartilhada: O artigo introduz uma abordagem inovadora onde a linguagem serve como interface entre os níveis hierárquicos. Diferentemente de recompensas escalares, o feedback textual permite atribuição semântica explícita, distinguindo entre erros de abstração (escolha ruim de par) e erros de execução (timing ruim).
2. Otimização Hierárquica Orientada por Prompt: Os autores demonstram que LLMs podem funcionar como políticas hierárquicas otimizadas exclusivamente por meio de atualizações de prompts. Isso induz uma separação natural de escalas de tempo sem a necessidade de restrições algorítmicas complexas ou ajuste fino baseado em gradiente.
3. Desacoplamento de Abstração e Execução: Ao fixar a seleção de pares para um episódio enquanto permite que o negociador se adapte intra-episódio, o framework reduz a não estacionaridade entre os níveis e permite adaptação direcionada sob feedback atrasado.

4. Resultados Experimentais

O framework foi avaliado em dados históricos do mercado de ações dos EUA (10 ações líquidas) de janeiro a junho de 2025.

4.1 Comparação de Desempenho

O Moira superou significativamente várias linhas de base:

• Linhas de Base Estatísticas: GGR (minimização de distância), Correlação e Cointegração.
• Linha de Base de RL: TRIALS (um framework padrão de RL).
• Linha de Base LLM Plana: Um LLM não hierárquico que tenta selecionar pares e executar negociações simultaneamente.

Métricas Principais (Moira vs. Melhor Linha de Base):

• Retorno Anualizado (AR): O Moira alcançou 59,11%, comparado a 21,38% para a melhor linha de base estatística (Correlação/Cointegração) e retornos negativos para as demais.
• Índice de Sharpe (SR): O Moira alcançou 3,791, significativamente superior à linha de base estatística (1,218) e ao LLM plano (-0,403).
• Retirada Máxima (MDD): O Moira manteve uma baixa 1,70%, comparado a 5,11% para a linha de base estatística e 8,69% para o LLM plano.

4.2 Estudos de Ablação

Os autores conduziram estudos de ablação para validar a necessidade tanto da decomposição hierárquica quanto da adaptação de prompt:

• Moira-Seleção (Seletor LLM + Negociador Estatístico): Substituir o negociador LLM por um estatístico resultou em retornos fortemente negativos (-17,10% AR), indicando que a seleção semântica de pares sozinha é insuficiente sem execução adaptativa.
• Moira-Ajuste (Seletor Estatístico + Negociador LLM): Usar um seletor baseado em correlação com o negociador LLM ajustado gerou retornos positivos (17,63% AR), mas performou significativamente pior que o modelo Moira completo. Isso destaca que o comportamento de negociação estático não pode explorar totalmente as oportunidades identificadas pela seleção semântica.
• LLM-Plano: A abordagem não hierárquica falhou em aprender, gerando retornos negativos e alta volatilidade, confirmando que a otimização conjunta da seleção de pares e da execução é complexa demais para um único processo de decisão.

4.3 Dinâmica de Aprendizado

A análise das curvas de aprendizado mostrou que o desempenho melhorou progressivamente com as atualizações de prompt. As atualizações iniciais estabeleceram disciplina básica (regras de entrada/saída), enquanto as atualizações posteriores introduziram gestão de risco sofisticada (stops arrastados, realização parcial de lucros), levando a curvas de patrimônio mais suaves e redução de retiradas máximas.

5. Significado e Alegações

O artigo alega que a otimização de política hierárquica orientada por linguagem oferece uma abordagem principial para problemas de tomada de decisão sequencial onde:

• As abstrações evoluem ao longo do tempo.
• O feedback é atrasado e agregado.
• Sinais explícitos de atribuição de crédito estão indisponíveis.

Os autores argumentam que, ao usar a linguagem como representação de política, o sistema pode alcançar adaptação direcionada em diferentes escalas temporais sem a instabilidade associada ao ajuste fino baseado em gradiente ou à rigidez do HRL tradicional. Os resultados sugerem que LLMs, quando estruturados hierarquicamente e otimizados via adaptação de prompt, podem efetivamente desentrelaçar o raciocínio semântico da execução tática, levando a uma tomada de decisão financeira robusta.

Limitações Reconhecidas:
Os autores observam que o estudo é limitado a um pequeno universo de ativos (10 ações) e a um regime de mercado específico. Eles não alegam robustez sob mudanças extremas de regime ou condições adversárias, e as propriedades teóricas do feedback textual como sinal de otimização permanecem uma questão em aberto.