Resumo Técnico: FinATOM

Declaração do Problema

Sistemas de previsão financeira e tomada de decisão normalmente dependem de cabeças de regressão, classificação ou política específicas para tarefas, acopladas a modelos de linguagem. Essa abordagem fragmenta o contrato de saída, exigindo parametrizações, perdas e decodificadores distintos para cada tarefa, separando, assim, o modelo de linguagem do objeto numérico final que está sendo avaliado. Além disso, a geração de tokens numéricos padrão enfrenta desafios como a tokenização irregular, a perda da ordem numérica e o risco de gerar saídas malformadas que violam restrições (ex.: pesos long-only, limites de orçamento). O artigo investiga se um modelo de linguagem causal pode representar diretamente previsões e decisões por meio de geração de tokens restrita, eliminando a necessidade de cabeças numéricas específicas para tarefas, mantendo a auditabilidade, a capacidade de análise mecânica (parseability) e a compatibilidade com o ajuste fino supervisionado (SFT) e com a otimização de política ao nível de token.

Metodologia

O FinATOM introduz uma interface unificada sem cabeças (head-free) usando um backbone Llama 3.2 1B adaptado via LoRA. O sistema suporta duas tarefas complementares — previsão de retorno de ações e alocação dinâmica de ETFs — usando uma projeção de vocabulário compartilhada, mas com gramáticas e objetivos de treinamento distintos.

1. Interface Nativa de Tokens Compartilhados

Em vez de anexar cabeças de regressão ou de política, o modelo gera tokens restritos diretamente. Valores numéricos válidos são itens de vocabulário aprendidos e pontuados pela leitura do modelo de linguagem vinculado.

• Previsão: O modelo emite tokens de forma autorregressiva para retornos consecutivos de D1, D2 e D3.
• Alocação: O modelo gera pesos normalizados e long-only para cinco ETFs.

2. Pipeline de Alocação de Portfólio

A tarefa de alocação é separada em imitação causal e melhoria baseada em resultados:

• SFT Causal (Ajuste Fino Supervisionado): O modelo aprende a imitar uma "âncora de média-variância causal". Este alvo do professor é computado exclusivamente a partir de informações visíveis na data da decisão (retornos de 20 dias, risco, correlações e o estado anterior do portfólio). A solução contínua é reduzida (85% âncora, 15% peso igual) e quantizada deterministicamente em uma grade de 50 unidades. O objetivo de SFT combina a entropia cruzada de tokens com um alvo Gaussiano ordinal nos cinco slots de valor.
• Otimização de Política (GRPO Aumentado por DAPO): Uma etapa subsequente otimiza o Índice de Sharpe realizado de 21 dias. O modelo amostra sequências de alocação legais, e a recompensa é definida como o Sharpe realizado menos uma penalidade pela desviação da âncora causal. Os retornos futuros entram apenas neste sinal de recompensa, não no prompt ou nos alvos de SFT. A atualização utiliza a Otimização de Política Relativa de Grupo (GRPO) com clipping assimétrico estilo DAPO e gradientes ao nível de token, sem uma penalidade KL de modelo de referência.

3. Pipeline de Previsão

• Construção de Alvos: Alvos são retornos padronizados pela volatilidade, limitados ao intervalo de [-8, 8], mapeados em 41 bins de quantis.
• Treinamento: O SFT utiliza entropia cruzada ordinal nos slots de buckets e uma perda de classificação (ranking) da mesma data.
• Decodificação: O modelo gera tokens de D1, D2 e D3 de forma autorregressiva. Pontuações contínuas são derivadas das expectativas condicionais das distribuições ordenadas dos buckets, reescaladas pela volatilidade subsequente e compostas para classificação.
• Estágio de Política: Uma etapa de política de um único epoch amostra trajetórias e atualiza as três posições de buckets usando uma recompensa financeira de múltiplos componentes (passo, caminho, direção, ranking e os 20 principais componentes).

Principais Contribuições

1. Interface Unificada Sem Cabeças (Head-Free): Introdução de uma interface de token restrita e compartilhada para previsão de retorno de três etapas autorregressiva e alocação de cinco ETFs normalizados, removendo a necessidade de cabeças numéricas adicionais específicas para tarefas.
2. Pipeline de Alocação Causal: Desenvolvimento de um pipeline que combina um professor de média-variância totalmente especificado (SFT causal) com GRPO aumentado por DAPO, alinhando a política diretamente com o Sharpe de portfólio realizado enquanto penaliza o desvio da âncora causal.
3. Evidência Empírica: Provisão de evidência de alocação cronológica através de três períodos de teste (2023–2025), uma ablação de modalidade de entrada controlada e uma comparação exploratória no conjunto de dados FinTexTS, distinguindo melhorias dentro do protocolo de comparações contextuais com baselines publicados.

Resultados

Alocação de Portfólio (2023–2025)

• Melhoria do Sharpe: A etapa de política melhorou o Sharpe bruto agrupado de 1,428 (SFT) para 1,529. Sob um modelo de custo de transação de 5 pontos-base, o Sharpe líquido aumentou de 1,394 para 1,494.
• Dependência de Regime: A política igualou o desempenho do SFT em 2023, mas mostrou ganhos significativos em 2024 e 2025. Em 2024, o Sharpe da política (1,564) excedeu o Sharpe do professor causal (1,407), indicando que a política aprende além da simples imitação.
• Giro (Turnover): O giro médio de uma via aumentou apenas ligeiramente de 1,481% para 1,537%, sugerindo que os ganhos derivam de melhores relações risco-retorno em vez de maior intensidade de negociação.
• Modalidade de Entrada: A combinação de notícias e dados de séries temporais rendeu o maior Sharpe médio (1,540). Embora os dados de séries temporais tenham fornecido um sinal estável isolado, os dados de notícias contribuíram mais significativamente no regime de 2025.

Previsão de Ações (FinTexTS)

• Desempenho: No conjunto de dados FinTexTS, a estratégia SFT alcançou um retorno cumulativo de 73,52% e um Sharpe de 2,68. A etapa de política de um único epoch melhorou modestamente esses valores para 73,72% e 2,69, respectivamente.
• Comparação: Embora o FinATOM tenha superado o sistema FinTexTS publicado em retorno cumulativo (73,72% vs. 53,98%), a diferença de Sharpe foi mínima (2,69 vs. 2,67). Os autores observam que esta comparação é contextual devido aos diferentes protocolos e à falta de métricas de volatilidade/drawdown correspondentes.

Significância e Alegações

O artigo afirma que o FinATOM demonstra a viabilidade do uso de geração direta de tokens de modelos de linguagem para previsão numérica financeira e tomada de decisão.

• Viabilidade sobre Superioridade: Os autores afirmam explicitamente que os resultados estabelecem a viabilidade, não uma superioridade universal. A otimização de política fornece um refinamento incremental em vez de uma mudança radical no sinal, particularmente na tarefa de previsão, onde a maior parte do poder preditivo é capturado durante o SFT.
• Integridade Causal: O design garante que os retornos futuros estejam ausentes dos prompts e dos alvos de SFT, entrando apenas na recompensa da política, mantendo assim a integridade causal.
• Limitações: O estudo reconhece limitações, incluindo um universo de ativos restrito (5 ETFs), uma única semente de treinamento por configuração e o potencial influência do corte de pré-treinamento do Llama 3.2 (dezembro de 2023) nos resultados de 2023. Os autores alertam que os achados devem ser interpretados como evidência de viabilidade, justificando testes mais amplos em diversos ativos, regimes e sementes aleatórias para confirmar a robustez.