Same Error, Different Function: The Optimizer as an Implicit Prior in Financial Time Series

Each language version is independently generated for its own context, not a direct translation.

Imagine que você é um chef tentando prever o tempo para decidir se deve vender guarda-chuvas ou óculos de sol amanhã. Você contrata dois meteorologistas diferentes: o Robô A e o Robô B.

No final do dia, você olha para os relatórios deles. Ambos erraram exatamente a mesma quantidade de vezes. A precisão deles é idêntica. Se você olhasse apenas para a "nota de aprovação" (o erro matemático), você diria: "Ok, são iguais. Posso usar qualquer um dos dois."

Mas aqui está a surpresa que este artigo traz: Eles não são iguais.

O Grande Segredo: O "Motor" do Carro

O artigo diz que, em finanças (especialmente prevendo a volatilidade, que é o quanto o preço das ações "dança" de um lado para o outro), os modelos de Inteligência Artificial muitas vezes ficam empatados. Eles aprendem a mesma "nota" de erro.

No entanto, o que define como eles pensam não é apenas o modelo em si, mas o otimizador.

Pense no otimizador como o motor ou o piloto que ensina o robô.

Um motor (chamado SGD) é como um motorista cauteloso e conservador. Ele anda devagar, evita curvas fechadas e prefere caminhos retos e simples.
Outro motor (chamado Adam ou Muon) é como um piloto de corrida agressivo. Ele faz curvas fechadas, acelera em momentos estranhos e explora caminhos complexos e sinuosos.

O Que Acontece na Prática?

Mesmo que ambos os robôs acertem a previsão de "vai chover" com a mesma precisão, eles chegam lá de formas totalmente diferentes:

O Robô Cauteloso (SGD): Ele aprende que a chuva de hoje depende principalmente da chuva de ontem. É uma regra simples e estável. Quando você usa isso para decidir o que vender, você troca seus produtos com pouca frequência. É tranquilo.
O Robô Agressivo (Adam/Muon): Ele aprende que a chuva depende de um padrão complexo: talvez a pressão do ar de 3 dias atrás, combinada com o vento de hoje. Ele vê padrões que o outro não vê. Mas, como ele é tão sensível a pequenas mudanças, ele muda de ideia o tempo todo.

A Consequência Real: O Dinheiro no Bolso

Aqui está a parte mais importante para quem investe:

Se você usar o Robô Cauteloso para gerir uma carteira de investimentos, você compra e vende ações com calma. Seus custos de transação são baixos.
Se você usar o Robô Aggressivo, mesmo que ele preveja o futuro com a mesma "nota" de precisão, ele vai ficar mudando de ideia a cada minuto. Ele vai comprar e vender ações freneticamente.

O resultado?

Ambos têm o mesmo lucro bruto (a previsão estava certa).
Mas o Robô Aggressivo gasta todo o seu lucro em taxas de corretagem e impostos porque você teve que trocar de ações o tempo todo (isso se chama "alta rotatividade" ou turnover).

A Analogia do Mapa

Imagine que você precisa ir do ponto A ao ponto B.

O Robô A traça uma linha reta.
O Robô B traça uma linha cheia de curvas e zig-zags.
Ambos chegam ao destino no mesmo tempo (mesmo erro).

Mas, se você estiver dirigindo um caminhão cheio de mercadorias frágeis, o caminho cheio de curvas (Robô B) vai quebrar sua carga e gastar mais combustível, mesmo que chegue no mesmo horário. O caminho reto (Robô A) é melhor para o seu negócio, mesmo que a "nota" de chegada seja a mesma.

A Lição Principal

O artigo nos ensina três coisas simples:

Não confie apenas na nota final: Em finanças, dois modelos podem ter a mesma nota de erro, mas comportar-se de maneiras opostas.
O "motor" importa: A escolha de como o computador aprende (o otimizador) é tão importante quanto a arquitetura do computador. É como escolher entre um carro de luxo confortável e um carro de corrida: ambos vão de um lugar a outro, mas a experiência e o custo são diferentes.
Escolha o que faz sentido para você: Se você quer estabilidade e menos custos, escolha o modelo "cauteloso". Se você quer reagir rápido a mudanças (e aguentar o estresse), escolha o "agressivo". O computador não escolhe por você; você precisa escolher qual "personalidade" de modelo se encaixa no seu objetivo.

Resumo em uma frase: Em finanças, ter a mesma precisão não significa ter o mesmo comportamento; o "estilo" de aprendizado do computador pode custar muito mais caro no final do dia.

Each language version is independently generated for its own context, not a direct translation.

1. O Problema: Subespecificação em Séries Temporais Financeiras

O artigo aborda um fenômeno crítico no aprendizado de máquina aplicado às finanças: a subespecificação. Em domínios de baixo sinal-ruído (low-signal), como a previsão de volatilidade de ações, modelos com arquiteturas radicalmente diferentes (MLP, CNN, LSTM, Transformer) frequentemente alcançam erros de teste indistinguíveis (ex: NMSE - Erro Quadrático Médio Normalizado) sob métricas padrão.

O problema central é que, quando os modelos "empatam" no leaderboard de desempenho (perda de teste), a comunidade tende a tratá-los como intercambiáveis ou a focar apenas em ajustes finos de hiperparâmetros. No entanto, o artigo questiona: se o erro é o mesmo, as funções aprendidas são as mesmas? A escolha do otimizador é apenas um detalhe de implementação ou ela molda a função aprendida de maneira fundamental, mesmo quando a precisão preditiva permanece inalterada?

2. Metodologia Experimental

Os autores desenvolveram um framework experimental rigoroso para isolar o papel da dinâmica de treinamento na seleção de funções:

Tarefa: Previsão de volatilidade realizada (um passo à frente) para as ações do S&P 500 (2000–2024), utilizando o estimador Garman-Klass como proxy da volatilidade.
Arquiteturas (A): Quatro classes de redes neurais com viés indutivo temporal distinto:
- MLP (Perceptron Multicamadas)
- CNN (Redes Convolucionais 1D)
- LSTM (Redes de Memória de Curto e Longo Prazo)
- Transformer (Encoder-only)
Otimizadores (O): Três métodos com geometrias de atualização distintas:
- SGD: Otimização de primeira ordem não adaptativa (baseline).
- Adam: Otimizador adaptativo padrão.
- Muon: Um otimizador recente "consciente de matriz" para dinâmicas de alta dimensão.
Controle: Foram testadas 12 combinações (4 arquiteturas × 3 otimizadores) com 13 sementes aleatórias independentes e busca de hiperparâmetros (taxa de aprendizado, weight decay) para cada par, garantindo que as comparações não fossem artefatos de "má sintonia".
Diagnósticos Funcionais (Além do Erro): Como o NMSE era insuficiente para distinguir os modelos, os autores utilizaram:
- Análise de Resposta ao Impulso: Mapeamento da sensibilidade global do modelo a choques em lags específicos.
- Superfícies de Diferença Funcional: Cálculo de $D(x) = \hat{y}_{Muon}(x) - \hat{y}_{Adam}(x)$ para visualizar divergências geométricas.
- Atribuição de Recursos (SHAP): Para entender quais lags temporais cada otimizador prioriza.
- Experimentos de Intervenção: Troca de otimizadores durante o treinamento (ex: começar com Adam e mudar para SGD) para testar a estabilidade dos mínimos encontrados.
- Análise de Curvatura (Edge of Stability): Medição do maior autovalor do Hessiano ( $\lambda_{max}$ ) para entender a "nitidez" (sharpness) dos mínimos.
- Backtesting de Portfólio: Construção de portfólios gerenciados por volatilidade para medir o impacto nas decisões de trading (turnover e Sharpe).

3. Principais Contribuições e Resultados

A. Equivalência Preditiva vs. Divergência Funcional

Empate no Leaderboard: Todas as combinações de arquitetura e otimizador, bem como os modelos lineares (OLS/LASSO), apresentaram erros de teste estatisticamente indistinguíveis. A otimização de hiperparâmetros não quebrou esse empate.
Funções Diferentes: Apesar do erro idêntico, os modelos aprenderam mapeamentos qualitativamente diferentes:
- SGD: Tendência a soluções mais simples, com superfícies de resposta mais planas e lineares.
- Adam/Muon: Convergem para funções não-lineares complexas, com superfícies de resposta sigmoidais e mecanismos de amortecimento de choques extremos.
- As superfícies de diferença entre otimizadores são altamente estruturadas e não planares, indicando que eles codificam mapeamentos estruturalmente distintos, não apenas escalas diferentes.

B. Otimizador como Priori Implícita

Dependência Temporal: O otimizador dita o padrão de importância dos lags.
- Em LSTMs, o Muon explora memórias de longo prazo (ciclos trimestrais), enquanto o Adam foca quase exclusivamente no histórico recente. O SGD restringe-se aos lags mais recentes em todas as arquiteturas.
- Isso implica que a escolha do otimizador seleciona implicitamente explicações econômicas concorrentes para a persistência da volatilidade (ex: efeitos de microestrutura vs. divulgações trimestrais).
Geometria e Edge of Stability (EoS):
- O SGD tende a se estabilizar em regiões mais planas (menor $\lambda_{max}$ ), encontrando soluções mais simples.
- Métodos adaptativos (Adam) conseguem convergir para mínimos mais "nítidos" (sharper), que correspondem a funções não-lineares complexas.
- Experimentos de intervenção mostram que a complexidade funcional é um atrator dependente do otimizador: trocar de Adam para SGD faz o modelo colapsar para uma solução simples; trocar de SGD para Adam recupera a complexidade.

C. Consequências Decisórias (Trading)

Fronteira Sharpe-Turnover: Ao embutir as previsões em regras de alocação de portfólio (classificação por volatilidade), os autores descobriram que, embora as taxas de Sharpe sejam comparáveis, o turnover (frequência de negociação) varia drasticamente.
- Modelos treinados com SGD geram rankings de volatilidade mais estáveis, resultando em menor turnover.
- Modelos com Adam/Muon são mais sensíveis a pequenas mudanças no estado de entrada, gerando reversões de rank mais frequentes e turnover até 3 vezes maior para o mesmo nível de risco ajustado.
Implicação Econômica: Em um ambiente real com custos de transação, a escolha do otimizador determina a viabilidade e a capacidade da estratégia, mesmo que a precisão preditiva seja a mesma.

D. Ensemble Complementar

Um ensemble heterogêneo (misturando soluções de SGD, Adam e Muon) superou estritamente os melhores modelos individuais, provando que os erros residuais não são perfeitamente correlacionados e que os pares (Arquitetura, Otimizador) recuperam componentes ortogonais do sinal.

4. Significado e Conclusão

O artigo conclui que, em regimes de subespecificação (comuns em finanças), a seleção de modelos é, na verdade, seleção de funções.

Otimizador é Parte do Modelo: A escolha do otimizador não é apenas uma questão de eficiência de treinamento, mas atua como um priori implícito que seleciona qual função admissível será retornada pelo espaço de hipóteses.
Métricas Escalares são Insuficientes: Avaliar modelos apenas por perda de teste ou Sharpe ratio é enganoso. É necessário avaliar a estabilidade funcional, a interpretabilidade e as consequências nas decisões (turnover, custos de transação).
Recomendação Prática: Quando há um empate no leaderboard, o pesquisador ou gestor deve escolher o modelo (ou otimizador) cujas propriedades funcionais (ex: suavidade, memória de longo prazo) alinham-se com o objetivo econômico downstream, em vez de deixar que o otimizador faça essa escolha aleatoriamente.

Em resumo, o trabalho demonstra que "mesmo erro" não significa "mesmo comportamento", e que a geometria da otimização define a natureza econômica das previsões em séries temporais financeiras.