💰 quantitative finance

Overparametrized models with posterior drift

Este artigo demonstra que a deriva posterior degrada significativamente a precisão das previsões fora da amostra de modelos de aprendizado de máquina superparametrizados, particularmente nos mercados financeiros onde ocorrem mudanças de regime, aconselhando finalmente cautela ao utilizar grandes modelos lineares para previsões do mercado de ações devido à sua sensibilidade às escolhas de parâmetros e a subperíodos.

Autores originais: Guillaume Coqueret, Martial Laguerre

Publicado 2026-05-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Guillaume Coqueret, Martial Laguerre

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O "Chef Superconfiante"

Imagine que você é um chef tentando aprender uma receita secreta para a sopa perfeita (prever retornos do mercado de ações).

No mundo do aprendizado de máquina moderno, há uma ideia popular chamada "Dupla Queda". Ela sugere que, se você tornar sua receita incrivelmente complexa — adicionando centenas de especiarias, ervas e ingredientes secretos (parâmetros) —, sua sopa pode realmente ficar melhor do que uma simples, mesmo que você não tenha ingredientes suficientes para todos. Isso é chamado de superparametrização.

Um estudo famoso (Kelly et al., 2024) afirmou que, para prever os mercados de ações, "mais é mais". Eles disseram que usar modelos massivos e complexos com milhares de variáveis era a chave para vencer o mercado.

Este artigo diz: "Espere um minuto. Isso só funciona se o mundo permanecer o mesmo."

Os autores argumentam que, no mundo real, a "receita" do mercado de ações muda constantemente. Eles chamam isso de Deriva Posterior. É como se o chef aprendesse a receita em janeiro, mas, em julho, os ingredientes tivessem mudado, o tempo estivesse diferente e os gostos dos clientes tivessem se alterado. Se você continuar cozinhando com a receita antiga e complexa, sua sopa ficará terrível.

Conceito Chave 1: A "Deriva" (O Alvo em Movimento)

Na estatística, existem duas maneiras pelas quais um modelo pode falhar:

Mudança de Covariância: Os ingredientes que você recebe mudam (por exemplo, você costumava receber tomates, agora recebe batatas).
Deriva Posterior: A relação entre os ingredientes e o prato final muda.

O Foco do Artigo: Os autores focam na Deriva Posterior.

Analogia: Imagine que você aprende que "adicionar sal deixa a sopa salgada". Essa é uma regra estável. Mas, no mercado de ações, a regra pode ser: "Em 2010, taxas de juros altas significavam que as ações subiriam. Em 2020, taxas de juros altas significavam que as ações cairiam."
Os "carregamentos" (as regras ou coeficientes que o modelo aprende) estão derivando. O modelo aprende as regras do passado, mas o futuro segue regras diferentes.

Conceito Chave 2: A "Armadilha da Complexidade"

O artigo investiga o que acontece quando você usa um modelo supercomplexo (um com mais parâmetros do que pontos de dados) em um mundo onde essas regras estão derivando.

A Descoberta: Quando as regras mudam (deriva), modelos complexos tornam-se extremamente frágeis.
A Analogia: Pense em um modelo complexo como um carro de corrida de alto desempenho com 1.000 peças personalizadas e ajustadas. Ele vence facilmente em uma pista suave e previsível (um mercado estável). Mas, se a pista se transformar repentinamente em um campo lamacento com pedras móveis (deriva posterior), aquele carro de corrida cai espetacularmente. Um caminhão simples e robusto (um modelo simples) pode não ser tão rápido, mas lida muito melhor com a lama.

Os autores descobriram que o desempenho desses modelos complexos depende inteiramente de quando você os testa.

Em um período de 15 anos, o modelo complexo pode deixá-lo rico (um retorno mensal de 7%).
Em outro período de 15 anos, pode fazê-lo perder quase tudo (um retorno de -50%).
O retorno "médio" esconde essa volatilidade aterrorizante.

Conceito Chave 3: O Problema do "Sinal-Ruído"

O artigo explica que os dados financeiros são "ruidosos". O sinal verdadeiro (a razão real pela qual as ações se movem) é muito fraco.

A Analogia: Imagine tentar ouvir um sussurro (o sinal) em um estádio barulhento (o ruído).
Se o estádio estiver quieto (regras estáveis), um modelo complexo pode filtrar o ruído e ouvir o sussurro.
Se as regras do estádio mudarem (deriva), o modelo complexo fica confuso. Ele começa a amplificar o ruído e os sussurros errados. Os autores mostram que, nesses casos, um modelo complexo pode realmente performar pior do que apenas chutar ou ignorar os dados completamente.

O Dilema da "Largura de Banda"

Os pesquisadores testaram uma ferramenta específica chamada Recursos de Fourier Aleatórios (RFFs), que é uma maneira de fazer dados simples parecerem complexos. Eles tiveram que escolher um parâmetro de "largura de banda" (pense nisso como o "nível de zoom" ou a "sensibilidade" do modelo).

Baixa Largura de Banda (Alta Sensibilidade): O modelo é muito sensível a pequenas mudanças. Ele encontrou retornos enormes em alguns períodos, mas caiu em outros. Foi uma montanha-russa.
Alta Largura de Banda (Baixa Sensibilidade): O modelo suavizou o ruído. Foi mais consistente, mas os retornos foram tão baixos (próximos de zero) que não valiam o risco.

A Conclusão: Não há um "ponto ideal". Você não pode apenas escolher uma configuração que funcione para sempre.

A Verificação da Realidade do "Investidor de 15 Anos"

Os autores analisaram o que acontece se um investidor médio mantiver uma estratégia por 15 anos (um horizonte típico de aposentadoria).

O Resultado: Os retornos foram drasticamente diferentes dependendo de quais 15 anos você escolheu.
- Se você escolhesse 2005–2019, a estratégia complexa parecia um gênio.
- Se você escolhesse 1975–1989, parecia um desastre.
A Lição: Você não pode confiar em um único "backtest" (um teste de desempenho passado) para dizer se um modelo complexo funcionará no futuro. O modelo é muito sensível à época específica em que foi treinado.

Resumo dos Conselhos dos Autores

O artigo conclui com um aviso para qualquer pessoa tentando prever o mercado de ações usando modelos de IA sofisticados e massivos:

Seja Cauteloso: Apenas porque um modelo é complexo e "inteligente" não significa que funcionará quando a economia mudar.
Observe a Deriva: O maior inimigo não é a falta de dados; é o fato de que a relação entre indicadores econômicos e preços de ações muda ao longo do tempo.
A Simplicidade Vence (Às Vezes): Embora modelos complexos possam funcionar, eles são frequentemente arriscados demais para o investidor médio porque seu desempenho é tão instável. Uma abordagem mais simples e robusta pode ser mais segura, mesmo que perca parte do potencial de alta.

Em resumo: O artigo argumenta que a "magia" dos modelos superparametrizados se desfaz quando o mundo muda. No mercado de ações, o mundo sempre muda. Portanto, confiar nesses modelos complexos para investimentos de longo prazo é um jogo de azar com apostas muito altas e resultados imprevisíveis.

Resumo Técnico: Modelos Superparametrizados com Deriva Posterior

Declaração do Problema

Este artigo investiga o impacto da deriva posterior (também conhecida como mudança de conceito) na precisão de previsões fora da amostra de modelos lineares superparametrizados (modelos onde o número de parâmetros $p$ excede o número de observações $n$ ). Embora a literatura recente, notadamente Kelly et al. (2024), tenha sugerido que o aumento da complexidade do modelo (a razão entre parâmetros e observações) pode ser benéfico para a previsão do prêmio de ações, essas descobertas frequentemente dependem da suposição de que o processo gerador de dados (PGD) permanece invariável entre as fases de treinamento e teste.

Os autores argumentam que, nos mercados financeiros, essa invariância raramente se sustenta devido a mudanças de regime. Especificamente, eles distinguem entre dois tipos de deslocamentos distribucionais:

Deslocamento de covariáveis: Mudanças na distribuição dos preditores ( $P_X$ ).
Deriva posterior: Mudanças na relação condicional entre preditores e a variável alvo ( $P_{y|X}$ ), o que significa que os coeficientes de regressão (cargas) mudam ao longo do tempo.

O problema central é quantificar como a deriva posterior degrada o desempenho de modelos complexos e superparametrizados, particularmente no contexto de estratégias de market timing.

Metodologia

O artigo emprega uma combinação de teoria assintótica de alta dimensão, simulações de Monte-Carlo e análise empírica em dados financeiros históricos.

Estrutura Teórica

Os autores estendem os resultados "especificados de forma isotrópica" de Hastie et al. (2022) para um cenário com dados não i.i.d. e deriva posterior.

Processo Gerador de Dados (PGD): O modelo assume uma relação linear $y_i = x_i'\beta + w_i'\theta + e_i$ , onde $x_i$ são características observadas e $w_i$ são características não observadas. O modelo é "especificado de forma inadequada" porque o agente apenas observa $x_i$ .
Mecanismo de Deriva: Os autores modelam explicitamente uma mudança nos parâmetros verdadeiros entre os períodos de treinamento (dentro da amostra) e teste (fora da amostra). Seja $(\beta_{is}, \theta_{is})$ os parâmetros durante o treinamento e $(\beta_{oos}, \theta_{oos})$ os parâmetros durante o teste.
Regime Assintótico: A análise ocorre no regime proporcional onde $n, p, q \to \infty$ tal que $p/n \to c_\phi$ e $(p+q)/n \to c$ .
Estimadores: O estudo foca em estimadores Ridge (com parâmetro de regularização $z$ ) e seu limite quando $z \to 0$ (sem ridge).

Protocolo Empírico

Dados: Os autores utilizam o mesmo conjunto de dados de Kelly et al. (2024), derivado de Goyal et al. (2024), consistindo em 14 indicadores macroeconômicos e retornos defasados.
Expansão de Características: Para criar um cenário superparametrizado, eles empregam Recursos de Fourier Aleatórios (RFFs) para expandir os 14 preditores em $p=600$ características, resultando em uma razão de complexidade $c=50$ (com $n=12$ meses de dados rolantes).
Validação: Eles testam a estratégia em vários sub-períodos de 15 anos e através de uma faixa de parâmetros de largura de banda ( $\gamma$ ) que controlam a não linearidade dos RFFs.
Detecção de Ponto de Mudança: Para validar empiricamente a existência de deriva posterior, eles aplicam um algoritmo de detecção de ponto de mudança multivariado não paramétrico (Londschien et al., 2023) à série temporal de betas estimados.

Principais Contribuições

1. Extensão Teórica à Deriva Posterior

O artigo deriva expressões analíticas para o retorno esperado e a variância de uma estratégia de market timing sob deriva posterior.

Retorno Esperado: O retorno esperado fora da amostra no limite é mostrado como sendo proporcional ao produto escalar dos vetores de carga dentro da amostra e fora da amostra: $E[r] \propto \langle \beta_{is}, \beta_{oos} \rangle$ .
Degradação de Desempenho: Os autores provam que, se as cargas dentro da amostra e fora da amostra estiverem desalinhadas (especificamente, se $\langle \beta_{oos} - \beta_{is}, \beta_{is} \rangle < 0$ ), o retorno esperado da estratégia se deteriora. No pior caso (cargas ortogonais), o retorno esperado cai para zero.
Retornos Ajustados ao Risco: O índice de Sharpe é mostrado como altamente sensível à razão sinal-ruído. Em regimes com sinais fracos (típicos de dados financeiros), a deriva posterior causa um colapso significativo no índice de Sharpe, particularmente para modelos com baixa regularização (alta complexidade).

2. Verificação por Simulação

Através de simulações de Monte-Carlo, os autores verificam que os limites teóricos derivados para o primeiro e segundo momentos do retorno da estratégia se mantêm verdadeiros. Eles demonstram que:

O retorno esperado é linear no produto escalar $\langle \beta_{is}, \beta_{oos} \rangle$ .
Maior regularização (maior $z$ ) reduz a volatilidade, mas também reduz os retornos esperados, criando um trade-off.
O fenômeno de "dupla descida" (onde o desempenho melhora à medida que a complexidade aumenta além do limiar de interpolação) ainda se mantém na presença de deriva, mas o desempenho de pico é significativamente menor do que em cenários sem deriva.

3. Evidência Empírica de Instabilidade

A análise empírica revela que o desempenho de modelos superparametrizados é altamente sensível tanto ao período de tempo quanto ao parâmetro de largura de banda:

Sensibilidade ao Período: Uma estratégia que gerou um retorno mensal de 7,24% no período de 2005–2019 colapsou para 0,52% no período de 1975–1989 sob as mesmas configurações de largura de banda.
Sensibilidade à Largura de Banda: A largura de banda ótima não é estática; ela varia entre diferentes regimes econômicos.
Pontos de Mudança: O algoritmo de detecção de ponto de mudança identifica rupturas estruturais significativas na série temporal de betas (por exemplo, em 1982, 1963 e 2002), confirmando que o PGD não é estável.

Resultados

Perda de Desempenho: Os resultados teóricos indicam que a perda no desempenho financeiro está diretamente ligada ao desalinhamento entre as cargas de treinamento e teste. Quando o sinal é fraco (baixo $R^2$ ), o impacto da deriva posterior é severo, frequentemente tornando modelos complexos piores do que benchmarks simples.
Retornos Ajustados ao Risco: Embora modelos complexos possam gerar altos retornos brutos em sub-períodos específicos favoráveis, seus retornos ajustados ao risco (índices de Sharpe) são frequentemente irracionalmente baixos ou negativos quando a volatilidade é contabilizada. O artigo observa que um retorno mensal de 0,03 implica uma volatilidade anualizada superior a 100%, o que é proibitivamente alto.
Trade-off de Regularização: O aumento do parâmetro de regularização (largura de banda) reduz a incerteza e a variância dos retornos da estratégia, mas simultaneamente direciona o retorno médio para zero, tornando a complexidade menos atraente do ponto de vista ajustado ao risco.
Análise Contrafactual: Quando os autores geram retornos "contrafactuais" assumindo nenhuma deriva posterior (ou seja, as cargas permanecem constantes), a estratégia performa significativamente melhor. Essa lacuna quantifica o custo específico das mudanças de regime.

Significado e Afirmações

O artigo conclui que, embora a sofisticação nos modelos de previsão possa trazer valor, modelos superparametrizados não são incondicionalmente benéficos. Os autores afirmam:

Sensibilidade a Mudanças de Regime: A eficácia de modelos lineares complexos na previsão do prêmio de ações é severamente comprometida por ambientes econômicos em mudança. A "virtude da complexidade" relatada na literatura anterior (por exemplo, Kelly et al., 2024) pode ser um artefato de sub-períodos específicos e estáveis ou uma subestimação do impacto da deriva posterior.
Cautela para Praticantes: Analistas que dependem de modelos superparametrizados devem prestar atenção particular à estabilidade e sensibilidade do desempenho em testes de backtest. Os resultados sugerem que períodos de detenção de 15 anos podem gerar retornos altamente heterogêneos, dependendo do regime específico e da largura de banda escolhida.
Recomendação: As descobertas recomendam cautela ao recorrer a grandes modelos lineares para previsões do mercado de ações. Os autores sugerem que os benefícios da complexidade são frequentemente superados pelos riscos da deriva posterior, especialmente em mercados financeiros onde os sinais são fracos e as mudanças de regime são frequentes.

Em resumo, o artigo fornece uma explicação teórica e empírica para a ambiguidade em torno do papel da superparametrização nas finanças, atribuindo a instabilidade de modelos complexos à não estacionariedade do processo gerador de dados subjacente.