Perturbation-Specific Reliability of Intrinsic and Post-Hoc Explainable Machine Learning in Volatility Forecasting
Este estudo demonstra que a confiabilidade de explicações tanto intrínsecas quanto post-hoc na previsão de volatilidade é altamente específica para cada perturbação, variando significativamente entre diferentes configurações de modelo–representação–explicador e necessitando de avaliação empírica sob diversas condições, tais como retreinamento, deslocamentos temporais e ruído de entrada.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo das finanças, prever o quanto o preço de uma ação irá oscilar é frequentemente considerado mais fácil do que adivinhar para que lado o preço se moverá. Essa medida de movimento, conhecida como volatilidade, é crucial para a gestão de risco, mas permanece notoriamente difícil de prever porque os mercados são desordenados, imprevisíveis e em constante mudança. Para navegar por essa incerteza, especialistas financeiros recorrem cada vez mais ao aprendizado de máquina (machine learning), onde programas de computador aprendem com dados passados para fazer previsões futuras. No entanto, esses programas poderosos operam frequentemente como "caixas pretas", o que significa que sua lógica interna é oculta e difícil de ser compreendida pelos humanos. Essa falta de transparência cria um problema: se um computador faz uma previsão arriscada, reguladores e gestores de risco precisam saber o porquê. Para resolver isso, cientistas desenvolveram duas formas principais de fazer essas máquinas se explicarem. A primeira abordagem incorpora a explicação diretamente no design da própria máquina desde o início, criando modelos que são naturalmente fáceis de ler. A segunda abordagem treina uma máquina complexa e opaca primeiro e, depois, utiliza uma ferramenta separada para observar o produto acabado e adivinhar o que ela estava pensando. A grande questão sempre foi qual desses dois métodos é realmente mais confiável.
Uma equipe de pesquisadores da Universitas Ahmad Dahlan, na Indonésia, partiu para responder a essa pergunta, submetendo essas duas abordagens a um teste rigoroso no ambiente de alto risco da previsão do mercado de ações. Eles não perguntaram simplesmente qual método parecia melhor no papel; em vez disso, submeteram as explicações a uma série de testes de estresse do mundo real para ver como elas se sustentavam quando as condições mudavam. Os pesquisadores concentraram-se em prever a volatilidade de cinco dias de vinte ações principais dos Estados Unidos, Europa e Japão, utilizando dados abrangendo de 2016 a 2025. Eles treinaram cinco tipos diferentes de modelos de aprendizado de máquina, combinando cada um com o método de explicação mais adequado à sua arquitetura. Crucialmente, eles só incluíram modelos em sua análise final se estes provassem ser capazes de prever a volatilidade melhor do que um palpite simples baseado no histórico recente. Isso garantiu que estivessem avaliando apenas as explicações de modelos que de fato possuíam uma habilidade genuína de previsão.
O estudo introduziu uma reviravolta inteligente para isolar a fonte da confiabilidade. Para um tipo específico de modelo de aprendizado de máquina, os pesquisadores aplicaram tanto a explicação "incorporada" quanto a explicação "pós-treinamento" à exata mesma rede treinada. Isso permitiu observar se a diferença na confiabilidade vinha do próprio modelo ou do método utilizado para explicá-lo. Eles então testaram essas explicações sob três tipos diferentes de pressão. Primeiro, adicionaram uma pequena quantidade de ruído aleatório aos dados de entrada para ver se a explicação permanecia estável quando os números eram ligeiramente imprecisos. Segundo, deslocaram a janela temporal para ver se a explicação se mantinha conforme as condições de mercado mudavam ao longo de meses e anos. Terceiro, retreinaram o modelo do zero usando diferentes pontos de partida aleatórios para ver se a explicação permanecia consistente mesmo quando o processo de treinamento variava ligeiramente.
Os resultados revelaram uma verdade surpreendente: não existe uma única "melhor" maneira de explicar um modelo de aprendizado de máquina. A confiabilidade de uma explicação depende inteiramente da combinação específica do modelo, dos dados que ele observa e do tipo de pressão a que é submetido. Em uma das descobertas mais marcantes, os pesquisadores descobriram que, para a mesma rede de aprendizado de máquina, a explicação incorporada era muito mais estável quando os dados de entrada eram ruidosos, mas desmoronava completamente quando o modelo era retreinado. Por outro lado, a explicação gerada após o treinamento era menos estável contra dados ruidosos, mas permanecia muito mais consistente quando o modelo era reconstruído do zero. Isso significa que a escolha do método de explicação não deve ser baseada em uma regra geral sobre se é "incorporado" ou "adicionado posteriormente", mas sim na tarefa específica em questão. Se um usuário precisa de uma explicação que possa suportar pequenos erros nos dados, o método incorporado é superior. Se ele precisa de uma explicação que permaneça consistente mesmo quando o modelo é atualizado ou retreinado, o método pós-treinamento é a melhor escolha.
O estudo também desafiou uma suposição comum no campo sobre como medimos a qualidade dessas explicações. Pesquisadores frequentemente tentam verificar se uma explicação é verdadeira removendo as características mais importantes uma a uma para ver se a previsão do modelo piora. A equipe descobriu que, no contexto da volatilidade das ações, esse método falhou em distinguir entre uma explicação inteligente e um palpite aleatório. Como o sinal nos dados financeiros é tão fraco e o ruído é tão alto, remover uma característica não alterou o resultado de forma confiável, tornando esse teste padrão inútil para este problema específico. Além disso, os pesquisadores descobriram que um modelo estatístico tradicional simples, conhecido como Modelo de Volatilidade Realizada Autorregressivo Heterogêneo (HAR-RV), alcançou a melhor precisão de previsão mediana no estudo, superando decisivamente todos os modelos de aprendizado de máquina testados. Notavelmente, um Modelo Aditivo Generalizado (GAM) baseado em splines, que é intrinsecamente interpretável, teve um desempenho tão bom quanto o benchmark HAR-RV de alto desempenho, enquanto as redes neurais e os modelos baseados em árvores, mais complexos, ficaram atrás. Isso sugere que, para esta tarefa específica, a complexidade adicional do aprendizado profundo não trouxe nenhum ganho de precisão, e os modelos mais simples e transparentes foram igualmente eficazes.
Em última análise, a pesquisa conclui que não podemos assumir que uma explicação é digna de confiança apenas porque vem de um modelo projetado para ser transparente. As explicações "incorporadas", que são frequentemente comercializadas como o padrão ouro para interpretabilidade, provaram ser as menos reproduzíveis quando o modelo era retreinado. Especificamente, a máscara de atenção intrínseca do modelo TabNet mostrou uma reprodutibilidade de semente quase nula (com um acordo de ranking de apenas 0,006), o que significa que ela mudava completamente sua história com um novo conjunto de números iniciais aleatórios, tornando-a a explicação menos confiável do estudo. O estudo demonstra que a confiabilidade não é uma propriedade inerente de um tipo específico de explicação, mas uma característica frágil que deve ser testada empiricamente para cada nova situação. Para qualquer pessoa que dependa dessas ferramentas para tomar decisões financeiras, a lição é clara: você deve verificar se a explicação resiste às pressões específicas que seu sistema enfrentará, em vez de confiar nela simplesmente devido à forma como a máquina foi construída.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.