Perturbation-Specific Reliability of Intrinsic and Post-Hoc Explainable Machine Learning in Volatility Forecasting
본 연구는 변동성 예측에 있어 내재적 및 사후적 설명 모두의 신뢰성이 매우 섭동 특이적이며, 이는 서로 다른 모델-표현-설명가 구성에 따라 크게 달라지고 재학습, 시간적 변화, 입력 노이즈와 같은 다양한 조건 하에서의 경험적 평가를 필요로 한다는 점을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
금융 세계에서 주가가 어느 방향으로 움직일지 추측하는 것보다 얼마나 크게 출렁일지를 예측하는 것이 종종 더 쉽다고 여겨집니다. 변동성이라고 알려진 이 움직임의 척도는 리스크 관리에 매우 중요하지만, 시장이 무질서하고 예측 불가능하며 끊임없이 변화하기 때문에 예측하기가 매우 어렵습니다. 이러한 불확실성을 헤쳐 나가기 위해 금융 전문가들은 컴퓨터 프로그램이 과거 데이터를 학습하여 미래를 예측하는 머신러닝에 점점 더 의존하고 있습니다. 그러나 이 강력한 프로그램들은 종종 '블랙박스'처럼 작동하는데, 이는 그 내부 논리가 숨겨져 있어 인간이 이해하기 어렵다는 것을 의미합니다. 이러한 투명성의 결여는 문제를 야기합니다. 만약 컴퓨터가 위험한 예측을 내놓는다면, 규제 기관과 리스크 관리자들은 '왜' 그런 결과가 나왔는지 알아야 하기 때문입니다. 이를 해결하기 위해 과학자들은 기계가 스스로를 설명하게 만드는 두 가지 주요 방법을 개발했습니다. 첫 번째 접근 방식은 처음부터 기계의 설계 안에 설명을 직접 구축하여, 자연스럽게 읽기 쉬운 모델을 만드는 것입니다. 두 번째 접근 방식은 복잡하고 불투명한 기계를 먼저 학습시킨 다음, 별도의 도구를 사용하여 완성된 결과물을 들여다보고 기계가 무엇을 생각하고 있었는지 추측하는 것입니다. 커다란 질문은 항상 이 두 방법 중 어떤 것이 실제로 더 신뢰할 수 있는가 하는 점이었습니다.
인도네시아의 아마다 단 대학(Universitas Ahmad Dahlan) 연구팀은 이 질문에 답하기 위해 고도의 긴장감이 흐르는 주식 시장 예측 환경에서 이 두 가지 접근 방식을 엄격한 테스트에 부쳤습니다. 그들은 단순히 어떤 방법이 서류상으로 더 좋아 보이는지를 묻는 것이 아니라, 조건이 변할 때 얼마나 잘 견뎌내는지 확인하기 위해 일련의 실전 스트레스 테스트를 통해 설명의 성능을 검증했습니다. 연구진은 2016년부터 2025년까지의 데이터를 사용하여 미국, 유럽, 일본의 20개 주요 종목의 5일 변동성을 예측하는 데 집중했습니다. 그들은 다섯 가지 유형의 머신러닝 모델을 훈련시켰고, 각 모델의 구조에 가장 적합한 설명 방법을 짝지어 주었습니다. 결정적으로, 연구진은 최근의 기록을 바탕으로 한 단순한 기준점(baseline) 예측보다 실제로 변동성을 더 잘 예측할 수 있음을 증证明한 모델만을 최종 분석에 포함했습니다. 이는 설명의 대상이 되는 모델이 실제로 진정한 예측 능력을 갖추고 있을 때만 그 설명을 평가하겠다는 것을 보장하기 위함이었습니다.
연구는 신뢰성의 원천을 격리하기 위해 영리한 반전을 도입했습니다. 특정 유형의 머신러닝 모델에 대해, 연구진은 '내장형' 설명과 '사후 학습' 설명을 동일한 훈련된 네트워크에 모두 적용했습니다. 이를 통해 차이가 발생하는 원인이 모델 자체에 있는지, 아니면 설명을 사용하는 방식에 있는지 확인할 수 있었습니다. 그 후 연구진은 세 가지 유형의 압박 하에서 이 설명들을 테스트했습니다. 첫째, 입력 데이터에 약간의 무작위 노이즈를 추가하여 숫자가 약간 흐릿해졌을 때도 설명이 안정적으로 유지되는지 확인했습니다. 둘째, 시간 범위를 이동시켜 시장 상황이 몇 달 또는 몇 년에 걸쳐 변할 때도 설명이 유지되는지 확인했습니다. 셋째, 서로 다른 무작위 시작점을 사용하여 모델을 처음부터 다시 훈련시켜, 훈련 과정이 약간 달라지더라도 설명이 일관되게 유지되는지 확인했습니다.
결과는 놀라운 진실을 드러냈습니다: 머신러닝 모델을 설명하는 단 하나의 '최선의' 방법은 존재하지 않습니다. 설명의 신뢰성은 모델, 모델이 접하는 데이터, 그리고 직면하는 압박의 유형이라는 특정 조합에 전적으로 달려 있습니다. 가장 눈에 띄는 발견 중 하나는, 동일한 머신러닝 네트워크에 대해 내장형 설명은 입력 데이터에 노이즈가 있을 때 훨씬 더 안정적이었지만, 모델을 재학습시켰을 때는 완전히 무너졌다는 점입니다. 반대로, 학습 후 생성된 설명은 노이즈가 있는 데이터에는 덜 안정적이었지만, 모델을 처음부터 다시 구축했을 때는 훨씬 더 일관성을 유지했습니다. 이는 설명 방법의 선택이 단순히 '내장형'인지 '나중에 추가된 것'인지에 대한 일반적인 규칙에 근거해서는 안 되며, 오히려 구체적인 과업에 근거해야 함을 의미합니다. 만약 사용자가 데이터의 작은 오류를 견딜 수 있는 설명이 필요하다면 내장형 방법이 우수합니다. 만약 모델이 업데이트되거나 재학습되더라도 일관성을 유지하는 설명이 필요하다면 사후 학습 방법이 더 나은 선택입니다.
또한 이 연구는 이러한 설명의 품질을 측정하는 방식에 대한 업계의 흔한 가설에 도전했습니다. 연구자들은 종-종 가장 중요한 특징들을 하나씩 제거하여 모델의 예측이 얼마나 나빠지는지를 통해 설명이 진실한지 검증하려 합니다. 연구팀은 주식 변동성 맥락에서 이 방법이 똑똑한 설명과 무작위 추측을 구분하는 데 실패했다는 것을 발견했습니다. 금융 데이터의 신호는 매우 약하고 노이즈는 매우 높기 때문에, 특징을 제거하더라도 결과가 신뢰할 수 있게 변하지 않았으며, 이로 인해 이 표준 테스트는 이 특정 문제에 대해서는 무용지물이 되었습니다. 더욱이, 연구진은 전통적인 통계 모델인 실현 변동성의 이종 자기회귀 모델(HAR-RV)이 연구에서 가장 높은 중앙값 예측 정확도를 달양하며 모든 머신러닝 모델을 압도했다는 사실을 발견했습니다. 놀랍게도, 본질적으로 해석 가능한 스플라인 기반의 일반 가법 모델(GAM)이 이 최고 성능의 HAR-RV 벤치마크만큼 잘 수행되었으며, 더 복잡한 신경망이나 트리 기반 모델들은 그 뒤처졌습니다. 이는 이 특정 과업에 있어서 딥러닝의 추가적인 복잡성이 추가적인 정확도를 보장하지 못했으며, 더 단순하고 투명한 모델들이 똑같이 효과적이었음을 시사합니다.
궁극적으로, 이 연구는 모델이 투명하도록 설계되었다는 이유만으로 그 설명이 신뢰할 수 있다고 가정해서는 안 된다고 결론짓습니다. '내장형' 설명은 종종 해석 가능성의 황금 표준으로 마케팅되지만, 모델을 재학습시켰을 때 가장 재현성이 낮은 것으로 나타났습니다. 구체적으로, TabNet 모델의 내재적 어텐션 마스크(attention mask)는 거의 제로에 가까운 시드 재현성(순위 일치도가 0.006에 불과함)을 보였는데, 이는 새로운 무작위 시작 숫자를 사용했을 때 모델이 완전히 다른 이야기를 했다는 것을 의미하며, 연구에서 가장 신뢰할 수 없는 설명이었습니다. 이 연구는 신뢰성이 특정 유형의 설명이 가진 고유한 속성이 아니라, 매 새로운 상황마다 경험적으로 테스트되어야 하는 취약한 특성임을 보여줍니다. 금융 결정을 내리기 위해 이러한 도구에 의존하는 사람들에게 교훈은 명확합니다. 시스템이 직면할 구체적인 압박 하에서도 설명이 견뎌낼 수 있는지 반드시 검증해야 하며, 단순히 기계가 어떻게 만들어졌는지에 따라 신뢰해서는 안 됩니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.