X-FCA: Diagnosing Explanatory Decoupling in Financial Information Systems via Counterfactual XAI and Conformal Prediction

현대 금융의 고속 세계에서 컴퓨터는 거래 결정을 위한 주요 눈과 귀가 되었습니다. 이 시스템들은 소셜 미디어, 뉴스 피드, 그리고 금융 보고서에서 쏟아지는 방대한 텍스트의 바다를 스캔하여 시장의 분위기를 파악합니다. 분위기가 낙관적으로 보이면 알고리즘은 매수할 수 있고, 공포가 느껴지면 매도할 수 있습니다. 수년 동안 이러한 컴퓨터 프로그램이 잘 작동하는지 판단하는 표준적인 방법은 그 정확도를 확인하는 것이었습니다. 즉, 이들이 대부분의 경우에 올바른 감정을 예측했는가를 보는 것이었습니다. 만약 시스템이 80퍼센트의 확률로 정답을 맞혔다면, 그것은 성공적인 것으로 간주되었습니다. 하지만 이 방법에는 사각지대가 존재합니다. 그것은 결과는 알려주지만, 컴퓨터가 어떻게 그 결론에 도달했는지는 밝히지 못합니다. 기계가 단어의 진정한 의미를 이해하기보다는 시각적 속임수나 표면적인 패턴에 의존하여 잘못된 이유로 정답을 맞힐 가능성이 있습니다. 이는 단 하나의 잘못 해석된 신호가 막대한 금융 손실을 초래할 수 있는 분야에서 위험한 격차입니다.

한 연구팀이 금융 인공지능의 이러한 숨겨진 약점을 폭로하기 위해 나섰습니다. 그들은 금융 관련 트윗을 읽도록 설계된 특정 유형의 컴퓨터 모델에 집중했는데, 이 작업은 짧고, 노이즈가 많으며, 종종 감정적인 메시지를 해석하는 일을 포함합니다. 이러한 메시지들은 시장의 방향을 전달하기 위해 로켓이나 하락하는 차트와 같은 작은 그림인 이모지(emoji)를 자주 사용합니다. 연구진은 컴퓨터 모델이 이러한 상징들의 의미를 실제로 읽는 것이 아니라, 그 의미를 담은 의미론적 단서가 아닌 단순한 시각적 닻(anchor)으로 취급하며 그 존재 자체에 반응하고 있다고 의심했습니다. 이를 테스트하기 위해 그들은 X-FCA라고 불리는 진단 도구를 구축했습니다. 이 도구는 단순히 컴퓨터에게 무엇을 생각하는지 묻는 것이 아니라, 텍스트의 특정 부분을 주의 깊게 제거한 후 컴퓨터에게 자신의 생각을 재고하도록 요청했습니다. 이모지를 제거하기 전과 후의 결정을 비교함으로써, 연구팀은 모델이 진정으로 금융 뉴스를 이해하고 있는지 아니면 단순히 그림에 반응하고 있는 것인지를 확인할 수 있었습니다.

조사는 암호화폐 토론, 전통적인 은행 뉴스, 그리고 기관 보고서에서 추출한 약 18만 건의 금융 마이크로블로그라는 방대한 컬렉션과 함께 시작되었습니다. 연구진은 이 텍스트들을 금융에 특화되어 훈련된 정교한 언어 모델에 입력했습니다. 그런 다음 일련의 통제된 실험을 수행했습니다. 한 시나리오에서는 의도적이고 체계적인 방식으로 텍스트에서 이모지를 제거했습니다. 다른 시나리오에서는 모델이 단순히 문장의 길이에 민감한지를 보기 위해 무작위로 글자나 단어를 제거했습니다. 결과는 놀라웠습니다. 이모지를 제거했을 때, 컴퓨터는 100개의 트윗 중 거의 7번꼴로 시장 감정에 대해 마음을 바꿨습니다. 반면 무작위로 글자를 제거했을 때는 100번 중 약 2.5번 정도만 마음을 바꿨습니다. 이 차이는 모델의 결정이 실제 단어가 설명하는 시장 상황이 아니라, 이모지의 시각적 존재 여부에 크게 의존하고 있음을 증명했습니다.

더 깊이 파고들자, 연구진은 컴퓨터가 이러한 이미지를 처리하는 방식에서 구조적인 결함을 발견했습니다. 모델이 트윗의 의미를 분석하기 시작하기도 전에, 토크나이저(tokenizer)라고 불리는 구성 요소가 텍스트를 작은 조각들로 분해합니다. 연구진은 이 토크나이저가 특정 금융 이모지를 인식하지 못한다는 것을 발견했습니다. 로켓을 상승하는 시장의 상징으로, 혹은 피 흘리는 듯한 하락 화살표를 하락의 상징으로 보는 대신, 시스템은 이 모든 독특한 이미지들을 동일한 일반적인 '알 수 없음(unknown)' 기호로 변환해 버렸습니다. 이는 컴퓨터가 이모지가 강세인지 약세인지에 대한 구체적인 정보를 생각하기도 전에 이미 모든 구체적인 정보를 잃어버렸음을 의미합니다. 컴퓨터는 텍스트에 포함된 '알 수 없는' 기호의 개수만을 남겨두게 된 것입니다. 결과적으로, 모델은 의미가 아닌 이러한 기호들의 밀도에 기반하여 결정을 내리는 법을 배웠습니다. 만약 트윗에 세 개 이상의 이러한 일반적인 기호가 포함되어 있다면, 컴퓨터의 확신도는 예측 불가능하게 치솟았고, 이는 급격한 오류 증가로 이어졌습니다. 연구진은 이 현상을 "토크나이저 맹목(tokenizer blindness)"이라고 불렀습니다.

이를 해결하기 위해, 팀은 그들이 '백신 접종'의 일종이라고 설명한 훈련 방법을 도입했습니다. 그들은 문제가 되는 트윗들을 가져와 이모지를 제거한 후, 깨끗한 텍스트와 정답을 함께 컴퓨터에게 보여주었습니다. 이 과정은 이모지의 존재와 컴퓨터의 확신도 사이의 가짜 연결 고리를 제거했습니다. 결과는 백신을 맞은 모델이 훨씬 더 안정적이 되었다는 것을 보여주었습니다. 입력값에서 이모지를 제거했을 때, 모델은 더 이상 당황하거나 자주 마음을 바꾸지 않았습니다. 그러나 놀랍고도 중요한 발견이 뒤따랐습니다. 모델이 더 견고해지고 오류를 일으킬 가능성이 낮아졌음에도 불구하고, 텍스트 내부의 단어에 주목하는 방식은 변하지 않았습니다. 컴퓨터는 여전히 이전에 주목했던 것과 동일한 단어들에 집중하고 있었습니다. 모델은 시각적 속임수를 무시하는 법을 배웠지만, 언어를 이해하는 근본적인 방식은 변하지 않은 것입니다.

연구진은 이 현상을 "설명적 디커플링(explanatory decoupling, 설명적 탈동조화)"이라고 명명했습니다. 이는 컴퓨터 시스템이 더 지능적이거나 의미론적으로 탄탄해지지 않고도 더 신뢰할 수 있고 오류에 덜 취약하게 만들어질 수 있음을 의미합니다. 모델은 시각적 지름길에 속지 않을 수는 있지만, 내부적인 추론 과정은 정확히 이전과 동일하게 유지될 수 있습니다. 이 발견은 모델의 예측이 더 안정적이 된다면 그 설명 또한 더 진실할 것이라는 일반적인 가정을 뒤흔듭니다. 연구는 안정성과 이해가 별개의 문제임을 보여주었습니다. 시스템은 깊이가 없더라도 견고할 수 있습니다. 진정한 신뢰성을 확보하기 위해, 연구진은 금융 시스템에 단순히 정확도 점수나 안정적인 예측 그 이상의 것이 필요하다고 주장했습니다. 그들은 이러한 숨겨진 결함까지 고려하여 불확실성을 측정할 수 있는 방법이 필요하다고 보았습니다. 그들은 자신들의 진단 도구와 모델의 예측에 대한 확신도를 계산하는 방법을 결합하여 안전망을 만들었습니다. 이 시스템은 모델 스스로가 인정하지 않더라도, 모델이 확신하지 못하는 순간을 포착하여 경고를 보낼 수 있으며, 자동화된 거래 시스템을 위한 결정적인 보호 계층을 제공합니다.

이 연구의 함의는 단순히 특정 컴퓨터 프로그램을 고치는 것을 넘어섭니다. 이는 인공지능이 인터넷의 시각적 언어와 상호작용하는 방식에 존재하는 근본적인 취약성을 드러냅니다. 밀리초 단위로 결정이 내려지는 고위험 알고리즘 트레이딩 환경에서, 의미론적 의미가 아닌 시각적 밀도에 의존하는 시스템은 시한폭탄과 같습니다. 공격자는 중립적이거나 부정적인 메시지에 이모지 뭉치를 추가하는 것만으로도 쉽게 시장 신호를 조작하여, 컴퓨터를 잘못된 낙관주의로 유도할 수 있습니다. 연구진은 이러한 공격이 실행하기 매우 간단하면서도, 준비되지 않은 시스템에는 치명적이라는 것을 입증했습니다. 그들의 연구는 신뢰할 수 있는 금융 AI의 미래를 위해서는 이러한 시스템을 구축하고 감사하는 방식에 새로운 접근이 필요함을 시사합니다. 단순히 정답을 맞히는 모델을 만드는 것만으로는 부족합니다. 모델은 상징 뒤에 숨겨진 의미를 이해하도록 구축되어야 하며, 그 확신이 훈련 데이터의 우연한 패턴이 아닌 현실에 뿌리를 두도록 보장해야 합니다.