당신이 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 카메라와 두뇌를 주고, 로봇은 예측을 시작합니다: "저것은 고양이이다," 또는 "저 기계는 곧 고장 날 것이다." 하지만 때때로 로봇은 틀리거나, 더 심하게는 잘못된 이유로 정답을 맞히기도 합니다. 예를 들어, 로봇이 늑대를 실제로 보았기 때문이 아니라 배경에 눈이 있다는 이유로 사진 속의 동물을 늑대라고 생각할 수도 있습니다. 이것은 인공지능(AI) 세계, 특히 병원이나 공장처럼 이해관계가 걸린 상황에서 매우 큰 문제입니다. 우리는 로봇이 단순히 '무엇'을 결정했는지뿐만 아니라, '왜' 그런 결정을 내렸는지 알아야 합니다.

이를 해결하기 위해 과학자들은 "설명 가능한 AI(Explainable AI)"라고 불리는 도구를 사용합니다. 이 도구 상자에서 가장 멋진 도구 중 하나는 "반사실적 설명(counterfactual)"입니다. 반사실적 설명을 "만약 ~했다면 어땠을까"라는 이야기라고 생각해 보세요. "당신이 걷고 있다고 예측했습니다"라고 단순히 말하는 대신, 반사실적 설명은 "당신이 걷고 있다고 예측했지만, 만약 당신이 발걸음을 늦췄다면 나는 당신이 앉아 있다고 예측했을 것입니다"라고 말합니다. 이는 미래를 바꾸기 위한 레시피와 같습니다. 하지만 시계열 데이터(심박수 모니터나 주식 차트처럼 시간에 따라 변하는 데이터)를 다룰 때는 이러한 "만약 ~했다면" 이야기를 만드는 것이 까로울 수 있습니다. 단순히 데이터의 한 지점만 수정한다면, 그것은 문장에서 단어 하나를 바꾼 뒤 문장 전체가 여전히 말이 되기를 바라는 것과 같습니다. 대개는 그렇게 되지 않습니다. 이야기는 횡설수설하게 되고, 로봇의 설명은 쓸모없어집니다.

여기서 ConceptCF라는 새로운 방법이 등장합니다. 이 논문의 저자인 안네마리 유테(Annemarie Jutte)와 그녀의 팀은 시계열의 개별 지점을 건드리는 대신, 데이터를 구성하는 "큰 아이디어"나 "개념(concepts)"을 바꿔야 한다는 점을 깨달았습니다. 노래를 상상해 보세요. 모든 음표를 하나씩 미세하게 조정하여 노래를 바꾸려고 한다면 매우 번거롭고 혼란스러울 것입니다. 혹은 "볼륨"(얼마나 큰지)이나 "템포"(얼마나 빠른지)를 바꿀 수도 있습니다. 이것들이 바로 개념입니다. ConceptCF는 시계열 데이터를 가져와 이를 이해 가능한 개념(예: 파동의 크기나 반복되는 빈도)으로 분해한 다음, "만약 볼륨이나 템포를 바꾼다면 어떻게 될까?"라고 묻습니다. 이 방식은 디지털 진화 과정, 즉 가장 좋은 해결책이 살아남고 더 나아지는 비디오 게임과 같은 과정을 사용하여, 예측을 뒤집기 위해 필요한 가장 작고 논리적인 변화를 찾아냅니다. 그 결과는 인간이 실제로 이해할 수 있는 설명이 됩니다. 예를 들어, "로봇은 당신의 발걸음이 너무 커서 걷고 있다고 생각했습니다. 만약 당신이 더 작은 발걸음을 냈다면, 로봇은 당신이 앉아 있다는 것을 알았을 것입니다"라고 말하는 것과 같습니다.

이 논문은 ConceptCF를 시계열 데이터에 특화된 "만약 ~했다면" 설명을 생성하는 방법으로 소개합니다. 핵심 아이디어는 원시 데이터 포인트(시간상의 개별 순간들)를 들여다보는 것을 멈추고, 인간이 쉽게 파악할 수 있는 고차원적 패턴인 **개념(concepts)**을 보는 것입니다. 예를 들어 신호의 전체적인 "규모(amplitude)"나 "빈도(frequency)" 같은 것들입니다. 저자들은 기존 방식들이 데이터를 개별적으로 수정함으로써 데이터의 의미를 망가뜨리는 경우가 많으며, 이는 이상하고 불가능한 시나리오를 만들어낼 수 있다고 주장합니다. ConceptCF는 오직 근본적인 개념만을 수정함으로써 이 문제를 피합니다.

이를 위해 팀은 시계열을 개념으로 분해하는 세 가지 서로 다른 방법을 사용합니다:

1. 푸리에 기반(Fourier-based): 신호를 마치 화음을 개별 음표로 분리하듯, 다양한 주파수의 혼합으로 바라봅니다.
2. 웨이브렛 기반(Wavelet-based): 신호를 다양한 크기의 덩어리로 나누어, 큰 추세와 세부 사항을 모두 포착합니다.
3. 인간 중심적(Human-centered): 수학 전문가가 아닌 사람들을 위해 설계되었으며, 신호를 "추세(trend, 상승 또는 하락)", "편향(bias, 위나 아래로 치우침)", "규모(scale, 크기)"와 같은 요소로 나눕니다.

데이터가 개념으로 분해되면, 이 방법은 완벽한 반사실적 예시를 찾기 위해 **유전 알고리즘(genetic algorithm)**을 사용합니다. 이것은 디지털 육종 프로그램과 같습니다. 컴퓨터는 가능한 변화들의 "집단(population)"에서 시작합니다. 컴퓨터는 어떤 변화가 AI의 예측을 성공적으로 바꾸는지(타당성, validity), 그리고 원래의 데이터와 얼마나 가까운지(근접성, proximity), 그리고 얼마나 적은 것을 바꾸는지(희소성, sparsity)를 테스트합니다. 가장 "적합한(fittest)" 해결책들이 살아남아 서로 섞이면서 다음 세대의 더 나은 해결책을 만들어냅니다. 목표는 예측을 뒤집는 데 필요한 최소한의 개념 변화를 찾는 것입니다. 예를 들어, 모델이 "걷기"를 예측한다면, ConceptCF는 "파장"과 "규모"를 키우면 모델이 "앉기"를 예측하게 될 것이라는 점을 찾아낼 수 있습니다.

연구진은 실제 사람의 보행 데이터와 심박수 데이터를 포함한 실세계 데이터셋을 사용하여 ConceptCF를 다섯 가지의 최상위 방법들과 비교 테스트했습니다. 그들은 다음 다섯 가지 기준을 바탕으로 ConceptFF가 얼마나 잘 작동하는지 측정했습니다:

• 타당성(Validity): 실제로 예측을 바꾸었는가?
• 확신도(Confidence): 모델이 새로운 예측에 대해 확신을 갖는가?
• 근접성(Proximity): 새로운 시나리오가 원래의 데이터와 유사한가?
• 희소성(Sparsity): 몇 가지만 바꾸었는가, 아니면 모든 것을 건드렸는가?
• 그럴듯함(Plausibility): 새로운 시나리오가 실제 현실에서 일어날 수 있는 일인가?

결과에 따르면 ConceptCF는 매우 경쟁력 있는 성능을 보였습니다. 실제로, 특히 희소성(sparsity) 측면에서 종종 최고를 차지했습니다. 이는 ConceptCF가 아주 적은 수의 개념만을 변경함으로써 AI의 결정을 설명할 수 있음을 의미하며, 덕분에 설명이 훨씬 깔끔하고 인간이 이해하기 쉬워집니다. 다른 방법들은 데이터를 현실적으로 유지하는 데 어려움을 겪거나 너무 많은 지점을 수정하는 경로는 있었지만, ConceptCF는 예측을 뒤집기 위한 가장 작고 논리적인 변화라는 "최적의 지점(sweet spot)"을 일관되게 찾아냈습니다. 저자들은 개념을 분해하는 방식(푸리에 vs 웨이브렛 vs 인간 중심적)이 결과에 큰 차이를 주지 않는다는 것을 발견했으며, 이는 이 방법이 다양한 요구에 맞춰 유연하게 적용될 수 있음을 시사합니다.

결론적으로, 이 논문은 ConceptCF가 시계열 AI를 이해하기 위한 강력한 새로운 도구라고 밝힙니다. 복잡한 머신러닝 모델과 인간의 추론 사이의 간극을 메우기 위해, 원시 데이터 포인트가 아닌 인간이 해석 가능한 개념에 집중함으로써 말입니다. 저자들은 자신들의 방법이 수학적으로 견고하고 표준 테스트에서 좋은 성과를 냈지만, 궁극적인 시험대는 인간이 실제로 그 설명을 더 잘 이해하는지 여부라고 제안합니다. 그들은 향후 연구에서 실제 사람들을 대상으로 하여, 이러한 개념 기반의 설명이 정말로 AI를 더 투명하고 신뢰할 수 있게 만드는지 확인해야 한다고 제안합니다. 현재로서는 ConceptCF는 AI의 결정을 블랙박스처럼 만드는 것이 아니라, 우리 모두가 이해할 수 있는 대화로 만드는 데 있어 유망한 단계입니다.