당신이 로봇에게 개가 짖는 소리와 자동차 경적 소리 같은 서로 다른 소리를 인식하도록 가르치고 있다고 상상해 보십시오. 당신은 수천 개의 오디오 클립을 로봇에게 입력하고, 로봇은 컨볼루션 신경망(Convolutional Neural Network, CNN)이라는 특별한 종류의 뇌를 사용하여 정답을 맞히는 데 매우 능숙해집니다. 하지만 여기 문제가 있습니다. 로봇은 '블랙박스'입니다. 로봇은 답을 내놓지만, 왜 그런 답을 냈는지는 말해주지 않습니다. 개가 짖는 소리를 피치(pitch) 때문에 들은 것일까요, 리듬 때문일까요, 아니면 갑작스러운 시작 때문일까요? 현실 세계에서는 의사가 심장 질ات 상태를 진단하거나 공장이 기계 고장을 예측하는 것처럼 실수가 위험할 수 있는 상황이 많습니다. 우리는 단순히 로봇의 추측을 믿을 수만은 없습니다. 우리는 로봇이 실제로 어떤 패턴을 찾고 있는지 그 내부를 들여다봐야 합니다. 이것이 바로 '설명 가능한 AI'(Explainable AI, XAI)의 세계입니다. 과학자들은 이러한 패턴을 추출하는 방법들을 개발해 왔지만, 지금까지의 방법들은 한 방향으로만 빛을 비추는 손전등과 같았습니다. 그들은 소리가 언제 발생했는지(시간 영역)는 보여줄 수 있었지만, 소리의 가장 중요한 단서가 될 수 있는 피치나 주파수에는 눈이 멀어 있었습니다.

이 논문은 이러한 사각지대를 해결하는 CENDRe(Concept Extraction with Natural Domain Representations)라는 새로운 도구를 소개합니다. CENDRe를 사건의 타임라인만 보는 것이 아니라 연주되는 음표까지도 듣는 탐정이라고 생각하십시오. 연구진은 기존 방식들이 세 가지 주요 문제를 가지고 있다는 것을 발견했습니다. 첫째, 시간만을 보았고, 둘째, 로봇에게 특정 패턴의 개수를 강제로 지정하게 했으며(예를 들어, 보기도 전에 "단서는 정확히 3개다"라고 말하는 것과 같습니다), 셋째, 때때로 신호의 잘못된 부분을 지목했다는 점입니다. CENDRe는 스스로 얼마나 많은 패턴이 존재하는지 파악하고, 시간과 주파수 모두에서 패턴을 찾아내며, 그 패턴이 신호의 정확히 어느 지점에 존재하는지를 짚어냄으로써 이 문제를 해결합니다. 연구진이 정답을 알고 있는 가짜 데이터로 테스트했을 때, CENDRe는 기존 방식들보다 훨씬 더 잘 정답 단서를 찾아냈습니다. 고장 난 기계 베어링의 실제 데이터를 사용했을 때도, CNDRe는 전문가들이 문제를 진단할 때 사용하는 특정 '웅웅거리는(humming)' 주파수를 성공적으로 식별해 냈으며, 이는 로봇이 단순히 무작위로 추측하는 것이 아니라 실제로 올바른 것을 듣고 있음을 증명합니다.

탐정의 새로운 도구 상자

당신이 시끄러운 거리의 녹음 파일을 들으며 미스터리를 풀려는 탐정이라고 상상해 보십시오. 당신에게는 "자동차 사고인 것을 알겠습니다!"라고 말해주는 아주 똑똑한 AI 조수가 있습니다. 하지만 당신은 그것이 어떻게 아는지를 알아야 합니다. 타이어가 긁히는 소리 때문인가요? 금속이 찌그러지는 소리 때문인가요? 아니면 갑작스러운 정적 때문인가요?

기존의 탐정 도구들(이전의 AI 방식들)은 다소 서툴렀습니다. 첫째, 그들은 소리의 타이밍에 대해서만 들을 수 있었습니다. 만약 사고가 오후 2시 3분에 발생했다면 그것은 알려줄 수 있었지만, 그 소리가 고음의 비명이었는지 아니면 저음의 웅웅거림이었는지는 알려줄 수 없었습니다. 둘째, 그들은 단서의 개수에 대해 고집스러웠습니다. 시작하기도 전에 "단서 3개를 찾아라"라고 명령해야 했습니다. 만약 실제 미스터리에 4개의 단서가 있다면, 그들은 하나를 놓치거나 두 개를 하나로 뭉뚱그려 버릴 것입니다. 셋데, 그들은 지목하는 데 서툴렀습니다. 그들은 "단서가 이 1분 안에 어딘가에 있다"라고 말할 수도 있었습니다. 하지만 실제 단서는 아주 짧은 찰나의 소리였을 수도 있습니다.

CENDRe는 새로운 안경을 쓴 탐정과 같습니다. 이 안경을 쓰면 소리를 두 가지 방식으로 동시에 볼 수 있습니다. 타임라인(사건이 언제 일어나는가)과 스펙트럼(어떤 피치가 존재하는가)으로서 말입니다.

1. "자연스러운" 안경의 마법

이 논문은 "자연 도메인 표현(Natural Domain Representations)"이라는 개념을 도입합니다. 그림을 보고 있다고 상상해 보십시오. 당신은 그림을 정면(시간)에서 볼 수도 있지만, 붓터치(주파수)를 보여주는 특별한 필터를 통해 볼 수도 있습니다. CENDRe는 "가상 검사 레이어(virtual inspection layer)"라는 수학적 트릭을 사용합니다. 이것은 마치 AI의 뇌 안에 투명하고 가역적인 필터를 삽입하는 것과 같습니다. AI는 필터가 거기 있다는 사실조차 모른 채 자신의 일을 계속 수행합니다. 하지만 CENDRe는 필터를 통해 AI의 생각을 들여다볼 수 있습니다. 이를 통해 탐정은 AI의 사고 방식을 바꾸지 않으면서도, 고장 난 베어링의 특정 웅웅거림과 같은 소리의 "주파수"를 볼 수 있습니다.

2. 단서가 스스로 숫자를 세게 하기

기존 탐정들에게 가장 골치 아픈 문제 중 하나는 몇 개의 단서를 찾을지 결정하는 것이었습니다. 만약 당신이 5개의 단서를 찾으라고 했는데 실제로는 3개뿐이라면, 그들은 빈 자리를 채우기 위해 가짜 단서를 만들어낼 것입니다. 만약 7개가 있다면, 마지막 2개를 놓칠 것입니다.

CENDRe는 **실루엣 가이드 집합(silhouette-guided aggregation)**이라는 영리한 트릭을 사용합니다. 섞여 있는 퍼즐 조각 더미가 있다고 상상해 보십시오. 조각 더미에 몇 개의 그림이 있는지 추측하는 대신, CENDRe는 비슷한 조각들을 작은 클러스터(cluster)로 먼저 묶습니다. 그런 다음 질문을 던집니다: "이 그룹들이 얼마나 잘 어울리는가?" CENDRe는 그룹들이 합쳐지는 것을 멈출 때를 결정하기 위해 "실루엣 점수"(그룹의 '행복도'라고 생각하면 됩니다)를 사용합니다. 만약 그룹들이 행복하고 뚜렷하다면, 멈춥니다. 즉, CNDRe는 당신이 미리 짐작하지 않아도 "아, 여기에는 실제로 4개의 뚜렷한 패턴이 있구나"라고 자동으로 파악합니다. 이는 인간의 추측을 수학적 발견으로 대체하는 것입니다.

3. 정확한 순간 포착하기

일단 CENDRe가 하나의 패턴(하나의 '컨셉')을 찾으면, 그것이 소리의 정확히 어디에 있는지 보여주어야 합니다. 기존 방식들은 종종 전체 소리 주변에 크고 흐릿한 상자를 그리며 "단서가 이 근처 어딘가에 있다!"라고 말하곤 했습니다. CNDRe는 훨씬 더 정밀합니다. CNDRe는 그래디언트(gradients) 기술을 사용하여 단서의 경로를 근원지로 추적합니다.

이것은 히트맵(heat map)과 같습니다. 특정 부분의 볼륨을 높였을 때, AI의 확신도가 올라갑니까? CNDRe는 모든 시간대와 모든 주파수에 대해 이를 계산합니다. 그리고 중요한 부분만을 강조하는 마스크를 만듭니다. 만약 AI가 2000 Hz에서 0.5초 동안 고음의 비명을 듣고 있다면, CNDRe는 나머지 소음은 무시하고 정확히 그 지점에만 밝고 좁은 상자를 그립니다.

연구 결과

연구진은 두 가지 방식으로 CNDRe를 테스트했습니다. 정답을 알고 있는 가짜 데이터와 실제 기계 고장 데이터를 사용한 것입니다.

가짜 데이터 테스트:
그들은 AI가 인식하도록 훈련된 숨겨진 "프리미티브(primitives)"(예: 사각파 또는 특정 주파수 대역)가 포함된 합성음을 만들었습니다.

• 시간 영역(Time Domain): 시간 기반 형태(예: 사각 펄스)를 찾을 때, CNDRe는 기존의 가장 우수한 도구들만큼 잘 찾아냈습니다.
• 주파수 영역(Frequency Domain): 여기서 CNDRe가 빛을 발했습니다. 단서가 특정 주파수 대역(예: 고음 톤)에 숨겨져 있을 때, 기존 도구들은 완전히 눈이 멀었습니다. 그들은 주파수 단서를 전혀 보지 못했습니다. 그러나 CNDRe는 이를 완벽하게 찾아냈습니다. CNDRe는 AI가 사용하는 정확한 주파수 대역을 찾아냈으며, 이는 "그라운드 트루스(ground truth, 실제 정답)"와 거의 완벽하게 일치했습니다.
• 중요성: CNDRe는 단순히 단서를 찾는 것에 그치지 않고, 단서들의 우선순위를 정확하게 매겼습니다. 기존 방식들이 어떤 단서가 중요한지에 대해 혼란을 겪을 때도, CNDRe는 어떤 단서가 AI의 결정에 가장 중요한지 정확히 알고 있었습니다.

실제 환경 테스트:
연구진은 이 도구를 실제 공장 환경인 베어링 결함(bearing faults) 데이터에 적용했습니다.

• AI는 건강한 베어링과 내부 또는 외부의 균열이 있는 베어링을 구분하도록 훈련되었습니다.
• CNDRe는 인간 전문가가 알고 있는 지식과 일치하는 컨셉을 추출했습니다. 예를 들어, AI가 한 센서에서는 2000 Hz 주변의 날카로운 피크(peak)에, 다른 센서에서는 800~1000 Hz 주변의 특정 대역에 집중하고 있다는 것을 찾아냈습니다.
• 이 숫자들은 무작위가 아닙니다. 엔지니어들이 고장 난 베어링을 진단할 때 사용하는 바로 그 "시그니처" 주파수입니다. 이는 CNDRe가 단순히 패턴을 만들어내는 것이 아니라, AI가 예측을 내리는 데 사용하는 실제 논리를 드러내고 있음을 증명합니다.

이것이 왜 중요한가

이 논문은 시간과 주파수 관점을 결합하고, AI가 스스로 몇 개의 패턴을 보는지 결정하게 함으로써, 우리가 이러한 블랙박스 모델을 더 신뢰할 수 있게 된다고 제안합니다. 의료나 산업 안전과 같이 중요한 분야에서, 우리는 AI가 틀린 이유로 정답을 맞히는 것을 용납할 수 없습니다. CNDRe는 AI가 결정을 내리기 전, 특정 심장 박동 리듬이나 특정 기계 진동과 같은 올바른 "단서"를 보고 있는지 확인할 수 있는 방법을 제공합니다.

저자들은 CNDRe가 테스트된 유형의 AI 모델(1D CNN)에는 잘 작동하지만, AI가 특정 구조(이동 불변성, translation equivariance)를 갖추고 있어야 한다는 점을 유의 깊게 언급했습니다. 그들은 향-후 연구에서 매우 인기 있는 트랜스포머(Transformer)와 같은 다른 유형의 AI에도 이를 적응시켜야 할 필요가 있다고 제안합니다. 하지만 현재로서는, CNDRe는 기계의 마음을 들여다볼 수 있는 강력한 새로운 렌즈를 제공하여, 신비로운 추측을 명확하고 설명 가능한 이야기로 바꾸어 놓았습니다.