🤖 machine learning

Concept Extraction for Time Series with ECLAD-ts

이 논문은 시계열 분류에 특화된 새로운 사후 개념 추출 및 국소화 방법인 ECLAD-ts를 소개하며, 이는 모델이 서로 다른 추상화 수준에서 입력 하위 집합을 어떻게 인코딩하는지 밝히기 위해 CNN 활성화 맵을 클러스터링함으로써 전역적 설명을 생성한다.

원저자: Antonia Holzapfel, Andres Felipe Posada-Moreno, Sebastian Trimpe

게시일 2026-08-03

📖 7 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Antonia Holzapfel, Andres Felipe Posada-Moreno, Sebastian Trimpe

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. 하지만 당신의 유일한 목격자는 말을 거부하는 아주 똑똑하고 빠른 로봇입니다. 이 로봇은 길고 구불구불한 데이터 선을 보고 무엇이 일어나고 있는지 정확하게 말할 수 있습니다. 예를 들어 기계가 고장 날지, 혹은 환자가 아플지를 예측하는 식이죠. 하지만 로봇은 자신이 어떻게 그 답을 찾아냈는지는 말해주지 않습니다. 과학계에서는 이를 "블랙박스"라고 부릅니다. 우리는 로봇이 똑똑하다는 것은 알지만, 그 사고 과정을 볼 수 없기 때문에 로봇이 진짜 단서를 사용하고 있는 것인지, 아니면 단순히 정답처럼 보이는 아주 사소하고 우연한 패턴에 의존하고 있는 것인지 알 수 없습니다. 만약 로봇이 이러한 패턴에 의존하고 있다면, 상황이 변할 때 위험한 실수를 저지를 수 있기 때문에 이는 큰 문제입니다. 과학자들은 이 블랙박스 안을 비추기 위해 "손전등"을 만들기 위해 노력해 왔으며, 특히 이미지(사진)를 대상으로 하는 연구가 활발했습니다. 하지만 시간의 흐름에 따라 움직이는 데이터(심장 박동이나 주식 가격처럼)는 사진과는 다르게 변화하고 움직이는 방식이 훨씬 복잡하기 때문에 이를 파헤치기가 훨씬 더 어려웠습니다.

이 논문은 시계열 데이터를 분석하는 로봇의 두뇌 내부를 들여다보기 위해 특별히 설계된 새로운 손전등인 ECLAD-ts를 소개합니다. 연구진은 로봇이 인식하는 특정 패턴이나 형태, 즉 "개념(concepts)"을 찾아내기 위해 이 도구를 만들었습니다. 아이에게 개를 식별하는 법을 가르칠 때, 단순히 "이것은 개야"라고 말하는 것이 아니라 "축 처진 귀, 흔들리는 꼬리, 젖은 코"를 가리키며 알려주는 것과 같습니다. ECLAD-ts는 로봇을 위해 이 작업을 수행하며, 다만 귀나 꼬리 대신 데이터 속의 구불구불한 모양, 툭 튀어나온 부분(bumps), 그리고 경사(slopes)를 찾아냅니다. 연구팀은 자신들이 정답을 미리 알고 있는 가공의 데이터와 공장 및 동작 센서에서 얻은 실제 데이터를 모두 사용하여 이 도구를 테스트했습니다. 그 결과, ECLAD-ts는 로봇이 사용하는 진짜 단서를 포착하고 "지름길"이나 우연한 패턴을 무시하는 데 훨씬 뛰어나다는 것을 발견했습니다. 심지어 어떤 로봇들이 실제 중요한 부분은 무시하고 배경 소음에 기반해 추측하고 있다는 사실까지 밝혀냈습니다. 타임라인의 어느 부분을 로봇이 보고 있는지 정확히 보여줌으로써, ECLAD-ts는 우리가 로봇을 더 신뢰하거나, 잘못된 것을 보고 있을 때 이를 수정할 수 있도록 도와줍니다.

문제점: 침묵하며 지름길을 이용하는 로봇

공장의 하루가 "좋은" 날인지 "나쁜" 날인지 구분하도록 로봇을 훈련시킨다고 상상해 보세요. 당신은 기계 진동 기록 수천 개를 로봇에게 입력합니다. 로봇은 테스트에서 100% 정답을 맞히며 아주 유능해집니다. 하지만 당신이 "왜 저 기계가 고장 났다고 생각했나요?"라고 묻는다면, 로봇은 그저 빤히 쳐다볼 뿐입니다. 이것이 바로 블랙박스입니다.

무서운 점은 로봇이 지름길을 택하는 경향이 있다는 것입니다. 기계가 진동 속의 특정 "으드득거리는 소리" 때문에 고장 났다고 배우는 대신, 로봇은 "나쁜 날은 항상 화요일에 발생한다"거나 "나쁜 날에는 항상 맨 처음에 약간의 정전기 노이즈가 섞여 있다"는 식으로 학습할 수도 있습니다. 만약 로봇이 이런 지름길에 의존한다면, 일정이 바뀌거나 정전기 노이즈가 사라지는 순간 처참하게 실패할 것입니다. 이를 "지름길 학습(shortcut learning)"이라고 하며, 겉으로는 똑똑해 보이지만 실제로는 똑똑하지 않기 때문에 매우 위험합니다.

이를 해결하려면 과학자들은 블랙박스를 열어야 합니다. 로봇이 실제로 무엇을 "생각"하고 있는지 알아내야 합니다. 이미지의 경우, 로봇이 이미지의 어느 부분을 보고 있는지 강조해 주는 도구들이 있습니다. 하지만 심장 박동이나 주식 차트처럼 시간에 따라 흐르는 데이터(시계열 데이터)의 경우, 이러한 도구들이 없었거나 제대로 작동하지 않았습니다. 기존의 방법들은 마치 건더미 속에서 바늘을 찾을 때 바늘이 있을 법한 곳을 그냥 짐작으로 찾는 것과 같았거나, 사람이 모든 패턴을 일일이 수동으로 라벨링해야 했기에 느리고 지루했습니다.

해결책: ECLAD-ts, 시간을 여행하는 탐정

이 논문의 저자인 안토니아 홀자펠(Antonia Holzapfel)과 그녀의 팀은 ECLAD-ts라는 새로운 도구를 만들었습니다. 이 도구는 시간을 멈추고 데이터 스트림의 특정 순간을 확대하여 로봇이 무엇에 주목하고 있는지 볼 수 있는 탐정이라고 생각하면 됩니다.

이 도구가 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다:
로봇의 뇌를 거대한 메모(노트)가 가득한 도서관이라고 상상해 보세요. 로봇이 데이터를 볼 때마다, 로봇은 자신이 본 것에 대한 메모를 작성합니다. ECLAD-ts는 이 도서관으로 들어가 유사한 메모들을 그룹화합니다. 이 그룹들을 **개념(concepts)**이라고 부릅니다.

개념 1은 "중간에 나타나는 날카로운 스파이크(spike)"일 수 있습니다.
개념 2는 "시작 부분의 완만하고 부드러운 경사"일 수 있습니다.
개념 3은 "무작위 노이즈"일 수 있습니다.

ECLAD-ts의 마법은 단순히 이러한 개념들을 찾는 데 그치지 않고, 그것들이 얼마나 중요한지를 알려준다는 점에 있습니다. 이 도구는 로봇에게 묻습니다. "만약 내가 데이터에서 이 '날카로운 스파이'를 제거한다면, 너의 답이 바뀌겠니?" 만약 답이 크게 바뀐다면 그 개념은 매우 중요한 것입니다. 만약 답이 바뀌지 않는다면, 그 개념은 그저 배경 소음일 뿐입니다.

결정적으로, 이 도구는 다변량(multivariate) 시계열 데이터를 위해 설계되었습니다. 이는 데이터가 여러 센서로부터 동시에 들어오는 것을 의미합니다(예를 들어 자동차가 속도 센서, 온도 센서, 압력 센서를 동시에 기록하는 경우). ECLAD-ts는 특별하게도 로봇이 어떤 센서를 보고 있는지 알려줄 수 있습니다. "로봇이 온도 센서의 '날카로운 스파이크'를 보고 있지만, 속도 센서는 무시하고 있다"라고 말할 수 있는 것이죠. 다른 도구들은 종-종 모든 센서를 하나로 섞어버려 어떤 센서가 중요한지 구분하는 것을 불가능하게 만듭니다.

실험: 탐정의 검증

팀은 도구가 제대로 작동하는지 증명하기 위해 일련의 테스트를 수행했습니다.

1. 가공 데이터 테스트 ("정답 확인" 테스트)
먼저, 정답을 정확히 알고 있는 세 가지 가공 데이터셋을 만들었습니다.

SyntheticL2: 한 클래스는 특정 "툭 튀어나온 부분(bump)"을 가지고 있고, 다른 클래스는 그렇지 않은 데이터를 만들었습니다. 또한 "배경" 패턴으로 사각파(square wave) 형태를 추가했습니다.
SyntheticL4: 한 클래스는 "상향 툭 튀어나온 부분"을, 다른 클래스는 "하향 툭 튀어나온 부분"을 갖도록 만들었습니다.
SyntheticLm: 가장 까다로운 데이터입니다. 두 개의 채널(센서)이 있습니다. 한 채널은 클래스 A를 위한 "툭 튀어나온 부분"을 가지고 있고, 다른 채널은 클래스 B를 위한 "툭 튀어나온 부분"을 가지고 있습니다.

이 가공 데이터셋들로 로봇을 훈련시킨 후, ECLAD-ts(와 다른 도구들)를 사용하여 로봇이 무엇을 배웠는지 확인했습니다.

결과: ECLAD-ts는 "툭 튀어나온 부분"을 중요한 개념으로 정확히 식별했습니다. 심지어 일부 로봇이 지름길을 사용하고 있다는 사실까지 잡아냈습니다! 한 사례에서 로봇은 "툭 튀어나온 부분"을 무시하고 정답을 맞히기 위해 "배경"만을 보고 있었습니다. ECLAD-ts는 이를 포착하여 배경에 높은 중요도 점수를 부여함으로써 로봇의 지름길을 드러냈습니다.
비교: ECLAD-ts를 ConceptShap 및 MultiVISION과 같은 다른 도구들과 비교했습니다. 이 다른 도구들은 자주 실패했습니다. 특정 "툭 튀어나온 부분"을 찾아내지 못하거나 배경 소음에 혼란을 겪었습니다. ECLAD-ts만이 시간상의 정확한 위치와 정확한 센서를 명확하게 지목할 수 있었습니다.

2. 실제 세계 테스트
다음으로, 실제 데이터에 적용해 보았습니다.

GunPoint 데이터셋: 이 데이터는 배우들이 총을 들고 있는 척하는 손의 움직임을 기록한 것입니다. 핵심 특징은 팔을 내릴 때의 특정 "오버슈트(overshoot)" 동작과 팔을 올릴 때의 "추가적인 들어올림"입니다. ECLAD-ts는 이 정확한 움직임들을 성공적으로 강조했습니다. 다른 도구들은 그저 타임라인의 넓고 모호한 영역만을 가리켰습니다.
P2S 데이터셋: 금속 프레스 공장의 데이터입니다. 목표는 생산 공정이 정상인지 결함이 있는지를 판별하는 것입니다. 전문가들은 그래프 중간의 곡선 전 단계에 있는 "경사(slope)" 부분이 중요한 단서라는 것을 알고 있습니다. ECLAD-ts는 이 경사들을 찾아내어 높은 중요도 점수를 부여했습니다. 심지어 로봇이 범한 실수도 살펴보고, 로봇이 "정상" 실행의 경사와 "결함" 실행의 경사를 혼동했다는 것을 보여주었습니다. 이는 인간이 왜 로봇이 실패했는지 이해하도록 돕습니다.

발견한 점 (그리고 발견하지 못한 점)

이 논문은 ECLAD-ts가 로봇이 시간에 대해 어떻게 생각하는지 이해하는 강력한 새로운 방법임을 보여줍니다.

성공적인 작동: 이 도구는 로봇의 두뇌로부터 인간이 중요하다고 알고 있는 의미 있는 패턴(개념)을 성공적으로 추출했습니다.
지름길 포착: 로봇이 지름길을 쓰거나 엉뚱한 것(실제 신호 대신 배경 소음 등)을 보고 있다는 것을 감지할 수 있습니다.
다중 센서 처리: 여러 센서 중 어떤 것이 특정 패턴에 중요한지를 명확히 분리할 수 있는 최초의 도구이며, 이는 복잡한 데이터에서 매우 중요한 성과입니다.
우수한 성능: 테스트 결과, ECLAD-ts는 올바른 패턴을 찾고 적절한 중요도를 할당하는 데 있어 다른 도구들(ECLAD, ConceptShap, MULTIVISION)보다 일관되게 뛰어난 성능을 보였습니다.

하지만 저자들은 이것이 완벽하게 완성된 제품이라고 주장하지는 않습니다. 다음과 같은 점을 언급합니다:

튜닝 필요: 이 도구에는 (찾고자 하는 개념의 개수와 같은) 설정값이 있으며, 이를 조정해야 합니다. 잘못된 값을 선택하면 결과가 명확하지 않을 수 있습니다.
시뮬레이션적 성격: 실제 데이터로 테스트했지만, "정답(ground truth)"을 확실히 알 수 있는 것은 가공 데이터셋뿐이었습니다. 실제 세계에서는 로봇이 보고 있는 것이 유일한 정답인지 100% 확신할 수 없지만, ECLAD-ts는 우리가 가질 수 있는 최선의 관점을 제공합니다.
CNN용 도구: 이 도구는 합성곱 신경망(CNN)이라는 특정 유형의 로봇 두뇌를 위해 설계되었습니다. 다른 유형의 로봇에게는 수정 없이 작동하지 않을 수 있습니다.

이것이 왜 중요한가

이 논문은 단순히 새로운 도구를 제공하는 것이 아니라, 신뢰를 구축하는 방법을 제시합니다. 로보가 환자를 진단하거나 공장을 제어하고 있다면, 우리는 로봇이 단순히 추측하는 것이 아니라는 것을 알아야 합니다. ECLAD-ts는 로봇의 침묵하고 복잡한 생각을 명확한 이야기로 바꾸는 번역기 역할을 합니다: "나는 온도 센서의 이 특정 경사를 보고 있기 때문에 '결함'이라고 예측하며, 압력 센서의 노이즈는 무시하고 있습니다."

이 블랙박스들을 조금이라도 덜 검게 만듦으로써, 저자들은 엔지니어와 의사들이 더 좋고, 안전하며, 신뢰할 수 있는 시스템을 구축할 수 있기를 희망하고 있습니다. 그들은 로봇 지능의 모든 문제를 해결했다고 주장하는 것이 아니라, 아주 어두운 방 안에 매우 밝은 빛을 켰다는 것을 분명히 하고 있습니다.

기술 요약: ECLAD-ts를 이용한 시계열 개념 추출 (Concept Extraction)

문제 정의

합성곱 신경망(CNN)은 품질 예측 및 의료 진단과 같은 중요한 도메인에서 시계열 분류(TSC)를 위해 점점 더 많이 배치되고 있습니다. 그러나 이러한 모델의 "블랙박스" 특성은 예측 과정을 이해하는 것을 방해하며, 모델이 과업 관련 특징이 아닌 해로운 편향, 가짜 상관관계(spurious correlations) 또는 "지름길 학습(shortcut learning)"에 의존하고 있는지 감지하는 것을 어렵게 만듭니다. 모델이 사용하는 패턴(개념)을 식별하여 인간이 이해할 수 있는 설명을 제공하는 개념 추출(Concept Extraction, CE) 방법들이 존재하지만, 기존 방식들은 주로 이미지 도메인을 위해 설계되었습니다.

시계열 도메인에서 현재의 설명 방법들은 다음과 같은 심각한 한계에 직면해 있습니다:

**프로토타입 기반 방법(Prototype-based methods)**은 모델이 내부적으로 정보를 어떻게 인코딩하는지를 반영하지 못합니다.
개념 테스트 방법(Concept testing methods) (예: TCAV)은 개념에 대한 수동 레이블링을 요구하여 인간의 편향과 노동력을 유입시키며, 모델이 실제로 학습한 개념과 일치하지 않을 수 있습니다.
기존의 시계열용 CE 방법(예: MultiVISION)은 종종 네트워크 층의 수용 영역(receptive field)에 의존합니다. 넓은 수용 영역을 가진 깊은 아키텍처(예: InceptionTime)에서는 이로 인해 개념 패치가 전체 입력을 덮어버려 "클러스터링"을 효과적이지 않게 만들 수 있습니다.
이미지 기반 CE 방법은 서로 다른 채널이 서로 다른 유형의 정보(예: 서로 다른 센서)를 인코딩하는 멀티 채널 데이터와 같은 도메인 특수성 때문에 직접적으로 전이될 수 없습니다.

따라서 수동 주석이나 고정된 수용 영역에 의존하지 않고, 시간적 및 채널 간 위치를 모두 파악할 수 있는 시계열에 특화된 자동화된 글로벌 CE 방법에 대한 결정적인 공백이 존재합니다.

방법론: ECLAD-ts

저자들은 이미지 도메인 알고리즘인 ECLAD을 변형하여 적응시킨 사후 글로벌 설명 방법인 ECLAD-ts를 제안합니다. 이 방법은 CNN의 내부 표현을 분석하여 개념을 추출하고 위치를 파악합니다. 이 방법은 세 가지 주요 단계로 작동합니다.

1. 잠재 공간의 인코딩 (국소 집합 기술자, Local Aggregated Descriptors)

고정된 수용 영역에 의 Relying 하지 않고, ECLAD-ts는 **국소 집합 기술자(LADs)**를 활용합니다.

이 방법은 정의된 CNN 레이어 집합( $L$ )으로부터 활성화 맵(activation maps)을 집합합니다.
이 맵들은 입력 차원( $w \times ch$ )에 맞추기 위해 선형 보간법을 통해 업스케일링됩니다.
기술자 $d_{x_i}$ 는 이러한 업스케일링된 맵들을 결합하여 형성됩니다.
LAD는 이 기술자의 타임스텝별 슬라이스( $d_{x_i}(b)$ )로 정의되며, 다양한 추상화 수준에서 모델이 특정 타임스텝을 어떻게 인코딩하는지를 나타냅니다. 이 접근 방식은 시간 및 채널 정보를 보존하면서 차원을 축소합니다.

2. 패턴 마이닝 및 시각화

클러스터링: 유사하게 인코딩된 시간 하위 시퀀스들의 클러스터를 식별하기 위해 입력 세트에서 추출된 LAD에 미니 배치 k-means 알고리즘을 적용합니다. 이 클러스터들의 중심점( $\gamma_{c_j}$ )이 **개념(concepts)**을 정의합니다.
위치 파악(Localization): 입력 $x_i$ 내에서 개념 $c_j$ 를 시각화하기 위해 마스크 $m_{x_i}^{c_j}$ 가 생성됩니다. 이 마스크는 LAD가 개념 중심점에 가장 가까운 타임스텝을 식별합니다.
채널 확장: 이미지 기반 방법과 달리, 시계열은 서로 다른 정보를 가진 다중 채널을 갖는 경우가 많습니다. ECLAD-ts는 단일 채널 마스크를 입력의 채널 수에 맞게 확장하여, 채널별 위치 파악을 가능하게 하는 별도의 마스크를 생성합니다.

3. 관련성 계산 (중요도 점수)

시계열의 다중 채널 특성을 구체적으로 다루기 위해 새로운 중요도 점수 메커니즘이 도입되었습니다.

인스턴스별 민감도: 이 방법은 개념의 위치에 의해 마스킹된 모델 출력에 대한 입력의 그래디언트 기반 민감도를 계산합니다: $R_{x_i}^{c_j} = \nabla_x g(f(x_i)) \odot m_{x_i}^{c_j}$ .
래퍼 함수(Wrapper Function): 다중 클래스 분류를 위해, 래퍼 $g(y)$ 는 출력 벡터와 그 평균 사이의 제곱 노름(squared norm)으로 정의되며, 이는 모델이 클래스를 구별하는 확신도를 포착하도록 보장합니다.
부호 보존(Sign Preservation): 중요도 점수는 타임스텝에 대해 민감도를 집계하면서 그래디언트의 부호를 보존합니다.
- 양수 점수는 해당 개념이 예측된 클래스를 구별하는 데 도움이 됨을 나타냅로.
- 음수 점수는 해당 개념이 로짓(logits) 사이의 거리를 줄여(모델을 "덜 확신하게" 만듦), 예측과 모순되는 특징을 나타냅니다.
- 0에 가까운 점수는 해당 개념이 중요하지 않음을 의미합니다.
집계: 최종 채nel별 중요도 점수(IS)는 데이터셋 전체에 걸친 개념의 평균 관련성을 계산한 후, $[-1, 1]$ 범위로 스케일링한 값입니다.

주요 기여

ECLAD-ts 알고리즘: 시간 및 채널 정보를 모두 포착하여 수용 영역 기반 방법의 한계를 극복하는, 시계열 도메인을 위한 자동 개념 추출 및 위치 파악을 위한 새로운 방법입니다.
채널별 중요도 점수: 서로 다른 센서가 서로 다른 유형의 정보를 인코딩할 수 있다는 점을 고려하여, 특정 채널에 대한 개념의 관련성을 정량적으로 평가하는 수정된 메트릭을 제공합니다.
실증적 평가: vanilla ECLAD, ConceptShap, MultiVISION과 비교하여 합성 및 자연 데이터셋에 대한 광범위한 실험을 수행했습니다.

결과

이 방법은 세 개의 합성 데이터셋(알려진 그라운드 트루스 프리미티브 포함)과 두 개의 자연 데이터셋(GunPoint 및 Production Press Sensor Data)에서 평가되었습니다.

합성 데이터셋

위치 파악 정확도: ECLAD-ts는 시간 및 채널 차원 모두에서 그라운드 트루스 프리미티브(예: 특정 굴곡 또는 배경 방해)에 해당하는 개념을 성공적으로 위치 파악했습니다.
채널 차별화: 다중 채널 합성 데이터셋( $syntheticL_m$ )에서, ECLAD-ts는 프리미티브 $p_0$ 가 채널 0에 속하고 $p_1$ 이 채널 1에 속한다는 것을 구별할 수 있는 유일한 방법이었습니다. 다른 방법들(ECLAD, ConceptShap, MultiVISION)은 채널을 구별하지 못하거나 모호한 결과를 냈습니다.
메트릭: ECLAD-ts는 모든 모델(InceptionTime, ResNet18, DenseNet121)에 대해 가장 높은 표현 정확도(RC) 및 중요도 정확도(IC) 점수를 달성했습니다.
지름길 학습 탐지: 이 방법은 모델이 의도된 프리미티브 특징 대신 "중단되지 않은 배경(uninterrupted background)"(지름길)에 의존할 때 이를 성공적으로 식별해 냈으며, 이는 배경 개념에 할당된 높은 중요도 점수로 입증되었습니다.

자연 데이터셋

GunPoint 데이터셋: ECLAD-ts는 분류에 결정적인 것으로 알려진 "오버슈트(overshoot)" 및 "추가 리프팅(extra lifting)" 동작을 정확하게 식별한 반면, 다른 방법들은 넓고 결론을 내릴 수 없는 마스크를 생성했습니다.
P2S 데이터셋 (산업용): 이 방법은 생산 센서 데이터에서 오목함 이전의 경사면(slope)에 있는 특징을 위치 파악했으며, 이는 전문가의 지식과 일치했습니다. 또한, 잘못된 클래스와 닮은 경사면(모순되는 특징)을 강조함으로써 오분류된 샘플에 대한 통찰력을 제공했습니다.

의의 및 주장

본 논문은 ECLAD-ts가 시계열 분류를 위한 CNN의 투명성을 높이는 데 있어 중요한 진전임을 주장합니다. 주요 의의는 다음과 같습니다:

도메인 격차 해소: 이미지 기반 CE 개념을 시계열의 특정 과제(차원 및 채널별 정보)에 성공적으로 적응시켰습니다.
자동 및 글로벌: 개념에 대한 수동 레이블링이나 응용 분야의 전문 지식 없이도 설명을 제공합니다.
아키텍처에 대한 견고성: 수용 영역에 의존하는 방법들과 달리, ECLAD-ts는 넓은 수용 영역을 가진 깊은 아키텍처에서도 효과적으로 작동합니다.
실행 가능한 통찰력: 모델이 관련 특징을 사용하는지 아니면 지름길을 사용하는지를 밝힘으로써, 이해관계자가 모델의 정렬 상태를 평가하고, 모델의 견고성을 개선하며, 적절한 신뢰를 구축할 수 있도록 합니다.

저자들은 ECLAD-ts가 효율적이고 확장 가능하지만, 복잡한 특징의 시각화 및 하이퍼파라미터(특히 개념의 수)에 대한 민감도와 관련된 과제가 남아 있다고 언급했습니다. 이들은 향후 연구가 적응형 기술 및 실시간 훈련에 CE를 통합하는 데 집중될 수 있다고 제안했습니다.