🤖 machine learning

A New Technique for AI Explainability using Feature Association Map

본 논문은 기존 PFI 및 SHAP 방법보다 분류 작업에서 특징 중요도를 평가하는 데 있어 더 우수한 성능을 보이는 특징 연관성 지도에 기반한 새로운 그래프 이론 기반 설명 가능 AI 알고리즘인 FAMeX 를 소개한다.

원저자: Sayantani Ghosh, Amit Kumar Das, Amlan Chakrabarti

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sayantani Ghosh, Amit Kumar Das, Amlan Chakrabarti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 환자가 질병에 걸렸는지, 아니면 주가가 오를지 예측할 수 있는 초지능 로봇이 있다고 가정해 봅시다. 이 로봇은 놀라울 정도로 정확하지만, 그것은 '블랙박스'입니다. 당신은 "왜 그런 결정을 내렸나요?"라고 묻지만, 로봇은 그저 "내가 그렇게 했기 때문이야"라고만 답합니다. 이는 특히 그 결정이 실제 삶에 영향을 미칠 때 무섭습니다. 우리는 로봇이 무엇을 어떻게 생각하는지 그 '이유'를 알아야 합니다.

이 논문은 그 문제를 해결하기 위해 FAMeX(Feature Association Map based eXplainability, 특성 연관 지도 기반 설명 가능성)라는 새로운 도구를 소개합니다. 간단한 비유를 들어 작동 방식을 설명해 보겠습니다.

문제: 데이터의 '북적이는 방'

로봇이 데이터 특성 (features) 으로 가득 찬 방에 있는 사람들 (데이터 특성) 을 바탕으로 결정을 내리려 한다고 상상해 보세요. 어떤 사람들은 중요한 사실을 외치고 있지만, 다른 사람들은 이웃이 하는 말을 그대로 반복하고 있을 뿐입니다.

관련성 (Relevance): 한 사람이 대화에 가져오는 유용한 정보의 양.
중복성 (Redundancy): 한 사람이 다른 사람의 말을 얼마나 반복하는지.

기존의 AI 설명 방법들 (PFI 및 SHAP 등) 은 방 안의 모든 사람에게 중요도를 확인하기 위해 한 명씩 손을 들게 하는 것과 같습니다. 그들은 세 사람이 같은 말을 반복하고 있다는 사실을 놓칠 수 있으며, 실제로는 하나의 목소리만 있을 뿐인데 마치 세 개의 중요한 목소리가 있는 것처럼 보일 수 있습니다.

해결책: 'FAMeX' 파티 플래너

저자들은 파티 시작 전에 방의 지도를 그리는 똑똑한 파티 플래너 역할을 하는 FAMeX 를 제안합니다.

지도 그리기 (특성 연관 지도):
FAMeX 는 사람들 (특성) 의 모든 쌍을 살펴보고, 같은 이야기를 하고 있다면 그들 사이에 선을 그립니다.
- 두 사람이 정확히 같은 비밀을 속삭이고 있다면 (높은 유사도), FAMeX 는 그들 사이에 굵은 선을 그립니다.
- 누군가 다른 누구도 하지 않는 독특한 이야기를 하고 있다면 (낮은 유사도), 그 사람은 홀로 서 있습니다.
손님 등급 매기기:
알고리즘은 각자가 다른 사람을 얼마나 반복하는지에 따라 모든 사람에게 '등급'을 부여합니다.
- 등급 1 (오리지널): 다른 사람을 반복하지 않는 사람들. 독창성으로 높은 점수를 받습니다.
- 등급 2 (메아리): 한두 명을 반복하는 사람들. 중간 점수를 받습니다.
- 등급 3 (합창): 많은 사람을 반복하거나 누군가를 매우 크게 반복하는 사람들. 중복성으로 낮은 점수를 받습니다.
최종 점수:
FAMeX 는 각 사람에 대한 최종 '중요도 점수'를 계산합니다.
- 독특하고 가치 있는 정보 (높은 관련성) 를 가져오면서 동시에 다른 사람을 반복하지 않는 (낮은 중복성) 경우, 매우 높은 점수를 받습니다.
- 단순히 다른 사람을 반복하는 경우, 말하고 있는 내용이 진실이라 하더라도 점수가 낮아집니다.

효과가 있었나요?

저자들은 이 새로운 '파티 플래너'를 의료 기록, 와인 품질, 차량 데이터 등 여덟 가지 실제 데이터셋을 사용하여 두 가지 다른 유명한 방법 (PFI 및 SHAP) 과 비교 테스트했습니다.

그들은 다음과 같은 게임을 진행했습니다.

각 방법에게 가장 중요한 사람들 (특성) 상위 30% 를 선택하도록 요청했습니다.
오직 그 상위 사람들만 표준 분류기 (단순한 의사결정자) 에 입력하여 결과 예측이 얼마나 잘 이루어지는지 확인했습니다.
또한 예측이 실패하는지 확인하기 위해 가장 중요하지 않은 사람들 (하위 30%) 도 테스트했습니다.

결과:

FAMeX 가 승리했습니다. FAMeX 가 선택한 상위 30% 특성을 사용했을 때, PFI 나 SHAP 의 상위 선택지를 사용할 때보다 예측 정확도가 일관되게 더 높았습니다.
차이는 명확했습니다. FAMeX 의 경우 '최고'의 특성과 '최악'의 특성을 사용했을 때의 차이는 매우 컸습니다 (종종 10% 이상 더 높은 정확도). 이는 FAMeX 가 실제로 중요한 사람들이 누구인지 알고 있음을 증명합니다.
경쟁자들은 주저했습니다. 때로는 PFI 와 SHAP 이 '중요한' 특성을 선택했는데, 실제로는 가장 중요하지 않은 것들을 선택하는 것보다 예측을 더 나쁘게 만들기도 했습니다.

도구

저자들은 단순히 코드를 작성한 것이 아니라, 누구나 사용할 수 있는 **시각적 도구 (GUI)**를 구축했습니다. 사용자는 데이터를 업로드하면 논문 Figure 3 에 있는 것과 같은 다채로운 지도를 볼 수 있으며, 여기서 가장 중요한 특성들이 빛나 AI 의 결정을 무엇으로 이끄는지 정확히 이해할 수 있도록 도와줍니다.

요약하자면

FAMeX 는 단순히 "무엇이 중요한가?"라고 묻는 것이 아니라 "누가 다른 사람을 복사하고 있는가?"라고도 묻는 AI 설명의 새로운 방법입니다. 노이즈 (중복성) 를 필터링하고 독특하고 가치 있는 신호 (관련성) 를 강조함으로써, AI 가 특정 결정을 내린 이유에 대해 더 명확하고 정확한 설명을 제공합니다. 이 논문은 이 방법이 현재 최고의 경쟁자들보다 더 신뢰할 수 있다고 주장합니다.

기술 요약: FAMeX – 특징 연관 맵을 활용한 AI 설명 가능성에 대한 새로운 기법

문제 제기
질병 탐지 및 기상 예보부터 주가 예측에 이르기까지 실제 생활의 중요한 응용 분야에서 인공지능 (AI) 의 채택이 증가함에 따라 '블랙박스' 시스템의 불투명성이라는 중대한 과제가 부각되었습니다. 복잡한 학습 알고리즘은 종종 높은 예측 정확도를 제공하지만, 그 의사결정 과정은 투명성이 부족한 경우가 많습니다. 이러한 해석 불가능성은 의사결정이 과학적 사실에 기반한 것인지 아니면 우연한 부합에 의한 것인지 판단하기 어렵게 만들어, 고위험 환경에서의 신뢰성, 책임성 및 신뢰를 저해합니다. 기존 설명 가능한 AI(XAI) 방법인 치환 특징 중요도 (PFI) 와 SHapley Additive exPlanations(SHAP) 는 특징 중요도를 순위 매김함으로써 이 문제를 해결하려 시도합니다. 그러나 저자들은 이러한 방법들이 특징의 핵심 측면인 관련성(목표에 대한 정보 기여도) 과 중복성(다른 특징과의 유사성/중첩) 에 대한 포괄적인 분석을 수행하지 못하는 경우가 많다고 주장합니다.

방법론: FAMeX 알고리즘
본 논문은 그래프 이론적 형식을 통해 관련성과 중복성을 동시에 고려하여 특징 중요도를 평가하도록 설계된 새로운 알고리즘인 FAMeX(Feature Association Map based eXplainability) 를 제안합니다.

특징 연관 맵 (FAM): 방법론의 핵심은 특징을 정점으로 모델링하고 특징 간의 연관성을 간선으로 표현하는 그래프인 FAM 입니다.
특징 유사성 (중복성): 중복성은 피어슨 상관 계수를 사용하여 측정합니다. 특징은 다른 특징들과의 상관관계에 따라 등급이 매겨집니다.
- 1 등급: 낮은 중복성 (모든 다른 특징과의 상관관계 < 0.67).
- 2 등급: 중간 중복성 (적어도 하나의 특징과 상관관계 > 0.67 이지만 < 0.9, 단 세 개 미만).
- 3 등급: 높은 중복성 (적어도 하나의 특징과 상관관계 > 0.9 또는 세 개 이상의 특징과 상관관계 > 0.67).
  이러한 등급을 기반으로 유사성 점수가 계산되며, 높은 등급 (높은 중복성 나타냄) 은 더 높은 점수를 초래합니다.
특징 관련성: 관련성은 특징과 목표 클래스 변수 간의 상호 정보량 (Mutual Information, MI) 을 사용하여 측정하며, 정규화하여 관련성 점수를 계산합니다.
특징 중요도 점수: 최종 중요도 점수는 두 지표를 통합하여 도출됩니다. 알고리즘은 특징이 높은 관련성과 낮은 중복성을 가질수록 더 중요하다고 가정합니다. 따라서 점수는 다음과 같이 계산됩니다.
$\text{특징 중요도 점수} = \frac{\text{관련성 점수}}{\text{유사성 점수}}$
이 역관계는 높은 중복성을 가진 특징 (높은 유사성 점수) 에는 페널티를 부과하고, 높은 관련성을 가진 특징에는 보상을 제공합니다.

이 알고리즘은 $n$ 이 특징의 수일 때 $O(n^2)$ 의 시간 복잡도로 작동합니다.

주요 기여

포괄적인 특징 분석: 주변 기여도에 주로 초점을 맞출 수 있는 경쟁 방법들과 달리, FAMeX 는 특징 관련성과 특징 중복성 간의 트레이드오프를 명시적으로 모델링합니다.
그래프 이론적 형식화: 특징 연관 맵의 도입은 특징 간 상호의존성을 이해하기 위한 시각적 및 수학적 프레임워크를 제공합니다.
알고리즘 구현: 저자들은 다양한 데이터셋에 FAMeX 를 적용할 수 있도록 전체 알고리즘 (알고리즘 1) 과 플랫폼 독립적인 그래픽 사용자 인터페이스 (GUI) 도구를 제공합니다.

실험 결과
저자들은 UCI 기계 학습 저장소의 여덟 가지 벤치마크 데이터셋 (예: Wisconsin, ILPD, WineQuality, WBDC) 을 사용하여 PFI 및 SHAP 와 FAMeX 를 평가했습니다. 평가는 다음을 포함했습니다.

설정: 100 회 반복된 10-fold 교차 검증.
지표: 지원 벡터 머신 (SVM), 랜덤 포레스트 (RF), 나이브 베이즈 (NB), 의사결정나무 (DT) 의 네 가지 표준 분류기를 사용하여 분류 정확도를 측정했습니다.
검증 전략: 각 알고리즘이 식별한 상위 30% 와 하위 30% 특징을 사용하여 분류기를 훈련시켰습니다. 우수한 XAI 알고리즘은 하위 순위 특징에 비해 상위 순위 특징을 사용할 때 훨씬 더 높은 정확도를 달성해야 합니다.