Explainable embeddings with Distance Explainer

Each language version is independently generated for its own context, not a direct translation.

1. 문제 상황: AI 의 '머릿속'은 블랙박스입니다

우리가 AI 에게 사진을 보여주고 "이건 개야, 고양이야?"라고 물으면 AI 는 정답을 맞춥니다. 하지만 AI 는 그 이유를 말해주지 않습니다.
더 나아가, 최근 AI 들은 사진을 숫자 나열 (벡터) 로 변환해서 저장합니다. 이를 **'임베딩 (Embedded Space)'**이라고 하는데, 마치 거대한 도서관의 책장처럼 생겼습니다.

비유: AI 는 '개' 사진과 '고양이' 사진을 각각 다른 책장에 꽂아둡니다. 그리고 "이 두 책은 서로 아주 가깝게 붙어있네 (비슷해)" 혹은 "저리 멀리 떨어져 있네 (다르네)"라고 판단합니다.
문제: AI 는 "왜 가깝다고 생각했지?"라고 물으면, "글쎄, 내 머릿속 숫자 계산 결과야"라고만 답합니다. 우리는 어떤 특징 (귀, 꼬리, 털 등) 때문에 가깝다고 판단했는지 알 수 없습니다.

2. 해결책: '거리 설명자 (Distance Explainer)'

저자들은 이 블랙박스를 열기 위해 **'거리 설명자'**라는 새로운 도구를 만들었습니다. 이 도구의 원리는 다음과 같습니다.

🕵️‍♂️ 비유: "만약 이 부분을 가리면 어떨까?" (마스크 실험)

두 장의 사진 (예: 꿀벌 사진 A 와 파리 사진 B) 을 비교한다고 가정해 봅시다. AI 는 이 둘이 비슷하다고 판단했습니다.

실험 시작: AI 가 꿀벌 사진 (A) 의 일부를 가려봅니다 (예: 날개를 가림).
결과 확인: "아, 날개를 가리니까 AI 가 '파리'와 더 비슷하다고 판단했네!" 혹은 "날개를 가려도 여전히 꿀벌로 인식되네?"를 확인합니다.
반복: 사진의 수많은 부분을 무작위로 가려보며, 어떤 부분을 가렸을 때 AI 의 판단이 가장 크게 변하는지 찾아냅니다.
결론: "아! 꿀벌의 날개를 가리면 AI 가 혼란을 겪으니, 날개가 두 사진을 비슷하게 만든 핵심 요소구나!"라고 설명해줍니다.

3. 이 방법의 특별한 점 (기존 기술과의 차이)

기존의 AI 설명 기술들은 보통 "이 사진이 개일 확률이 얼마나 높은지"를 설명하는 데 집중했습니다. 하지만 이 방법은 **"두 사진 사이의 거리 (유사도)"**를 설명합니다.

기존: "이 사진은 개입니다." -> "왜?" -> "코가 길어서요."
이 방법 (거리 설명자): "이 사진 (개) 과 저 사진 (개) 은 왜 비슷할까요?" -> "두 사진 모두 코와 귀 모양이 비슷해서 서로 가깝게 붙어있어요."
또는: "이 사진 (개) 과 저 사진 (고양이) 은 왜 다를까요?" -> "고양이 사진의 수염과 눈 모양이 개와 달라서 멀리 떨어졌어요."

이 도구는 **이미지뿐만 아니라 글자 (텍스트)**와 이미지를 비교할 때도 쓸 수 있습니다. (예: "꿀벌 사진"과 "꽃 위에 앉은 꿀벌"이라는 글자가 왜 비슷한지 설명)

4. 어떻게 작동하나요? (간단한 과정)

참고 대상 설정: 비교할 두 대상 중 하나를 '기준 (Reference)'으로 정합니다.
무작위 가리기: 다른 한쪽 대상의 일부를 무작위로 가려서 AI 에게 보여줍니다.
거리 측정: 가려진 상태에서도 기준 대상과 얼마나 가깝거나 먼지 (유사도) 를 측정합니다.
핵심 찾기: "가렸을 때 거리가 크게 변한 부분"만 모아서 **히트맵 (Heatmap)**으로 보여줍니다.
- 빨간색: 이 부분을 가리면 두 대상이 아주 달라져요 (중요한 특징).
- 파란색: 이 부분을 가려도 비슷해요 (중요하지 않은 부분).

5. 실험 결과: 정말 잘 작동할까요?

저자들은 이 방법을 다양한 모델 (이미지 인식 AI, 텍스트 - 이미지 연결 AI 등) 에 적용해 보았습니다.

정확성: AI 가 "비슷하다"고 한 이유를 정확히 찾아냈습니다. (예: 꿀벌과 파리의 날개 차이, 개와 고양이의 눈 모양 차이)
안정성: 같은 사진을 여러 번 분석해도 비슷한 결과가 나옵니다. (AI 가 장난치지 않음)
신뢰성: AI 의 내부 구조를 무작위로 바꿔버리면 설명도 달라집니다. 즉, AI 가 진짜로 학습한 내용을 바탕으로 설명한다는 뜻입니다.

6. 요약: 왜 이 기술이 중요할까요?

이 기술은 AI 가 내린 결정에 대한 투명성을 높여줍니다.

연구자: "왜 이 두 데이터가 비슷한지"를 눈으로 확인하며 연구 효율을 높일 수 있습니다.
일반인: AI 가 왜 "이 약은 당신에게 맞다" 혹은 "이 대출은 거절당했다"고 판단했는지 그 이유를 직관적으로 이해할 수 있습니다.

한 줄 요약:

"AI 가 두 가지가 왜 비슷하거나 다른지, 그 '이유'를 사진의 특정 부분을 가려가며 찾아내어 인간에게 보여주는 새로운 나침반입니다."

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Statement)

배경: 설명 가능한 AI(XAI) 분야는 이미지, 텍스트, 시계열 데이터 등에 대한 해석 방법론이 발전해 왔으나, 임베딩 공간 (Embedded Spaces) 내에서의 해석성에는 여전히 큰 공백이 존재합니다.
핵심 문제: 딥러닝 모델 (FaceNet, Word2vec, CLIP 등) 은 원본 데이터를 고차원 벡터 공간으로 매핑합니다. 이 공간의 차원은 복잡한 추상화를 나타내며, 두 데이터 포인트 간의 거리 (Distance) 가 의미적 유사성이나 불일치를 결정합니다.
한계: 기존 XAI 방법론 (LIME, GradCAM, RISE 등) 은 주로 단일 입력에 대한 클래스 확률이나 활성화 값을 설명하는 데 초점을 맞추었습니다. 반면, 두 개의 임베딩 포인트 간의 거리가 왜 발생하는지, 어떤 특징이 유사성 (거리 감소) 이나 불일치 (거리 증가) 에 기여하는지를 설명하는 일반화된 방법은 부재했습니다.

2. 방법론 (Methodology: Distance Explainer)

저자들은 기존 RISE (Randomized Input Sampling for Explanation) 알고리즘을 변형하여 Distance Explainer를 제안했습니다. 이는 임베딩 공간 내 두 데이터 포인트 간의 거리에 대한 국소적 (local), 사후 (post-hoc) 설명을 생성합니다.

핵심 알고리즘 흐름

입력 설정:
- 참조 항목 (Reference, $r$ ): 고정된 입력으로 모델에 통과시켜 임베딩 $x_r$ 을 생성합니다.
- 설명 대상 항목 (To-be-explained, $e$ ): 무작위 마스킹 (Masking) 을 적용하여 변형된 입력을 생성합니다.
마스킹 및 거리 계산:
- RISE 방식을 차용하여 설명 대상 이미지 $e$ 에 대해 $N_{masks}$ 개의 무작위 이진 마스크를 생성하고 적용합니다.
- 각 마스킹된 이미지를 모델에 통과시켜 임베딩 $x_{Mi}$ 를 얻고, 참조 항목 $r$ 과의 코사인 거리 ( $d_{cos}$ ) 를 계산합니다.
거리 기반 마스크 필터링 (Distance-ranked Mask Filtering):
- 기존 RISE 는 클래스 활성화 점수를 가중치로 사용했으나, 거리 기반 작업에서는 이를 직접 적용하기 어렵습니다.
- 대안: 계산된 거리 값으로 마스크를 순위 매긴 후, 특정 기준에 따라 필터링합니다.
  - Top $x\%$ : 거리가 가장 작은 (유사도가 높은) 마스크들.
  - Bottom $x\%$ : 거리가 가장 큰 (불일치가 큰) 마스크들.
  - Mirror Mode (양면 선택): 위 두 집합을 결합합니다. 거리가 큰 마스크의 가중치를 $-1$로 반전시켜 서로 다른 기여도 (유사성 vs 불일치) 를 동시에 시각화합니다. 이는 신호 대 잡음비 (SNR) 를 향상시킵니다.
할당 맵 생성:
- 필터링된 마스크들을 가중치 없이 합산하여 최종 할당 맵 (Attribution Map) 을 생성합니다.

주요 기술적 선택 사항

거리 지표: 유클리드 거리 대신 코사인 거리를 사용 (벡터 크기보다 각도 차이에 집중).
모달리티 무관성: 이미지뿐만 아니라 텍스트, 표 등 다양한 모달리티에 적용 가능하도록 설계 (단, 마스크 생성 함수는 모달리티에 따라 정의 필요).

3. 주요 기여 (Key Contributions)

새로운 XAI 방법론 제안: 임베딩 공간 내 두 데이터 포인트 간의 거리를 설명하는 최초의 일반화된 방법론인 Distance Explainer 를 소개했습니다.
RISE 의 확장 및 변형: 기존 RISE 의 가중치 합산 방식을 거리 기반 필터링 및 'Mirror Mode'로 대체하여, 유사성과 불일치를 동시에 설명할 수 있도록 개선했습니다.
다중 모달리티 검증: 이미지 - 이미지 (ImageNet/ResNet) 및 이미지 - 캡션 (CLIP) 쌍에 대한 실험을 통해 방법론의 유효성을 입증했습니다.
오픈 소스 및 재현성: 전체 코드, 실험 데이터, 결과 갤러리를 공개하여 연구의 투명성을 높였습니다.

4. 실험 결과 (Results)

연구는 ImageNet(ResNet50, VGG16) 과 CLIP(ViT-B/32) 모델을 사용하여 정량적 및 정성적 평가를 수행했습니다.

정량적 평가 (Quantitative Evaluation)

정확성 (Faithfulness): 점진적 삭제 (Incremental Deletion) 실험에서, 설명된 중요 영역을 제거할 때 모델의 거리 예측이 크게 변하는지 확인했습니다.
- 결과: 설명된 픽셀을 제거하면 거리 변화가 크게 발생하여 모델이 해당 특징에 의존함을 입증했습니다.
강건성/민감도 (Sensitivity/Robustness): 입력의 작은 변화에 대한 출력의 안정성을 측정 (Average Sensitivity).
- 결과: 낮은 민감도 값 (0.04~0.06) 을 기록하여 높은 강건성을 보였습니다.
무작위화 (Randomization): MPRT(Model Parameter Randomization Test) 를 통해 모델 가중치를 무작위로 섞었을 때 설명 맵이 변하는지 확인했습니다.
- 결과: 가중치가 무작위화되면 설명 맵의 구조가 즉시 사라지고 상관관계가 낮아져, 설명이 모델의 학습된 파라미터에 의존함을 확인했습니다.

정성적 평가 (Qualitative Assessment)

시각적 일관성:
- 비행기 vs 벌 (Bee vs Fly): 날개는 두 이미지를 가깝게 만드는 특징 (유사성), 줄무늬는 멀게 만드는 특징 (불일치) 으로 정확히 식별되었습니다.
- 이미지 vs 캡션: "벌" 이미지와 "꽃 위에 앉은 벌" 캡션 간의 관계에서 꽃과 벌의 위치가 적절히 강조되었습니다.
파라미터 영향:
- 마스크 수: 마스크 수가 증가할수록 결과의 안정성 (표준 편차 감소) 이 향상됨.
- 마스킹 비율 ( $p_{keep}$ ): 중간 값 (0.4~0.6) 에서 최적의 성능을 보이며, 극단적인 값에서는 노이즈가 증가함.
- 해상도: 8x8~16x16 해상도가 세부 특징을 포착하는 데 적절함.

5. 의의 및 결론 (Significance & Conclusion)

연구적 의의: 임베딩 공간의 "블랙박스" 성격을 해소하여, 왜 두 데이터가 유사하거나 다른지 그 원인 (Feature Attribution) 을 시각적으로 제시함으로써 AI 모델의 투명성과 신뢰성을 높였습니다.
실용적 가치: 다중 모달리티 (이미지 - 텍스트 등) 에 적용 가능하여, 복잡한 AI 시스템 (예: 검색 엔진, 추천 시스템, 과학적 발견 도구) 의 의사결정 과정을 이해하는 데 필수적인 도구가 됩니다.
향후 과제: 파라미터 튜닝 자동화, 텍스트 및 시계열 데이터로의 확장, OOD(Training Distribution 밖) 입력에 대한 대안적 마스킹 전략 (블러링 등) 연구, 그리고 비전문가를 위한 설명의 가독성 평가 등이 필요합니다.

이 논문은 XAI 연구의 지평을 단일 입력 해석에서 관계적 (Relational) 해석으로 확장했다는 점에서 중요한 이정표로 평가됩니다.