Axiomatic On-Manifold Shapley via Optimal Generative Flows

Each language version is independently generated for its own context, not a direct translation.

지금까지 AI 가 어떤 사진을 보고 "이건 개다"라고 판단했을 때, "왜 개라고 생각했지?"라고 물어보면 AI 는 사진의 특정 부분 (귀, 꼬리 등) 을 강조하며 설명했습니다. 이를 **특성 할당 (Feature Attribution)**이라고 합니다.

하지만 기존 방법들은 큰 문제가 있었습니다.

문제: AI 는 사진을 볼 때 '실제 존재하는 개'의 특징만 보는 게 아니라, **실제 세상에 존재하지 않는 이상한 그림 (예: 검은색 배경에 흐릿한 점)**을 상상하며 설명을 만들어냈습니다.
비유: 마치 지도 없는 등산을 하는 것과 같습니다. 우리는 정상 (AI 의 결론) 에서 출발해서, 산 아래 (시작점) 로 내려오는데, 등산로 (실제 데이터가 있는 곳) 가 아닌 **절벽이나 늪지대 (실제 세상에 없는 이상한 공간)**를 지나가게 됩니다.
결과: AI 는 절벽에서 미끄러지는 경험을 바탕으로 "아, 내가 여기서 미끄러졌으니까 이 부분이 중요했구나!"라고 엉뚱한 설명을 합니다. 이를 논문에서는 **"온-매니폴드 (On-Manifold) 가 아닌, 오프-매니폴드 (Off-Manifold) 의 오류"**라고 부릅니다.

저자들은 AI 가 설명을 만들 때, 실제 세상에 존재하는 데이터의 흐름 (등산로) 을 따라가야 한다고 주장합니다. 그리고 그 등산로를 어떻게 정할지 수학적으로 완벽하게 정했습니다.

비유: 당신이 산 정상에서 아래로 내려갈 때, 무작위로 뛰어내리는 게 아니라 가장 에너지가 적게 들고, 가장 직선처럼 느껴지는 안전한 등산로를 찾아야 합니다.
기술적 설명: 이 논문은 **최적 수송 (Optimal Transport)**이라는 수학적 개념을 써서, '아무것도 없는 상태 (백색 소음)'에서 '실제 사진'으로 갈 때, 가장 적은 힘 (운동 에너지) 으로 이동할 수 있는 유일한 경로를 찾았습니다.
효과: AI 는 이제 절벽이나 늪지대를 지나가지 않고, 실제 개들이 존재하는 자연스러운 길을 따라가며 설명을 만듭니다.

비유: 등산로를 따라 내려갈 때, 걸음걸이가 빠르든 느리든 (시간을 어떻게 재느냐) **어떤 바위가 중요한지 (중요한 특징)**는 변하지 않아야 합니다.
기술적 설명: 기존 방법들은 경로를 어떻게 그리는지에 따라 설명이 달라졌지만, 이 새로운 방법은 **경로의 모양 (기하학)**에만 집중합니다. 그래서 누가 설명하든, 언제 설명하든 동일한 결론을 내립니다.

이론만 좋은 게 아니라, 실제로도 훨씬 뛰어납니다.

"AI 가 왜 그런 결정을 내렸는지 설명할 때, 상상 속의 엉뚱한 길을 걷게 하지 말고, 실제 데이터가 존재하는 가장 자연스럽고 효율적인 '등산로'를 따라가게 하여, 거짓말 없는 정확한 설명을 만들어내자!"

이 논문은 인공지능이 더 투명하고 신뢰할 수 있도록, **수학적 원리 (최적 수송)**를 이용해 설명의 '길'을 바로잡은 획기적인 연구입니다.

유사한 논문