Higher-Order Feature Attribution: Bridging Statistics, Explainable AI, and Topological Signal Processing

당신은 특정 날짜에 자전거가 몇 대나 대여될지, 혹은 타이베이의 집값이 얼마가 될지 예측하는 블랙박스 기계(예측 모델)를 가지고 있다고 상상해 보십시오. 당신은 입력값(풍속, 기온, 주택 연식, 위치)과 출력값(예측치)을 알고 있습니다. 하지만 이 기계가 그 결과를 도출하기 위해 입력값들을 정확히 어떻게 조합했는지는 알지 못합니다.

이 논문은 단순히 무엇이 들어갔는지를 넘어, 그 재료들이 어떻게 서로 섞였는지를 보기 위해 그 블랙박스를 여는 방법에 관한 것입니다.

다음은 이들의 아이디어를 쉬운 비유를 사용하여 정리한 내용입니다.

1. 문제점: 단순히 부분의 합이 아니다

보통 우리가 예측을 설명하려고 할 때, 우리는 각 재료를 개별적으로 살펴봅니다. 예를 들어, "풍속이 예측치에 5점을 더했고, 기온이 3점을 더했다"라고 말하는 식입니다.

하지만 만약 재료들이 서로 상호작용한다면 어떻게 될까요? 케이크를 굽는 상황을 상상해 보십시오. 밀가루가 있으면 좋습니다. 달걀이 있어도 좋습니다. 하지만 밀가루와 달걀을 섞으면, 둘 중 어느 것도 혼자서는 할 수 없었던 새로운 것(반죽)을 만들어냅니다. 만약 기계의 예측이 풍속과 기온의 '조합'에 달려 있다면(예: "바람이 충분히 불더라도 기온이 따뜻해야 자전거를 빌릴 만하다"), 이들을 따로 보는 것은 그 혼합의 마법을 놓치는 일이 됩니다.

저자들은 이렇게 말합니다: "우리는 단일 재료뿐만 아니라, 그들 사이의 '베이킹 화학 반응(baking chemistry)'까지 측정할 수 있는 방법이 필요합니다."

2. 해결책: 설명을 위한 "러시아 인형(마트료시카)" 접근법

저자들은 **적분 기울기(Integrated Gradients)**라고 불리는 방법을 사용하여 이러한 예측을 바라보는 새로운 방식을 제안합니다. 이것을 수학적 현미경이라고 생각하십시오.

• 1차 (단일 재료): 이것은 표준적인 관점입니다. "주택 연식"과 같은 각각의 단일 특징이 최종 가격에 얼마나 기여했는지 알려줍니다.
• 2차 (쌍/Pairs): 이는 특징들의 쌍을 살펴봅니다. "주택 연식"과 "지하철역과의 거리"가 가격을 변화시키기 위해 어떻게 함께 작용했는지를 묻습니다.
• 3차 (삼인조/Trios): 세 개의 특징이 함께 작동하는 그룹을 살펴봅니다.

이 논문은 이를 **고차 특징 기여도(Higher-Order Feature Attribution)**라고 부릅니다. 이것은 마치 양파 껍질을 까는 것과 같습니다. 전체 예측에서 시작하여 단일 재료를 벗겨내고, 그다음에는 쌍을, 그다음에는 삼인조를 벗겨내며, 기계가 생각하는 방식의 전체 복잡성을 이해하게 됩니다.

3. 핵심 비결: 지도가 된 수학

저자들은 이 "껍질을 벗기는" 과정이 자연스러운 지도를 만든다는 흥el한 사실을 발견했습니다.

• 그래프 비유: 특징들(예: "주택 연식" 또는 "위도")을 종이 위의 점이라고 상상해 보십시오.
  • 하나의 특징이 중요하다면, 그것은 라벨이 붙은 하나의 점입니다.
    로 연결된 선을 그립니다. 이 선의 굵기는 그들의 팀워크가 얼마나 강한지를 보여줍니다.
  • 세 개의 특징이 함께 작동한다면, 그들을 연결하는 삼각형을 그립니다.

논문은 우리가 이러한 예측을 **지도 위의 신호(signals on a map)**처럼 다룰 수 있다고 제안합니다. 신호가 전선을 따라 이동하는 것처럼, 이러한 "설명"은 특징들 사이의 연결을 따라 이동합니다. 이를 통해 우리는 위상적 신호 처리(Topological Signal Processing)(모양과 연결을 연구하는 수학적 방법) 도구를 사용하여 예측을 시각화하고 이해할 수 있습니다.

4. 테스트 대상

저자들은 이론만 제시한 것이 아니라, 두 가지 사례로 테스트를 진행했습니다.

1. 가상의 세계 (합성 데이터): 그들은 "비밀 레시피"를 미리 알고 있는 가상의 수학 문제를 만들었습니다(예: 변수 1, 2, 3이 함께 작동하도록 설정함). 이 데이터를 머신러닝 모델에 입력하고 새로운 방법을 사용했습니다.

   • 결과: 이 방법은 비밀 레시피를 성공적으로 찾아냈습니다. 어떤 변수가 혼자 작동하고 어떤 변수가 팀으로 작동하는지를 정확히 식별하여 "실제 정답(ground truth)"과 완벽하게 일치함을 보여주었습니다.

2. 타이베이 부동산: 그들은 타이베이의 실제 주택 가격을 살펴보았습니다.

   • 결과: 집마다 가격이 결정되는 구체적인 이유는 저마다 달랐지만, 특징들이 함께 작동하는 방식은 놀라울 정도로 유사하다는 것을 발견했습니다. 예를 들어, "지하철역과의 거리", "주변 상점 수", "위도"는 자주 한 팀으로 움직였습니다. 그들의 방법은 이러한 특징 그룹을 그래프 위의 연결된 선으로 시각화하여, 가격에 공동으로 영향을 미치는 특징 그룹을 보여주었습니다.

5. 이것이 왜 중요한가

저자들은 설명을 수학적 연산자(mathematical operators)(쌓아 올릴 수 있는 블록과 같은 것)로 취급함으로써 다음과 같은 성과를 거두었다고 주장합니다.

• 모든 "팀워크" 기여도를 다 더하면 전체 예측값이 된다는 성질(완전성, Completeness)을 증명했습니다.
• 두 특징의 관계를 다루는 수학이 이미 존재하는 "적분 헤시안(Integrated Hessians)"이라는 방법과 동일하다는 것을 보여주었으며, 그들의 방법은 여기서 더 나아가 세 개 이상의 그룹까지 다룰 수 있음을 보여주었습니다.
• 복잡한 수학을 시각적 그래프로 변환하여, 블랙박스 내부에서 누가 누구와 함께 일하고 있는지 정확히 보여줍니다.

요약하자면: 저자들은 단순한 배우뿐만 아니라, 최종 장면을 만들어내는 듀엣, 삼중주, 그리고 전체 앙상블 캐스트까지 볼 수 있게 해주는 새로운 수학적 렌즈를 만들었습니다. 그들은 이 렌즈가 가짜 데이터와 부동산 데이터 모두에서 작동함을 증명했으며, 이러한 설명들을 아름답고 유익한 지도로 그려낼 수 있음을 보여주었습니다.