Beyond $L_2$: Generalizing Abductive Latent Explanations to Diverse Prototype-Based Architectures

기술 요약: L2를 넘어: 다양한 프로토타입 기반 아키텍처에 대한 추상적 잠재 설명(Abductive Latent Explanations)의 일반화

문제 정의
프로토타입 기반 신경망(PBN)은 유사한 훈련 예시(프로토타입)를 참조하여 예측을 정당화하는 "설계에 의한 해석 가능성(interpretable-by-design)"을 갖춘 아키텍처로 인정받고 있다. 최근에는 잠재 공간 거리에 대한 타이트한 경계(tight bounds)를 계산함으로써 이러한 네트워크에 대해 수학적으로 보장된 정식 설명을 제공하는 추상적 잠재 설명(ALE)이 도입되었다. 그러나 기존의 ALE 공식은 유클리드 잠재 공간과 $L_2$ 거리에 엄격하게 국한되어 있다. 이는 현대의 최첨단 PBN들이 구형 메트릭(코사인 유사도), 가우시안 밀도, 차원 투영(소프트맥스)을 포함한 비유클리드 표현을 점점 더 많이 활용하고 있다는 점을 고려할 때 결정적인 간극을 만든다. 현재의 정식 설명 방법들은 이러한 다양한 기하학적 구조와 호환되지 않으며, 이로 인해 다양한 프로토타입 기반 아키텍처 전반에 걸친 엄격한 해석 가능성 분석이 저해되고 있다.

방법론
저자들은 서로 다른 기하학적 변형에 대한 특정 경계 알고리즘을 도출함으로써 ALE 프레임워크를 비유클리드 프로토타입 아키텍처를 지원하도록 일반화한다. 핵심 목표는 동일하다: 활성화 값에 대한 경계를 반복적으로 좁힘으로써 모델의 예측을 보장하는 부분 집합 최소 프로토타입 세트를 계산하는 것이다.

1. 코사인 유사도 (구형 기하학): 단위 구 위에서 내적 유사도를 사용하는 TesNet과 같은 아키텍처를 위해, 저자들은 구형 기하학에 맞게 추론을 적응시킨다. 코사인 유사도는 표준 삼각 부등식을 만족하지 않으므로, 이들은 각거리($d_\angle$)를 활용하여 경계를 도출한다. 이들은 **구형 캡 교차 근사(Spherical Cap Intersection Approximation)**를 도입하는데, 여기서 두 개의 구형 캡(패치와 두 프로토타입으로 정의됨)의 교집합을 최소 반경을 가진 포괄 구형 캡으로 제한한다. 이를 통해 잠재 패치와 관찰되지 않은 프로토타입 사이의 유사도에 대한 타이트한 하한 및 상한을 도출할 수 있다.
2. 차원 투영 (심플렉스 기하학): 소프트맥스 함수를 통해 활성화를 확률 심플렉스로 매핑하는 PIP-Net과 같은 아키텍처의 경우, 기하학적 추론은 공간적 거리에서 확률 질량의 보존으로 전환된다. 저자들은 $\langle \text{patch}, \text{prototype} \rangle$ 쌍을 설명에 추가하는 것이 확률 질량의 일부를 "소비"하여 남은 프로토타입의 상한을 엄격하게 제한하는 **심플렉스 설명(Simplex Explanation)**을 제안한다. 또한 희소하고 비음수인 분류 헤드를 가진 모델을 위한 **희소 가중치 설명(Sparse-Weight Explanation)**을 도입하여, 예측된 클래스에 대한 정확한 점수 계산과 경쟁 클래스들에 대한 타이트한 경계 계산을 가능하게 한다.
3. 등방성 가우시안 유사도: 프로토타입이 가우시안 분포인 확률적 네트워크(예: ProtoGMM)를 위해, 저자들은 문제를 보편적인 유클리드 공간으로 매핑한다. 등방성 공분산을 가정함으로써, 이들은 유사도 점수로부터 "진정한" 유클리드 거리를 복구한다. 이들은 매핑된 유클리드 공간에 표준 하이퍼스피어 교차 근사(HIA)를 적용하고, 결과적인 기하학적 경계를 모델의 특정 활성화 공간으로 다시 투영한다.
4. 포컬 유사도 (Focal Similarity): 배경 노이즈를 억제하기 위해 포컬 풀링을 사용하는 ProtoPool과 같은 아키텍처를 위해, 저자들은 기존의 공간 ALE 경계가 하부의 기하학적 솔버를 변경하지 않고도 포컬 풀링 연산에 필요한 집계 통계량(최댓값 및 기대값)을 경계 지을 수 있음을 입증한다.

주요 기여

• ALE의 일반화: 본 논문은 ALE 프레임워크를 $L_2$ 유클리드 공간을 넘어 구형 메트릭, 가우시안 밀도 및 심플렉스 기반 투영을 지원하도록 확장한다.
• 새로운 경계 알고리즘: 저자들은 다양한 아키텍처를 기존 경계에 매핑하거나 새로운 아키텍처 특화 경계 알고리즘(예: 구형 캡 교차, 심플렉스 질량 보존)을 구축하는 방법을 체계적으로 도출한다.
• 통합 프레임워크: 이러한 다양한 모델을 단일 정식 프레임워크 아래 통합함으로써, 본 연구는 최초로 엄격한 교차 아키텍처 비교를 가능하게 한다.
• 경험적 검증: 저자들은 여러 데이터셋(Oxford Flowers 102, Oxford IIIT Pet, CUB200)과 아키텍처(ProtoPNet, PIP-Net, TesNet, Gaussian ProtoPNet)에 대해 완전히 훈련된 이미지 분류기 상에서 부분 집합 최소 정식 설명을 계산함으로써 이론적 구성을 검증한다.

결과
실험은 서로 다른 패러다임 간의 설명 크기(해석 가능성)와 계산 비용 사이의 유의미한 트레이드오프를 보여준다:

• PIP-Net: 희소하고 비음수인 선형 헤드를 가진 모델(PIP-Net)은 가장 작은 절대적 설명 크기와 가장 빠른 계산 시간(약 0.07초)을 나타내며, 이는 이들이 정식 검증에 본질적으로 더 적합함을 시사한다.
• 심플렉스 패러다임: PIP-Net을 위한 심플렉스 설명 패러다임은 가장 작은 상대적 설명 크기(0.1%–0.2%)를 달성하며, 이는 잠재 공간 차원에 대해 우수한 확장성을 나타낸다.
• 가우시안 모델: 스케일링된 HIA는 가우시안 모델에 대해 가장 작은 상대적 설명 크기(4.6%–6.2%)를 제공하지만, 가장 높은 계산 오버헤드(최대 142초)를 초래하며, 일부 구성은 대규모 데이터셋에서 타임아웃이 발생한다.
• 코사인/구형 모델: 구형 HIA가 경쟁력 있는 상대적 크기를 달로는 하지만, 코사인 TI와 구형 HIA 모두 높은 분산과 확장성 문제를 겪으며, CUB200 데이터셋에서 종종 타임아웃이 발생한다.
• 메트릭: 저자들은 서로 다른 패러다임 간의 설명 크기를 정규화하여 프로토타입의 총 개수와 무관하게 고유한 아키텍처 해석 가능성의 견고한 지표를 제공하는 "상대적 크기(Relative Size)" 메트릭을 도입한다.

의의
본 논문은 다양한 프로토타입 기반 네트워크 간의 정식 해석 가능성에 대한 최초의 정량적 비교를 제공한다고 주장한다. ALE를 비유클리드 공간으로 확장함으로써, 본 연구는 정식 XAI의 이론적 보장과 현대의 다양하고 실제적인 프로토타입 아키텍처 사이의 간극을 메운다. 이 작업은 희소하고 비음수인 헤드와 같은 사용이 정식 해석 가능성을 향상시키는 구체적인 설계 원칙임을 강조한다. 또한, 기하학적 정밀도(예: 가우시안 또는 구형 모델)가 타이트한 경계를 제공할 수는 있지만 종종 상당한 계산 비용을 수반한다는 점을 밝혀냄으로써, 해석 가능성 보장과 확장성 사이의 균형을 맞추기 위한 신중한 아키텍처 설계의 필요성을 역설한다.