Reliability, Faithfulness, and the Limits of Post-hoc Explanations of Opaque Scientific Models

기술 요약: 신뢰성, 충실성, 그리고 불투명한 과학적 모델에 대한 사후 설명의 한계

문제 제기
본 논문은 과학적 응용 분야에서 설명 가능한 AI(XAI)가 직면한 결정적인 인식론적 간극을 다룬다. 신경과학, 물리학, 생화학 등 과학적 영역에서 불투명한 머신러닝 모델은 단순히 예측 도구를 넘어, 모델이 다루는 기저 현상에 대한 통찰의 원천으로 점점 더 많이 사용되고 있다. 지배적인 가정은 만약 모델이 충분히 신뢰할 수 있고(예측이 현상의 결과와 일치함), 그 사후 설명이 충분히 충실하다면(설명이 모델의 내부 연산을 정확하게 반영함), 그 설명이 현상 자체의 구조에 대한 정당한 주장을 제공한다는 것이다.

저자들은 이러한 추론이 구조적으로 타당하지 않다고 주장한다. 신뢰성과 충실성은 필요조건이지만, "모델을 이해하는 것"과 "세상을 이해하는 것" 사이의 간극을 메우기에는 불충분하다. 구체적으로, 두 지표 모두 모델의 내부 구조가 현상의 인과적, 기제적, 또는 반사실적 구조와 부합하는지 여부를 검증하지 못한다.

방법론 및 형식화
본 논문은 경험적 실험 대신 형식적 인식론 분석을 채택한다. 저자들은 현상, 모델, 그리고 설명 사이의 추론 관계를 분석하기 위해 근사 체인(chain of approximation)을 구축한다:

1. 현상 ($f$): 자연 현상을 나타내는 진정한 함수.
2. 모델 ($h^*$): 함수 공간 $H$(예: 심층 신경망)에서 선택된 가설로서 $f$를 근사함.
3. 설명 ($g^*$): $h^*$를 근사하는 사후 방법 $E$(예: SHAP, LIME, 어텐션 맵)에 의해 생성된 표현.

이 체인은 $f \xleftarrow{\phi} h^* \xleftarrow{E} g^*$로 표기된다:

• $\phi$ (모델-세계 연결)는 $h^*$가 $f$를 추적하는 신뢰성을 나타낸다.
• $E$ (모델-모델 연결)는 $g^*$가 $h^*$를 기술하는 충실성을 나타낸다.

저자들은 두 가지 유형의 인식론적 판결을 구분한다:

• 기술적 판결(Descriptive Verdicts): 모델이 무엇을 계산하는지에 대한 평가 (충실성).
• 정당화 판결(Justificatory Verdicts): 현상을 추적하는 모델의 능력에 대한 평가 (신뢰성).

핵심적인 방법론적 논거는 과학자가 세 번째 유형의 판결, 즉 현상의 구조에 대한 정당화된 주장을 추구한다는 것이다. 본 논문은 모델에 대한 기술적 판결($g^*$에 대하여)과 현상에 대한 정당화 판결($h^*$에 대하여)을 결합하는 것이 현상의 구조에 대한 정당화 판결을 논리적으로 도출할 수 없음을 보여준다.

주요 기여 및 논거

1. 구조적 실패:
   본 논문은 완벽한 신뢰성과 완벽한 충실성의 극한에서도 모델과 세계 사이의 간극이 닫히지 않는다고 주장한다.

• 신뢰성은 출력이 결과와 일치하는지를 확인하지만, 공유된 내부 구조를 요구하지 않는다. 모델은 현상을 추적하기 위해 비기제적 지름길이나 가짜 상관관계(예: 병리 현상 대신 이미지의 경계선에 의존함)를 통해 완벽하게 결과를 맞출 수 있다.
• 충실성은 설명이 모델의 연산과 일치하는지를 확인하지만, 이는 전적으로 모델 내부에 국한된 것이다. 이는 모델의 연산이 현상의 기제와 부합하는지를 결정할 수 없다.
• 결과적으로, "완벽한" 체인($f \approx h^* \approx g^*$)이라 할지라도 구조적 정렬 문제는 여전히 해결되지 않은 채 남는다. 이 체인은 모델의 사실로부터 세계의 사실로 나아가기 위해 필요한 "공유된 구조"라는 전제가 결여되어 있다.

2. 오도하는 체인의 세 가지 사례 (부록 A):
   저자들은 세 가지 시나리오를 통해 이 간극의 지속성을 설명한다:

• 사례 1 (분포 변화): 모델이 훈련 시에는 작동하지만 새로운 인구 집단에서는 실패하는 가짜 특징(예: 엑스레이의 측방성 마커)에 의사 의존하는 경우. 충실성은 이러한 의존성을 정확히 보고하지만, 신뢰성은 분포가 변할 때만 실패한다. 설명은 잘못된 기제에 대해 충실하다.
• 사례 2 (불변 혼란 변수): 모델이 모든 테스트 가능한 인구 집단에서 타겟과 상관관계를 갖는 가짜 특징(예: 환자의 자세)에 의존하는 경우. 여기서 신뢰성은 어디서나 완벽하며 충실성 또한 완벽하지만, 모델은 여전히 실제 기제를 포착하지 못한다. 어떤 검증 데이터도 가짜 모델과 기제 모델을 구별할 수 없다. 만약 두 모델이 동일한 예측을 생성한다면 말이다.
• 사례 3 (완벽한 추적, 상이한 구조): 모델이 모든 입력에 대해 현상을 완벽하게 추적하지만, 내부 구조는 현상의 구조와 완전히 다른 경우. 이 모델에 대한 충실한 설명은 현상의 구조가 아닌 구조를 기술한다. 신뢰성과 충실성은 "진정한 구조"를 가진 모델과 "상이한 구조"를 가진 모델 모두에서 동일하게 나타나며, 따라서 이 지표들은 진실과 운을 구별할 능력이 없다.

3. "강한" 읽기와 "약한" 읽기의 구분:

• 강한 읽기 (How-Actually, 실제로 어떻게 그러한가): 모델의 구조가 곧 현상의 구조라고 주장한다. 본 논문은 이 체인 단독으로는 이러한 주장을 뒷받침할 수 없다고 논한다.
• 약한 읽기 (How-Possibly/Objectual Understanding, 어떻게 그럴 수 있는가/대상적 이해): 모델이 후보 가설이나 도메인 내의 연결 관계를 파악하는 것을 제공한다고 주장한다. 저자들은 외부적 확증(이론적 선행 연구, 독립적 증거, 또는 실험적 개입)과 대조될 때, 이 체인이 이러한 주장을 지원할 수 있음을 인정한다.

결과 및 주장
본 논문은 실험적 결과 대신 한계에 대한 철학적, 논리적 증명을 제시한다:

• 자기 충족적 정당화의 부재: 신뢰할 수 있는 모델과 충실한 설명의 결합은 그 자체만으로는 현상에 대한 주장을 정당화하지 못한다.
• 외부적 확증의 필요성: 모델의 기술로부터 세계에 대한 주장으로 나아가기 위해서는 외부적 전제(독립된 이론, 알려진 기제, 또는 개입)가 도입되어야 한다. 이러한 전제들은 XAI 체인 자체에 의해 생성되지 않는다.
• 이상화의 역할: 본 논문은 과학적 이상화 문헌(예: Sullivan, Elgin)과 궤를 같이하며, 불투명한 모델이 이상화된 도구로서 기능한다고 제안한다. 이들은 "대상적 이해"(연결과 가능성의 파악)를 제공할 수는 있지만, 외부적 검증 없이는 "설명적 이해"(실제 기제의 식별)를 제공할 수 없다.

의의
본 논문의 의의는 과학적 맥에서 사후 XAI의 인식론적 경계를 명확히 하는 데 있다. 이는 충실한 설명을 신뢰할 수 있는 모델의 직접적인 창(window)으로 취급하는 일상적인 관행에 도전한다.

• 저자들은 "모델이 어떻게 작동하는가"와 "세계가 어떻게 작동하는가"를 구분하지 못하는 문제가 더 나은 알고리즘이나 높은 충실도로 해결될 수 있는 기술적 결함이 아니라, 추론 체인의 구조적 한계임을 주장한다.
• 이는 과학적 사용에서의 XAI의 방향을 재설정한다. 즉, 설명을 기제의 결정적 증거로 보기보다는, 엄격한 외부 테스트와 이론적 통합이 필요한 후보 가설의 생성기로 보아야 한다는 것이다.
• 결론적으로, 본 논문은 체인이 "어떻게 그럴 수 있는가(how-possibly)"라는 주장은 지원할 수 있지만, 외부적 확증 없이는 "실제로 어떻게 그러한가(how-actually)"라는 주장을 허용할 수 없음을 밝히며, 이는 불투명한 모델을 사용하는 과학적 발견의 무결성에 있어 매우 중요한 구분이다.