In defence of post-hoc explanations in medical AI

기술 요약: 의료용 AI의 사후 설명(Post-hoc Explanations)에 대한 옹호

문제 제기
본 논문은 기술적 불투명성과 윤리적 위험이라는 이중 과제를 구성하는 의료용 인공지능(AI)의 "블랙박스 문제"를 다룬다. 기술적으로, 심층 신경망과 같은 고급 시스템은 훈련 불투명성(데이터로부터 매개변수가 어떻게 유도되었는지 추적할 수 없음)과 추론 불투명성(모델의 복잡성이 인간의 인지 한계를 초과하여 특정 입력이 왜 특정 출력을 생성하는지 식별할 수 없음)을 나타낸다. 윤리적으로, 이러한 불투명성은 정당화 문제(임상의가 이해하지 못하는 결과값을 이성적으로 수용할 수 없음), 차별 방지 문제(알고리즘의 편향이나 부적절한 추론을 탐지할 수 없음), 그리고 조정 문제(임상의와 AI 간의 의견 불일치를 해결할 수 없음)를 야기한다.

설명 가능한 AI(XAI)는 사후 설명(입력/출력 기록을 기반으로 블랙박스의 추론을 근사하는 모델)을 해결책으로 제시해 왔으나, 최근의 비판들은 이러한 설명들이 "가짜 금(fool's gold)"이라고 주장한다. 비판자들은 사후 설명이 기저의 추론을 충실하게 재현하는 것이 아니라 단지 근사치에 불과하기 때문에, 사용자의 이해를 개선하지 못하고, 안전 위험을 줄이지 못하며, 심지어 자동화 편향 및 과잉 의존과 같은 문제를 악화시킬 수 있다고 주장한다.

방법론 및 이론적 틀
본 논문은 새로운 경험적 데이터를 제시하기보다는 개념적이고 논증적인 방법론을 채택한다. 저자들은 XAI, 의료 윤리, 인간-AI 상호작동에 관한 기존 문헌을 종합하여 사후 설명에 대한 옹호를 구축한다. 저자들의 작업은 다음과 같다:

1. 지형 정의: 모델 특정적 방식(예: 살리언시 맵)과 모델 불가지론적 방식(예: LIME)을 구분하고, 전역적 설명과 지역적 설명을 구분한다.
2. 비판 분석: 사후 설명의 "고충실도(high-fidelity, 원본 모델에 대한 충실성)" 결여와 설명이 신뢰나 성능을 향상시키지 못한다는 경험적 결과에 초점을 맞추어, 사후 설명에 반대하는 논거들을 체계적으로 검토한다.
3. 반론 구축: 인간 전문가의 추론 및 과학적 모델링과의 유사성을 끌어와 설명의 효용성을 재정의하며, 설명이 반드시 기저의 메커니즘을 문자 그대로 재현하는 기계적 복제일 필요는 없으며 기능적으로 유용할 수 있다고 주장한다.
4. 완화 전략 제안: 사후 설명과 관련된 위험을 완화하기 위한 기술적 및 비기술적 방법(예: 인지적 강제, 여러 설명의 집합)을 식별한다.

주요 기여 및 논거
본 논문의 주요 기여는 사후 설명에 대한 "고충실도" 비판에 맞서, 그 가치가 기계적 재현이 아닌 기능적 이해에 있다는 점을 논증함으로써 사후 설명을 정교하게 옹호하는 데 있다.

• 충실도보다 기능적 효용: 저자들은 사후 설명이 블랙박스 시스템의 기능적 이해를 개선한다고 주장한다. Páez(2019)를 인용하며, 저자들은 과학적 모델이나 사고 실험처럼 설명이 기저의 메커니즘에 대해 "문자 그대로는 틀린" 표현일지라도 여전히 진정한 이해를 제공할 수 있다고 상정한다.
• 임상의-AI 성과 개선: 설명이 무용하다는 주장과 달리, 본 논문은 살리언시 마스크를 사용하는 영상의학과 전문의-AI 팀이 폐 병변 식별에서 4.7 퍼센트 포인트 더 높은 정확도를 달ach했다는 경험적 증거(Senoner et al., 2024)를 제시한다. 결정적으로, 설명은 임상의가 AI의 정답과 오답을 구별하는 데 도움을 주었으며, 이는 정확한 AI의 조언에는 더 잘 따르고 부정확한 조언은 더 빈번하게 거부하는 결과로 이어졌다.
• 예측 능력: 본 논문은 사후 설명(예: Wang and Yin, 2021)이 입력 변화에 따른 시스템 출력의 변화를 예측하는 사용자의 능력을 향상시킨다는 점을 강조한다. 이러한 예측 능력은 임상 의사결정에 필수적인 인과적 이해의 한 형태를 구성한다.
• 정당화 및 제도적 맥락: 저자들은 사후 설명 단독으로는 AI의 출력을 정당화할 수 없을지라도, 제도적 설명(설계 결정, 편향 완화 노력, 개발자의 신뢰성 등에 대한 세부 정보)과 결합될 때 임상의가 AI 기반 결정을 정당화할 수 있는 근거가 된다고 주장한다.
• 위험 완화: 저자들은 자동화 편향 및 부적절한 상관관계와 같은 위험을 인정하지만, 이는 AI에만 국한된 문제가 아니라고(인간의 설명 또한 편향을 겪음) 주장한다. 또한 다음과 같은 구체적인 완화 전략을 제안한다:
  • 기술적 측면: 견고한 지역 훈련 방법(예: "Just Train Twice")을 사용하고, 오도하는 신호를 줄이기 위해 여러 설명을 집합(aggregation)한다.
  • 설계 측면: 휴리스틱 추론을 차단하고 분석적 사고를 장려하기 위해 "인지적 강제"(예: 권고를 지연시킴) 및 "마찰력이 있는 AI(frictional AI)"를 구현한다.

결과 및 주장
본 논문은 자신의 논지를 뒷받//기 위해 새로운 실험 결과를 제시하는 대신 기존의 연구 결과들을 종합한다. 분석의 "결과"는 다음과 같은 결론들이다:

1. 사후 설명은 유익하기 위해 블랙박스 시스템의 정확한 추론 과정을 재현할 필요가 없다.
2. 사후 설명은 다른 전략들과 함께 사용될 때, 임상의-AI 팀의 정확도를 높일 수 있으며 의사결정 정당화를 도울 수 있다.
3. "블랙박스 문제"는 단일한 기술적 솔루션(실버 불릿)으로 해결할 수 있는 단일한 문제가 아니다. 이는 기술적 도구(사후 설명 및 메커니즘적 해석 가능성 등)와 비기술적 전략(교육, 감독, 사후 시장 감시)을 모두 포함하는 다각적인 접근을 요구하는 "난제(wicked problem)"이다.

의의
본 논문은 사후 설명에 대해 현재 학계에 만연한 "깊은 수준의 비관주의"를 바로잡는 데 의의가 있다고 주장한다. 저자들은 "실버 불릿" 가설을 거부함으로써 균형 잡힌 관점을 옹호한다. 즉, 사후 설명이 블랙박스 문제를 단번에 "해결"할 수는 없지만, 의료용 AI의 위험을 완화하기 위한 유용하고 필요한 전략으로 남아 있다는 것이다. 본 논문은 완벽한 충실도가 부족하다는 이유로 이러한 도구들을 배척하는 것은, 기능적 이해와 팀 성과를 향상시키는 데 입증된 능력을 간과하는 것이라고 강조한다. 궁극적으로 블랙박스 문제의 해결은 기술적 발전과 더불어 숙련된 사용자 및 효과적인 감독을 필요로 하는 사회-기술적 과제로 프레임화된다.