Challenges in Explaining Pretrained Clinical Text Classifiers

기술적 요약: 사전 훈련된 임상 텍스트 분류기 설명의 과제

문제 제기
비구조화된 전자 건강 기록 (EHR) 분석을 위한 고위험 의료 분야에 딥러닝 모델을 통합하는 작업은 투명성 부재로 인해 방해받고 있습니다. 모델이 강력한 예측 성능을 달성하더라도, 그 '블랙박스' 성격은 신뢰와 책임성을 제한합니다. LIME(국소 해석 가능 모델-무관 설명) 및 SHAP과 같은 기존 설명 가능한 AI(XAI) 기법은 주로 표 형식 또는 이미지 데이터를 위해 설계되었습니다. 이러한 사후 (post-hoc) 방법이 길고 노이즈가 많으며 이질적인 임상 서술에 적용될 때, 종종 임상적으로 의미 있는 통찰력을 제공하지 못합니다. 본 논문은 다음과 같은 중요한 격차를 지적합니다. 현재 토큰 수준 및 교란 (perturbation) 기반 설명 전략은 종종 사소한 토큰을 강조하고, 다단어 임상 개념을 무시하며, 전문가의 추론과 일치하지 않는 불안정하거나 오해의 소지가 있는 귀속치를 생성합니다.

방법론
저자들은 MIMIC-IV 데이터베이스의 467 건의 익명화된 병원 퇴원 요약문으로 구성된 실제 데이터셋을 사용하여 표적 실증 평가를 수행했습니다. 해당 데이터셋은 신장 결석 (ICD-10 코드 N20.0) 으로 진단된 성인 환자들로 구성되었으며, 입원 기간 (LOS) 이 코호트 중앙값을 초과하는지 여부를 예측하는 이진 분류 작업을 위해 레이블이 지정되었습니다.

1. 모델 학습: 도메인 적응형 ModernBERT 모델을 HuggingFace Transformers 프레임워크를 사용하여 해당 데이터셋에 대해 미세 조정 (fine-tuning) 했습니다. 입력은 1024 토큰으로 잘렸으며, 모델은 교차 엔트로피 손실을 사용하여 최적화되었습니다.
2. 설명 생성: 저자들은 모델의 예측에 대한 토큰 수준 중요도 점수를 생성하기 위해 LIME 을 활용했습니다.
3. 3 단계 시연: 이러한 맥락에서 LIME 의 한계를 드러내기 위해 저자들은 세 가지 특정 분석을 수행했습니다.
   • 민감도 분석: LIME 이 식별한 상위 순위 토큰을 점진적으로 제거하여 모델 신뢰도에 미치는 영향을 관찰하는 삭제 기반 실험.
   • 토큰 빈도 분석: 비정보적 토큰 (예: 정지어, 기호) 의 prevalence 를 식별하기 위해 20 가지 다양한 퇴원 요약문에 걸쳐 상위 10 개 할당 토큰을 집계한 분석.
   • 오프-매니폴드 교란: 의학적 타당성을 가진 노트를 무작위로 토큰을 마스킹하여 문법적으로 깨지거나 의미상 비일관된 입력을 생성하는 합성 실험으로, 모델과 설명자가 여전히 높은 신뢰도와 해석 가능한 결과를 산출하는지 테스트했습니다.

주요 기여 및 결과
본 연구는 표준 사후 설명기를 임상 텍스트에 적용할 때 내재된 여섯 가지 핵심 과제를 실증적으로 보여줍니다.

1. 상위 토큰의 불균형적 영향: 민감도 분석 결과, 모델 신뢰도는 상위 1~2 개의 토큰이 제거될 때만 급격히 하락하는 것으로 나타났습니다. 그 이후로 하위 순위 토큰 (심지어 LIME 점수가 무시할 수 없는 토큰) 을 제거하는 것은 미미한 영향만을 미쳤습니다. 이는 설명자가 제공하는 긴 '중요' 토큰 목록이 종종 주변 특징의 과잉 해석으로 이어질 수 있음을 시사합니다.
2. 비정보적 토큰의 우세: 빈도 분석 결과, LIME 은 임상적으로 중요한 용어보다는 정지어, 포맷팅 아티팩트 (예: 밑줄), 기능어 (예: "no", "and") 에 높은 할당 점수를 자주 부여하는 것으로 나타났습니다. 필터링을 통해 일부 노이즈를 제거할 수는 있지만, 이는 문맥에 의존적인 의학적 구절을 폐기할 위험이 있습니다.
3. 다단어 개념 포착 실패: 토큰 수준 할당은 "만성 신장 질환"과 같이 여러 단어로 확장되는 의학적 개념을 포착하지 못하고, 대신 고립된 상태에서 의미론적 의미를 갖지 않는 개별 단어를 분리합니다.
4. 오프-매니폴드 교란에 대한 취약성: 교란 실험 결과, 모델은 문법적으로 깨지고 의미상 비일관된 입력의 17.2% 에 대해 0.75 를 초과하는 높은 신뢰도를 유지했습니다. 이는 교란 기반 방법이 훈련 데이터 매니폴드에서 멀리 떨어진 입력에 대한 설명을 생성할 수 있으며, 설명 과정을 왜곡할 수 있음을 나타냅니다.
5. 희석 및 불안정성: LIME 의 무작위 샘플링에 대한 의존성은 불안정성을 초래하여, 반복 실행 시 서로 다른 할당치를 산출합니다. 또한 많은 교란된 샘플에 걸친 평균화 효과는 국소적 패턴을 흐리게 하여 확산된 설명을 생성합니다.

중요성 및 주장
본 논문은 관찰된 한계들이 고립된 아티팩트가 아니라 복잡한 임상 서술에 적용될 때 토큰 수준 및 교란 기반 설명기의 구조적 결함에서 비롯된다고 주장합니다. 저자들은 의료 분야에서 XAI 가 실현 가능하려면 설명 전략이 고립된 토큰을 넘어 다음을 포함하도록 발전해야 한다고 주장합니다.

• 언어적 일관성: 다단어 표현 및 의학적 개체를 존중하는 방법.
• 의미론적 기반: 통계적 토큰 빈도가 아닌 임상적 추론과 일치하는 설명.
• 견고성: 실행 간에 안정적이고 언어적 노이즈에 저항하는 전략.

저자들은 임상적으로 유용한 해석 가능성 도구를 구축하려면 더 긴 텍스트 단위를 처리하는 기술적 진보뿐만 아니라, 설명이 의사결정 지원 요구 사항과 일치하도록 보장하기 위한 의료 전문가의 참여를 포함한 인간 중심 평가가 필요하다고 결론지었습니다. 또한 이러한 과제는 의학을 넘어 법률 및 과학 NLP 와 같은 다른 고위험 텍스트 영역으로 확장된다고 강조합니다.