🤖 AI

LLM Doesn't Know What It Doesn't Know: Detecting Epistemic Blind Spots via Cross-Model Attribution Divergence on Clinical Tabular Data

이 논문은 거대 언어 모델이 임상 표 형식의 데이터에 대해 진정한 인식론적 자기 인식이 결여되어 있으며, 이들의 언어화된 확신은 정보 가치가 없고 정확도는 과업 난이도와 역상관 관계에 있음을 입증하는 동시에, 교차 모델 귀속 발산 분석을 퓨샷 프롬프팅 및 특징 증거와 결래하여 사용하는 것이 재학습 없이도 이러한 사각지대를 효과적으로 탐지하고 정확도와 보정력을 유의미하게 향상시킬 수 있다고 제안한다.

원저자: Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문에 대한 설명을 쉬운 언어와 일상적인 비유를 사용하여 설명합니다.

핵심 아이디어: "자신감 넘치는 인턴"

세상의 모든 의학 교과서를 다 읽었지만, 정작 병원 실무 경험은 전혀 없는 아주 똑똑한 의대생(LLM)을 고용했다고 상상해 보세요. 그리고 당신 곁에는 환자의 활력 징후를 추적하며 어떤 수치가 특정 질병(급성 신손상)을 예측하는지 정확히 알고 있는, 데이터에 기반한 숙련된 간호사(XGBoost 모델)가 있습니다.

연구진은 아주 단순한 질문을 던졌습니다. "의대생은 자신이 추측하고 있다는 사실을 스스로 알고 있는가?"

그 결과, 이 학생은 위험할 정도로 과도하게 자신만만했습니다. 자신이 얼마나 틀렸는지와 상관없이 항상 "저는 90% 확신합니다!"라고 말했습니다. 논문에서는 이를 **"인식론적 사각지대(Epistemic Blind Spots)"**라고 부릅니다. 즉, 학생은 자신이 무엇을 모르는지조차 모르고 있었습니다.

실험: 질문을 던지는 네 가지 방법

연구진은 이 의대생(Qwen 2.5 모델 사용)을 대상으로 300개의 환자 기록을 테스트했습니다. 그들은 진단을 요청하는 네 가지 방식을 시도했습니다.

백지 상태 (Zero-Shot): 환자의 데이터만 주고 "이 환자에게 신장 손상이 있나요?"라고 묻는 방식입니다.
- 결과: 학생은 무작위로 찍는 수준이었지만(정확도 49%), 여전히 85%의 확신을 가졌습니다.
컨닝 페이퍼 (Zero-Shot + SHAP): 데이터와 함께, 간호사가 중요하다고 생각하는 상위 5개 수치 목록을 주는 방식입니다.
- 결과: 학생은 여전히 낮은 정확도(52%)를 보였고, 여전히 85%의 확신을 가졌습니다. 중요한 숫자들이 무엇인지는 보았지만, 그것을 어떻게 활용해야 하는지는 이해하지 못했습니다.
예시 제공 (Few-Shot): 데이터와 함께 과거 환자들의 올바른 진단 사례 4개를 주는 방식입니다.
- 결ta: 학생의 실력이 크게 향상되었으며(정확도 68%), 93%의 확신을 가졌습니다.
슈퍼 콤보 (Few-Shot + SHB): 예시와 간호사의 중요 수치 목록을 모두 제공하는 방식입니다.
- 결과: 학생은 매우 유능해졌으며(정확도 75%), 93%의 확신을 가졌습니다.

네 가지 주요 발견

1. "고장 난 온도계" (신뢰도는 쓸모가 없다)

가장 충격적인 발견은 학생의 "신뢰도 점수"가 고장 난 온도계와 같다는 점입니다.

비유: 건강할 때나 40도의 고열이 날 때나 항상 "36.5도"라고만 표시하는 온도계를 상상해 보세요.
실제: 학생은 답이 맞았든 틀렸든, 문제가 쉽든 어렵든 상관없이 항상 약 85%에서 93% 정도의 확신을 가졌습니다. 그들의 확신은 답변의 정확도가 아니라, 오로지 질문이 어떻게 작성되었는지에 따라 결정되었습니다. 즉, 그 점수는 예측이 맞는지 틀린지에 대해 아무것도 알려주지 않습니다.

2. "역전된 난이도" 효과 (전문가가 확신할 때 실패한다)

연구진은 기묘한 패턴을 발견했습니다.

간호사가 99% 확신할 때(데이터가 매우 명확하고 구체적일 때), 학생은 65%의 정확도만을 보였습니다.
간호사가 확신하지 못할 때(데이터가 불분명할 때), 학생은 오히려 간호사와 비슷한 수준(약 74% 정확도)까지 올라왔습니다.
비유: 학생은 일반적인 의학 이론에는 강하지만, 이 특정 병원의 구체적이고 특이한 패턴에는 취약합니다. 학생은 데이터가 모호하여 일반적인 지식이 도움이 될 때는 빛을 발하지만, 데이터가 구체적인 학습된 패턴을 요구할 때는 실패합니다.

3. "마법의 조합" (1 + 1 = 3)

연구진은 학생에게 예시(Few-Shot)를 주는 것과 간호사의 중요 수치 목록(SHAP)을 주는 것을 결합했을 때, 각각을 따로 사용할 때보다 더 큰 효과가 나타난다는 것을 발견했습니다.

비유: 운전을 배우는 상황을 상상해 보세요.
- 예시만 있는 경우는 누군가 운전하는 영상을 보는 것과 같습니다. 목표는 이해하지만, 어떤 페달을 밟아야 할지는 모릅니다.
- 목록만 있는 경우는 누군가 페달을 가리키며 "이걸 밟으세요"라고 말하는 것과 같습니다. 무엇을 만져야 할지는 알지만, 왜 혹은 언제 밟아야 하는지는 모릅니다.
- 함께 있을 때, 비로소 자동차의 전체적인 작동 원리를 이해하게 됩니다. 연구진은 이 두 가지 방법을 결합하는 것이 단순히 두 개선책을 더하는 것보다 훨씬 더 효과적으로 학생의 추론 능력을 개선한다는 것을 발견했습니다.

4. "번역기" (신뢰도를 바로잡다)

학생의 자체 신뢰도가 쓸모없기 때문에, 연구진은 작은 "번역기(교정기)"를 만들었습니다.

작동 원리: 이 번역기는 학생이 중요하다고 생각하는 것과 간호사가 중요하다고 생각하는 것 사이의 차이를 살펴봅니다.
결과: 만약 학생과 간호사가 무엇이 중요한지에 대해 의견이 다르다면, 번역기는 "이 예측은 위험합니다"라고 경고합니다. 서로 의견이 일치하면 "이것은 안전할 가능성이 높습니다"라고 말합니다.
영향: 이를 통해 학생의 가짜 신뢰도를 실제 환자별 신뢰도로 대체했습니다. 이 방식은 학생의 뇌 속을 들여다보거나 테스트를 두 번 실행할 필요 없이, 두 모델의 추론을 비교하는 것만으로 충분했습니다.

결론: "콜드 스타트(Cold Start)" 문제

이 논문은 구조화된 데이터(환자의 활력 징후가 담긴 스프레드시트 등)에 LLM을 적용하는 것은 마치 "콜드 스타트" 상태와 같다고 결론짓습니다.

학생은 지식(의학 지식)은 갖추고 있습니다.
하지만 방향성(어떤 숫자를 봐야 하는지)이 부족합니다.
또한 자기 객관화(자신이 추측하고 있다는 사실을 아는 것)도 부족합니다.

논문은 우리가 똑똑하고 데이터 중심적인 간호사(XGBoost)를 대체할 필요가 없다고 제안합니다. 대신, 간호사가 학생을 가이드(어떤 특징이 중요한지 보여줌으로써)하고, 학생의 추론이 어긋나지 않도록 교정(언제 추론이 틀어지는지 알려줌으로써)하는 시스템을 구축해야 합니다. 이를 통해 학생이 자신의 한계를 진정으로 인식할 수 있는 시스템을 만들 수 있습니다.

기술 요약: 교차 모델 귀속 분산(Cross-Model Attribution Divergence)을 통한 인식론적 사각지대 탐지

문제 정의

대규모 언어 모델(LLM)이 의료 질의응답 및 차트 요약 분야에서 유망한 가능성을 보여주고 있으나, 구조화된 임상 표 형식 데이터(예: 전자 건강 기록)에 대한 적용, 특히 인식론적 자기 인식(epistemic self-awareness) 측면에서의 연구는 여전히 미진한 상태이다. 기존 연구들은 트리 기반 모델(예: XGBoost)이 표 형식 예측 작업에서 LLM보다 일관되게 우수한 성능을 보인다는 점을 입증해 왔으나, 이러한 성능 격차는 주로 단일한 집계 지표(예: 낮은 AUROC)로만 다루어졌을 뿐, 그 기저에 깔린 인식론적 구조를 조사하는 데까지는 나아가지 못했다.

본 논문이 다루는 핵심 문제는 LLM이 구조화된 작업에서 자신의 지식 한계를 인식할 수 있는지 여부이다. 구체적으로, 본 연구는 LLM이 자신이 정답을 맞힐 가능성이 높은 경우와 틀릴 가능성이 높은 경우를 구분할 수 있는지, 그리고 LLM이 언어적으로 표현하는 신뢰도 신호가 임상 환경에서 예측 품질의 신뢰할 수 있는 지표가 될 수 있는지를 조사한다. 저자들은 이를 "콜드 스타트(cold start)" 문제로 규정한다. 즉, LLM은 관련 의료 지식을 보유하고 있으나, 구조화된 데이터에 이 지식을 적용하는 데 필요한 방향성(특징 주의력, feature attention)과 자기 평가 메커니즘이 결여되어 있다는 것이다.

방법론

데이터 및 과업

본 연구는 MIMIC-IV 임상 데이터베이스를 활용하여 급성 신손상(AKI) 예측 과업을 재현하였다.

데이터셋: 약 209,000건의 입원 사례에서 추출한 균형 잡힌 코호트 10,000건 (클래스당 5,000건).
특징(Features): 활력 징후, 인구통계학적 정보, CCS 진단 코드, 이산화된 실험실 수치를 포함한 321개의 특징.
분할: XGBoost를 위한 80/20 훈련-테스트 분할; LLM 평가를 위해 테스트 세트에서 15% 부분 집합(n=300)을 사용.
베이스라인: 가장 영향력 있는 상위 50개 변수를 사용하여 학습된 XGBoost 분류기로, 평가 부분 집합에서 약 0.85의 AUROC와 약 0.823의 정확도를 달성함.

실험 설정

저자들은 Qwen 2.5 7B Instruct(로컬 호스팅)를 네 가지 프롬프트 조건에 걸쳐 평가하였다:

제로샷 (Zero-Shot, ZS): 직렬화된 환자 특징과 예측 프롬프트.
ZS + SHAP: ZS 프롬프트에 XGBoost 모델의 상위 5개 SHAP 특징, 중요도 점수 및 방향성 영향을 추가로 보강함.
퓨샷 (Few-Shot, FS): ZS 프롬프트에 네 개의 클래스 균형이 잡힌 레이블된 예시를 추가함.
FS + SHAP: 퓨샷 예시와 SHAP 특징 주입을 결합함.

출력 요구사항: 각 케이스에 대해 LLM은 이진 예측, 언어적 신뢰도 점수(0–1), 그리고 위험 방향을 포함한 상위 5개 특징의 순위 목록을 생성해야 했다. 출력은 구조화된 JSON 형식을 통해 강제되었다.

지표 및 분석

귀속 불일치 점수 (Attribution Disagreement Score, ADS): XGBoost의 SHAP 귀속값과 LLM의 자기 보고된 특징 순위 간의 정렬 정도를 켄달의 순위 상관계수( $\tau$ )를 사용하여 정량화함. $ADS = 1 - \tau$ .
보정 (Calibration): 정답과 오답을 구분하는 능력에 대한 기대 보정 오차(ECE) 및 AUROC를 통해 측정함.
교차 모델 보정기 (Cross-Model Calibrator): 교차 모델 특징(ADS, 자카드 유사도, 방향성 일치도, 신뢰도 차이 등)을 사용하여 LLM의 정답 확률( $P(\text{LLM correct})$ )을 예측하도록 학습된 경량 모델(로지스틱 회귀 또는 XGBoost).

주요 결과

1. LLM의 언어적 신뢰도는 인식론적으로 공허함 (Epistemically Vacuous)

연구 결과, LLM의 언어적 신뢰도는 예측 품질이 아니라 프롬프트 템플릿에 의해 완전히 결정된다는 것이 밝혀졌다.

관찰: 정확도가 49%이든 75.3%이든 관계없이 신뢰도 점수는 일정하게 유지됨 (Zero-Shot의 경우 0.856, Few-Shot의 경우 0.937).
시사점: 임상 표 형식 데이터에서 언어적 신뢰도는 정답 여부에 대한 어떠한 정보도 제공하지 않는다. 이는 인식론적 상태를 추적하는 것이 아니라 프롬프트 형식을 추적하므로, 다운스트림 의사결정에 사용하기에는 무용하다.

2. 역(逆) 난이도 효과 (The Inverse Difficulty Effect)

데이터의 난이도와 XGBoost 대비 LLM 성능 사이에는 반직관적인 관계가 존재한다.

관찰: XGBoost가 높은 확신(>0.85)을 가지고 거의 항상 정답(99% 정확도)을 맞히는 경우, LLM의 정확도는 64.8%로 떨어진다. 반대로, XGBoost가 중간 정도의 불확실성(신뢰도 0.70–0.85)을 보일 때, LLM은 그 성능과 유사한 수준을 보인다 (73.8% vs 73.1%).
시사점: 두 모델은 상보적인 실패 모드를 보인다. LLM은 XGBoost가 학습한 데이터 특유의 분포 패턴을 다루는 데 어려움을 겪지만, 일반적인 의료 지식이 충분히 기능하는 XGBoost의 "불확실 영역"에서는 실질적인 가치를 더한다. 그러나 LLM은 스스로 이러한 영역을 식별하지 못한다.

3. 초가산적 귀속 정렬 (Super-Additive Attribution Alignment)

퓨샷 예시와 SHAP 유래 증거는 직교하며 초가산적인(super-additive) 개입으로 작용한다.

관찰:
- 퓨샷 (Few-Shot): 과업 이해도(특징을 예측에 매핑하는 능력)를 향상시키지만, 특징 주의력에는 거의 변화를 주지 못함 (자카드 유사도가 아주 약간만 증가함).
- SHAP 주입 (SHAP Injection): 특징 주의력을 효과적으로 재지향시키지만 (자카드 유사도가 0.658로 급증), "얕은 채택(shallow adoption)" 현상을 보임 (LLM이 예측을 크게 조정하지 않고 단순히 언어적으로 귀속값을 복사함).
- 결합 (FS + SHAP): 두 가지를 결합했을 때의 효과(ADS 1.158 감소)는 개별 효과의 합(0.796)을 초과한다. 이 결합은 75.3%의 정확도와 0.378의 ADS를 달성한다.
시사점: "콜드 스타트"를 해결하기 위해서는 과업 시연(방향)과 구조화된 모델 증거(지향성)가 모두 필요하다.

4. 귀속 분산을 통한 교차 모델 보정

귀속 분산 신호는 효과적인 외부 보정 시스템을 구동할 수 있다.

관찰: 귀속 분산 특징을 사용하는 교차 모델 보정기는 원시 LLM의 기대 보정 오차(ECE)를 0.254에서 0.080으로 감소시켰다. 이 보정기는 LLM이 정답을 맞힐지 여부를 예측하는 데 있어 0.71의 AUROC를 달성했다.
시사점: LLM 내부 구조에 접근하거나 반복적인 추론을 요구하지 않고도 환자별 신뢰도 추정치를 생성할 수 있으며, 이를 통해 정보가 없는 상수 형태의 신뢰도를 의미 있는 신뢰도 점수로 대체할 수 있다.

의의 및 주장

본 논문은 이러한 발견들을 LLM이 구조화된 데이터에 대해 겪는 콜드 스타트 문제를 규명하는 것으로 프레임화한다. LLM은 잠재적인 의료 지식을 보유하고 있지만, 특징 공간 내에서 스스로를 정위(orient)하거나 자신의 신뢰성을 평가하는 메커니즘이 부족하다.

진단적 토대: 본 연구는 단순한 성능 격차 측정을 넘어, 인식론적 사각지대(정렬되지 않은 주의력, 결여된 자기 평가)를 식별하기 위한 진단적 프레임워크를 구축한다.
실용적 유용성: 기존의 구조화된 모델(예: XGBoost)이 임상 워크플로우에서 두 가지 역할을 수행할 수 있음을 보여준다: LLM에 대한 방향 제공(귀속 주입을 통해) 및 보정 신호 제공(교차 모델 분산을 통해).
인식론적 자기 인식: 저자들은 현재의 LLM이 구조화된 작업에서 진정한 인식론적 자기 인식이 부족하다고 주장한다. 제안된 발전 방향은 교차 모델 보정 목표를 강화 학습(RL)의 보상 신호로 사용하여, 향endo적으로 LLM이 보정된 불확실성을 내면화하도록 가르치는 것이다.

본 연구는 단일 모델(Qwen 2.5 7B)을 단일 과업(AKI)에 대해 제한된 샘플 크기(n=300)로 평가했다는 점에서 범위가 제한적이다. 저자들은 자기 보고 방식의 특징 귀속과 보정기의 예비적 성격을 한계점으로 인정하며, 이 연구를 구조화된 데이터를 위한 인식론적 지능 연구의 기초적인 단계로 위치시킨다.