The strength of clinical evidence is recoverable from language model representations but not from their stated grades

기술 요약: LLM 표현(Representations)으로부터 임상적 근거 강도의 회복 가능성

문제 제기
대규모 언어 모델(LLM)은 임상적 근거를 요약하는 데 점점 더 많이 배치되고 있으나, 주장의 유용성은 단순히 그 진위 여부뿐만 아니라 이를 뒷받는 근거의 강도(예: 무작위 대조 시험 vs. 전문가 의견)에 달려 있다. 그러나 LLM은 확신을 제대로 전달하지 못하는 것으로 알려져 있으며, 이들이 명시하는 확실성은 종종 보정(calibration)이 미흡하고 정답 추적 능력이 떨어진다. 여기서 검증되지 않은 중요한 질문이 남는다. 즉, 임상의 LLM이 사실적 진위와는 별개로, 내부적으로 주장에 대한 근거의 강도를 인지하고 있는가? 만약 그렇다면, 프롬프트가 주어졌을 때 이를 표현하는가? 또한, 근거 강도에 관한 내부 신호가 존재하는다면, 그것이 근거의 무게에 대한 깊은 이해를 나타내는 것인지 아니면 단순히 표면적인 어휘적 단서(lexical cues)에 불과한 것인지도 불분명하다.

연구 방법론
본 연구는 여섯 가지 공공 생물 의학 소스(USPSTF, CPSTF, Trialstreamer, Evidence Inference, EBM-NLP, medical reversals 포함)에서 수집된 45,134개의 임상적 주장(claims)을 포함하는 포괄적인 평가 프레임워크를 채택하였다. 이 중 20,611개의 주장은 세 가지 독립적인 등급 체계에 따라 4단계 근거 등급(높음, 중간, 낮음, 매우 낮음)으로 조화롭게 정리되었다. 또한 일부 데이터는 사실적 진위(참, 거짓, 불확실)에 대해서도 라벨링되었으며, 근거 등급과 사실적 진위 사이의 상관관계를 제거하기 위해 특정 설계 요소(예: "역전(reversal)" 주장 및 균형 잡힌 그리드)가 사용되었다.

연구진은 0.6B에서 70B 파라미터에 이르는 22개의 로컬 오픈 웨이트(open-weight) 지시 미세 조정(instruction-tuned) LLM을 테스트하였으며, 여기에는 일반 도메인, 의료 도메인 적응형, 그리고 추론 증류(reasoning-distilled) 계열 모델이 모두 포함되었다. 실험 파이프라인은 다음과 같다:

1. 은닉 상태 추출(Hidden-State Extraction): 동결된 모델의 각 주장의 마지막 토큰에서 잔여 스트림 활성화 벡터(residual stream activation vectors)를 추출한다.
2. 선형 프로빙(Linear Probing): 이 은닉 상태들로부터 근거 등급을 디코딩하기 위해 L2 규제 다항 로지스틱 추정기(L2-regularized multinomial logistic estimators)를 훈련한다.
3. 언어화 유도(Verbalization Elicitation): 모델에게 근거 등급을 명시적으로 말하도록 프롬프트를 제공하여(제로샷 및 퓨샷), 명시된 등급과 내부 표현을 비교한다.
4. 통제 분석(Control Analyses):
   • 어휘적 통제(Lexical Controls): 은닉 상태의 디코딩 가능성을 TF-IDF bag-of-words 분류기 및 표면 공변량(길이, 완곡어 밀도)과 비교한다.
   • 일반화(Generalization): 교차 주제 및 교차 프레임워크 전이(leave-one-framework-out)를 테스트한다.
   • 분리 가능성(Separability): 등급과 진위가 통계적으로 독립적이도록 설계된 균형 잡힌 등급-진위 그리드를 구성하여, 등급 신호가 사실적 진위와 구별되는지 테스트한다.
   • 스티어링(Steering): 등급 방향 벡터를 잔여 스트림에 더함으로써 모델 출력을 조절(modulate)하려고 시도한다.
   • 플래깅(Flagging): 근거가 약한 주장을 탐지하기 위한 이진 추정기를 훈련한다.

주요 결과

• 내부 회복 가능성 vs. 명시적 출력: 선형 추정기는 테스트된 모든 모델의 은닉 상태로부터 4단계 근거 등급을 회복할 수 있었으며, 중간 피크 레이어 매크로 AUROC 71.8을 달성하였다(우연 수준보다 유의미하게 높음). 이와 대조적으로, 모델이 명시적으로 답변한 등급은 우연 수준으로 떨어졌으며(중간 정확도 약 22%), 이는 내부적으로 회복 가능한 정보와 외부로 표현되는 정보 사이에 25~27 퍼센트 포인트의 큰 체계적 격차가 존재함을 보여준다.
• 모델 규모 및 전문화: 규모가 커지거나 더 전문화된 모델이 더 깨끗한 내부 구조를 가질 것이라는 가설과 달리, 디코딩 가능성은 규모에 따라 개선되지 않았다. Qwen3 래더(ladder)의 경우, 파라미터 수가 증가함에 따라 디코딩 가능성이 감소하였다. 추론 증립 모델이 가장 낮은 성능을 보였으며, 의료 도메인 적응은 유의미한 효과를 보이지 않았다.
• 신호의 본질: 회복된 신호는 상당 부분 어휘적인 것으로 밝혀졌다. TF-IDF 분류기가 은닉 상태 추정기(AUROC 78.9 vs. 71.8)보다 높은 성능을 보였다. 은닉 특징을 어휘적 분류기에 추가해도 이득이 없었으며, 어휘적 점수를 통제(partial out)했을 때 은닉 신호와 실제 등급 간의 상관관계는 거의 0으로 떨어졌다. 이 신호는 서로 다른 임상 주제나 등급 체계 간에 일반화되지 않았는데, 이는 신호가 추상적인 근거 강도의 개념이 아니라 출처 특유의 어휘를 반영함을 시사한다.
• 진위와의 분리 가능성: 등급과 진위가 구조적으로 통계적 독립을 이루도록 설계된 균형 잡힌 그리드에서, 표현 공간 내의 등급 방향과 진위 방향은 거의 직교하였다. 등급 방향은 진위를 우연 수준보다 더 잘 예측하지 못했으며, 이는 내부 신호가 사실적 정확성과는 구별된다는 점을 확인시켜 준다. 비록 자연스러운 코퍼스(corpus) 내에서는 두 요소가 강력하게 혼재되어 있을지라도 말이다.
• 스티어링 및 플래깅: 등급 방향을 따라 생성을 스티어링하더라도 모델의 명시적 확실성이 안정적으로 변하지 않았는데, 이는 해당 신호가 출력을 제어하는 기능적 레버가 아님을 나타낸다. 그러나 외부 추정기는 은닉 상태를 사용하여 근거가 약한 주장을 성공적으로 플래깅(AUROC 69.2)할 수 있었으며, 이는 검색 없이도 저품질 근거를 식별할 수 있는 실용적인 메커니즘을 제공한다.

의의 및 주장
본 논문은 임상 LLM이 내부 표현에 근거 강도의 순서화된 신호를 보유하고 있음에도 불구하고, 이를 출력으로 표현하지 못한다고 주장한다. 이러한 해리(dissociation)는 모델이 언어적으로 제공하는 "등급"이 실제 주장에 대한 뒷받침과는 무관할 수 있음을 시사한다. 저자들은 회복된 신호가 주로 어휘적이며 심오하고 이식 가능한 근거 강도의 표현은 아닐지라도, 그 존재 자체가 안전 측면에서 매우 중요하다고 주장한다. 즉, 어떤 임상적 단언을 판단하기 위해 필요한 정보는 모델 내부에 존재하지만 출력에는 결여되어 있다는 것이다.

결과적으로, 본 연구는 모델이 명시하는 확신이나 등급에 의존하는 것은 안전하지 않다고 결론짓는다. 대신, 임상 배포에서의 안전은 약한 근거를 가진 주장을 식별하기 위해 표현으로부터 신호를 읽어내거나 텍스트 기반 분류기를 사용하는 것과 같은 외부 점검을 요구한다. 본 논문은 디코딩 가능성 결과가 어휘적 또는 분포 외(out-of-distribution) 통제를 거치지 않을 경우, 모델이 실제로 무엇을 인코딩하는지에 대해 과장할 수 있음을 경고하며, 근거 등급과 진위가 자연 데이터에서 동일해 보이는 현상은 공유된 내부 코드 때문이 아니라 분포의 산물임을 지적한다.