기술 요약: 반사실적 평가를 통한 임상용 LLM 및 에이전트의 숨겨진 역량 프로파일 규명

문제 정의

현재 임상용 대규모 언어 모델(LLM) 및 에이전트에 대한 평가 패러다임은 참조 행동(reference behaviors)과 출력물을 비교하는 문자열 유사성이나 LLM-as-judge 루브릭과 같은 커버리지 기반 메트릭에 크게 의존하고 있습니다. 이러한 메트릭은 "출력이 올바르게 보이는가?"라는 질문을 던지지만, "모델이 올바른 이유로 출력을 업데이트하고 있는가?"라는 문제는 해결하지 못합니다.

이러한 한계는 임상 환경에서 매우 치명적입니다. 두 시스템이 커버리지 메트릭상으로는 동일하게 점수를 받더라도, 변화하는 환자 입력값에 따라서는 근본적으로 다르게 행동할 수 있기 때문입니다. 예를 들어, 어떤 종양학 AI는 환자가 치료 경험이 없는 상태인지 혹은 이전 치료에 실패한 상태인지와 관계없이 표준 치료법(예: FOLFIRINOX)을 제안할 수 있습니다. 커버리지 메트릭(예: Consensus Match Score, CMS)은 이러한 일관성을 보상할 수 있지만, 인과적 반응성(causal responsiveness)의 결여는 감지하지 못합니다. 이 문제는 도구(tool)를 사용하는 에이전트에서 더욱 심화되는데, 에이전트가 도구 호출을 통해 올바른 정보를 검색할 수는 있어도 여전히 그 정보를 무시한 채 권고안을 생성할 수 있기 때문입니다.

방법론

저자들은 모델의 임상적으로 유의미한 입력 데이터 변화에 대한 행동적 반응성을 측정하기 위해 설계된 사전 등록된 중재 메트릭인 **인과적 민감도 점수(Causal Sensitivity Score, CSS)**를 도입합니다.

1. 사전 등록된 중재 카탈로그

본 연구는 사후 선택 편향(post-hoc selection bias)을 방지하기 위해 평가 전 YAML 형식으로 지정된 5가지 임상 동기 기반 패밀리에 걸친 12가지 중재 카탈로그를 활용합니다:

• 패밀리 A (바이오마커 플립): HER2, ER 또는 PD-L1 상태 교체.
• 패밀리 B (이전 치료): 이전 단계 치료 진행에 대한 병력 주입.
• 패밀리 C (바이오마커 제거): 특정 바이오마커 언급 삭제.
• 패밀리 D (수술 상태): 절제 이력 토글 (예: 절제됨 vs 절제되지 않음).
• 패밀리 E (병기 섭동): 질병 단계 변경.

2. 점수 산정 메커식

각 모델, 케이스, 중재 튜플에 대해 시스템은 베이스라인 권고안과 중재된 권고안을 생성합니다. 판정용 LLM(기본값 gpt-5.4, gpt-5.4가 대상일 경우 자기 선호 편향을 피하기 위해 claude-opus-4-7 사용)은 권고안이 사전 등록된 올바른 방향으로 업데이트되었는지 평가합니다.

• 점수: (변화 없음 / 인지했으나 변경되지 않음 / 올바르게 업데이트됨)에 대응하는 {0.0, 0.5, 1.0}.
• 메트릭: CSS는 모든 튜플에 대한 평균 점수이며, 전체 집합 및 각 중재 패밀리별로 계산됩니다.

3. 실험 설정

• 코호트: 정답(ground-truth) 치료 권고안이 포함된 224개의 전문가 주석 종양 위원회(oncology tumor-board) 케이스.
• 모델: 세 곳의 연구소(OpenAI, Anthropic, xAI)에서 나온 6개의 프런티어 모델을 두 가지 설정에서 평가:
  1. 단일 샷(Single-shot) LLM 추론: 직접적인 프롬프트-응답 방식.
  2. 도구 사용 에이전트: read_chart_section 도구를 사용하여 정보를 검색하는 ReAct 스타일의 에이전트. 여기서 중재는 도구가 검색하는 기저 데이터를 변형합니다.
• 베이스라인: 전문가 합의와의 중첩도를 측정하는 가중 재현율(weighted recall) 메트릭인 Consensus Match Score (CMS).

주요 결과

1. 메트릭 간 순위 역전

본 연구는 CMS(커버리지)와 CSS(반응성) 사이에서 모델들의 순위가 거의 정반대로 나타남을 발견했습니다.

• 상관관계: Spearman $\rho = -0.49$ (단, $n=6$으로 인해 통계적 검증력이 낮음).
• 순위 교체: 6개 모델 모두 순위가 바뀌었습니다. CMS에서 최하위(grok-4.20-reasoning)를 기록한 모델은 CSS에서 1위를 차지했습니다. 반대로 CMS 최고 모델(gpt-5)은 CSS에서 4위로 하락했습니다.
• 특이 실패 사례: gpt-5.4는 CMS에서 4위를 기록했으나, CSS에서는 꼴찌(6위)를 기록했습니다.

2. 보편적 안전 사각지대 (패밀리 D)

모든 프런티어 모델에서 **수술 상태 중재(패밀리 D)**에 대한 보편적 실패라는 결정적인 발견이 있었습니다.

• 성능: 모든 모델이 이 패밀리에 대해 $\le 17.2\%$의 CSS를 기록했습니다. 최고 성적 모델(grok-4.20)이 17.2%를 기록했고, 최저 성적 모델(gpt-5.4)은 3.9%를 기록했습니다.
• 시사점: 어떤 모델도 환자의 절제 상태가 변했을 때 치료 권고안을 신뢰성 있게 업데이트하지 못했습니다. 이는 CMS가 드러내지 못한 임상적으로 매우 중요한 안전 신호입니다.

3. 에이전트 전이 및 구조적 반응성

패밀리 D 케이스의 일부에 대해 도구 사용 에이전트로 평가했을 때:

• 개선: 도구 사용은 6개 모델 중 5개 모델에서 CSS를 증가시켰습니다 (+2.5 ~ +20.3 퍼센티지 포인트).
• gpt-5.4의 이상 현상: gpt-5.4는 다른 반응형 모델들과 동일한 차트 섹션을 검색했음에도 불구하고 변화가 없었습니다 (0.050 $\to$ 0.050). 이는 정보 접근의 실패가 아니라 **구조적 반응성 결함(structural-responsiveness deficit)**을 시사합니다. 즉, 모델이 데이터를 검색은 하지만 이를 추론 과정에 통합하는 데 실패한 것입니다.

4. 검증

• 교차 판정 복제: claude-opus-4-7을 균일한 판정자로 사용했을 때 순위가 유지되었습니다 ($\rho = +1.00$). 이는 결과가 판정 편향의 산물이 아님을 확인해 줍니다.
• 인간 검증: 3명의 의료 전문가가 100개의 튜플 서브셋을 검증했습니다. 개별 케이스에 대한 일치도는 보통 수준이었으나, 패밀리 D에 대한 집계된 실패율은 LLM 판정자(0.10)와 인간(0.09) 사이에서 밀접하게 일치했습니다.

의의 및 주장

본 논문은 CSS가 임상용 AI를 위한 커버리지 기반 평가의 필수적인 보완재 역할을 한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 숨겨진 프로파일의 규명: CSS는 집계된 커버리지 메트릭이 은폐하는 역량 프로파일(예: 수술 상태 민감도 vs 바이오마커 플립 민감도)을 밝혀냅니다.
2. 안전성 탐지: 표준 메트릭이 반사실적 상황에서의 행동 변화를 테스트하지 못해 놓치는 보편적인 안전 사각지대(특히 수술 상태 관련)를 식별합니다.
3. 에이전트 평가: CSS는 도구 사용 에이전트로 직접 전이되며, 정보 접근 능력의 부족 때문인지 아니면 검색된 데이터를 바탕으로 추론을 업데이트하는 구조적 능력의 부재 때문인지를 구분해 줍니다.
4. 미래적 효용: 저자들은 CSS를 정적인 출력 매칭을 넘어 동적인 반응성을 평가하는 미래의 에이전트 강화 학습(RL)을 위한 "조밀한 보상(dense reward)" 신호 후보로 제안합니다.

저자들은 특정 종양학 사례에 국한된 결과임을 고려하여 특정 의료 분야로의 일반화 가능성에 대해 신중한 태도를 보였으며, 샘사 크기($n=6$)가 순위 상관관계 주장의 통계적 검증력을 제한한다는 점을 명시했습니다. 그러나 이들은 사전 등록된 중재 메트릭이라는 방법론 자체가 임상용 AI 에이전트를 평가하는 데 있어 견고하고 필수적이라고 주장합니다.