RASC+: Retrieval-Constrained LLM Adjudication for Clinical Value Set Authoring

기술 요약: RASC+ – 임상 가치 세트 저작을 위한 검색 제한형 LLM 판정(Retrieval-Constrained LLM Adjudication)

문제 정의

임상 가치 세트(Clinical value sets)는 전자 품질 측정, 페노타이핑(phenotyping), 임상 의사결정 지원에 필요한 표준화된 용어 코드(예: SNOMED-CT, ICD-10-CM, RxNorm)를 정의합니다. 이러한 세트를 저작하는 것은 일반적인 텍text 생성 작업이 아닙니다. 이는 방대하고 버전 관리가 되는 용어 체계 내에서 정밀한 부분 집합을 선택하는 작업을 요구합니다.

이전의 RASC 벤치마크는 직접적인 제로샷(zero-shot) 대규모 언어 모델(LLM) 생성이 이 작업에 적합하지 않음을 입증했습니다. LLM은 방대한 버전 관리 체계의 코드 시스템을 암기하는 데 어려움을 겪으며, 권위 있는 VSAC 코퍼스에 존재하지 않는 코드를 빈번하게 생성합니다. 기존 RASC 접근 방식은 문제를 두 단계 프로세스로 구성했습니다: 유사한 이전 가치 세트를 검색하여 후보 풀(candidate pool)을 형성한 다음, 후보를 분류하는 방식입니다. 그러나 SAPBert 임베딩과 크로스 인코더(cross-encoder)에 의존했던 기존 파이프라인은 전체 테스트 세트에 대해 0.298의 매크로 F1 점수를 기록했으며, 분포 외(OOD) 발행인에 대해 성능이 크게 저하되었습니다.

방법론

본 연구는 '검색 후 선택(retrieve-then-select)' 공식의 단계별 최적화인 **RASC+**를 제안합니다. 저자들은 이 문제를 두 가지 별개의 목표로 분리했습니다:

1. 1단계 (후보 풀 구축): 정밀도(precision)를 희생하더라도 최대한 많은 실제 코드를 노출시켜 재현율(recall)을 극대화함으로써 "재현율 천장(recall ceiling)"을 높게 확보합니다.
2. 2단계 (후보 판정): 확장된 풀에서 올바른 부분 집합을 선택하여 정밀도를 극대화하며, 모든 출력이 검증 가능한 후보 풀에서 유래해야 한다는 안전 제약 조건을 유지합니다.

1단계: 강화된 풀 구축

저자들은 기존의 SAPBert 타이틀 검색기를 더 강력한 파이프라인으로 교체했습니다:
*로 의미론적 검색(Semantic Retrieval): 정규화된 타이틀 임베딩의 코사인 유사도를 기반으로 상위 $K=15$개의 최근접 이웃 가치 세트를 검색하기 위해 Qwen3-Embedding-0.6B를 활용합니다 (기존 $K=10$에서 증가).

• 어휘 인식 확장(Vocabulary-Aware Expansion): 검색된 시드(seed)와 구조적으로 가깝지만 소스 세트에는 없는 코드를 포착하기 위해, 용어별 그래프를 사용하여 풀을 확장합니다:
  • ICD-10-CM: 자식(child) 및 형제(sibling) 링크.
  • RxNorm & SNOMED-CT: 관계-이웃(relation-neighbor) 링크.
  • 제약 조건: 풀의 검토 가능성을 유지하기 위해 확장은 제한됩니다 (시드당 최대 3개의 새로운 코드, 용어당 60개).
• 코드 표시 구출 검색(Code-Display Rescue Retrieval): 타겟 타이틀과 훈련 코퍼스 타이틀 간의 문구 불일치(OOD 발행인의 핵심 실패 요인)를 해결하기 위해, BM25를 사용하여 코드 표시 문자열을 인덱싱합니다. 상위 10개의 매칭 항목을 각 용어별 시드로 추가한 후, 동일한 그래프 기반 확장을 수행합니다.

최종 후보 풀($C_v$)은 소스 유래 코드, 용어 확장 코드, 그리고 코드 표시 구출 코드의 합집합입니다.

2단계: 제한된 판정

두 가지 선택기가 동일한 확장된 풀에 대해 평가됩니다:

1. SAPBert 크로스 인코더: 확장된 풀에 적용된 기존 RASC 분류기입니다. 이는 더 큰 풀 자체가 성능을 개선하는지 테스트하기 위한 보수적인 대조군 역할을 합니다.
2. GPT-5 판정: 타겟 가치 세트 메타데이터와 후보 풀을 전달받는 제한된 LLM입니다. 이 모델은 새로운 코드를 생성하는 것이 엄격히 금지되며, 반드시 제공된 후보 풀 내의 후보 ID 리스트를 JSON 형태로 반환해야 합니다.
   • 블라인딩(Blinding): 암기나 데이터 누출을 방지하기 위해 프롬프트에서 OID, 발행인 이름, 정답 라벨을 제외합니다.
   • 청킹(Chunking): 풀이 1,200개의 후보를 초과하는 경우, 풀을 결정론적인 청크(chunk)로 나눕니다. 모델은 각 청크를 독립적으로 처리하며, 최종 예측은 선택된 ID들의 합집합입니다.

주요 기여

1. 재현율 천장의 상승: 저자들은 검색 및 확장을 최적화함으로써 재현율 천장을 크게 높일 수 있음을 입증했습니다. 전체 테스트 세트에서 후보 풀의 재현율은 기존 RASC 베이스라인인 0.553에서 0.730으로 증가했습니다. 보유(held-out) 발행인의 경우, 재현율은 0.543에서 0.655로 향상되었습니다.
2. 판정 우위: 연구 결과, 제한된 LLM(GPT-5)은 전통적인 크로스 인코더가 실패하는 더 크고 노이즈가 많은 풀을 효과적으로 필터링할 수 있음을 보여줍니다. 확장된 풀에서 SAPBert를 GPT-5로 교체했을 때, 전체 테스트 매크로 F1은 0.287에서 0.549로 증가했습니다.
3. OOD 강건성: 이 접근 방식은 미지의 발행인에 대한 일반화 능력을 크게 향면시킵니다. 보유 발행인에 대해 GPT-5는 동일한 풀에 대한 SAPBert의 매크로 F1이 0.233인 것에 비해 0.533을 달те했습니다.

결과

논문은 3,744개의 가치 세트 테스트 분할에 대한 주요 지표를 보고합니다:

지표	기존 RASC (SAPBert)	확장된 풀 + SAPBert	확장된 풀 + GPT-5
풀 재현율 (전체 테스트)	0.553	0.730	0.730
매크로 F1 (전체 테스트)	0.298	0.287	0.549
매크로 F1 (OOD)	0.233*	0.233	0.533
매크로 정밀도 (OOD)	-	0.229	0.642
매크로 재현율 (OOD)	-	0.415	0.564

*참고: 기존 RASC OOD F1은 비교를 위한 베이스라인으로 텍습니다. (원문에서는 특정 OOD 분할에 대한 상세 분석은 생략됨)

결과는 확장된 풀이 더 많은 거짓 양성(false positives)을 도입하여 (검색 전용 정밀도를 낮추지만), GPT-5 판정기가 이를 성공적으로 필터링하면서도 높은 비율의 실제 양성(true positives)을 유지함을 나타냅니다. GPT-5의 "풀 제한 재현율"(풀 내의 실제 코드 중 선택된 비율)은 0.757로, 일부 회복 가능한 코드를 놓치기는 하지만 크로스 인코더보다 훨씬 뛰어난 성능을 보임을 나타냅니다.

의의 및 주장

본 논문은 검색 제한형 LLM 판정이 비제한 생성이나 정적 크로스 인코더보다 임상 가치 세트 저작에 있어 우월한 패러다임이라고 주장합니다.

• 안전성 및 감사 가능성: LLM을 검색된 후보 풀 내에서만 선택하도록 제한함으로써, 시스템은 "코퍼스 기반 안전성(corpus-grounded safety)" 속성을 보존합니다. 이는 임상 애플리케이션의 핵심 요구 사항인 잘못된 코드 또는 환각(hallucination) 생성을 방지합니다.
• 작업의 분해: 본 연구는 재현율(풀 구축)과 정밀도(판정)를 분리하는 것이 전문화된 최적화를 가능하게 한다는 가설을 검증합니다. 높은 재현율의 풀은 성능을 위한 충분한 "천장"을 제공하며, 강력한 LLM은 전통적인 분류기보다 이를 더 효과적으로 탐색할 수 있습니다.
• 의사결정 지원 역할: 저자들은 이 시스템을 자율적인 발행 도구가 아닌 의사결정 지원 도구로 정의합니다. 이는 순위가 매겨지고 출처가 명확한 후보 세트를 제시함으로써 인간의 검토 부담을 줄여주지만, 인간 큐레이터가 여전히 스튜어드십 관련 모델링 선택 및 소스 용어의 잠재적 누락을 검증해야 함을 인정합니다.

결론적으로, RASC 벤치마크는 이러한 시스템을 위한 엄격한 테스트베드 역할을 하며, 고재현율 검색 전략과 제한된 LLM 선택의 결합이 임상 가치 세트 저작을 위한 유망한 경로를 제공함을 보여줍니다.