Context-Dependent FHIR Serialisation Strategies for Clinical LLM Deployment: A Multi-Layer Benchmark on UK Core Data

기술 요약: 임상용 LLM 배포를 위한 문맥 의존적 FHIR 직렬화 전략

문제 정의
NHS 내 임상 작업을 위한 대규모 언어 모델(LLM)의 배포는 FHIR(Fast Healthcare Interoperability Resources) 데이터, 특히 UK Core 프로파일에 점점 더 의존하고 있습니다. 이 파이프라인에서 결정적이지만 아직 연구되지 않은 변수는 직렬화 전략(serialisation strategy), 즉 구조화된 FHIR JSON 데이터를 LLM 소비를 위한 텍스트로 변환하는 방법입니다. 많은 구현 방식이 원본 JSON을 그대로 전달하는 방식을 기본값으로 사용하지만, 이러한 접근 방식은 구조적 충실도, 토큰 효율성, 그리고 의미론적 조직화 사이의 절충안을 간과합니다. US Core 데이터를 대상으로 한 이전 연구(FHIRBench)는 직렬화가 성능에 영향을 미친다는 점을 시사했으나, 자동화된 지표에 치중되어 있었고, 데이터 섭동(perturbation) 테스트가 부족했으며, US 특화 프로파일에 국한되었다는 한계가 있었습니다. 본 연구는 UK Core 데이터가 가진 고유한 용어(SNOMED CT UK Edition, dm+d), 필수 확장 기능(NHS Number 검증), 문서화 관례 등을 고려하여, 직렬화 형식이 임상적 품질에 미치는 영향을 조사함으로써 이 격차를 해소하고자 합니다.

연구 방법론
본 연구는 6가지 직렬화 형식과 3가지 임상 작업에 대해 5개의 LLM을 평가하는 포괄적인 벤치마크인 FHIRBench-UK를 도입합니다.

• 데이터 코호트: 임상적 복잡도(단순함에서 매우 복잡함까지)와 도메인(당뇨병, 심혈관, 예방, 약물)별로 계층화된 100개의 UK Core FHIR R4 환자 번들을 사용했습니다. 이는 Synthea와 같은 합성 생성기가 충족할 수 없는 UK Core 제약 조건(예: Modulus 11 NHS Number, dm+d 코드)을 엄격히 준수하도록 DeepSeek V3.2를 사용하여 생성되었습니다.
• 직렬화 형식: 다음 6가지 결정론적 형식을 테스트했습니다:
  1. raw_json: 원문 JSON (가장 높은 토큰 수).
  2. flattened_kv: 점 표기법(dot-notation) 키-값 쌍.
  3. narrative: GP 의뢰서 스타일의 산문.
  4. clinical_template: SOAP 스타일의 구조화된 템플릿.
  5. structured_markdown: 계층적 마크다운.
  6. hybrid_adaptive: 특정 작업에 특정 형식을 라우팅하는 메타 직렬화 도구.
• 작업: 임상 QA (사실 추출), 임상 추론 (약물 상호작용/위험), 임상 요약 (의뢰서).
• 모델: AWS Bedrock을 통해 접속한 5개 모델 (Claude Sonnet 4.5, GPT-5.4, DeepSeek V3.2, Qwen3 32B, Llama 3.3 70B).
• 평가: 2단계 접근 방식:
  • Layer 1: 프로그래밍 방식의 정답(ground truth) 대비 토큰 수준 F1 점수.
  • Layer 2: LLM-as-Judge를 통한 임상 품질 점수(정확성, 완결성, 안전성, 관련성)를 5점 척도로 평가.
• 강건성(Robustness): 임상적으로 현실적인 노이즈(예: 중복 항목, 단위 누락, 혼합된 날짜 형식)를 도입한 섭동 프로토콜을 통해 안정성을 테스트했습니다.

주요 결과

1. 임상 품질에 미치는 유의미한 영향: 직렬화 형식은 임상 품질에 상당한 영향을 미쳤으며 (Kruskal–Wallis H=163.86, p< 10⁻³³), 평균 차이는 5점 척도에서 0.24점이었습니다. 이 효과는 데이터 섭동 하에서도 지속되었습니다.
2. 문맥 의존적 최적성: 단일 최적 형식은 존재하지 않습니다.
   • 임상 QA: 식별자 및 URI에 대한 베르바팀(verbatim) 접근이 필요하기 때문에 raw_json이 우세합니다.
   • 임상 추론: 관련 개념을 의미론적으로 그룹화함으로써 hybrid_adaptive와 clinical_template가 raw_json보다 우수한 성능을 보였습니다.
   • 임상 요약: structured_markdown은 입력 토큰을 88% 줄이면서도 raw_json과 대등한 성능을 보였습니다.
   • 모델-작업-복잡도 시나리오의 58%에서 raw_json은 최적의 선택이 아니었습니다.
3. 모델 역량이 민감도를 조절함: 성능이 낮은 모델일수록 형식 선택에 더 민감했습니다. Llama 3.3 70B는 형식에 따라 0.39점의 성능 범위를 보인 반면, Claude Sonnet 4.5는 0.10점의 차이만을 보였습니다. 이는 적응형 직렬화가 중간 단계 모델을 사용하는 예산 제한적 배포 환경에서 가장 높은 가치를 제공함을 시사합니다.
4. 순위 역전: Layer 1 (토큰 F1)과 Layer 2 (임상 품질) 사이에서 완전한 모델 순위 역전이 관찰되었습니다. F1 점수에서 높게 평가된 모델(예: Llama)이 임상 품질에서는 가장 낮게 평가되었고, 그 반대도 마찬가지였습니다 (Spearers ρ = −0.90). 이러한 "간결함의 함정(conciseness trap)"은 간결함이 F1 점수는 극대화할 수 있으나 임상적 철저함은 희생시킬 수 있음을 나타냅니다.
5. 비용 효율성: 적응형 직렬화와 비용 효율적인 모델(예: DeepSeek)을 결합하면, 고성능 모델을 사용하면서 형식 최적화를 수행하지 않았을 때의 1,000회 쿼리당 £32와 비교하여, £4 미만으로 4.6/5.00 이상의 임상 품질 점수를 달성할 수 있습니다.

의의 및 주장
본 논문은 직렬화 전략을 모델 선택과 무관하게 재현 가능하고 통제 가능한 임상 LLM 성능의 결정 요인으로 확립한다고 주장합니다. 주요 기여는 다음과 같습니다:

• 문맥 의존성 검증: 최적의 직렬화 형식이 작업과 복잡도에 따라 달라진다는 점을 입증하여, raw JSON이 보편적으로 우월하거나 압축된 형식이 항상 더 좋다는 가정을 뒤집었습니다.
• 제로 코스트 개입(Zero-Cost Intervention): 모델 재학습 없이 전처리 로직만으로 가능한 "작업 인식 직렬화 라우팅"을 제안합니다. 이는 예산 제약으로 인해 중간 단계 모델 사용이 필수적인 NHS 배포 환경에서 특히 중요합니다.
• 방법론적 교정: 자동화된 지표(F1)가 임상 배포 결정을 내릴 때 오해를 불러일으킬 수 있음을 확인하며, "간결함의 함정"을 피하기 위해 다층 평가(자동화 + 임상 품질)의 필요성을 강조합니다.
• 일반화 가능성: US Core 데이터(논문 1)와 독립적인 오픈 웨이트 연구(Pator, 2026)의 결과가 UK Core 프로파일 및 독점 프런티어 모델에서도 유효함을 입증함으로써, FHIR-LLM 인터페이스의 보편적 현상임을 시사합니다.

본 연구는 NHS의 FHIR 기반 LLM 배포를 위해, 정적 형식 선택에서 적응형, 작업 인식 라우팅으로 전환하는 것이 예산 제약 내에서 임상적으로 적절한 성능을 달성하기 위한 필수 단계라고 결론짓습니다.