LLM StructCore: Schema-Guided Reasoning Condensation and Deterministic Compilation

논문 개요

이 논문은 임상 노트 (Clinical Notes) 에서 비구조화된 텍스트를 엄격한 형식의 사례 보고 양식 (CRF, Case Report Forms) 으로 자동 변환하는 과제를 다룹니다. 특히 호흡 곤란 (Dyspnea) 관련 134 개의 항목을 채워야 하는 CL4Health 2026 공유 작업 (Shared Task) 에 참여하여, **스키마 유도 추론 (Schema-Guided Reasoning, SGR)**과 **결정론적 컴파일 (Deterministic Compilation)**을 결합한 2 단계 아키텍처를 제안했습니다.

1. 문제 정의 (Problem)

• 높은 노이즈와 엄격한 제약: 임상 노트는 비정형적이며, CRF 출력은 엄격한 JSON 구조와 통제된 어휘 (Controlled Vocabulary) 를 요구합니다.
• 극단적인 희소성 (Extreme Sparsity): 134 개의 항목 중 대부분의 필드는 '알 수 없음 (Unknown)'입니다. 문서당 평균적으로 확인 가능한 항목은 약 12 개에 불과합니다.
• 오류 비용의 불균형: 거짓 긍정 (False Positive, 존재하지 않는 값을 예측) 과 거짓 부정 (False Negative, 존재하는 값을 놓침) 모두에 대해 엄격한 패널티가 부과됩니다. 특히 거짓 긍정은 임상적 오진으로 이어질 수 있어 치명적입니다.
• 기존 LLM 의 한계: 단일 단계에서 134 개 항목을 직접 예측하는 방식은 JSON 형식 오류 (Format Drift) 나 환각 (Hallucination) 으로 인해 신뢰성이 낮습니다.

2. 방법론 (Methodology)

제안된 시스템은 LLM StructCore라고 명명되며, 두 단계로 명확히 분리된 파이프라인을 사용합니다.

Stage 1: SGR 스타일 JSON 요약 (Condensation)

• 목표: 임상 노트를 134 개 항목이 아닌, 9 개의 핵심 도메인 키 (인구통계, 활력 징후, 검사실 데이터, 문제, 증상, 약물, 시술, 이용, 처치) 로 구성된 안정된 JSON 객체로 요약합니다.
• SGR 패턴 적용:
  • Cascade (도메인 구조): 9 개의 도메인을 고정된 순서로 따라가도록 프롬프트를 설계하여 임상 서술의 균일한 커버리지를 보장합니다.
  • Cycle (체크리스트): 각 도메인 내에서 필수 확인 항목 (예: 28 가지 특정 문제, 모든 활력 징후) 을 암묵적으로 체크하도록 유도하여 희소 항목의 회수율 (Recall) 을 높입니다.
  • Routing (어휘): Stage 1 은 자유 텍스트를 생성하지만, Stage 2 로 전달될 수 있도록 구조화된 키 - 값 쌍을 유지합니다.
• 장점: 복잡한 134 개 항목 추출 대신 단순한 9 키 JSON 을 생성하므로, 4B 파라미터 규모의 소형 모델 (Quantized 4B) 이나 제한된 컨텍스트 윈도우에서도 100% JSON 파싱 성공률을 달성합니다.

Stage 2: 결정론적 컴파일러 (Deterministic Compiler, 0-LLM)

• 목표: Stage 1 의 JSON 요약물을 공식 CRF 제출 형식 (134 개 항목) 으로 변환합니다. 이 단계에서는 LLM 을 전혀 사용하지 않습니다.
• 4 단계 알고리즘:
  1. KV 추출: 텍스트에서 키 - 값 쌍을 정규 표현식 (Regex) 으로 추출합니다.
  2. 정규화 (Canonicalization): 추출된 항목 이름을 공식 134 개 항목 목록과 매칭합니다. 약어 확장 (예: hr → heart rate) 과 **UMLS 별칭 맵 (134/134 커버리지)**을 사용하여 용어를 표준화합니다.
  3. 거짓 긍정 게이트 (FP-Gates) 및 유추: 특정 규칙 (예: 항고혈압제 35 가지 매칭, 암 관련 어휘 + 활동성 단서) 을 기반으로 고위험 항목에 대한 거짓 긍정을 차단하거나 복합 항목을 유추합니다.
  4. 어휘 정규화: 13 개의 통제된 어휘 카테고리 (Table 1) 로 값을 매핑하고, 존재하지 않는 항목은 'unknown'으로 채워 134 개 항목의 최종 제출 파일을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 구조적 안정성 확보: LLM 의 출력을 134 개가 아닌 9 개의 도메인으로 축소하여, 형식 제약이 없는 환경에서도 JSON 파싱 실패를 방지했습니다.
2. 결정론적 후처리: LLM 의 불확실성을 2 단계에서 제거하고, 규칙 기반 컴파일러를 통해 100% 재현 가능한 (Reproducible) 결과를 보장했습니다.
3. 에지 AI (Edge AI) 적합성: 소형 모델 (MedGemma 4B 등) 로도 고품질 추론이 가능하도록 설계되어, 환자 데이터가 외부 API 로 전송되지 않는 프라이버시 보호 환경 (로컬 배포) 에 적합합니다.
4. 언어 무관성 (Language Agnostic): 영어와 이탈리아어 모두 동일한 파이프라인을 사용했으며, 이탈리아어 결과가 영어보다 더 높은 성능을 보여 언어별 엔지니어링이 불필요함을 입증했습니다.

4. 실험 결과 (Results)

• 개발 세트 (dev80):
  • 영어 (EN): Mistral Large 3 (Stage 1) + 결정론적 Stage 2 조합으로 Macro-F1 0.6543 달성.
  • 이탈리아어 (IT): 동일 구성으로 Macro-F1 0.6905 달성 (이탈리아어 임상 노트가 더 구조화되어 있어 추출이 용이했음).
• 테스트 세트 (test200, Codabench):
  • 제출된 영어 시스템은 F1 0.63을 기록하여 최상위 팀 (F1 0.68) 과 0.05 차이로 경쟁했습니다.
  • 이탈리아어 버전은 F1 0.6905 (dev80 기준) 의 잠재력을 보였으나, 제출 횟수 제한으로 인해 최종 제출은 이루어지지 않았습니다.
• 오류 분석:
  • 전체 오류의 85% 이상이 Stage 1 의 회수율 부족 (False Negative) 에서 발생했습니다.
  • Stage 2 의 FP 게이트는 고위험 항목 (활성 종양, 부정맥 등) 의 거짓 긍정을 약 70% 감소시켰습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 기반 임상 정보 추출에서 **추론 (Reasoning)**과 **규제 (Enforcement)**를 분리하는 새로운 패러다임을 제시합니다.

• 신뢰성: LLM 의 환각을 방지하고 엄격한 형식 준수를 보장하여 임상 현장 적용 가능성을 높였습니다.
• 재현성: 결정론적 컴파일러를 도입하여 동일한 입력에 대해 항상 동일한 출력을 보장하며, 디버깅이 용이합니다.
• 확장성: 소형 모델을 활용한 로컬 배포를 가능하게 하여 데이터 프라이버시 문제를 해결하고, 다양한 언어와 도메인으로의 확장에 유연합니다.

결론적으로, **SGR 기반의 요약 (Condensation)**과 **규칙 기반 컴파일 (Compilation)**의 결합은 극단적으로 희소한 데이터 환경에서도 경쟁력 있는 성능을 내면서, 임상 NLP 시스템의 안정성과 실용성을 동시에 달성한 효과적인 접근법임을 입증했습니다.