기술 요약: MEDIQA-SYNUR 2026 에서의 MasonNLP

문제 정의

본 논문은 간호사 - 환자 대화 기록을 구조화되고 스키마를 준수하는 임상 관찰 데이터로 변환하는 과제를 다룹니다. 임상 문서화는 치료의 연속성을 위해 필수적이지만, 임상 전문가들에게는 상당한 부담을 주며, 환자를 직접 돌보는 시간보다 전자의무기록 (EHR) 작업에 많은 시간을 할애하게 만듭니다. 구체적인 과제인 MEDIQA-SYNUR 는 시스템이 기록에서 임상적으로 중요한 관찰 사항을 추출하여 미리 정의된 193 개의 관찰 개념 스키마로 정규화하도록 요구합니다. 이 스키마는 엄격한 값 유형 제약 (숫자, 문자열, 단일 선택, 다중 선택) 과 범주형 값에 대한 열거된 유효성 요구 사항을 포함합니다. 어려움은 크고 이질적인 출력 공간과 엄격한 스키마 조건 하에서 대규모 언어 모델 (LLM) 의 일반적인 실패 모드인 개념 이름의 환각이나 유형 제약 위반을 모델이 피해야 한다는 점에 있습니다.

방법론

저자들은 검색된 예시와 스키마 제약 조건 모두에 기반하여 LLM 출력을 조건화하도록 설계된 모듈식 검색 증강 생성 (RAG) 파이프라인을 제안합니다. 시스템은 다음과 같은 구성 요소로 이루어집니다:

1. 검색 어휘 및 지식 베이스:

   • 훈련 세트가 유일한 검색 어휘로 사용됩니다.
   • 각 훈련 인스턴스는 원본 기록과 금표 (gold-label) 개념 ID 를 스키마 이름에 매핑하여 도출된 "개념 이름 요약"이라는 두 가지 텍스트 뷰로 표현됩니다.
   • 임베딩은 Llama-4 백본의 경우 Sentence-Transformers all-MiniLM-L6-v2 를, GPT-5.2 백본의 경우 OpenAI text-embedding-3-large 를 사용하여 생성됩니다.

2. 예시 검색 (RAG):

   • 후보 풀은 기록 임베딩에 대한 코사인 유사도를 통해 검색됩니다.
   • 풀은 기록 유사도 ($w_t=0.70$), 개념 이름 요약 유사도 ($w_c=0.25$), 그리고 자카드 유사도를 통한 어휘적 중첩 ($w_l=0.05$) 을 결합한 가중 점수로 재순위화됩니다.
   • 상위-$k$개 예시 (변동 $k \in \{3, 5, 10, 20, 30, 50\}$) 는 금표 JSON 출력과 짝을 이룬 예시 기록을 몇 가지 예시 (few-shot) 시연으로 프롬프트에 삽입합니다.

3. 스키마 제약:
   본 연구는 스키마 $S$에 기반하여 LLM 을 조건화하기 위한 두 가지 프롬프팅 전략을 비교합니다:

   • 전체 스키마 프롬프팅: 모델은 식별자, 이름, 값 유형, 허용 가능한 범주형 값을 포함한 193 개 개념의 완전한 목록을 받습니다.
   • 다듬어진 후보 스키마 프롬프팅: 각 인스턴스별 후보 집합 $C(x)$는 기록과의 어휘적 일치, 개념 이름에 대한 의미적 유사도, 그리고 검색 확장 (검색된 예시에서 발견된 개념 추가) 을 기반으로 개념을 점수화하여 구성됩니다. 이는 출력 공간을 관련 개념의 소형 부분 집합으로 제한합니다.

4. 추론 및 후처리:

   • LLM 은 (id, v) 쌍의 JSON 목록만 출력하도록 지시받습니다.
   • 결정적 확장: 이름이나 유형의 환각을 방지하기 위해 시스템은 예측된 각 id 에 대해 스키마에서 표준 name 과 value_type 을 조회하여 출력을 후처리합니다.
   • 스키마 유효성 검사: 예측은 스키마에 대해 검증되며, 알려지지 않은 ID 는 제거되고 값은 정규화됩니다 (예: 숫자 문자열을 부동소수점으로 변환, 범주형 유형에 대해 열거된 목록 강제 적용).

5. 2 차 감사:
   오리지널 기록, 스키마, 1 차 예측을 검토하는 감사 LLM 을 통한 정제 단계입니다. 이 단계는 지원되지 않는 항목을 제거하고, 스키마 준수 문제를 수정하며, 명확히 지원되는 누락된 관찰 사항만 추가하도록 지시받습니다.

이 파이프라인은 Llama-4-Scout-17B-16E-Instruct(오픈 가중치) 와 GPT-5.2(클로즈드 가중치) 라는 두 가지 LLM 백본을 사용하여 평가되었습니다.

주요 결과

논문 표 2 에 요약된 실험은 다음과 같은 성능 지표 (F1 점수) 를 산출합니다:

• 최적 구성: GPT-5.2를 전체 스키마 프롬프팅, RAG($k=30$개 예시 사용), 그리고 2 차 감사와 함께 사용하여 가장 높은 성능을 달성했으며, **F1 점수는 80.36%**였습니다.
• RAG 의 영향: 검색 증강은 거짓 음성을 줄이고 예상되는 JSON 구조 및 값 정규화를 강화함으로써 두 모델과 스키마 구성 전반에 걸쳐 일관되게 성능을 향상시켰습니다.
• 스키마 상호작용:
  • Llama-4(오픈 가중치): 다듬어진 후보 스키마로 가장 잘 수행되었습니다 (RAG 사용 시 F1 73.20%). 출력 공간을 줄이는 것이 작은 모델이 제약 조건을 준수하고 관련 개념에 집중하는 데 도움이 되었습니다.
  • GPT-5.2(클로즈드 가중치): 전체 스키마로 가장 잘 수행되었습니다 (RAG 사용 시 F1 80.27%). 더 큰 모델은 관련 개념을 구별하기 위해 전체 문맥을 활용하는 이점을 얻었으며, 다듬기는 정밀도 하락 (과추출을 장려하는 "체크리스트 유사 편향") 으로 이어졌습니다.
• 2 차 감사: 잔여 스키마 준수 및 정규화 오류를 수정함으로써 주로 추출 범위를 크게 변경하지 않고 소폭의 추가 향상 (예: GPT-5.2 의 경우 +0.09 F1) 을 제공했습니다.

오류 분석

오류 분석 (표 3 및 4) 은 대부분의 오류가 근접한 값 불일치가 아니라 다음과 같은 것임을 보여줍니다:

• 거짓 양성 (608 건): 81.9% 는 허위 개념 예측 (금표에 없는 ID) 이었습니다. 흔히 과다 예측된 개념으로는 "2 차 진단"과 "환자 식별"이 있었으며, 이는 임상적으로 타당하지만 금표에서는 드물게 주석 처리되었습니다.
• 거짓 음성 (485 건): 78.8% 는 개념이 완전히 누락된 경우였습니다.
• 체계적 문제: 오류의 상당 부분은 개념 ID 의 선행 0 (예: "03" 대 "3") 과 범주형 토큰의 인코딩 차이 (예: 온도 단위) 와 같은 표현 수준의 불일치에서 비롯되었습니다. 이러한 문제들은 이질적인 스키마에서 엄격한 문자열 매칭의 취약성을 강조합니다.

중요성 및 기여

본 논문은 임상 정보 추출 (IE) 분야에 다음과 같은 세 가지 주요 기여를 주장합니다:

1. 모델 인지형 스키마 제약: LLM 출력을 제약하는 최적의 전략은 보편적인 것이 아니라 모델의 규모와 아키텍처에 의존한다는 것을 보여줍니다. 다듬어진 후보 스키마는 의사결정 공간을 줄이기 위해 작은 오픈 가중치 모델에 유익한 반면, 더 큰 클로즈드 가중치 모델은 추론 능력을 활용하기 위해 전체 스키마 문맥의 이점을 얻습니다.
2. RAG 와 스키마 상호작용: 검색 증강 생성 (RAG) 이 스키마 제약 추출을 일관되게 향상시킨다는 체계적인 증거를 제시하지만, 그 효과는 스키마가 모델에 어떻게 제시되느냐에 따라 조절됩니다.
3. 정제 대 핵심 구성 요소: 저자들은 2 차 감사가 잔여 정규화 오류를 수정함으로써 소폭의 개선을 제공하지만 RAG 와 스키마 제약의 핵심 메커니즘을 대체하지는 않는다는 것을 보여줍니다. 이는 최종 정제 단계로 활용하는 것이 가장 좋습니다.

전반적으로, 이 연구 결과는 효과적인 스키마 제약 관찰 추출을 위해서는 하부 LLM 의 특정 능력에 맞춰 검색 및 스키마 제약 접근 방식을 공동으로 선택하는 전략이 필요함을 시사합니다.