Reliable Extraction of Clinical Follow-Up Instructions: A Hybrid Neural-Symbolic Pipeline

기술 요약: 임상 추적 지시사항의 신뢰성 있는 추출

문제 정의
외래 임상 기록에는 임상 행동과 미래 시간을 결합한 중요한 추적 지시사항 (예: "2 주 후 뇌 MRI") 이 포함되어 있습니다. 이를 (행동, 날짜) 쌍으로 구조화하여 추출하는 것은 일정 조정, 감사, 그리고 치료 조정에 필수적입니다. 그러나 현재 생성형 접근법은 종종 완전한 지시사항을 신뢰성 있게 재구성하는 데 실패합니다. 임상 행동을 올바르게 식별할 수는 있지만, 구체적인 날짜를 놓치거나 올바른 시간 표현을 올바른 행동과 연결하지 못하는 경우가 많습니다. 이러한 실패는 생성 모델의 디코딩 과정에서 연결과 시간적 연산이 암시적으로 이루어지기 때문에 발생하며, 이로 인해 오류를 검사하거나 디버깅하기 어렵습니다. 이 과제는 여러 행동, 약어, 그리고 과거의 방해 요소가 존재하는 상황에서 행동 스패인을 인식하고, 시간 표현을 인식하며, 올바른 시간을 올바른 행동에 연결하고, 상대적 날짜를 정규화 (예: "2 주 후"를 특정 달력 오프셋으로 변환) 하는 것을 포함합니다.

방법론
저자들은 엔드 - 투 - 엔드 생성에 의존하기보다는 학습된 의미 해석과 결정론적 심볼 변환으로 추출 작업을 분해하는 하이브리드 신경 - 심볼릭 파이프라인을 제안합니다.

1. 작업 공식화: 이 작업은 명시적인 ScheduledFor 관계로 연결된 두 가지 엔티티 유형인 TestSpecification(예약된 행동) 과 TimeSpecification(타이밍 구) 을 추출하는 것으로 정의됩니다. 출력은 방문 날짜를 기준으로 한 표준화된 (행동, 일 오프셋) 쌍의 집합입니다.
2. 신경 구성 요소:
   • 인코더: 공유 BioBERT 인코더가 슬라이딩 윈도우를 통해 기록 텍스트를 처리합니다.
   • 엔티티 태깅: BIO 태깅 헤드가 행동과 시간에 대한 스패인을 식별합니다.
   • 관계 추출: 명시적인 시간이 없는 행동을 위한 "none" 옵션을 포함하여 후보 (행동, 시간) 쌍을 점수화하는 이애피인 (biaffine) 링커가 사용됩니다.
   • 학습: 모델은 엔티티 태깅과 관계 추출의 공동 목적 함수로 학습됩니다.
3. 심볼/결정론적 구성 요소:
   • 온톨로지 표준화: 표면적 행동 언급은 신경 모델을 재학습하지 않고 편집 가능한 온톨로지를 통해 28 개의 표준 레이블 중 하나로 매핑됩니다.
   • 시간 정규화: 연결된 시간 구는 결정론적 규칙 문법 (예: "N 주 후" $\rightarrow$ $7N$) 과 폴백 파서를 사용하여 정수 일 오프셋으로 변환됩니다. 중요한 점은 신경 모델이 결코 달력 연산을 수행하지 않는다는 것입니다.
4. 데이터셋: 평가는 다섯 가지 전문 분야에 걸쳐 통제된 스키레톤에서 생성된 2,000 개 기록의 합성 외래 코퍼스에서 수행되었습니다. 데이터셋에는 다중 행동 기록, 약어 형태의 시간 표현, 그리고 과거의 방해 요소와 같은 스트레스 요인이 포함되어 있습니다.
5. 분할: 평가는 **행동 불교합 분할 (action-disjoint split)**을 사용합니다. 18 가지 행동 유형은 학습에, 4 가지 유형은 검증에, 그리고 6 가지 유형은 테스트 (OOV) 를 위해 홀드아웃되며, 분포 내 (seen) 테스트 세트와 함께 사용됩니다.
6. 베이스라인: 이 파이프라인은 JSON(행동, 날짜) 쌍을 직접 생성하도록 프롬프트된 제로샷 GPT-4o-mini와 LoRA 미세 조정 LLaMA-3 8B와 비교됩니다.

주요 기여

1. 구조화된 공식화: 엄격한 집합 수준 정확성 기준을 가진 명시적인 TestSpecification, TimeSpecification, 그리고 ScheduledFor 관계 엔티티를 사용한 추적 추출 정의.
2. 하이브리드 아키텍처: 학습된 스패인/연결 추출과 결정론적 날짜 연산을 분리하는 파이프라인으로, 달력 논리가 결코 학습 모델에 위임되지 않도록 보장합니다.
3. 합성 벤치마크: 보지 못한 행동 유형으로의 일반화를 엄격하게 테스트하기 위한 정확한 정답과 행동 불교합 분할을 갖춘 2,000 개 기록 코퍼스.
4. 비교 평가: 생성 모델이 행동 인식에서는 뛰어나지만, 하이브리드 접근법에 비해 전체 쌍 재구성에서는 크게 실패함을 보여주는 정면 대결 비교.
5. 오류 분석: 생성 모델의 실패가 암시적 연결 및 연산 오류에서 비롯된다는 증거로, 이는 하이브리드 파이프라인에서 노출되고 감사 가능합니다.

결과
**보인 테스트 분할 (seen-test split, 분포 내)**에서 하이브리드 파이프라인은 0.997 의 테스트 - 시간 쌍 F1과 **0.00 일 평균 절대 오차 (MAE)**를 달성했습니다. **OOV 테스트 분할 (보지 못한 행동 유형)**에서는 0.986 의 쌍 F1과 0.00 일 MAE를 유지했습니다.

반면, 생성형 베이스라인은 높은 TestSpecification F1(LLaMA-3: 약 0.99; GPT-4o-mini: 약 0.96) 을 달성했지만 Pair F1에서는 급격한 하락을 보였습니다:

• LLaMA-3: Pair F1 보인 데이터에서 약 0.51, OOV 에서 약 0.57.
• GPT-4o-mini: Pair F1 보인 데이터에서 약 0.53, OOV 에서 약 0.53.
• MAE: 생성 모델은 상당한 날짜 오류를 보였으며 (예: 보인 데이터에서 21~23 일 MAE), 반면 하이브리드 파이프라인은 연산 오류가 전혀 없었습니다.

하이브리드 파이프라인의 Pair F1 및 오프셋 F1 에 대한 95% 신뢰 구간은 생성형 베이스라인의 신뢰 구간과 겹치지 않아 통계적으로 유의미한 차이 ($p < 0.05$) 를 나타냈습니다.

의의 및 주장
이 논문은 예약된 추적 지시사항을 추출하는 특정 작업에 대해 작업을 의미 추출과 결정론적 정규화로 분해하는 것이 직접적인 생성 모델링보다 우수하다고 주장합니다. 주요 의의는 다음과 같습니다:

• 신뢰성: 하이브리드 접근법은 거의 완벽한 엔드 - 투 - 엔드 정확성과 0 의 연산 오류를 달성하는 반면, 생성 모델은 행동을 시간과 올바르게 연결하는 데 어려움을 겪습니다.
• 일반화: 신경 구성 요소가 폐쇄된 어휘를 암기하는 대신 표면 특징을 학습하고, 온톨로지를 재학습 없이 업데이트할 수 있기 때문에 파이프라인은 홀드아웃된 행동 유형 (OOV) 으로 효과적으로 일반화됩니다.
• 감사 가능성: 신경 구성 요소와 심볼 구성 요소를 분리함으로써 시스템은 검사 가능한 특정 실패 모드 (예: 잘못된 스패인, 잘못된 연결, 또는 잘못된 정규화 규칙) 를 노출합니다. 반면, 엔드 - 투 - 엔드 생성은 디코딩 과정 내에서 오류의 원인 (예: 잘못된 날짜) 을 은폐합니다.

저자들은 이 결론이 통제된 벤치마크에 국한된 것이며 모든 임상 추출 작업에 대한 LLM 의 일반적 비난이 아님을 명시적으로 밝힙니다. 그들은 결과가 생성 디코딩에서 달력 연산의 어려움을 강조하며, 모호성에 대해서는 학습 모델을 사용하고 연산에는 결정론적 모듈을 사용하는 "신뢰성 우선" 패턴이 안전 관련 임상 추출에 효과적임을 시사합니다. 논문은 데이터의 합성적 성격과 실제 EHR 기록 및 온톨로지 확장에 대한 향후 검증 필요성과 관련된 한계를 인정합니다.