1. 문제 정의 (Problem Statement)

임상 증거 체계적 검토 (Systematic Reviews) 및 메타분석을 위해서는 임상시험 논문 (PDF) 에서 구조화된 증거 테이블을 추출하는 과정이 필수적입니다. 그러나 기존 방식은 다음과 같은 한계를 가지고 있습니다.

• 수작업의 부담: 전문가가 전체 텍스트 PDF 를 수동으로 검토하여 표, 그림, 텍스트에서 데이터를 추출하고 정리해야 하므로 시간이 많이 소요됩니다.
• LLM 의 신뢰성 문제: 최근 대규모 언어 모델 (LLM) 은 문서 요약 및 정보 추출에 뛰어나지만, 임상 데이터 추출 시 '환각 (Hallucination)' 현상이나 잘못된 출처 할당 (Misattribution) 이 발생할 수 있어 하류 분석 (메타분석 등) 에 치명적인 오류를 초래할 수 있습니다.
• 다양한 정보 소스의 복잡성: 임상시험 데이터는 서술형 텍스트뿐만 아니라 복잡한 표, 카플란 - 마이어 생존 곡선 (Kaplan-Meier plots), 그림 캡션 등 이질적인 멀티모달 형태로 분산되어 있어, 단순 텍스트 기반 추출로는 정확한 정보 획득이 어렵습니다.
• 검증 가능성 부족: 기존 자동화 시스템은 추출된 값의 근거 (Provenance) 를 명확히 제시하지 못해, 의사가 결과를 검증하거나 수정하기 어렵습니다.

2. 방법론 (Methodology: EviSearch System)

EviSearch는 원본 임상시험 PDF 에서 직접 온톨로지 (Ontology) 에 부합하는 증거 테이블을 자동 생성하면서, **셀 단위 (Per-cell) 의 출처 추적과 인간 검증 (Human-in-the-loop)**을 보장하는 멀티 에이전트 시스템입니다.

핵심 아키텍처 (4 단계 파이프라인)

1. 문서 파싱 및 인덱싱:
   • Landing AI 의 dpt-2-latest 모델을 사용하여 PDF 를 페이지, 모드 (텍스트, 표, 그림) 단위로 파싱합니다.
   • 각 청크 (Chunk) 를 OpenAI 의 임베딩 모델로 변환하여 시맨틱 검색을 위한 인덱스를 생성합니다.
2. 병렬 추출 (2 개의 독립 에이전트):
   • Agent A (PDF Query Module): 원본 PDF 바이너리를 Gemini-2.5-Flash 에 직접 업로드합니다. 레이아웃, 표, 그림을 포함한 원본 구조를 유지하여 전역적 문서 컨텍스트 (예: 시험 설계, 자격 기준) 를 추출합니다.
   • Agent B (Search Agent): 파싱된 문서와 검색 인덱스를 기반으로 작동합니다. search_chunks 도구를 사용하여 특정 열 (Column) 정의에 맞는 페이지를 검색하고, 표나 그림에서 세밀한 데이터를 추출합니다.
3. 조정 (Reconciliation) 모듈:
   • 두 에이전트의 결과를 비교하여 최종 값을 결정합니다.
   • 1 단계 (일치 시): 두 에이전트가 동의하거나 한쪽이 '미보고 (Not reported)'라고 할 경우 즉시 해결합니다.
   • 2 단계 (갈등 시): 값이 다르거나 불확실한 경우, 강제적으로 해당 페이지의 전체 텍스트와 렌더링된 이미지를 다시 불러와 (Forced page-level verification) 멀티모달 검증을 수행합니다.
   • 최종적으로 both_correct, A_correct_B_wrong, both_wrong 등의 레이블을 붙입니다.
4. 인간 검토 및 피드백 (Human-on-the-loop):
   • 시스템은 기본적으로 자율적으로 작동하지만, 모든 추출 값은 출처 페이지, 모드, 발췌문과 함께 저장됩니다.
   • 불확실성이 높은 경우 (both_wrong) 나 사용자가 선택한 경우, 의사는 에이전트 A 와 B 의 답변, 조정자의 판단, 그리고 원본 증거를 나란히 비교하여 수정할 수 있습니다.

3. 주요 기여 (Key Contributions)

• 멀티모달 증거 추출 프레임워크: 텍스트뿐만 아니라 표와 그림을 포함한 다양한 모달리티에서 데이터를 추출하는 통합 파이프라인을 제시했습니다.
• 셀 단위 검증 가능성 (Per-cell Provenance): 추출된 모든 데이터 셀에 대해 구체적인 출처 페이지와 모달리티를 명시하여, 임상 전문가가 결과를 즉시 감사 (Audit) 하고 수정할 수 있게 했습니다.
• 조정 메커니즘: 두 개의 서로 다른 추출 에이전트 간의 불일치를 해결하기 위한 강제 검증 프로토콜을 도입하여 정확도를 극대화했습니다.
• 지속적 학습 (Data Flywheel): 인간 검토자의 수정 사항과 조정 결정 데이터를 구조화된 피드백으로 저장하여, 향후 모델의 반복적 개선을 위한 학습 신호로 활용합니다.

4. 실험 결과 (Results)

의사들이 큐레이션한 전립선암 (mCSPC) 임상시험 벤치마크 데이터셋 (133 개의 열) 에서 평가되었습니다.

• 성능 향상:
  • EviSearch 는 **91.3%**의 전체 정확도 (Correctness 90.9%, Completeness 91.6%) 를 기록했습니다.
  • 가장 강력한 베이스라인인 GPT-4.1(파싱된 문서 기반) 보다 7.2%p 높은 성능을 보였습니다.
  • Gemini 2.5 Flash(원본 PDF 업로드) 보다도 4.2%p 이상 향상되었습니다.
• 모달리티별 성능:
  • 그림 (Figure) 기반 데이터: 기존 파싱 기반 모델들은 51.6% 로 급격히 성능이 떨어졌으나, EviSearch 는 **86.7%**를 유지했습니다. 이는 원본 PDF 레이아웃을 보존하고 그림을 직접 분석하는 에이전트의 효과입니다.
  • 표 (Table) 기반 데이터: 복잡한 표 구조에서도 EviSearch 는 91.7% 로 높은 일관성을 보였습니다.
• 비용 효율성:
  • EviSearch 는 이중 에이전트 구조로 인해 토큰 사용량이 단일 패스 prompting 보다 많지만 (약 64 만 토큰), 파싱된 전체 문서를 반복적으로 주입하는 기존 방식 (약 100 만 토큰 이상) 보다 효율적입니다.
  • 불확실성이 높은 경우에만 추가 검증 (검색) 을 수행하는 방식으로 토큰 비용을 최적화했습니다.

5. 의의 및 결론 (Significance)

• 신뢰할 수 있는 자동화: 임상 증거 추출 분야에서 LLM 의 '블랙박스' 문제를 해결하고, 인간 전문가의 감독 하에 안전하고 검증 가능한 자동화 워크플로우를 실현했습니다.
• 실용적 적용: '라이빙 시스템적 검토 (Living Systematic Reviews)' 플랫폼의 업데이트 속도를 높이고, 수동 큐레이션 부담을 줄여 임상 의사결정 지원 시스템을 가속화합니다.
• 미래 지향성: 단순한 추출 도구를 넘어, 인간 피드백을 통해 지속적으로 진화하는 데이터 플라이휠 (Data Flywheel) 로서 임상 연구의 신뢰성과 재현성을 높이는 데 기여합니다.

이 논문은 LLM 기반 정보 추출이 임상 현장에 적용되기 위해 필요한 정확성, 검증 가능성, 그리고 인간 개입의 균형을 성공적으로 모델링한 사례로 평가됩니다.