MedConclusion: A Benchmark for Biomedical Conclusion Generation from Structured Abstracts

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 다양한 추론 작업에서 뛰어난 성능을 보이지만, 구조화된 생물의학 증거로부터 과학적 결론을 도출하는 능력을 평가하기 위한 자원은 여전히 부족합니다. 기존 연구들은 다음과 같은 한계를 가집니다:

• 범위의 제한성: 기존 데이터셋은 특정 연구 유형 (예: 무작위 대조 시험) 이나 전문화된 보고서 형식에만 국한되어 있어 광범위한 생물의학 문헌을 포괄하지 못함.
• 평가의 불완전성: 결론 생성은 개방형 (open-ended) 작업으로, 단순한 어휘 중첩 (ROUGE, BLEU) 기반 지표로는 사실적 정확성이나 담화 구조를 충분히 평가하기 어려움. 또한, LLM 을 심사자 (LLM-as-a-judge) 로 사용할 경우 심사자 모델의 정체성에 따라 점수 편차가 크다는 문제가 있음.
• 메타데이터 부재: 저널의 영향력 (SJR 점수) 이나 생물의학 카테고리별 난이도 차이를 분석할 수 있는 메타데이터가 포함된 대규모 데이터셋이 부재함.

2. 방법론 (Methodology)

2.1 MedConclusion 데이터셋 구축

• 규모 및 출처: PubMed 에 게재된 2000 년부터 2025 년까지의 570 만 개 (5.7M) 구조화된 초록을 기반으로 구축됨.
• 데이터 구성: 각 인스턴스는 초록의 '배경 (Background)', '방법 (Methods)', '결과 (Results)' 섹션을 입력으로 사용하고, 저자가 작성한 원본 '결론 (Conclusion)' 섹션을 정답 (Ground-truth) 으로 사용합니다.
• 메타데이터: 3,772 개의 저널에 대한 SJR (Scimago Journal Rank) 점수와 141 개의 생물의학 주제 카테고리 정보를 포함하여, 하위 집단별 분석이 가능합니다.
• 전처리: Entrez Direct 와 커스텀 XML 파서를 사용하여 중복 제거, 언어 필터링 (영어), 필수 필드 확인, 결론 섹션 라벨 정규화 등을 수행했습니다.

2.2 평가 프로토콜

• 프롬프트 설정:
  • 결론 생성 (A, C): 결론을 작성하도록 지시 (C 는 길이 및 스타일 제약 포함).
  • 요약 생성 (B, D): 초록을 요약하도록 지시 (D 는 길이 및 스타일 제약 포함).
  • 이를 통해 '결론 작성'과 '요약 작성'이 서로 다른 담화 기능인지 비교 분석합니다.
• 평가 지표:
  • LLM-as-a-judge: GPT-5.4-mini 와 Gemini 3 Flash 를 사용하여 의미적 유사도, 작성 스타일 유사도, 모순률, 수치 일관성, 형식성 유사도 등 5 가지 차원에서 0~100 점으로 평가.
  • 참조 기반 지표 (Reference-based): ROUGE-1/2/L, BLEU, 임베딩 코사인 유사도, 단어/문장 수 비율, 퍼플렉시티 (Perplexity) 등을 병행하여 종합적인 평가를 시도합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 벤치마크 MedConclusion 도입: 570 만 개의 예시를 포함하는 최초의 대규모 생물의학 결론 생성 데이터셋을 공개했습니다. 이는 저자 작성의 자연스러운 감독 신호와 광범위한 생물의학 커버리지를 제공합니다.
2. 메타데이터 통합 분석 가능: 저널별 SJR 점수와 주제 카테고리 정보를 포함하여, 저널의 위상이나 하위 분야에 따른 결론 생성 난이도 차이를 분석할 수 있는 기반을 마련했습니다.
3. 종합적인 실증 연구: 다양한 LLM(폐쇄형, 오픈소스, 추론 특화, 멀티모달 등) 을 평가하고, 결론 생성과 요약 생성의 행동적 차이를 규명하며, 자동 평가 지표의 민감도 (심사자 모델에 따른 편차) 를 분석했습니다.

4. 주요 결과 (Results)

4.1 모델 성능 및 평가 지표

• 모델 간 격차 축소: GPT-5.4 가 가장 우수한 성능을 보였으나, Gemini 3.1 Pro, DeepSeek-V3.2 등 최상위 모델들은 LLM 심사자 기준에서 매우 유사한 점수 분포를 보여, 현재 자동 지표가 강건한 모델들을 구별하는 데 한계가 있음을 시사합니다.
• 지표 간 불일치: ROUGE 나 BLEU 와 같은 어휘 중첩 지표가 높은 모델이 반드시 의미적 유사도나 모순률에서 높은 점수를 받는 것은 아닙니다. 특히 수치 일관성 (Numeric Consistency) 과 스타일 유사도는 서로 다른 측면을 측정하므로, 하이브리드 평가 방식이 필수적입니다.

4.2 결론 생성 vs 요약 작성

• 행동적 차이: 결론 생성과 요약 작성은 명확히 다른 담화 기능을 가집니다.
  • 요약 모드 (B, D) 는 의미적 유사도는 높게 유지할 수 있으나, 작성 스타일 유사도와 수치 일관성이 결론 모드에 비해 현저히 낮아집니다.
  • 이는 요약이 원문의 핵심 의미를 포착하더라도, 결론이 요구하는 특정 논리적 결론 도출 방식이나 수치적 선택성 (numeric selectivity) 을 따르지 않음을 의미합니다.

4.3 심사자 모델의 민감도 (Judge Robustness)

• 점수 스케일 편차: 심사자 모델 (GPT-5.4-mini vs Gemini 3 Flash) 을 변경하면 절대 점수 (Absolute Score) 가 크게 달라집니다. 예를 들어, GPT-5.4 를 심사자로 쓸 때보다 Gemini 3 Flash 를 쓸 때 의미적 유사도나 수치 일관성 점수가 전반적으로 상승했습니다.
• 순위 안정성: 절대 점수는 변하지만, 모델 간 순위 (Ranking) 는 상대적으로 안정적이었습니다. 이는 평가 시 심사자 모델의 정체성을 명시하고 해석해야 함을 시사합니다.

4.4 하위 집단 분석

• SJR 점수 영향: 저널의 SJR 점수가 높을수록 어휘 중첩 (ROUGE) 과 스타일 유사도는 약간 높아지지만, 사실적 일관성 (수치, 모순률) 에는 유의미한 영향을 미치지 않았습니다.
• 주제별 난이도: '소프트웨어', '컴퓨터 과학 응용', '응용 미생물학' 등 비임상적/학제간 분야는 모든 평가 지표에서 결론 생성이 가장 어려운 것으로 나타났습니다. 반면, ROUGE 점수만으로는 품질을 판단하기 어려운 분야 (예: Gerontology) 도 존재하여, LLM 심사자 기반 평가의 중요성을 재확인했습니다.

5. 의의 및 결론 (Significance)

MedConclusion 은 생물의학 분야에서 증거 기반 결론 추론 (Evidence-to-Conclusion Reasoning) 연구에 필수적인 자원을 제공합니다. 본 연구는 다음과 같은 통찰을 제공합니다:

1. 평가 패러다임의 전환: 단순한 요약이나 어휘 중첩이 아닌, 과학적 논증의 최종 단계인 '결론 도출'을 독립적인 과제로 정의하고 평가해야 함을 강조합니다.
2. 하이브리드 평가의 필요성: 단일 지표 (ROUGE 등) 나 단일 LLM 심사자에 의존하는 것은 위험하며, 다차원적인 LLM 심사자와 참조 기반 지표를 결합한 평가 프로토콜이 필요합니다.
3. 미래 연구 방향: LLM 이 과학적 발견을 보조하는 도구로 활용되기 위해서는, 단순한 정보 추출을 넘어 저자의 논리적 결론을 정확히 추론하고 수치적 사실을 일관되게 유지하는 능력이 필수적임을 입증했습니다.

이 데이터셋과 평가 프레임워크는 향후 과학적 문헌 분석, 자동 요약, 그리고 AI 기반 과학적 발견 지원 시스템 개발의 기준이 될 것입니다.