기술 요약: SurGE – 과학적 논문 생성을 위한 벤치마크 및 평가 프레임워크

문제 제기

2019 년에서 2024 년 사이에 arXiv 일일 제출 건수가 두 배로 증가하는 등 과학 문헌의 기하급수적 성장은 포괄적인 논문 (survey paper) 의 수동 제작을 점점 더 비현실적으로 만들었습니다. 최근 대규모 언어 모델 (LLM) 기반 에이전트들이 계층적 분해와 메모리 기반 메커니즘을 통해 논문 생성 자동화의 실현 가능성을 입증했으나, 해당 분야에는 표준화되고 확장 가능한 평가 프로토콜이 부재합니다. 기존 평가 방법들은 두 가지 주요 한계를 겪고 있습니다:

1. 확장성 문제: StepSurvey 와 같은 많은 접근 방식은 인간 평가를 크게 의존하는데, 이는 노동 집약적이며 재현하기 어렵습니다.
2. 편향성과 비교 불가능성: AutoSurvey 와 SurveyForge 와 같은 다른 방법들은 각자의 특정 파이프라인을 검증하도록 설계된 맞춤형 평가 프레임워크를 사용합니다. 이는 자기 검증 루프를 만들어 체계적 편향을 초래하며, 설계 특정 가정을 선호하고 공정하고 시스템 간 비교를 방해합니다.

따라서 관련 문헌을 검색하는 능력과 이를 일관된 논문으로 종합하는 능력을 분리해 낼 수 있는, 방법론에 구애받지 않으며 재현 가능하고 진단적인 벤치마크에 대한 시급한 필요성이 있습니다.

방법론

저자들은 논문을 생성하는 과정을 (1) 정보 수집: 시스템이 코퍼스에서 관련 논문을 검색하는 단계, 그리고 (2) 논문 생성: 시스템이 이러한 논문을 적절한 인용과 함께 구조화된 기사로 종합하는 단계, 이렇게 두 단계 과정으로 공식화하는 포괄적인 벤치마크 및 평가 프레임워크인 SurGE(Survey Generation Evaluation) 를 소개합니다.

1. 데이터셋 구축

SurGE 는 엄격하게 구축된 데이터셋을 제공합니다:

• 실제 논문 (Ground-Truth Surveys): arXiv(2020–2024) 에서 수집된 205 편의 고품질 논문으로, 명시적으로 논문 또는 체계적 검토 (systematic reviews) 로 식별되며 최소 20 회 이상 인용된 것들입니다. 이들은 인용 영향력, 내용 범위, 구조적 일관성, 인용 품질을 평가하기 위해 4 명의 박사 과정 학생과 한 명의 교수가 수행한 2 차 수동 필터링 과정을 거쳤습니다. 두 주석자가 모두 "사용 가능"하다고 판단한 논문만 유지되었으며, 이로 인해 코헨의 카파 (Cohen's Kappa) 는 0.792 였습니다.
• 검색 코퍼스: arXiv 메타데이터 (제목, 저자, 초록, 카테고리 등) 에서 완전히 구축된 1,086,992 개의 고유 논문으로 구성된 대규모 학술 코퍼스입니다. 이 코퍼스는 실제 논문에 인용된 논문의 메타데이터를 검색하고, 편향을 완화하기 위해 주제 관련 논문과 CS 논문의 무작위 표본을 추가하여 확장함으로써 구축되었습니다. 이 데이터셋은 전체 텍스트 PDF 를 제외하고 CC0 라이선스 하에 허용된 메타데이터에만 의존함으로써 윤리적 기준을 준수합니다.

2. 평가 프레임워크

SurGE 는 실제 기준 (Ground Truth, GT) 에 대해 네 가지 핵심 차원을 평가하는 다차원 자동 평가 프레임워크를 제안합니다:

• 포괄성 (Comprehensiveness): 생성된 논문의 참고문헌과 GT 참고문헌 목록 간의 중첩을 계산하는 **재현율 (Recall)**로 측정됩니다. 이는 연구 커뮤니티가 검증한 핵심 연구 집단을 식별하기 위한 실용적 지표로 작용합니다.
• 인용 정확도 (Citation Accuracy): **자연어 추론 (NLI)**모델 (nli-deberta-v3-base) 을 사용하여 세 가지 수준 (문서, 섹션, 문장) 에서 평가됩니다. 이 모델은 인용된 논문이 주제와 주제적으로 관련이 있는지, 섹션에 의미적으로 적합한지, 그리고 특정 문장의 주장을 지지하는지 여부를 판단합니다. 점수는 모델의 Entailment, Neutral, Contradiction 확률에서 도출됩니다.
• 구조적 품질 (Structural Quality): 두 가지 지표를 통해 평가됩니다:
  • 구조 품질 점수 (SQS): 생성된 제목과 GT 제목 간의 계층적 조직, 의미, 어휘를 비교하는 LLM-as-a-Judge 지표입니다.
  • 소프트-헤딩 재현율 (SHR): 생성된 제목과 GT 제목 간의 정렬을 측정하기 위해 시맨틱 임베딩 유사성을 사용하는 지표로, 소프트 카디널리티 중첩을 통해 문장 재구성을 강력하게 처리합니다.
• 내용 품질 (Content Quality): **내용 품질 점수 (CQS)**로 측정되며, LLM(GPT-4o) 이 유창성, 논리적 명확성, 중복 회피, 설명 명확성, 오류 부재를 기준으로 각 섹션을 평가합니다.

이 프레임워크의 신뢰성은 **메타 평가 (meta-evaluation)**를 통해 검증되었으며, 자동화된 지표와 인간 전문가 순위 간에 높은 상관관계 (Spearman's $\rho \approx 0.70$–$0.88$) 가 있음을 보여주었습니다. 특히 기계 생성 텍스트와 인간 수준의 학문적 성과를 구별하는 데 있어 두드러졌습니다.

주요 기여

1. SurGE 벤치마크: 전문가가 검증한 실제 논문을 특징으로 하는 방법론에 구애받지 않는 벤치마크와 100 만 편 이상의 논문을 포함한 대규모 검색 코퍼스를 도입했습니다.
2. 자동 평가 프레임워크: 포괄성, 인용 정확도, 구조, 내용을 네 가지 차원에서 논문 품질을 평가하는 강력한 프로토콜로, 객관적 지표와 LLM 기반 판단의 하이브리드를 활용합니다.
3. 실증 분석: 최첨단 시스템을 벤치마크하는 광범위한 실험을 통해 현재 에이전트 파이프라인의 특정 병목 현상에 대한 진단적 통찰력을 제공합니다.

실험 결과

저자들은 공정한 비교를 위해 공유된 밀집 검색기 (dense retriever) 와 Qwen2.5-14B-Instruct 백본을 사용하는 표준 검색 증강 생성 (RAG) 베이스라인과 전문 에이전트 파이프라인 (AutoSurvey, StepSurvey, SurveyForge) 을 포함한 여러 시스템을 벤치마크했습니다.

• 검색 성능: 미세 조정된 밀집 검색기는 실제 참고문헌에 대해 **68.05%**의 Recall@1000 을 달성하여 BM25 베이스라인 (27.15%) 을 크게 상회했습니다. 이는 코퍼스에 필요한 정보가 포함되어 있으며 병목 현상이 데이터 가용성이 아닌 생성 단계에 있음을 확인시켜 줍니다.
• 생성 성능:
  • 유창성 vs 정확도: 표준 RAG 모델 (예: RAG-Qwen) 은 경쟁력 있는 n-gram 점수 (ROUGE-L, BLEU) 를 달성했으나, 인용 정확도와 재현율은 가장 낮았습니다. 이는 일관성은 있지만 사실에 근거하지 않은 텍스트를 생성하는 "유창성 환각 (fluency hallucination)" 함정을 강조합니다.
  • 구조적 품질: 전문 에이전트 파이프라인은 구조적 품질 (SQS) 과 소프트-헤딩 재현율 (SHR) 에서 표준 RAG 베이스라인을 일관되게 능가하여 명시적 계획과 계층적 분해의 필요성을 입증했습니다.
  • 에이전트 능력: 에이전트 파이프라인은 구조적 품질과 인용 정확도를 개선했지만, 정보 활용에는 여전히 어려움을 겪었습니다. 예를 들어, SurveyForge는 정확한 문헌 검색 (최고의 재현율 및 Doc-Acc) 에서 탁월한 성과를 보인 반면, StepSurvey는 세분화된 단계별 초안 작성 프로세스로 인해 최고 수준의 내용 품질 점수 (CQS) 를 달성했습니다.
  • 모델 용량: 결과는 잘 구성된 에이전트 프레임워크가 제한된 모델 용량을 보완할 수 있음을 시사합니다. SurveyForge(Qwen-14B 사용) 는 인용 정확도에서 RAG-Gemini 를 능가했는데, 이는 분해 전략이 더 작은 모델이 더 충실한 출력을 생성할 수 있게 함을 나타냅니다.

의의

이 논문은 SurGE 가 과학적 논문 생성을 위한 최초의 방법론에 구애받지 않는 벤치마크를 확립함으로써 해당 분야의 중요한 격차를 해소한다고 주장합니다. 검색과 생성을 분리하고 진단적 평가 프로토콜을 제공함으로써, SurGE 는 연구자들이 성능 실패가 정보 획득에서 비롯되었는지 내용 종합에서 비롯되었는지 식별할 수 있게 합니다. 저자들은 에이전트 파이프라인이 표준 RAG 대비 상당한 진전을 나타내지만, 현재 시스템들은 인용 정확도와 완전한 정보 활용에서 여전히 과제를 안고 있다고 결론지었습니다. SurGE 는 이러한 시스템을 엄격하게 평가하고 더 신뢰할 수 있고 효과적인 자동화된 논문 생성을 향한 향후 연구를 안내하는 데 필요한 인프라를 제공합니다.