기술 요약: OARelatedWork

문제 정의

"관련 연구(Related Work)" 섹션을 생성하는 것은 자연어 처리(NLP) 분야에서 매우 중요하면서도 아직 충분히 다뤄지지 않은 과제입니다. 관련 연구 생성은 다중 문서 요약을 확장하는 것이지만, 단순히 인용된 논문들을 요약하는 것을 넘어 비교 담론을 통해 대상 연구를 기존 연구 내에 위치시키는 독특한 과정을 요구합니다. 기존 방식들은 세 가지 주요 한계점에 직면해 있습니다:

1. 입력 제약: 대부분의 데이터셋과 모델은 긴 전체 텍스트 입력을 처리하는 기술적 어려움으로 인해 논문 초록(Abstract)에만 의존합니다. 이는 모델이 깊이 있고 근거에 기반한 통찰력을 합성하는 능력을 제한합니다.
2. 출력 세밀도: 기존 벤치마크는 생성을 단일 문단으로 제한하는 경우가 많아, 모델이 잘 구조화된 다중 섹션 형태의 관련 연구 장(Chapter)을 생성할 수 있는 능력을 평가하지 못합니다.
3. 평가 부적절성: 표준 참조 기반 지표(예: ROUGE, BERTScore)는 긴 형태의 구조화된 생성물에 부적합합니다. 이러한 지표들은 사실적 충실도(Factual faithfulness)를 평가하는 데 어려움을 겪으며, 긴 컨텍스트 시나리오에서 인간의 판단과 상관관계를 맺지 못하는 경우가 많습니다.

또한, 이 분야에는 검증 및 테스트 분할에 포함된 모든 인용 논문의 전체 텍스트를 사용할 수 있는 대규모 데이터셋이 부족하여, 전체 텍스트 합성 능력을 통제된 방식으로 평가하는 것이 불가능합니다.

방법론

데이터셋 구축: OARelatedWork

저자들은 오픈 액세스 소스를 활용하여 전체 관련 연구 섹션을 생성하도록 설계된 최초의 대규모 다중 문서 요약 데이터셋인 OARelatedWork를 소개합니다.

• 코퍼스 출처: 이 데이터셋은 CORE 코퍼스(XML/TEI 형식의 5.4M 문서)와 Semantic Scholar 코퍼스(S2ORC 및 API 데이터를 포함한 129.2M 문서)를 병합하여 구축되었습니다.
• 처리 파이프라인:
  • 서지 연결(Bibliography Linking): Microsoft Academic Graph(MAG), Semantic Scholar 인용 그래프, 그리고 커스텀 검색기를 사용하는 다단계 프로세스를 통해 인용을 전체 텍스트 문서와 연결했습니다. 이를 통해 식별된 서지 항목이 약 0.6%(약 1,160만 개의 링크) 증가했습니다.
  • 필터링: 관련 연구 섹션이 최소 3개의 문장을 포함하고, 최소 2개의 문서를 인용하며, 검증 및 테스트 분할에 포함된 모든 인용 논문의 연결된 전체 텍스트를 보유하도록 문서를 필터링했습니다.
  • 구조: 데이터는 향후 활용을 용이하게 하기 위해 계층적 트리 구조(섹션, 하위 섹션, 문단, 문장)를 가진 JSON 형식으로 표현됩니다.
• 통계: 최종 데이터셋은 관련 연구 섹션을 포함한 94,450개의 논문과 580만 개의 고유 인용 논문을 포함합니다. 결정적으로, 검증 및 테스트 세트는 이전의 S2ORC, Delve, Multi-XSci와 같은 데이터셋에서 결여되었던 기능인, 인용된 참조 문헌에 대한 100% 전체 텍스트 가용성을 보장합니다.

태스크 정의

본 태스크는 다음이 주어졌을 때 관련 연구 섹션 $Y$를 생성하는 것을 목표로 합니다:

1. 입력 콘텐츠 유형의 조합 (대상 논문 및 인용 논문의 초록 및/또는 전체 텍스트).
2. 목표 길이 $L$.
3. 구조적 지침 (하위 섹션 사용 여부).

시스템은 여러 소스로부터 정보를 합성하여 일관되고 구조화된 서사를 생성해야 합니다.

평가 프레임워크

전통적인 지표의 부적절함을 해결하기 위해, 저자들은 **문장 단위 평가 프레임워크(statement-level evaluation framework)**를 제안합니다:

• LLM 판사 (LLM Judges): 양자화된 Gemma 4 31B 모델(추론 기능 제외)을 판사로 사용하여 생성된 텍스트에서 사실적 진술을 추출하고, 이를 네 가지 범주(참(True), 참이지만 잘못된 인용(True but wrong citation), 검증 불가능(Unverifiable), 거짓(False))로 분류합니다.
• 인간 평가: LLM 판사를 검증하고 충실도, 관련성 및 언어 품질을 평가하기 위해 40개의 논문(120개 섹션, 408개 진술)에 대해 세밀한 인간 평가를 수행했습니다.
• 지표: 문장 단위의 충실도 지표 외에도, 연구에서는 ROUGE 점수, BERTScore 및 인용 커버리지 F1을 보고합니다.

주요 기여

1. OARelatedWork 데이터셋: 초록 중심에서 전체 텍스트 기반의 관련 연구 생성으로의 전환을 가능하게 하는 대규모 리소스입니다. 이는 테스트 세트에서 모든 인용 참조에 대한 전체 텍스트 접근을 보장하는 최초의 벤치마크를 제공합니다.
2. 인간의 글쓰기에 대한 경험적 분석: 인간 평가를 통해, 저자들은 인간 저자가 국소적인 소스 텍스트에 근거하지 않은 추상적 주장(엄격한 평가에서 높은 "검증 불가능" 비율)을 빈번하게 도입한다는 점을 밝혀냈습니다.
3. LLM vs. 인간 베이스라인: 본 연구는 고급 LLM(특히 GPT-4o-mini)이 제공된 컨텍스트에 대해 엄격하고 근거에 기반한 충실도를 평가할 때 인간 베이스라인을 능가할 수 있음을 보여줍니다.
4. 지표 메타 평가: 본 논문은 표준 참조 기반 지표가 이 태스크에 부적합함을 증명합니다. 또한, 구조화된 긴 형태의 생성물을 신뢰성 있게 평가하기 위한 LLM 기반 판사의 사용을 검증합니다.

결과

모델 성능

저자들은 추출형 베이스라인(LEAD, TextRank), 미세 조정된 다중 문서 요약 모델(PRIMERA), 그리고 제로샷 LLM(Llama 3.2 3B, GPT-4o-mini)을 포함한 다양한 모델을 벤치마킹했습니다.

• 전체 텍스트 입력의 영향: 초록 대신 전체 텍스트를 제공하는 것은 모델에게 훨씬 더 큰 도전 과제가 됩니다. GPT-4o-mini의 경우, "참(True)" 근거 기반 비율이 초록만 사용했을 때 **92.9%**에서 전체 텍스트 사용 시 **83.8%**로 감소했으며, "잘못된 인용" 및 "검증 불가능" 비율이 증가했습니다. 이는 현대적인 LLM에게도 방대한 전체 텍스트 컨텍스트를 합성하는 것이 여전히 큰 과제임을 시사합니다.
• 추출형 vs. 추상형: 추출형 베이스라인은 매우 높은 "참" 점수(95~99%)를 달성했으나, 이는 합성이 아닌 소스 텍스트를 그대로 재사용했기 때문입니다. 반면, 추상형 모델은 환각이나 인용 오류율은 높았지만 더 나은 일관성을 보여주었습니다.
• 인간 vs. 모델: 쌍체 비교 인간 평가에서 GPT-4o-mini는 관련성, 언어 품질, 종합 순위에서 PRIMERA와 인간 저자를 압도했습니다. 충실도 측면에서 GPT-4o-mini는 PRIMERA와 통계적으로 대등했으나, 엄격한 문장 단위 사실성 평가에서는 인간 저자보다 뛰어난 성능을 보였습니다.

인간의 글쓰기 행동

408개의 인간 작성 진술 분석 결과는 다음과 같습니다:

• 높은 검증 불가능성: 인간 저자는 (골드 세트에서 18.5%의) 높은 "검증 불가능" 진술 비율을 보였는데, 이는 정보가 국소적인 증거 구간에 의존하기보다 문서 전반에 분산되어 통합되기 때문입니다.
• 인용 오류: 인간은 특정 국소적 소스 텍스트에 근거하지 않은 주장을 자주 도입하여, 엄격한 평가 하에서 "참이지만 잘못된 인용" 또는 "검증 불가능" 분류가 더 높게 나타났습니다.

지표 검증

메타 평가는 참조 기반 지표(ROUGE, BERTScore)가 이 태스크에서 인간의 판단과 낮은 상관관계를 보임을 확인했습니다. LLM 기반 판사(특히 Gemini 3.1 Pro 및 Gemma 4)는 인간의 주석과 강한 상관관계를 보여, 제안된 문장 단위 프레임워크를 검증했습니다.

의의 및 주장

본 논문은 OARelatedWork가 포괄적인 전체 텍스트 컨텍스트를 활용함으로써 분야를 현실적인 전체 섹션 패러다임으로 전환한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 현상 유지에 대한 도전: 전체 텍스트 합성이 어려움에도 불구하고, 현실적인 관련 연구 생성을 위해서는 초록을 넘어 전체 텍스트로 나아가는 것이 필수적임을 입증했습니다.
• 인간 베이스라인의 재평가: 인간의 글쓰기가 이 맥락에서 사실적 충실도의 황금 표준이라는 가설에 도전하며, LLM이 제공된 증거에 더 엄격하게 근거할 수 있음을 보여주었습니다.
• 평가 표준 확립: 표준 지표가 긴 형태의 구조화된 출력에 불충분함을 밝히고, 이 도메인을 위한 견고한 문장 단위 평가 프레임워크를 도입했습니다.

저자들은 현재 모델들이 방대한 전체 텍스트 컨텍스트의 양에 어려움을 겪고 있지만, 구조화된 데이터, 세밀한 사실적 주석, 그리고 특화된 평가 프레임워크의 결합이 자동화된 과학적 글쓰기를 위한 필수적인 토대를 제공한다고 결론짓습니다.