1. 문제 정의 (Problem Statement)

과학 출판물의 급격한 증가로 인해 체계적인 문헌 고찰 (Systematic Literature Review, SLR) 을 포괄적이고 최신 상태로 유지하는 것이 점점 더 어려워지고 있습니다. 기존 연구들은 주로 문헌 검색 (retrieval) 과 선별 (screening) 단계의 자동화에 집중해 왔으나, 고찰 작성 (writing) 단계, 특히 **가독성 (readability)**과 **사실적 정확성 (factual accuracy)**을 보장하는 자동화에는 미흡한 부분이 있었습니다.

• 주요 과제: 자동 생성된 문헌 고찰의 환각 (hallucination, 존재하지 않는 인용 생성) 문제 해결, 인간이 작성한 글과 유사한 가독성 및 구조 유지, 그리고 실제 연구 환경 (검색된 문헌 기반) 에서의 적용 가능성 확보.

2. 방법론: LiRA 프레임워크 (Methodology)

LiRA (Literature Review Agents) 는 인간의 문헌 고찰 작성 과정을 모방하도록 설계된 다중 에이전트 협업 워크플로우입니다. 이 시스템은 특정 도메인에 대한 사전 학습 (pre-training) 이나 미세 조정 (fine-tuning) 없이 즉시 사용 가능한 (out-of-the-box) LLM 기반 에이전트들로 구성됩니다.

핵심 에이전트 및 워크플로우

1. Outline Drafter Agent (개요 작성 에이전트):
   • 제공된 참고 문헌 (최대 50 개) 의 초록 또는 전체 텍스트를 분석하여 일관된 구조의 개요 (목차) 를 생성합니다.
   • 주요 섹션과 하위 섹션을 정의하고, 각 섹션에 대한 설명과 지원 문헌을 제안합니다.
2. Subsection Writer Agent (하위 섹션 작성 에이전트):
   • 개요를 기반으로 각 섹션 (및 하위 섹션) 을 병렬로 작성합니다.
   • 각 섹션은 해당 주제와 관련된 문헌 (FAISS 인덱스를 통해 검색) 을 기반으로 작성되며, 약 1,000 단어 정도의 긴 형식 (long-form) 합성을 수행합니다.
   • 본문이 생성된 후 제목, 초록, 결론을 작성하여 인간적인 작성 방식을 모방합니다.
3. Editor Agent (편집 에이전트):
   • 생성된 초안의 일관성, 유창성, 어휘, 전환 (transitions) 등을 개선합니다.
   • 중요: 사실적 내용을 변경하지 않고 스타일과 표현만 수정하여 정보의 무결성을 유지합니다.
   • 컨텍스트 윈도우 한계를 극복하기 위해 텍스트가 잘린 경우 이전 내용을 맥락으로 하여 생성을 이어가는 메커니즘을 포함합니다.
4. Reviewer Agent (검토 에이전트):
   • 체계적 검토 가이드라인 (Snyder 2019 등) 을 기반으로 내용 완성도, 투명성, 명확성 등을 평가합니다.
   • 품질 기준을 충족하지 못하면 구조화된 피드백을 제공하고 최대 3 회까지 재생성 (regeneration) 을 유도합니다.
5. Citation Behavior (인용 행동):
   • 환각을 줄이기 위해 생성 과정에서 실제 논문 제목을 사용하여 문헌을 인용합니다 (Semantic Anchors).
   • 생성 후 표준화된 번호 인용 형식으로 변환하며, 평가 시 환각된 제목은 제거하여 공정한 비교를 보장합니다.

기술적 구현 세부사항

• 프레임워크: LangGraph 를 사용하여 에이전트 간 메모리 공유 및 피드백 루프 구현 (Reflexion 패턴 참조).
• 통신: MetaGPT 에서 영감을 받아 구조화된 문서 형태로 출력을 반환하고 공유 메시지 풀을 통해 효율적인 정보 검색을 수행합니다.
• 프롬프트: Zero-Shot Chain-of-Thought (CoT) 를 사용하여 대부분의 에이전트의 추론 능력을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. 최초의 에이전트 기반 자동 문헌 고찰 작성 워크플로우: 인간의 작성 과정을 모방하고 관련 에이전트 워크플로우의 결과를 통합한 최초의 시스템 제안.
2. 이론과 응용의 연결: 기존 논문을 철저히 분석한 후 작성하는 등, 관련 분야의 공식적 가이드라인을 에이전트 워크플로우에 통합.
3. 강력한 베이스라인 설정: 동일한 LLM 유형을 사용하여 기존 시스템 (AutoSurvey, MASS-Survey 등) 과 다양한 설정에서 비교 평가를 수행하며 새로운 SOTA (State-of-the-Art) 기준을 확립.

4. 실험 및 결과 (Experiments & Results)

LiRA 는 SciReviewGen (컴퓨터 과학, 125 개 샘플) 과 ScienceDirect (23 개 분야, 125 개 샘플) 데이터셋에서 평가되었습니다. 비교 대상은 직접 프롬핑팅 (Direct Prompting), MASS-Survey, AutoSurvey 입니다.

평가 지표

• 인간 작성 글과의 유사성: ROUGE-L, Heading Soft Recall, Entity Recall.
• 작성 품질: 자동 평가 (Prometheus 2 LLM) 및 전문가 (SME) 평가 (커버리지, 구조, 관련성).
• 인용 품질: Citation Quality F1-Score (CQF1).

주요 결과

• 유사성 및 품질: LiRA 는 인간이 작성한 글과 가장 높은 ROUGE 점수를 기록했으며, 구조적 일관성 (Structure) 에서 가장 우수한 평가를 받았습니다.
• 효율성: AutoSurvey 는 더 긴 텍스트 (평균 50,000 토큰) 를 생성하여 Recall 지표에서 우위를 보였으나, 이는 불필요한 장황함 (verbosity) 때문이었습니다. 반면 LiRA 는 22,000 토큰으로 더 간결하면서도 정보 밀도가 높은 글을 생성했습니다.
• 인용 신뢰도 (가장 중요한 성과): LiRA 는 CQF1 점수에서 압도적인 성능 (SciReviewGen: 0.76, ScienceDirect: 0.73) 을 보이며, 다른 모든 베이스라인 (AutoSurvey ≤ 0.63) 을 크게 앞섰습니다. 이는 환각을 줄이고 사실 기반 인용을 잘 수행함을 의미합니다.
• 실제 환경 적용: 검색된 문헌을 입력으로 사용할 때에도 LiRA 는 인간 작성 글과 유사한 품질을 유지하며 실제 배포 가능성 (RQ4) 을 입증했습니다.
• 모델 다양성: 검토 에이전트의 LLM 을 gemma3:4b로 변경해도 성능에 큰 변화가 없어, 파이프라인이 다양한 모델 구성에서도 견고하게 작동함을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰성 있는 자동화: LiRA 는 도메인 특화 학습 없이도 가독성과 사실적 정확성을 동시에 확보한 자동 과학적 작성 시스템의 가능성을 입증했습니다.
• 실용성: 환각을 줄이고 실제 연구 환경 (검색 기반) 에서 작동할 수 있어, 연구자들이 문헌 고찰을 작성하는 데 실질적인 도움을 줄 수 있는 도구로 기대됩니다.
• 향후 과제: 결과의 재현성을 높이기 위해 시드 (seed) 가 고정된 모델 사용 필요, 그리고 더 다양한 과학 분야를 위한 오픈 소스 데이터셋 구축의 필요성을 제기했습니다.

이 논문은 단순한 텍스트 생성을 넘어, 다중 에이전트 협업을 통해 복잡한 과학적 글쓰기 작업을 신뢰할 수 있고 인간 친화적으로 자동화하는 새로운 패러다임을 제시합니다.