기술 요약: Wyvern: 근거가 확실한 멀티모달 보고서 생성을 위한 에이전트 기반 프레임워크

문제 정의

인공지능과 같은 분야에서 급격한 지식 성장이 이루어지고 있는 현재의 시대에는, 이질적이고 도메인 특화된 방대한 양의 정보를 따라잡는 것이 점점 더 어려워지고 있습니다. 생성형 모델이 콘텐츠를 합성하는 데 자주 사용되지만, 이러한 모델들은 정보 근거(information grounding)의 결여로 인해 환각 현상이나 검증되지 않은 주장을 생성하는 경우가 많습니다. 또한, 기존의 자동 합성 도구들은 텍-전용 문서를 생성하는 경우가 많아, 몰입도를 높이고 정보력을 강화할 수 있는 멀티모달 요소(이미지, 표)를 활용할 기회를 놓치고 있습니다. 따라서 정보를 검색하고 요약할 수 있을 뿐만 아니라, 생성된 진술을 검색된 증거에 엄격하게 근거하도록 하고 멀티모달 콘텐츠를 원활하게 통합할 수 있는 프레임워크에 대한 절실한 필요성이 존재합니다.

방법론

저자들은 근거가 확실한 멀티모달 기술 보고서의 자동 생성을 위해 설계된 멀티 에이전트 프레임워크인 Wyvern을 제안합니다. Wyvern은 세 가지 주요 모듈로 구성된 전문화된 대규모 언어 모델(LLM) 기반 에이전트의 구조화된 워크플로우를 통해 작동합니다.

1. 검색 모듈 (Search Module)

이 모듈은 지식 데이터베이스를 구축하기 위해 웹에서 관련 정보를 검색하고 처리하는 역할을 담당합니다.

• 쿼리 생성 (Query Generation): 에이전트가 사용자의 입력 주제를 정제하고 여러 개의 검색 쿼리를 생성합니다.
• 검색 및 파싱 (Retrieval & Parsing): 시스템은 상위 k개의 URL을 검색하고, 이를 마크다운(Markdown) 형식으로 파싱하며(Docling 및 Trafilatura와 같은 도구 사용), 병렬 에이전트가 할당한 길이 및 완성도 점수를 바탕으로 문서를 필터링합니다.
• 반복적 풍부화 (Iterative Enrichment): 프레임워크는 추가 검색의 필요성을 평가하고 검색된 문서 내에 포함된 하이퍼링크를 분석하는 에이전트를 활용합니다. 관련 링크는 해결(resolved)되고 점수가 매겨지며, 지식 베이스를 동적으로 풍부하게 하기 위해 처리됩니다.
• 중복 제거 및 요약 (Deduplication & Summarization): 중복 제거 단계에서는 자카드 유사도(Jaccard similarity)를 기반으로 유사한 문서를 제거합니다. 마지막으로, 에이전트들은 유지된 참조 문헌들을 요약하고, 모든 콘텐츠가 사용자의 주제와 일치하도록 시맨틱 이상치 탐지(semantic outlier detection)를 수행합니다.

2. 보고서 생성 모듈 (Report Generation Module)

이 모듈은 텍스트 보고서를 합성하고 멀티모달 요소를 통합합니다.

• 개요 작성 (Outline Creation): 에이전트들은 참조 요약본을 바탕으로 여러 개의 초안 개요를 생성하고, 이를 하나의 최종적이고 포괄적인 개요로 병합합니다.
• 섹션 확장 (Section Expansion): 에이전트들은 보고서를 섹션별로 작성하며, 핵심적인 내용을 선택하고 지원하는 참조 문헌에 대한 인용을 삽付합니다.
• 멀티모달 통합 (Multimodal Integration):
  • 이미지 선택 및 배치 (Image Selection & Placement): 에이전트는 소스에서 추출된 모든 후보 피규어(figure)에 대한 설명을 생성합니다. 추론 에이전트는 가장 관련성이 높은 이미지를 선택하여 특정 섹션에 할당합니다. 이후의 에이전트는 배치를 정교화하고, 캡션을 생성하며, 원활한 통합을 위해 주변 텍스트를 수정합니다.
  • 개요 표 (Overview Tables): 에이전트는 공유된 개념을 추출하여 비교 개요 표를 구축하고, 최적의 배치 위치를 결정하며, 캡션 및 설명 텍스트와 함께 통합합니다.
• 정교화 (Refinement): 최종 검토 에이전트는 완결성과 일관성을 향상시키며, 공백이 발견될 경우 보충 정보를 검색하고 중립적인 어조를 보장합니다.

3. 근거 확인 모듈 (Grounding Module)

이 모듈은 생성된 보고서가 검색된 증거와 사실적으로 일치하는지 검증하는 데 집중합니다.

• 주장 분해 (Claim Decomposition): 텍스트를 단위별로 분할하고, 이를 다시 원자적 주장(atomic claims)으로 더 세분화합니다.
• 검증 (Verification): 추론 에이전트는 각 원자적 주장을 관련 참조 요약본과 대조하여 평가합니다. 만약 어떤 주장이 근거가 없는 것으로 표시되면, 참조 전문(full-text)을 대상으로 더 상세한 함의 체크(entailment check)를 수행합니다.
• 수정 (Revision): 검증 결과에 따라, 에이전트는 부정확한 주장을 수정하거나 근거가 없는 진술을 완전히 제거합니다.
• 일관성 체크 (Consistency Check): 최종 에이전트는 수정된 내용과 일치하도록 섹션 제목 및 부제목을 검토 및 수정합니다.

주요 기여

본 논문은 다음과 같은 주요 기여를 명시합니다:

1. Wyvern 프레임워크: 웹의 관련 정보를 검색하여 근거가 확실한 멀티모달 기술 보고서를 생성하는 멀티 에이전트 시스템입니다.
2. 멀티모달 설계: 텍스트 보고서 내에 정보가 풍부한 이미지를 검색, 선택 및 배치하는 기능과 개요 표 생성을 위한 전용 모듈 설계입니다.
3. 주장 자동 수정 (Claims Auto-Revision): 수집된 증거에 대한 진술의 근거를 검증하기 위해, 텍스트를 원자적 주장으로 분해하고 이를 이후 수정하거나 제거하는 전용 단계를 구현했습니다.
4. 포괄적 평가: Wyvern을 기존 베이스라인(STORM, WebThinker, WikiAutoGen)과 비교하는 인간 평가 연구와 자동 평가 지표의 예측력에 대한 분석을 수행했습니다.

결과

저자들은 Wyvern의 성능을 평가하기 위해 인간 평가와 자동 평가를 모두 실시했습니다.

인간 평가 (Human Evaluation)

27명의 자원봉사자(연구자, 엔지니어, 박사 과정 학생)가 참여한 연구에서 Wyvern의 보고서를 STORM, WebThinker, WikiAutoGen과 비교했습니다.

• 유용성 (Usefulness): Wyvern의 보고서는 특정 베이스라인에 따라 63%에서 100%의 사례에서 베이스라인보다 더 유용한 것으로 평가되었습니다.
• 피규어 (Figures): 87%의 경우, Wyvern의 피규어 정보력이 최근의 베이스라인인 WikiAutoGen보다 우수하다고 인식되었습니다.
• 사실성 (Factuality): Wyvern은 사실성에 대해 높은 절대 점수(4.22/5)를 받았습니다.
• 개선 영역 (Areas for Improvement): "몰입도(engagement)" 루브릭이 가장 낮은 점수(3.65/5)를 받았으며, 일부 사용자들은 보고서의 길이와 중복성 문제를 언급했습니다.

자동 평가 (Automatic Evaluation)

• 근거 지표 (Grounding Metrics): Wyvern은 인용 품질에서 상당한 개선을 보여주었습니다. 주장 수정 모듈은 특히 인용 재현율(citation recall)을 1.21배 증가(60.92%에서 73.79%로 상승)시켰고, 인용 정밀도(citation precision)를 1.12배 증가(67.15%에서 75.45%로 상승)시켰습니다. 이 승수(multipliers)는 수정 전후의 최종 지표 값의 비율을 나타내며, 수정 단계가 최종 출력물에 미치는 긍정적인 효과를 강조합니다. 베이스라인과 비교했을 때, Wyvern은 인용 재현율에서 최대 2.3배, 인용 정밀도에서 1.6배의 성과를 달升했습니다.
• 자동 vs. 인간 상관관계 (Automatic vs. Human Correlation): 연구 결과, 자동 평가 지표(DeepSeek-V3 및 Qwen3-32B 모델 사용)는 일부 베이스라인(STORM, WikiAutoGen)에 대해서는 인간의 판단과 좋은 상관관계를 보였으나, WebThinker의 성능에 담긴 미묘한 차이를 포착하는 데는 실패했습니다. 저자들은 자동 평가가 순서 편향(ordering bias)이나 질적 루브릭과 관련하여 인간의 선호도를 완전히 대변할 수 있는 견고함이 여전히 부족하다고 언급했습니다.

의의 및 주장

본 논문은 Wyvern이 생성형 AI 시대의 핵심 과제인 정보 근거 문제를 해결한다고 주장합니다. 구조화된 멀티 에이전트 워크플로우를 주장 자동 수정 및 멀티모달 통합에 초점을 맞추어 통합함으로써, Wyvern은 현재의 최첨단 방식들보다 더 유익하고 신뢰할 수 있는 보고서를 생성합니다.

저자들은 Wyvern이 인용 재현율과 정밀도를 크게 향상시키지만, 원래의 웹 소스에 존재하는 사실적 오류를 전파할 위험을 완전히 제거하지는 못한다는 점을 강조합니다. 저자들은 Wyvern을 비판적 인간 판단의 대체물이 아니라, 연구자들의 정보 검색 및 관리 부담을 완화하기 위한 도구로 정의합니다. 이 연구는 고품질의 근거 있는 기술 문서를 생성하기 위해 이미지 선택 및 사실 확인과 같은 전문화된 작업을 조정하는 에이전트 기반 프레임워크의 잠재력을 보여줍니다.