MPR-CiteG 기술 요약: 다중 포트폴리오 검색 및 인용 기반 생성을 통한 RAG 강화

1. 문제 정의

대규모 언어 모델(LLM)은 내부 지식에만 의존할 때, 특히 최신 정보나 사실적 근거를 제공하는 데 있어 본질적인 한계에 직면합니다. Retrieval-Augmented Generation(RAG)은 외부 증거를 활용하여 이를 해결하고자 하지만, 기존 방식들은 두 가지 주요 비효력성을 보입니다:

1. 비효율적인 검색: 쿼리 중심의 방법론은 검색 비용이나 제한된 컴퓨팅 예산 하에서의 이질적인 검색기 간의 조율과 같은 실질적인 제약 조건을 간과하는 경우가 많습니다.
2. 출처 검증의 부재: 인용 중심의 접근 방식은 충실도를 높이지만, 엄격한 지연 시간 제약이 있는 공공 API 환경 및 스니펫(snippet) 수준의 근거 제시가 필요한 환경에는 적합하지 않은 자원 집약적인 다단계 파이프라인에 의존하는 경우가 빈번합니다.

ScienceON AI 챌린지는 참가자들이 고정된 GPU 예산 하에서 공공 검색 결과를 바탕으로 응답을 생성하도록 벤치마킹하며, 참가자들이 증거에 기반한 답변 생성과 검색 효율성 사이의 균형을 맞출 것을 요구합니다.

2. 방법론: MPR-CiteG 프레임워크

저자들은 시스템 제약 조건을 성능 향상으로 전환하도록 설계된 이중 구성 요소 시스템인 MPR-CiteG를 제안합니다. 이 프레임워크는 효율적이고 다양한 정보 수집을 위한 **다중 포트폴리오 검색기(Multi-Portfolio Retriever, MPR)**와 사실적으로 일관되며 출처가 명시된 출력을 위한 인용 기반 생성(Citation-Grounded Generation, CiteG) 모듈로 구성됩니다.

2.1. 다중 포트폴리오 검색기 (MPR)

MPR은 단일 사용자 쿼리를 네 개의 병렬 **쿼리 포트폴리오(Query Portfolios)**로 확장한 후, 이를 집계하고 재순위화함으로써 어휘 불일치 문제와 예산 제약을 해결합니다.

• 쿼리 확장: LLM(Qwen2.5-14B-Instruct)을 사용하여 시스템은 두 가지 키워드 세트를 추출합니다:
  • 주요 키워드(Primary Keywords): 의미적 앵커 역할을 하는 동의어를 포함한 5개의 용어.
  • 확장 키워드(Expanded Keywords): 도메인 특화 용어나 패러프레이징된 용어를 통해 검색 범위를 넓히는 3개의 추가 용어.
• 네 가지 쿼리 포트폴리오: 이 키워드들은 Boolean 연산자를 사용하여 네 가지 별도의 전략으로 결합됩니다:
  • Q (Query-expansion): 주요 키워드를 확장된 개념과 OR/AND 로직으로 결합하여 재현율(Recall)을 극대화합니다.
  • S (Synonym-robust): 동의어와 접두사 기반 와일드카드를 포함하고 노이즈가 섞인 용어(예: "특허")를 필터링하여 정밀도(Precision)를 높입니다.
  • F (Focus-balanced): 상위 주요 키워드를 OR 로직으로 그룹화하고 나머지 키워드와 AND로 결합하여 폭과 선택성의 균형을 맞춥니다.
  • G (Global-translation): NLLB-200 모델을 사용하여 쿼리를 번역(한국어 $\leftrightarrow$ 영어)함으로써 교차 언어적 커버리지를 해결합니다.
• 후보 집계 및 재순위화: 모든 포트폴리오의 결과를 병합하고, 제어 번호(Control Numbers) 또는 제목을 기준으로 중복을 제거한 후, Cross-Encoder(BGE-Reranker-v2-m3)를 사용하여 재순위화합니다. 이를 통해 초기 후보군(약 270개 항목)을 가장 관련성이 높은 상위 50개의 문서로 압축하여 생성에 필요한 고정밀 컨텍스트를 확보합니다.

2.2. 인용 기반 생성 (CiteG)

CiteG 모듈은 가독성과 사실적 책임성을 보장하기 위해 Qwen2.5-14B-Instruct LLM을 사용하는 2단계 파이프라인을 활용합니다.

1. 문서 조건부 응답 생성:
   • 모델은 검색된 상위 10개 문서만을 엄격히 사용하여 초안 답변을 생성합니다.
   • 프롬프트는 과학적 글쓰기 스타일(서론, 본론, 결론)을 강제하며, 제공된 출처만을 사용하도록 모델을 제한합니다.
   • 출력물은 명시적인 인용 없이 유창하고 의미론적으로 충실한 서사를 형성합니다.
2. 문장 단위 인용 근거 제시:
   • 초안을 문장 단위로 분절합니다.
   • 각 문장을 후보 문서들과 대조하여 이를 뒷받침하는 출처를 선택합니다.
   • 규칙: 사실적 주장은 반드시 인용을 포함해야 합니다. 일반적이거나 전환 역할을 하는 문장은 인용을 생략할 수 있습니다.
   • 마커 할당: 인용은 점진적으로 할당되며, 가독성을 유지하기 위해 동일한 문서를 참조하는 여러 문장에 대해 마커를 재사용합니다.
   • 직렬화: 최종 출력에는 인라인 마커(예: "[1]")가 포함된 서사와 마커를 소스 링크에 매핑하는 구조화된 인용 블록이 포함됩니다.

3. 주요 결과

프레임워크는 BLEU, METEOR, 검색 정확도(인용 문장과 소스 제목/초록 간의 코사인 유사도), 실행 시간을 사용하여 ScienceON AI 챌린지 데이터셋에 대해 평가되었습니다.

• LLM 백본 비교: 다양한 모델(Llama3.1 및 KONI-Llama3.1 변형 포함) 중에서 Qwen2.5-14B가 가장 높은 종합 성능(최종 점수: 0.5415)을 달 기록하며, 더 작은 모델이나 한국어 최적화 모델에 비해 우수한 다국어 강건성과 인용 품질을 입증했습니다.
• 어블레이션 연구 (쿼리 포트폴리오):
  • 전체 구성(Q+S+F+G)이 모든 지표에서 가장 좋은 결과를 냈습니다.
  • Q (Query-expansion) 블록을 제거했을 때 성능 저하가 가장 컸으며, 이는 의미적 확장의 결정적인 역할을 강조합니다.
  • S (Synonym-robust) 블록을 제거했을 때는 품질에 미치는 영향이 가장 적었으나 실행 시간은 개선되었는데, 이는 미미한 재현도 이득과 지연 시간 사이의 트레이드오프를 시사합니다.
• 사례 연구:
  • 성공 사례: 시스템은 당뇨병 진단 쿼리에 대해 여러 인용으로부터 정보를 성공적으로 합성하였으며, 검증 가능한 사실(인용됨)과 일반적인 서술 문장(인용되지 않음)을 명확히 구분하여 환각 현상을 효과적으로 방지했습니다.
  • 오류 사례: 시스템은 복잡하고 다면적인 쿼리(예: HMM/NN 통합 전략)에 대해 어려움을 겪었으며, 정적인 Top-10 증거 풀과 키워드 편향으로 인해 모든 구조적 요구 사항을 충족하지 못했습니다.

4. 의의 및 주장

본 논문은 MPR-CiteG가 다음과 같은 측면에서 신뢰할 수 있는 LLM을 구축하는 중요한 단계라고 주장합니다:

• 환각 완화: 모든 사실적 주장을 검색된 증거에 엄격히 근거하게 하고, 일반적인 진술과 인용된 사실을 명시적으로 분리함으로써 이를 달성합니다.
• 효율성 최적목화: 고정된 GPU 예산과 공공 API라는 제약 조건을 정밀도를 희생하지 않으면서 재현율을 극대화하는 구조화된 다중 포트폴리오 검색 전략으로 전환함으로써 달성합니다.
• 검증 가능성 보장: 사용자가 모든 주장을 특정 소스 문서로 추적할 수 있도록 투명한 증거 체인을 제공하는 CiteG 모듈을 통해 달성합니다.

저자들은 정적인 파이프라인이 표준적인 쿼리에는 잘 작동하지만, 문서 풀의 편향 없이 복잡하고 다면적인 정보 요구를 처리하기 위해서는 향-후 동적 메커즘(예: 검색과 추론의 인터리빙)으로 진화해야 한다고 결론지었습니다. 이 프레임워크는 ScienceON AI 챌린지에서 2위를 차지하며, 검색 효율성과 인용 기반 생성 사이의 균형을 맞추는 능력을 입증했습니다.