RMIT-ADM+S: NeurIPS 2025 MMU-RAG 경진대회 우승 시스템 (R2RAG) 기술 요약

본 논문은 NeurIPS 2025 MMU-RAG 경진대회의 텍스트 - 텍스트 (Text-to-Text) 트랙에서 우승한 R2RAG (Routing-to-RAG) 시스템에 대한 기술 보고입니다. 이 시스템은 RMIT University 의 연구팀 (ADM+S) 이 개발한 것으로, 제한된 하드웨어 자원 (일반 소비자용 GPU) 에서 복잡한 연구 작업을 수행하면서도 동적 평가 (Dynamic Evaluation) 에서 탁월한 성능을 입증했습니다.

1. 문제 정의 (Problem)

기존의 검색 증강 생성 (RAG) 시스템은 대부분 정적 (Static) 인 평가 환경에 최적화되어 있으며, 복잡한 사용자 질의에 대해 유연하게 대응하지 못하는 경우가 많습니다. 특히 MMU-RAG 와 같은 실시간 동적 평가 환경에서는 다음과 같은 도전 과제가 존재합니다:

• 질의 복잡성 차이: 단순한 사실 확인 질문과 다단계 추론이 필요한 복잡한 연구 질문은 서로 다른 검색 전략이 필요합니다.
• 자원 제약: 고성능 대형 언어 모델 (LLM) 을 실행하기 위한 고사양 GPU 가 아닌, 단일 소비자 등급 GPU 에서 효율적으로 작동해야 합니다.
• 정량적 지표의 한계: 자동화된 정량적 지표만으로는 사용자의 실제 만족도, 추론의 깊이, 답변의 구조적 적절성 등을 충분히 평가하기 어렵습니다.

2. 방법론 (Methodology)

R2RAG 는 질의의 복잡성을 기반으로 검색 전략을 동적으로 분기하는 라우팅 아키텍처를 채택했습니다. 전체 시스템은 다음과 같은 핵심 구성 요소로 이루어집니다.

2.1 질의 분류기 (Query Classifier)

입력된 질의를 '단순 (Simple)' 또는 **'복잡 (Complex)'**으로 분류합니다.

• 분류 기준: 단순 질의는 단일 검색으로 답변 가능한 사실 기반 질문이고, 복잡 질의는 다단계 추론이나 여러 관점의 종합이 필요한 질문으로 정의됩니다.
• 모델 선택: 로지스틱 회귀 (LR) 와 LLM 기반 분류기를 비교 검토한 결과, **LLM 기반 분류기 (Qwen3-4B)**를 선택했습니다. LR 보다 시맨틱 이해도가 높고, 분포 밖 (Out-of-Distribution) 질의에 강하며, 프롬프트 수정을 통해 분류 기준을 유연하게 조정할 수 있기 때문입니다.

2.2 라우팅 전략 (Routing Strategy)

분류 결과에 따라 두 가지 파이프라인 중 하나로 라우팅됩니다.

• 경로 A: Vanilla RAG (단순 질의용)

  • 프로세스: 단일 회수 검색 (Single-pass) 으로 구성됩니다.
  • 작동 방식:
    1. 질의 변형: Qwen3-4B 를 사용하여 원본 질의를 3 가지 변형 (Query Variants) 으로 생성하여 검색 커버리지를 높입니다.
    2. 검색 및 재랭킹: ClueWeb22-A 인덱스에서 병렬 검색 후, Qwen3-Reranker-0.6B 모델을 사용하여 관련 문서를 재랭킹합니다.
    3. 답변 생성: 상위 문서 (최대 5k 단어) 를 기반으로 Qwen3-4B 가 답변을 생성하며, 출처를 [ID] 형식으로 인용합니다.

• 경로 B: Vanilla Agent (복잡 질의용)

  • 프로세스: 반복적 검색 루프 (Iterative Search Loop) 를 수행하여 정보를 누적합니다.
  • 작동 방식:
    1. 반복 검색: 최대 5 회까지 질의 변형 (최대 5 개) 을 생성하고 검색을 반복합니다.
    2. 상태 유지: 이전 질의 (중복 방지) 와 유용한 문서 요약 정보를 유지하며 다음 검색을 안내합니다.
    3. 문서 검토 (Document Review): 각 반복 단계 후 Qwen3-4B 가 정보의 충분성 (Coverage) 을 평가합니다.
       • 평가 기준: 다면적 관점 포함 여부, 하위 질문 해결 여부, 논쟁적 주제의 균형 등.
       • 종료 조건: 토큰 수 (20k 초과), 정보 커버리지 (충분함), 또는 최대 반복 횟수 (5 회) 중 하나를 만족하면 루프 종료.
    4. 정보 갭 분석: 정보가 부족할 경우, LLM 이 새로운 질의를 생성하여 정보 격차를 메웁니다.

2.3 모델 및 인프라

• 모델: Qwen3-4B (추론 및 생성용) 와 Qwen3-Reranker-0.6B (재랭킹용) 를 사용했습니다.
• 최적화: 양자화 (Quantization) 가 장문 컨텍스트 추론 성능을 저하시킬 수 있다는 기존 연구에 따라, 4B 모델은 비양자화 (Unquantized) 상태로 실행되었습니다.
• 하드웨어: 단일 소비자 등급 GPU 에서 vLLM 을 통해 효율적으로 추론이 가능하도록 설계되었습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

• Best Dynamic Evaluation Award 수상: 오픈소스 카테고리에서 동적 평가 (RAG-Arena) 부문 최고 성능을 기록하여 최우수 동적 평가상을 수상했습니다.
• 자원 효율성: 고사양 GPU 없이도 단일 소비자용 GPU 에서 복잡한 연구 작업을 수행할 수 있음을 입증했습니다.
• 정성적 평가의 중요성 부각: 개발 과정에서 연구팀 내부 및 CHAI 센터 (RMIT) 의 전문가 20 명을 대상으로 한 정성적 포커스 그룹 평가를 수행했습니다.
  • 단순 질의에는 간결한 Vanilla RAG 가, 복잡한 질의에는 상세한 Vanilla Agent 가 선호됨을 발견했습니다.
  • 정량적 지표만으로는 포착되지 않는 사용자 선호도 (톤, 구조, 상세도 등) 를 반영하여 시스템 프롬프트와 구성 요소를 정교하게 조정했습니다.
• G-RAG 시스템의 확장: SIGIR 2025 LiveRAG 챌린지 우승 시스템 (G-RAG) 을 기반으로 하되, 질의 복잡성 라우팅과 정성적 피드백 기반의 개선 모듈을 추가하여 성능을 극대화했습니다.

4. 의의 (Significance)

이 연구는 RAG 시스템의 미래 방향성에 중요한 시사점을 제공합니다.

1. 적응형 RAG 아키텍처: 모든 질의에 동일한 전략을 적용하는 것이 아니라, 질의의 복잡성에 따라 동적으로 전략을 변경하는 것이 효율성과 성능을 동시에 잡는 핵심임을 증명했습니다.
2. 소규모 모델의 가능성: 거대 모델이 아닌, 잘 설계된 소형 모델 (4B 파라미터) 과 효율적인 파이프라인을 결합하면 제한된 자원 환경에서도 경쟁력 있는 RAG 시스템을 구축할 수 있음을 보여줍니다.
3. 평가 방법론의 전환: 자동화된 정량적 지표뿐만 아니라, 사용자의 실제 경험과 정성적 피드백을 시스템 개발 및 개선 과정에 통합하는 것이 성공적인 RAG 시스템 구축에 필수적임을 강조했습니다.

결론적으로 R2RAG 는 기술적 설계의 정교함과 철저한 사용자 중심 평가의 결합을 통해, 제한된 하드웨어 환경에서도 높은 성능을 발휘하는 차세대 RAG 시스템의 모범 사례를 제시했습니다.