NightFeats @ MMU-RAGent NeurIPS 2025: A Context-Optimized Multi-Agent RAG System for the Text-to-Text Track

기술 요약: NightFeats – 컨텍스트 최적화 멀티 에이전트 RAG 시스템

문제 정의
본 논문은 기존의 검색 증강 생성(RAG) 파이프라인이 가진 세 가지 구조적 한계를 다룹니다:

1. 검색 근시안 및 멀티홉 취약성 (Retrieval Myopia and Multi-Hop Brittleness): 기존 시스템은 복잡한 추론을 위해 인과적으로 관련 있는 정보를 사슬처럼 연결하는 데 종종 실패하며, 이는 얕은 도메인 노출과 환각된 결론으로 이어집니다.
2. 출처 드리프트 및 상태 붕괴 (Provenance Drift and State Collapse): 반복적인 추론 과정에서 검증된 사실이 빈번하게 덮어씌워지거나, 상충하는 증거가 조용히 병합되며, 출처 속성이 소실되어 추적 가능성이 저해됩니다.
3. 확장성 및 도메인 적응 병목 현상 (Scalability and Domain-Adaptation Bottlenecks): 단일 구조(Monolithic) 파이프라인은 이질적인 소스, 시간적 변화, 도메인 변화에 대응하기 어려우며, 원칙적인 폴백(fallback) 메커니즘 없이는 신뢰도가 저하됩니다.

핵심 과제는 검증 가능한 증거를 검색하고, 사실적 주장을 추출하며, 모순을 해결하고, 시간적 관련성과 사실적 엄밀성을 유지하면서 일관되고 완전히 인용된 답변을 구성하는 멀티 에이전트 워크플로우를 구축하는 것입니다.

방법론
NightFeats는 OpenAI Agents SDK와 GPT-5를 사용하여 구현된 구조화된 멀티 에이전트 시스템으로, 명시적인 중간 표현(intermediate representations)과 핸드오프 계약(handoff contracts)에 의해 제어되는 세 가지 협력 단계로 지식 합성을 분해합니다.

1. ResearchAgent (검색 및 증거 구축):

   • 적응형 라우팅 (Adaptive Routing): 최신(Recent) 모드(신선도 필터링이 적용된 Brave Search API), 역사적(Historical) 모드(기초 주제를 위한 FineWeb 코퍼스), 또는 직접 답변(Direct-answer) 모드(모호하지 않은 질의에 대해 검색을 건너뜀) 사이를 동적으로 선택합니다.
   • 7단계 파이프라인: 쿼리 확장(1~3개의 하위 쿼리), Jina Reader를 통한 검색, 계층적 시맨틱 청킹(700 토큰, 100 오버랩), 그리고 text-embedding-3-small을 이용한 임베딩을 포함합니다.
   • 시맨틱-시간적 재순위화 (Temporal-Semantic Reranking): 시맨틱 관련도($s_i$)와 연령 기반 감쇠($1/(1 + d_i/365)$)의 균형을 맞추기 위해 융합 점수 $s_i\_tilde = (1 - w) * s_i + w * 1/(1 + d_i/365)$ (단, $w=0.3$)를 사용합니다.
   • 적응형 필터링 (Adaptive Filtering): 증거의 다양성을 보장하기 위해 동적 컷오프 임계값($\tau = \max(\tau_{min}, \mu - \alpha * \sigma)$)과 중복 제거(코사인 유사도 > 0.85)를 적용합니다.

2. GeneratorAgent (큐레이션 및 화해):

   • 원자적이고 인용된 사실들을 추출하고 이를 클러스터링하여 중복과 모순을 탐지합니다.
   • 모순 처리 (Contradiction Handling): 모순을 세 가지 심각도 수준으로 분류합니다. 경미한 문제는 사실 가중치 부여를 통해 해결하며, 중요하거나 치명적인 모순은 전담 Fact 및 Reconciliation 하위 에이전트에 의한 표적화된 재검색을 트리거합니다.
   • 제한된 반복 (Bounded Iteration): 재귀적 드리프트를 방지하기 위해 정제 루프를 두 번의 반복으로 제한하여 검증된 사실 집합을 출력합니다.

3. WriterAgent (증거 기반 구성):

   • 큐레이션된 사실들을 산문 형태로 합성하며, 모든 문장에는 명시적이고 정규화된 인라인 인용이 포함됩니다.
   • 일대일 출처를 보존하는 참조 목록을 생성하여, 출력이 검색된 증거와 엄격하게 일치하는 검증 가능한 서사가 되도록 보장합니다.

주요 기여
본 논문은 세 가지 주요 아키텍처적 기여를 제안합니다:

1. 구조화된 중간 표현 (Structured Intermediate Representations): 각 파이프라인 단계는 출처 메타데이터, 모순 주석, 정규화된 인용을 포함하는 표준화된 데이터 모델을 출력하여, 추론 과정을 검사 및 감사 가능하게 만듭니다.
2. 하이브리드 시맨틱-시간적 검색 (Hybrid Temporal-Semantic Retrieval): 주제적 정확성과 시간적 신선도를 유지하기 위해 시맨틱 관련도와 연령 인식 감쇠 점수 및 적응형 컷오프 필터링을 융합합니다.
3. 제한된 반복적 큐레이션 (Bounded Iterative Curation): 고위험 모순에 대해 통제된 정제 루프(최대 2회 반복)를 적용하여, 무제한 반복으로 인한 지연이나 드리프트 없이 사실적 일관성을 확보합니다.

결과
NightFeats는 MMU-RAGent NeurIPS 2025 경진대회에서 자동화된 메트릭, LLM-as-a-Judge 평가, 인간 Likert 평점, 그리고 RAG-Arena 플랫폼에서의 라이브 쌍체 선호도(pairwise preferences)를 통해 독점적 베이스라인(Claude-SonnetV2 및 Nova-Pro)과 비교 평가되었습니다.

• 자동화된 메트릭: NightFeats는 베이스라인(0.181–0.200)에 비해 ROUGE-L(0.159) 점수가 낮게 나타났습니다. 저자들은 이를 명시적인 숫자 인용을 포함하는 구조적 페널티 때문이라고 설명하며, 이는 인용 주석이 없는 참조 답변과의 어휘적 중첩을 감소시킵니다. BERTScore는 대등한 수준(0.840 vs. 0.850–0.851)을 유지했습니다.
• 인간 및 동적 평가: NightFeats는 텍스트-투-텍스트 트랙에서 **최우수 동적 평가(Best Dynamic Evaluation)**를 수상했습니다. 실제 사용자가 선호하는 응답을 선택하는 라이브 RAG-Arena 플랫폼에서 NightFeats는 베이스라인보다 우수한 성능을 보였습니다. 이는 사실적 추적 가능성, 시간적 최신성, 그리고 제한된 화해에 대한 집중이 어휘적 유사성을 최적화하는 시스템보다 실제 사용자 선호도에 더 부합함을 나타냅니다.

의의 및 주장
본 논문은 NightFeats를 단일 메트릭에 대한 최첨단(SOTA) 주장이라기보다, 멀티 에이전트 RAG 추론을 위한 재현 가능하고 모듈화된 아키텍처로 포지셔닝합니다. 그 의의는 다음과 같습니다:

• 아키텍처 투명성: 검증 가능한 증거 근거와 인용 추적성을 중심으로 구축된 시스템은, 좁은 의미의 자동 유사도 메트릭을 최적화하는 시스템보다 실제 사용자 선호도와 더 잘 일치합니다.
• 원칙적 분해: 지식 합성을 검색, 큐레이션, 구성 단계로 나누고 명시적인 핸드오피 계약을 적용함으로써 단일 구조 RAG 파이프라인의 구조적 한계를 해결합니다.
• 평가 패러다임의 전환: 결과는 인용의 품질과 출처의 신뢰성, 사실적 근거를 명시적으로 보상하는 대신, 이를 달성하기 위해 필요한 구조적 산물(인용)을 페널티로 부과하는 기존 평가 프레임워크의 변화 필요성을 입증합니다.

저자들은 반복적 큐레이션 및 외부 API 호출로 인해 발생하는 프로덕션 지연 시간(질의당 1015초, 개발 시 68초 대비)을 한계점으로 언급했습니다. 향후 연구로는 병렬화를 통한 지연 시간 해결과 인용 품질을 페널티가 아닌 보상의 대상으로 삼는 메트릭 개발이 제안되었습니다.