uva-irlab-conv at SemEval-2026 Task 8: Multi-Turn RAG with Learned Sparse Retrieval and Listwise Reranking

기술 요약: SemEval-2026 Task 8의 uva-irlab-conv

문제 정의
본 논문은 대화형 검색 및 질의응답(QA) 시스템 내에서의 멀티턴 검색 증강 생성(Multi-Turn RAG)의 과제를 다룹니다. 구체적으로, 금융(FiQA), 클라우드 문서, 정부, 위키피디아의 네 가지 서로 다른 도메인에 걸쳐 시스템을 평가하는 SemEval-2026 Task 8을 대상으로 합니다. 이 과제는 주제 전환, 모호성, 노이즈가 있는 과거 정보 등 진화하는 대화 맥락을 처리해야 하는 요구사항을 통해 상당한 복잡성을 도입합니다. 평가의 핵심 요소는 문서 집합에 충분한 근거가 없어 답변이 불가능하거나 불충분한 쿼리를 인식하고 적절히 처리하는 능력이며, 이는 시스템이 환각을 일으키는 대신 불확실성을 신호로 보내는 것을 요구합니다.

방법론
저자들은 검색 및 생성 과정 전반에 걸쳐 대화 맥락을 통합하도록 설계된 다단계 캐스케이딩(cascading) RAG 파이프라인을 제안합니다. 시스템은 다음과 같은 순차적 단계를 통해 작동합니다:

1. 대화형 쿼리 재작성(Conversational Query Rewriting): 시스템은 먼저 맥락 의존적인 최종 사용자 발화를 독립형(standalone) 쿼리로 변환합니다. 이 단계에서는 대규모 언어 모델(LLM)을 사용하여 핵심 정보 요구를 보존하면서 대용어(anaphora)와 생략(ellipsis)을 해결함으로써, 표준 검색 모델과의 호환성을 보장합니다.
2. 학습된 희소 검색(Learned Sparse Retrieval, LSR): 재작성된 쿼리는 LLM 백본으로 학습된 학습된 희소 검색 모델인 LION-SP-8B에 의해 처리됩니다. 이 모델은 신경망 의미 표현과 어휘적 희소성을 결합하여, 강력한 교차 도메인 일반화와 효율적인 역색인 검색을 가능하게 합니다. 이 단계는 전체 컬렉션에서 후보 집합을 상위 1,000개의 구절로 축소합니다.
3. 포인트와이즈 재순위화(Pointwise Reranking): 두 번째 단계에서는 Qwen3-Reranker-8B를 사용하여 포인트와이즈 재순위화를 수행하며, 이를 통해 후보 집합을 상위 20개의 구절로 정교화합니다.
4. 리스트와이즈 대화형 재순위화(Listwise Conversational Reranking): 재작성 과정에서 압축되었을 수 있는 대화 맥락을 다시 도입하기 위해, 시스템은 GPT-4.1을 사용하여 리스트와이즈 재순위화를 수행합니다. 이 단계는 전체 대화 이력을 조건으로 하여 상위 20개의 구절을 공동으로 비교 및 재정렬하여 최종 상위 10개를 선정함으로써 더욱 세밀한 근거 선택을 가능하게 합니다.
5. 응답 생성(Response Generation): 마지막으로, 상위 5개의 순위가 매겨진 구절이 제로샷 응답 생성을 위해 GPT-4.1에 입력됩니다. 모델은 선택된 근거와 전체 대화 이력을 모두 조건으로 하여 근거에 기반한 답변을 생성합니다.

이 파이프라인은 태스크별 미세 조정(fine-tuning)을 피하는 제로샷 전략으로 설계되었습니다. 검색 모델은 MSMARCO에서만 학습되었으며, 쿼리 재작성, 재순위화 및 생성은 사전 학습된 LLM에 의존합니다.

주요 결과
uva-irlab-conv로 제출된 시스템은 다음과 같은 결과를 달em했습니다:

• 검색 (Task A): 시스템은 공식 nDCG@5 점수 0.5475를 기록하며 38개 팀 중 2위를 차지했습니다. 절제 연구(ablation study) 결과, 주요 성능 향상은 LSR 단계와 초기 포인트와이즈 재순위화에서 발생했습니다. 리스트와이즈 재순위화 단계는 nDCG@5 및 nDCG@10에서 미미한 개선을 보였으나, nDCG@1(최상위 순위 정밀도)에서는 크게 향상시켰습니다. 성능은 도메인마다 차이가 있었는데, 금융(FiQA) 도메인이 가장 까다로웠고 위키피디아 기반 도메인이 가장 쉬운 것으로 나타났습니다.
• 생성 (Task B & C): 시스템은 오라클 설정(Task B)에서 26개 팀 중 23위, 표준 RAG 설정(Task C)에서 평가 지표의 조화 평균 기준 29개 팀 중 20위를 기록했습니다. 저자들은 낮은 생성 순위의 주된 원인을 답변 불가능한 시나리오에 대한 명시적 모델링의 부재로 돌렸습니다. 그러나 시스템은 특히 표준 RAG 설정에서 높은 **충실도(Faithfulness, RL_F, 0.8035)**를 보여주었으며, 이는 근거가 불충분할 때 시스템이 뒷받침되지 않은 정보를 환각하지 않았음을 나타냅니다.
• 상관관계: 답변 가능한 턴(turn)에 대해 검색 효과성과 응답 생성 품질 사이에 양의 상관관계(Pearson r=0.46)가 관찰되었습니다. 반대로, 충실도 지표는 검색 순위 품질과 상관관계가 없었으며, 이는 충실도가 검색 순위에 덜 의존하는 별개의 속성임을 시사합니다.

의의 및 주장
본 논문은 다단계 설계가 파이프라인 전반에 걸쳐 대화 맥락을 효과적으로 통합하여, 광범한 지도 학습 데이터나 태스크별 훈련 없이도 다양한 도메인에서 견고함을 개선한다고 주장합니다. 저자들은 강력한 검색 효과가 고품질 생성의 전제 조건임을 강조하며, 이는 두 요소 사이의 양의 상관관계를 통해 입증된다고 설명합니다.

또한, 본 논문은 시스템이 답변 불가능한 쿼리에 대해 명시적으로 표시하지 않기 때문에 부분적 또는 답변 불가능한 쿼리에 대한 참조 기반 지표 성능이 감소함에도 불구하고, 시스템이 일반적으로 뒷받침되지 않은 정보를 도입하지 않음으로써 "충실함"을 유지한다고 언급합니다. 저자들은 학습된 희소 검색과 LLM 기반 맥락 모델링을 결합한 자사의 경량 제로샷 전략이 대화형 검색을 위한 경쟁력 있고 효과적인 접근 방식임을 결론짓는 한편, 향-후 연구에서는 쿼리 분해 및 자기 성찰(self-reflection)을 포함하는 더 발전된 RAG 파이프라인을 탐구할 수 있음을 인정합니다.