💬 NLP

RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation

RaguTeam 의 SemEval-2026 태스크 8 우승 시스템은 GPT-4o-mini 판정자가 최상의 응답을 선택하도록 조정된 7 개의 이질적 LLM 앙상블을 활용하여 가장 강력한 베이스라인을 크게 능가하며 1 위를 차지했고, 동시에 비용 효율적인 Meno-Lite-0.1 모델을 도입하고 태스크의 주석 한계를 비판했습니다.

원저자: Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

게시일 2026-05-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문 설명을 일상적인 언어와 창의적인 비유를 섞어 번역한 것입니다.

전체적인 그림: AI 를 위한 '재능 쇼'

당신이 까다로운 질문에 대한 최선의 답을 찾기 위해 재능 쇼를 주최한다고 상상해 보세요. 당신은 각자 독특한 스타일, 강점, 약점을 가진 일곱 명의 심사위원 (AI 모델) 패널을 보유하고 있습니다. 어떤 이들은 거대하고 초지능적인 거인이고, 다른 이들은 작고 전문화된 전문가들입니다.

노보시비르스크 주립대학교의 RaguTeam 팀은 단순히 '가장 똑똑한' 심사위원을 선택하지 않았습니다. 대신, 일곱 명의 심사위원 모두 답을 작성하게 하고, 그 다음 수석 심사위원(GPT-4o-mini 라는 경량 AI) 이 모든 일곱 개의 답을 읽어 해당 질문에 대한 가장 좋은 답 하나를 선택하는 시스템을 구축했습니다.

이 시스템은 AI 가 긴 대화 중에도 오직 제공된 문서만을 기반으로 질문에 얼마나 잘 답할 수 있는지 테스트하는 SemEval-2026 Task 8(구체적으로 Task B) 대회에 출전하여 26 개 팀 중 1 위를 차지했습니다.

문제: '할루시네이션' 함정

실제 세계에서는 AI 가 종종 지나치게 도움이 되려고 합니다. 답을 모를 경우, 자신감 있게 들리게 하기 위해 무언가를 지어낼 수 있습니다 (할루시네이션). 이는 AI 가 사실 확인자 역할을 해야 할 때 위험합니다.

대회 과제는 다음과 같은 이유로 까다로웠습니다:

다중 턴 대화: AI 는 채팅에서 이전에 언급된 내용을 기억해야 합니다.
엄격한 규칙: AI 는 제공된 '참조 문단'만을 사용해야 합니다 (닫힌 책 시험과 같습니다).
'모릅니다' 테스트: 때로는 문서에 답이 없는 경우가 있습니다. AI 는 추측하기보다 "모릅니다"라고 말해야 합니다.

그들이 이긴 방법: '스위스 아미 나이프' 전략

1. 다양한 팀 (앙상블)

그들은 하나의 슈퍼컴퓨터에 의존하는 대신 일곱 개의 서로 다른 AI 모델 팀을 활용했습니다.

거인들: 백과사전 같은 거대 모델들 (3,570 억 개의 파라미터를 가진 GLM-4.6 등) 을 포함했습니다.
전문가들: Meno-Lite-0.1이라는 맞춤형 소형 모델을 포함했습니다. 이는 '창작 작가'가 아니라 '사실 확인자'로 특별히 훈련된 70 억 파라미터 모델이라고 생각하세요. 이는 정보가 누락되었을 때 매우 잘 찾아내는 작고 민첩한 탐정 같은 것입니다.
혼합: 그들은 구글, 메타, 마이크로소프트 등 다양한 회사의 모델과 다양한 크기의 모델을 사용했습니다. 한 모델이 실수를 하면 다른 모델이 올바르게 답할 수 있다는 아이디어입니다.

2. 두 가지 프롬프트 스타일

그들은 모델들에게 단순히 같은 방식으로 질문하지 않았습니다. 두 가지 다른 '지시 스타일'을 사용했습니다:

스타일 A (규칙집): AI 에게 제공된 텍스트에만 엄격하게 따르도록 하는 엄격한 규칙 세트입니다.
스타일 B (예시): 문서가 없거나 대화 기록이 비어있는 경우와 같이 까다로운 상황을 처리하는 방법을 몇 가지 예시로 AI 에게 제시했습니다. 이는 실제 시험 전에 학생에게 연습 문제를 보여주는 것과 같습니다.

3. 수석 심사위원 (선택)

이것이 비결입니다. 모든 질문에 대해 일곱 개의 모델이 모두 답을 생성했습니다. 그런 다음 수석 심사위원(GPT-4o-mini) 이 모든 답을 읽고 질문했습니다: "이 답들 중 어떤 것이 문서에 가장 충실합니까?"

문서가 비어 있으면 시스템은 자동으로 "모릅니다"라고 답했습니다 (안전하고 완벽한 수입니다).
문서에 답이 있으면, 수석 심사위원은 사실을 지어내지 않은 답을 선택했습니다.

주요 발견 (아하! 순간들)

다양성 > 크기: 우승 팀은 가장 크고 비싼 모델 하나만 갖는 것보다 다양한 모델의 혼합이 더 낫다는 것을 증명했습니다. '팀'은 단일 최강 거대 모델 (GLM-4.6) 을 압도적인 차이로 이겼습니다. 더 넓은 범위를 커버했기 때문에 릴레이 팀이 개인 주자를 이긴 것과 같습니다.
예시가 규칙을 이긴다: '모릅니다' 상황을 처리하는 방법에 대한 구체적인 예시 (퓨샷 프롬프팅) 를 AI 에게 제시했을 때, 추상적인 규칙만 제시했을 때보다 훨씬 더 잘 수행했습니다. 이는 아이에게 "착하게 행동해"라고 말하는 대신, 누군가가 나누는 모습을 보여주는 비디오로 가르치는 것과 같습니다.
소형 모델의 역할: 맞춤형 7B 모델 (Meno-Lite-0.1) 은 가장 많은 표를 얻지는 못했지만, 선택되었을 때는 종종 완벽한 답이었습니다. 이는 특정 상황에서 구원자가 되는 '전문가'였으며, 모든 작업에 거대한 두뇌가 항상 필요한 것은 아님을 증명했습니다.

비판: 게임이 약간 조작되었습니다

저자들은 또한 대회 자체의 결함도 지적했습니다.

'빈 상자' 단축키: 테스트에서 질문이 '답할 수 없는' 경우, 제공된 문서는 완전히 비어 있었습니다. 이는 AI 가 이기기 너무 쉬웠습니다. 단순히 '빈 상자'를 감지하고 "모릅니다"라고 말하면 되었기 때문입니다.
실생활은 더 어렵다: 실제 세계에서는 답할 수 없는 질문은 보통 관련 없는 문서 (방해 요소) 와 함께 제공됩니다. 저자들은 향후 테스트에는 AI 가 더 열심히 일하고 단순히 빈 공간을 찾는 것이 아니라 실제로 텍스트를 이해하는지 증명하기 위해 이러한 '방해 요소'를 포함해야 한다고 주장합니다.

요약

RaguTeam 은 AI 생성을 재능 쇼처럼 취급함으로써 우승했습니다. 그들은 다양한 캐릭터 (서로 다른 AI 모델) 를 모으고, 다른 준비 방법 (프롬프트) 을 제공하며, 매 라운드마다 승자를 선택할 똑같은 심판 (수석 심사위원) 을 고용했습니다. 그들은 잘 조율된 다양한 AI 팀이 혼자 일하는 어떤 단일 AI 보다 더 똑똑하고 신뢰할 수 있음을 보여주었습니다.

기술 요약: SemEval-2026 태스크 8 에서의 RaguTeam

문제 정의

본 논문은 검색 증강 생성 (RAG) 환경에서 신뢰할 수 있는 다회차 응답 생성에 초점을 맞춘 SemEval-2026 태스크 8(MTRAGEval), 특히 태스크 B를 다룹니다. 핵심 과제는 제공된 참조 단락에 엄격히 기반하여 다회차 대화 내 최종 사용자 쿼리에 대한 응답을 생성하는 것입니다.

이 태스크는 시스템이 다음과 같은 여러 복잡한 제약 조건을 처리해야 함을 요구합니다:

맥락 통합: 대화 기록과 검색된 문서를 결합.
신뢰성 (Faithfulness): 모든 주장이 제공된 증거에 의해 뒷받침되도록 보장하고, 환각 현상이나 매개변수적 세계 지식에 의존하지 않도록 함.
거부 (Abstention): 답변할 수 없거나 불충분하게 명시된 질문을 정확히 식별하고 답변을 거절함.
다회차 일관성: 코어퍼런스 (coreferences) 를 해결하고 회차 간 사용자 의도를 추적.

평가 지표는 세 가지 점수의 **조건부 조화 평균 (Conditioned Harmonic Mean, HM3)**입니다: $RB_{alg}$ (BERTScore Recall, BERT-K-Precision, ROUGE-L), $RB_{llm}$ (LLM-심판 점수), 그리고 $RL_F$ (참조 없는 신뢰성). "답변 불가" 인스턴스를 처리하는 것이 핵심 요소이며, 시스템은 높은 점수를 얻기 위해 답변을 거부해야 합니다.

방법론

RaguTeam 시스템은 이질적 앙상블 (heterogeneous ensemble) 접근법과 심판 기반 선택 (judge-based selection) 메커니즘을 결합합니다. 파이프라인은 세 단계로 구성됩니다:

1. 프롬프트 엔지니어링 전략

팀은 후보 다양성을 극대화하기 위해 두 가지 다른 프롬프트 전략을 활용했습니다:

시스템 프롬프트만 (그룹 1): LLM 기반 절차 (Gemini 사용) 를 통해 생성된 점진적으로 정제된 시스템 프롬프트 ( $P$ ) 입니다. 이 프롬프트는 엄격한 맥락 준수, 추출적 표현, 비인격화된 종합, 그리고 답변 불가 질문에 대한 명시적 거부를 강조합니다.
퓨샷 (Few-Shot) 전략 (그룹 2): 카테고리 인식 퓨샷 예제가 포함된 확장된 프롬프트입니다. 인스턴스는 맥락 가용성에 따라 세 가지 카테고리로 클러스터링되었습니다: (1) 전체 맥락, (2) 빈 맥락 (답변 불가), (3) 빈 기록 (첫 번째 회차). 각 카테고리에서 메도이드 (Medoids) 가 선택되어 강력한 행동 시연을 제공했습니다.

2. 이질적 앙상블 구성

시스템은 모델 패밀리, 규모, 제공업체 간의 상호 보완적 실패 모드를 활용하기 위해 7 개의 다양한 LLM에서 후보를 생성합니다:

그룹 1 (시스템 프롬프트): Gemini-3-Pro-Preview, GLM-4.6, Llama-3.3-70B-Instruct, Qwen3-235B-A22B-Instruct-2507.
그룹 2 (퓨샷): Claude 4.5 Haiku, Qwen2.5-32B-Instruct, Meno-Lite-0.1.
- Meno-Lite-0.1은 저자들이 소개한 7B 모델로, Qwen2.5-7B-Instruct 에서 파생되었습니다. 이 모델은 러시아어 - 영어 교육 데이터에 대한 지속적 사전 학습과 추출, 멀티홉 QA, RAG 지향적 지시 따르기를 위한 지도 미세 조정을 거쳤습니다.

3. 심판 기반 선택

각 인스턴스마다 경량 GPT-4o-mini 모델이 심판으로 작용합니다. 이 모델은 제공된 단락에 의해 주장이 뒷받침되는지 확인하여 모든 7 개 후보 응답의 신뢰성을 평가하고 0 에서 1 사이의 점수를 부여합니다. 가장 높은 점수를 받은 후보가 선택됩니다.

후처리: 참조 맥락이 빈 인스턴스의 경우, 시스템은 생성을 우회하고 신뢰할 수 있는 거부를 보장하기 위해 고정된 "I don't have an answer(답변이 없습니다)" 응답을 출력합니다.

주요 기여

심판 선택 앙상블: 두 가지 프롬프트 전략을 가진 7 개 LLM 을 결합하고 GPT-4o-mini 심판이 선택한 시스템으로, 조건부 HM3 0.7827을 달성했습니다.
다양성 제거 실험 (Ablations): 모델 패밀리, 규모, 프롬프트 전략의 다양성이 단일 모델보다 일관된 개선을 가져온다는 증명.
Meno-Lite-0.1: 비용 - 성능 트레이드오프가 강력한 7B 도메인 적응 모델 도입으로, 답변 가능 인스턴스에서 HM3 0.681 을 달성했으며, 답변 불가 인스턴스에서 더 큰 베이스라인보다 우수한 거부 능력을 보여주었습니다.
벤치마크 분석: "타겟 누출 (target leakage)"과 주석 간극과 같은 한계를 강조하는 MTRAGEval 에 대한 비판적 검토.

결과

시스템은 SemEval-2026 태스크 8 에서 26 개 팀 중 1 위를 차지했습니다.

성능: 조건부 HM3 0.7827을 달성하여 가장 강력한 베이스라인 (gpt-oss-120b, 0.6390) 보다 절대적으로 +0.1437 점 (상대적으로 +22.5%) 크게 우세했습니다.
앙상블 vs 단일 모델: 앙상블 (0.783) 이 가장 우수한 개별 모델인 GLM-4.6(0.748) 을 능가하여, 심판 기반 선택이 raw 모델 규모 이상으로 가치를 더한다는 것을 확인시켰습니다.
제거 실험 통찰:
- 다양성: 앙상블에서 무작위 선택이 대부분의 개별 모델을 능가하여 후보 다양성의 가치를 입증했습니다.
- 프롬프팅: 카테고리 인식 예제를 사용한 퓨샷 프롬프팅이 점진적으로 정제된 시스템 프롬프트보다 우수했으며, 특히 불충분하게 명시된 질문에서 (+3.7%p 개선) 두드러졌습니다.
- Meno-Lite-0.1: 심판에 의해 거의 선택되지 않았음 (424 인스턴스 중 2 개) 에도 고품질 니치 선택을 제공했으며, 답변 불가 질문에서 강력한 단독 성능을 보였습니다 (Qwen2.5-32B 의 0.24 대비 IDK 비율 0.54).

중요성과 주장

논문은 결과에서 도출된 세 가지 주요 통찰을 제시합니다:

규모보다 다양성: 작고 큰 모델의 이질적 앙상블이 기반 생성 (grounded generation) 에서 가장 큰 단일 모델 (예: 357B GLM-4.6) 을 능가할 수 있으며, 매개변수 수보다 상호 보완적 실패 모드가 더 중요함을 시사합니다.
구체적 시연: 추상적 시스템 지시보다 카테고리 인식 퓨샷 예제가 더 효과적이며, 특히 불충분하게 명시된 질문과 같은 엣지 케이스 처리에 유용합니다.
신뢰성 vs 실용적 적절성: 신뢰성은 필요하지만 실용적 적절성을 위한 충분 조건은 아닙니다. 앙상블이 GLM-4.6 보다 불충분하게 명시된 질문에서 성적이 낮았으며, 이는 기반과 완전성 사이의 균형을 맞추는 다목적 선택이 필요함을 나타냅니다.

저자들은 또한 계산 비용, 순차적 생성/심판으로 인한 지연, 그리고 특정 심판 모델 (GPT-4o-mini) 에 대한 의존성 등 시스템의 한계를 지적합니다. 그들은 향후 벤치마크는 답변 불가 질문을 위한 방해 문단 (distractor passages) 을 포함하여 사소한 단축 경로를 방지하고, 참조 없는 지표 계산을 평가 단계로 제한하여 누출을 방지해야 한다고 결론지었습니다.