💬 NLP

RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation

RaguTeam の SemEval-2026 タスク 8 における優勝システムは、GPT-4o-mini によるジャッジが最良の回答を選択するよう調整された 7 つの LLM の異種アンサンブルを採用し、最も強力なベースラインを大幅に上回ることで第 1 位を獲得するとともに、費用対効果の高い Meno-Lite-0.1 モデルを導入し、タスクのアノテーションの限界を批判しました。

原著者： Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

公開日 2026-05-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、この論文の説明を日常的な言葉で、いくつかの創造的な比喩を交えて翻訳したものです。

全体像：AI のための「タレントショー」

難しい質問に対する最良の答えを見つけるために、あなたがタレントショーを開催している状況を想像してください。あなたの手元には、それぞれ独自のスタイル、強み、弱みを持つ 7 人の審査員（AI モデル）がいます。中には巨大で超賢明な巨人もいれば、小さく専門的なエキスパートもいます。

ノボシビルスク州立大学のチーム、RaguTeamは、単に「最も賢い」審査員を選ぶだけではありませんでした。代わりに、7 人の審査員全員に答えを書かせ、その後、ヘッド審査員（GPT-4o-mini という軽量な AI）が 7 つの答えをすべて読み、その特定の質問に対して最も優れた 1 つを選び出すシステムを構築しました。

彼らはこのシステムを、AI が提供された文書のみに基づいて、長い会話の最中でもいかに質問に答えられるかをテストするSemEval-2026 Task 8（具体的には Task B）という大会に出場させました。彼らのシステムは、26 チーム中1 位を獲得しました。

問題点：「幻覚」の罠

現実世界では、AI はしばしばあまりにも親切すぎようとします。答えがわからない場合でも、自信ありげに聞こえるように何かを捏造（幻覚）してしまうのです。これは AI が事実確認役を務めるべき場合、危険です。

この大会の課題は、以下の点で難解でした。

多ターン会話: AI はチャットの前半で何と言われたかを記憶する必要があります。
厳格なルール: AI は提供された「参照パッセージ」のみを使用しなければなりません（閉じた本での試験のようなものです）。
「知らない」テスト: 文書に答えが含まれていない場合もあります。その際、AI は推測するのではなく、「知らない」と言うべきです。

彼らが勝った方法：「スイスアーミーナイフ」戦略

1. 多様なチーム（アンサンブル）

彼らは単一のスーパーコンピュータに頼るのではなく、7 つの異なる AI モデルからなるチームを使用しました。

巨人たち: GLM-4.6（3570 億のパラメータ）のような巨大モデルを含めました。これらは百科事典のようです。
専門家たち: Meno-Lite-0.1という、カスタム構築された小型モデルを含めました。これは 70 億パラメータのモデルですが、「クリエイティブな作家」ではなく「事実確認役」として特別にトレーニングされたものです。情報不足を見抜くのが非常に得意な、小回りの利く探偵のようなものです。
ミックス: Google、Meta、Microsoft などの異なる企業や、異なるサイズのモデルを使用しました。一つのモデルが間違っても、別のモデルが正解するかもしれないという考えです。

2. 2 つのプロンプトスタイル

彼らはモデルに同じように質問しただけではありませんでした。2 つの異なる「指示スタイル」を使用しました。

スタイル A（ルールブック）: AI に提供されたテキストのみに厳密に従うよう指示する、厳格なルールセットです。
スタイル B（例題）: 文書がない場合や会話履歴が空の場合など、厄介な状況への対処法を示すいくつかの例を AI に与えました。これは、本番前に学生に模擬試験を見せるようなものです。

3. ヘッド審査員（選別）

これが秘密の武器です。すべての質問について、7 つのモデルがすべて答えを生成しました。その後、ヘッド審査員（GPT-4o-mini）がそれらすべてを読み、「これらの答えの中で、どのものが文書に最も忠実か？」と問いました。

文書が空の場合、システムは自動的に「知らない」と答えました（安全で完璧な手です）。
文書に答えがある場合、ヘッド審査員は事実を捏造していないものを選びました。

主要な発見（「アハ！」の瞬間）

多様性 > サイズ: 優勝チームは、最も大きく高価なモデルを持つことよりも、異なるモデルの組み合わせを持つ方が優れていることを証明しました。「チーム」は、単一の最優秀な巨人モデル（GLM-4.6）を大幅な差で破りました。これは、より広い範囲をカバーするリレーチームが、一人のランナーを破るようなものです。
例題はルールに勝る: 「知らない」という状況への対処法を具体的な例（ファウショット・プロンプティング）として AI に与えた場合、抽象的なルールを与える場合よりもはるかに良いパフォーマンスを発揮しました。これは、子供に「優しくしなさい」と言うだけでなく、誰かが分け与える様子を動画で見せて教えるようなものです。
小型モデルの役割: カスタム 7B モデル（Meno-Lite-0.1）は最も多くの票を獲得したわけではありませんが、選ばれた際には、それが完璧な答えであることがよくありました。それはニッチな状況で劇的な活躍をする「専門家」であり、すべての仕事に巨大な頭脳が必要ではないことを証明しました。

批判：ゲームは少し不正だった

著者たちは、大会自体の欠陥も指摘しました。

「空の箱」の抜け道: テストでは、質問が「回答不能」である場合、提供された文書は完全に空でした。これにより、AI にとって勝利が容易すぎました。「空の箱」を検知して「知らない」と言うだけでよかったのです。
現実世界はもっと難しい: 現実世界では、回答不能な質問には通常、無関係な文書（ディストラクター）が伴います。著者たちは、将来のテストにはこれらの「ディストラクター」を含めるべきだと主張しています。そうすれば AI はより苦労して、単に空白を検知するのではなく、実際にテキストを理解していることを証明する必要があるからです。

まとめ

RaguTeam は、AI の生成をタレントショーのように扱うことで勝利しました。彼らは多様なキャラクター（異なる AI モデル）を集め、異なる準備方法（プロンプト）を与え、すべてのラウンドの勝者を選ぶ賢い審判（ヘッド審査員）を雇いました。彼らは、よく連携した多様な AI のチームが、単独で働くどの AI よりも賢く、信頼性が高いことを示しました。

技術的概要：SemEval-2026 タスク 8 における RaguTeam

問題定義

本論文は、検索拡張生成（RAG）環境における忠実なマルチターン応答生成に焦点を当てたSemEval-2026 タスク 8（MTRAGEval）、特にタスク Bを取り扱っています。核心的な課題は、マルチターン対話における最終的なユーザークエリに対する応答を、提供された参照パッセージに厳密に根拠を置いて生成することです。

このタスクでは、システムは以下の複雑な制約を navigated する必要があります：

文脈統合： 対話履歴と検索されたドキュメントを組み合わせる。
忠実性： 提供された証拠によってすべての主張が裏付けられていることを保証し、幻覚やパラメトリックな世界知識への依存を回避する。
棄権： 回答不能または不十分な指定の質問を正しく識別し、回答を拒否する。
マルチターン一貫性： 複数ターンにわたる照応解決とユーザー意図の追跡。

評価指標は、3 つのスコアの**条件付き調和平均（HM3）**です： $RB_{alg}$ （BERTScore Recall、BERT-K-Precision、ROUGE-L）、 $RB_{llm}$ （LLM ジャッジスコア）、および $RL_F$ （参照なし忠実性）。重要な要素は「回答不能」インスタンスの処理であり、システムは高いスコアを達成するために棄権する必要があります。

手法

RaguTeam システムは、ジャッジベースの選択メカニズムと組み合わせたヘテロジニアスアンサンブルアプローチを採用しています。パイプラインは 3 つの段階で構成されます：

1. プロンプトエンジニアリング戦略

チームは候補の多様性を最大化するために、2 つの異なるプロンプト戦略を利用しました：

システムプロンプトのみ（グループ 1）： LLM ベースの手順（Gemini 使用）によって生成された、反復的に洗練されたシステムプロンプト（ $P$ ）。このプロンプトは、厳密な文脈順守、抽出的な表現、非個人化された統合、および回答不能な質問に対する明示的な棄権を強調しています。
Few-Shot 戦略（グループ 2）： カテゴリ意識のある少数ショット例を含む拡張プロンプト。インスタンスは、文脈の可用性に基づいて 3 つのカテゴリにクラスタリングされました：(1) 完全な文脈、(2) 空の文脈（回答不能）、(3) 空の履歴（最初のターン）。各カテゴリからメドイドが選択され、堅牢な行動のデモンストレーションを提供しました。

2. ヘテロジニアスアンサンブルの構成

システムは、モデルファミリー、スケール、プロバイダーにわたる相補的な失敗モードを利用するために、7 つの多様な LLMから候補を生成します：

グループ 1（システムプロンプト）： Gemini-3-Pro-Preview、GLM-4.6、Llama-3.3-70B-Instruct、および Qwen3-235B-A22B-Instruct-2507。
グループ 2（Few-Shot）： Claude 4.5 Haiku、Qwen2.5-32B-Instruct、およびMeno-Lite-0.1。
- Meno-Lite-0.1 は著者によって導入された 7B モデルであり、Qwen2.5-7B-Instruct から派生しています。これはロシア語・英語の教育データによる継続的事前学習と、抽出、マルチホップ QA、および RAG 指向の指示追従のための教師あり微調整を経ています。

3. ジャッジベースの選択

各インスタンスに対して、軽量なGPT-4o-miniモデルがジャッジとして機能します。このモデルは、7 つの候補応答すべてを忠実性（主張が提供されたパッセージによって支持されているか確認）について評価し、0 から 1 までのスコアを割り当てます。最も高いスコアを持つ候補が選択されます。

ポストプロセッシング： 参照文脈が空のインスタンスの場合、システムは生成をバイパスし、信頼性の高い棄権を確保するために固定された「答えを持っていません」という応答を出力します。

主要な貢献

ジャッジ選択型アンサンブル： 2 つのプロンプト戦略を持つ 7 つの LLM を組み合わせ、GPT-4o-mini ジャッジによって選択されたシステム。条件付き HM3 で0.7827を達成しました。
多様性アブレーション： モデルファミリー、スケール、プロンプト戦略における多様性が、単一のモデルよりも一貫した改善をもたらすことの証明。
Meno-Lite-0.1： 回答可能なインスタンスで HM3 0.681 を達成し、回答不能なインスタンスではより大きなベースラインと比較して優れた棄権能力を示す、7B ドメイン適応モデルの導入。これは強力なコストパフォーマンスのトレードオフを実現しました。
ベンチマーク分析： 「ターゲットリーク」や注釈のギャップなどの限界を強調する MTRAGEval の批判的検討。

結果

本システムは、SemEval-2026 タスク 8 において26 チーム中 1 位となりました。

パフォーマンス： 条件付き HM3 で0.7827を達成し、最も強力なベースライン（gpt-oss-120b、0.6390）を絶対値で +0.1437 ポイント（相対的に +22.5%）上回りました。
アンサンブル対単一モデル： アンサンブル（0.783）は、最高の個別モデルである GLM-4.6（0.748）を上回り、ジャッジベースの選択が生のモデル規模以上の価値を追加することを確認しました。
アブレーションの知見：
- 多様性： アンサンブルからのランダム選択がほとんどの個別モデルを上回り、候補の多様性の価値を実証しました。
- プロンプティング： カテゴリ意識のある例を用いた Few-shot プロンプティングは、反復的に洗練されたシステムプロンプトを上回り、特に不十分な指定の質問において（+3.7 ポイントの gain）。
- Meno-Lite-0.1： ジャッジによってめったに選択されません（424 インスタンス中 2 つ）が、高品質なニッチな選択を提供し、回答不能な質問において強力なスタンドアロン性能を示しました（Qwen2.5-32B の 0.24 対、IDK レート 0.54）。

意義と主張

本論文は、結果から導き出された 3 つの主要な洞察を提唱しています：

規模よりも多様性： 小型および大型モデルのヘテロジニアスアンサンブルは、根拠ある生成において最大の単一モデル（例：357B GLM-4.6）を上回ることができ、パラメータ数よりも相補的な失敗モードがより重要であることを示唆しています。
具体的なデモンストレーション： 抽象的なシステム指示よりも、カテゴリ意識のある少数ショット例の方が効果的であり、特に不十分な指定の質問などのエッジケースの処理において。
忠実性対実用的適切性： 忠実性は必要ですが、実用的適切性のためには十分ではありません。アンサンブルは、GLM-4.6 に比べて不十分な指定の質問において性能が低く、根拠と完全性のバランスを取るためのマルチオブジェクト選択の必要性を示しています。

著者らはまた、計算コスト、逐次生成/ジャッジによるレイテンシ、特定のジャッジモデル（GPT-4o-mini）への依存など、システムの限界にも言及しています。彼らは、将来のベンチマークでは回答不能な質問のためのダミーパッセージを含めて安易なショートカットを防ぎ、参照なしメトリックの計算を評価フェーズに限定してリークを防ぐべきであると結論付けています。