💬 NLP

RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation

Le système gagnant de RaguTeam pour la tâche 8 de SemEval-2026, qui utilise un ensemble hétérogène de sept LLM orchestrés par un juge GPT-4o-mini pour sélectionner la meilleure réponse, a obtenu la première place en surpassant nettement la meilleure ligne de base tout en introduisant le modèle rentable Meno-Lite-0.1 et en critiquant les limites de l'annotation de la tâche.

Auteurs originaux : Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

Publié 2026-05-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Un « Concours de Talents » pour l'IA

Imaginez que vous organisez un concours de talents pour trouver la meilleure réponse à une question piège. Vous disposez d'un jury composé de sept juges différents (des modèles d'IA), chacun ayant son propre style, ses forces et ses faiblesses uniques. Certains sont des géants immenses et ultra-intelligents ; d'autres sont des experts plus petits et spécialisés.

L'équipe de l'Université d'État de Novossibirsk, appelée RaguTeam, n'a pas simplement choisi le juge le plus « intelligent ». Au lieu de cela, ils ont mis en place un système où les sept juges écrivent tous une réponse, puis un Juge en Chef (une IA légère appelée GPT-4o-mini) lit les sept réponses et sélectionne la seule meilleure pour cette question précise.

Ils ont soumis ce système à un concours appelé SemEval-2026 Task 8 (spécifiquement la Tâche B), qui teste la capacité de l'IA à répondre à des questions basées uniquement sur des documents fournis, même au cours d'une longue conversation. Leur système a remporté la 1re place sur 26 équipes.

Le Problème : Le Piège de l'« Hallucination »

Dans le monde réel, l'IA tente souvent d'être trop serviable. Si elle ne connaît pas la réponse, elle peut en inventer une (halluciner) pour paraître confiante. Cela est dangereux lorsque l'IA est censée être un vérificateur de faits.

La tâche du concours était délicate car elle impliquait :

Des conversations multi-tours : L'IA doit se souvenir de ce qui a été dit plus tôt dans la discussion.
Des règles strictes : L'IA ne doit utiliser que les « passages de référence » fournis (comme un examen en livre fermé).
Le test du « Je ne sais pas » : Parfois, les documents ne contiennent pas la réponse. L'IA est censée dire « Je ne sais pas » plutôt que de deviner.

Comment Ils Ont Gagné : La Stratégie du « Couteau Suisse »

1. L'Équipe Diversifiée (L'Ensemble)

Au lieu de s'appuyer sur un seul super-ordinateur, ils ont utilisé une équipe de sept modèles d'IA différents.

Les Géants : Ils ont inclus des modèles massifs (comme GLM-4.6 avec 357 milliards de paramètres) qui sont comme des encyclopédies.
Les Spécialistes : Ils ont inclus un modèle plus petit, construit sur mesure, appelé Meno-Lite-0.1. Imaginez cela comme un modèle de 7 milliards de paramètres spécifiquement entraîné pour être un « vérificateur de faits » plutôt qu'un « écrivain créatif ». C'est comme un petit détective agile très doué pour repérer quand une information manque.
Le Mélange : Ils ont utilisé des modèles de différentes entreprises (Google, Meta, Microsoft, etc.) et de différentes tailles. L'idée est que si un modèle fait une erreur, un autre pourrait avoir raison.

2. Les Deux Styles de Prompting

Ils n'ont pas simplement demandé aux modèles de la même manière. Ils ont utilisé deux « styles d'instruction » différents :

Style A (Le Règlement) : Un ensemble strict de règles indiquant à l'IA de s'en tenir uniquement au texte fourni.
Style B (Les Exemples) : Ils ont donné à l'IA quelques exemples de la manière de gérer des situations délicates (comme lorsqu'il n'y a pas de documents ou lorsque l'historique de la conversation est vide). C'est comme montrer un examen blanc à un élève avant le vrai.

3. Le Juge en Chef (La Sélection)

C'est l'ingrédient secret. Pour chaque question, les sept modèles ont généré une réponse. Ensuite, le Juge en Chef (GPT-4o-mini) les a toutes lues et a demandé : « Laquelle de ces réponses est la plus fidèle aux documents ? »

Si les documents étaient vides, le système disait automatiquement « Je ne sais pas » (un mouvement sûr et parfait).
Si les documents contenaient une réponse, le Juge en Chef choisissait celle qui n'inventait pas de faits.

Résultats Clés (Les Moments « Eureka »)

Diversité > Taille : L'équipe gagnante a prouvé qu'avoir un mélange de différents modèles est mieux que d'avoir simplement le plus grand et le plus coûteux. L'« équipe » a battu le seul meilleur modèle géant (GLM-4.6) avec une marge significative. C'est comme une équipe de relais battant un coureur en solo parce qu'ils ont couvert plus de terrain.
Les Exemples Battent les Règles : Lorsqu'ils ont donné à l'IA des exemples spécifiques de la manière de gérer les situations « Je ne sais pas » (few-shot prompting), elle a beaucoup mieux performé que lorsqu'ils lui ont simplement donné des règles abstraites. C'est comme enseigner à un enfant en lui montrant une vidéo de quelqu'un qui partage, plutôt que de simplement lui dire « sois gentil ».
Le Rôle du Petit Modèle : Le modèle personnalisé de 7B (Meno-Lite-0.1) n'a pas obtenu le plus de votes, mais quand il était choisi, c'était souvent la réponse parfaite. C'était un « spécialiste » qui a sauvé la mise dans des situations de niche, prouvant qu'on n'a pas toujours besoin d'un cerveau massif pour chaque tâche.

La Critique : Le Jeu Était un Peu Triché

Les auteurs ont également souligné un défaut dans le concours lui-même.

Le Raccourci de la « Boîte Vide » : Dans le test, chaque fois qu'une question était « sans réponse », les documents fournis étaient complètement vides. Cela rendait trop facile la victoire pour l'IA : elle devait simplement détecter la « boîte vide » et dire « Je ne sais pas ».
La Réalité est Plus Difficile : Dans le monde réel, les questions sans réponse sont généralement accompagnées de documents non pertinents (des leurres). Les auteurs soutiennent que les futurs tests devraient inclure ces « leurres » pour obliger l'IA à travailler plus dur et prouver qu'elle comprend réellement le texte, plutôt que de simplement repérer un espace vide.

Résumé

RaguTeam a gagné en traitant la génération par l'IA comme un concours de talents. Ils ont rassemblé un casting diversifié de personnages (différents modèles d'IA), leur ont donné différentes façons de se préparer (prompts), et ont engagé un arbitre intelligent (le Juge en Chef) pour choisir le gagnant à chaque tour. Ils ont montré qu'une équipe bien coordonnée d'IA diversifiées est plus intelligente et plus fiable que n'importe quelle IA travaillant seule.

Résumé technique : RaguTeam à SemEval-2026 Tâche 8

Définition du problème

L'article traite de la Tâche 8 de SemEval-2026 (MTRAGEval), spécifiquement la Tâche B, qui se concentre sur la génération de réponses fidèles en plusieurs tours dans des contextes de Génération Augmentée par la Récupération (RAG). Le défi principal consiste à générer une réponse à la dernière requête utilisateur au sein d'un dialogue multi-tours, en s'appuyant strictement sur les passages de référence fournis.

La tâche exige des systèmes qu'ils naviguent à travers plusieurs contraintes complexes :

Intégration du contexte : Combinaison de l'historique du dialogue avec les documents récupérés.
Fidélité : Assurance que toutes les affirmations sont étayées par les preuves fournies, évitant les hallucinations ou le recours aux connaissances paramétriques du monde.
Abstention : Identification correcte et refus de répondre aux questions non répondables ou mal spécifiées.
Cohérence multi-tours : Résolution des références et suivi de l'intention utilisateur à travers les tours.

La métrique d'évaluation est une Moyenne Harmonique Conditionnée (HM3) de trois scores : $RB_{alg}$ (Rappel BERTScore, Précision BERT-K, ROUGE-L), $RB_{llm}$ (score d'un juge LLM) et $RL_F$ (fidélité sans référence). Un composant critique est la gestion des instances « non répondables », où le système doit s'abstenir pour obtenir des scores élevés.

Méthodologie

Le système RaguTeam emploie une approche d'ensemble hétérogène combinée à un mécanisme de sélection basée sur un juge. Le pipeline se compose de trois étapes :

1. Stratégies d'ingénierie des prompts

L'équipe a utilisé deux stratégies de prompting distinctes pour maximiser la diversité des candidats :

Prompt système uniquement (Groupe 1) : Un prompt système ( $P$ ) affiné de manière itérative, généré via une procédure basée sur un LLM (utilisant Gemini). Ce prompt met l'accent sur une adhérence stricte au contexte, une formulation extractive, une synthèse dépersonnalisée et une abstention explicite pour les questions non répondables.
Stratégie Few-Shot (Groupe 2) : Prompts augmentés contenant des exemples few-shot sensibles aux catégories. Les instances ont été regroupées en trois catégories basées sur la disponibilité du contexte : (1) contexte complet, (2) contexte vide (non répondable) et (3) historique vide (premier tour). Des médoïdes ont été sélectionnés dans chaque catégorie pour fournir des démonstrations comportementales robustes.

2. Composition de l'ensemble hétérogène

Le système génère des candidats à partir de sept LLMs divers pour exploiter les modes d'échec complémentaires entre familles de modèles, échelles et fournisseurs :

Groupe 1 (Prompt système) : Gemini-3-Pro-Preview, GLM-4.6, Llama-3.3-70B-Instruct et Qwen3-235B-A22B-Instruct-2507.
Groupe 2 (Few-Shot) : Claude 4.5 Haiku, Qwen2.5-32B-Instruct et Meno-Lite-0.1.
- Meno-Lite-0.1 est un modèle de 7B introduit par les auteurs, dérivé de Qwen2.5-7B-Instruct. Il a subi un pré-entraînement continu sur des données éducatives russo-anglaises et un affinage supervisé pour l'extraction, les QA multi-sauts et le suivi d'instructions orientées RAG.

3. Sélection basée sur un juge

Pour chaque instance, un modèle léger GPT-4o-mini agit comme juge. Il évalue les sept réponses candidates pour la fidélité (vérifiant si les affirmations sont étayées par les passages fournis) et attribue un score de 0 à 1. Le candidat avec le score le plus élevé est sélectionné.

Post-traitement : Pour les instances avec des contextes de référence vides, le système contourne la génération et produit une réponse fixe « Je n'ai pas de réponse » pour assurer une abstention fiable.

Contributions clés

Ensemble sélectionné par un juge : Un système combinant sept LLMs avec deux stratégies de prompting, sélectionné par un juge GPT-4o-mini, atteignant une HM3 conditionnée de 0,7827.
Ablations sur la diversité : Démonstration que la diversité dans les familles de modèles, les échelles et les stratégies de prompting produit des gains constants par rapport à n'importe quel modèle unique.
Meno-Lite-0.1 : L'introduction d'un modèle adapté au domaine de 7B offrant un excellent compromis coût-performance, atteignant une HM3 de 0,681 sur les instances répondables et montrant des capacités d'abstention supérieures sur les instances non répondables par rapport aux bases de référence plus grandes.
Analyse du benchmark : Un examen critique de MTRAGEval, mettant en évidence des limitations telles que la « fuite vers la cible » via des contextes vides et des lacunes dans l'annotation.

Résultats

Le système s'est classé 1er sur 26 équipes à SemEval-2026 Tâche 8.

Performance : Atteinte d'une HM3 conditionnée de 0,7827, surpassant significativement la base de référence la plus forte (gpt-oss-120b, 0,6390) de +0,1437 points absolus (+22,5 % relatifs).
Ensemble vs Modèles uniques : L'ensemble (0,783) a surpassé le meilleur modèle individuel, GLM-4.6 (0,748), confirmant que la sélection basée sur un juge ajoute de la valeur au-delà de la simple échelle du modèle.
Insights des ablations :
- Diversité : La sélection aléatoire au sein de l'ensemble a surpassé la plupart des modèles individuels, prouvant la valeur de la diversité des candidats.
- Prompting : Le prompting few-shot avec des exemples sensibles aux catégories a surpassé le prompt système affiné de manière itérative, en particulier sur les questions mal spécifiées (+3,7 points de pourcentage de gain).
- Meno-Lite-0.1 : Bien que rarement sélectionné par le juge (2/424 instances), il a fourni des sélections de niche de haute qualité et a démontré une performance autonome solide sur les questions non répondables (taux d'IDK de 0,54 contre 0,24 pour Qwen2.5-32B).

Importance et affirmations

L'article pose trois insights principaux dérivés de leurs résultats :

Diversité plutôt que l'échelle : Un ensemble hétérogène de modèles plus petits et plus grands peut surpasser le plus grand modèle unique (par exemple GLM-4.6 de 357B) pour la génération ancrée, suggérant que les modes d'échec complémentaires sont plus critiques que le nombre de paramètres.
Démonstrations concrètes : Les exemples few-shot sensibles aux catégories sont plus efficaces que les instructions système abstraites, en particulier pour gérer des cas limites comme les questions mal spécifiées.
Fidélité vs Pertinence pragmatique : Bien que la fidélité soit nécessaire, elle ne suffit pas pour la pertinence pragmatique. L'ensemble a sous-performé sur les questions mal spécifiées par rapport à GLM-4.6, indiquant un besoin d'une sélection multi-objectifs qui équilibre l'ancrage avec l'exhaustivité.

Les auteurs notent également les limitations du système, notamment les coûts de calcul, la latence due à la génération/jugement séquentiel et la dépendance au modèle juge spécifique (GPT-4o-mini). Ils concluent que les futurs benchmarks devraient inclure des passages distracteurs pour les questions non répondables afin d'éviter les raccourcis triviaux et restreindre le calcul des métriques sans référence à la phase d'évaluation pour prévenir les fuites.