💬 NLP

RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation

Het winnende systeem van RaguTeam voor SemEval-2026 Taak 8, dat een heterogeen ensemble van zeven LLM's inzet die worden gecoördineerd door een GPT-4o-mini-judge om het beste antwoord te selecteren, behaalde de eerste plaats door het sterkste baseline aanzienlijk te overtreffen, terwijl het tegelijkertijd het kosteneffectieve Meno-Lite-0.1-model introduceerde en de annotatiebeperkingen van de taak bekritiseerde.

Oorspronkelijke auteurs: Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een "Talentenjacht" voor AI

Stel je voor dat je een talentenjacht organiseert om het beste antwoord op een lastige vraag te vinden. Je hebt een panel van zeven verschillende rechters (AI-modellen), elk met hun eigen unieke stijl, sterke punten en zwakke punten. Sommigen zijn enorme, super-slimme reuzen; anderen zijn kleinere, gespecialiseerde experts.

Het team van de Novosibirsk State University, genaamd RaguTeam, koos niet zomaar de "slimste" rechter. In plaats daarvan richtten ze een systeem op waarbij alle zeven rechters een antwoord schrijven, waarna een Hoofdrechter (een lichtgewicht AI genaamd GPT-4o-mini) alle zeven antwoorden leest en het allerbeste antwoord voor die specifieke vraag selecteert.

Ze namen dit systeem mee naar een wedstrijd genaamd SemEval-2026 Task 8 (specifiek Taak B), die test hoe goed AI vragen kan beantwoorden die alleen gebaseerd zijn op verstrekte documenten, zelfs tijdens een lang gesprek. Hun systeem won 1e plaats van de 26 teams.

Het Probleem: De "Hallucinatie"-Valstrik

In de echte wereld probeert AI vaak te behulpzaam te zijn. Als het het antwoord niet weet, kan het iets verzinnen (hallucineren) om zelfverzekerd over te komen. Dit is gevaarlijk wanneer de AI als feitencontroleur moet fungeren.

De wedstrijdtaak was lastig omdat het ging om:

Meertraps-gesprekken: De AI moet onthouden wat er eerder in de chat is gezegd.
Strikte regels: De AI mag alleen de verstrekte "referentieteksten" gebruiken (zoals een examen met gesloten boek).
De "Ik weet het niet"-test: Soms bevatten de documenten het antwoord niet. De AI moet dan zeggen: "Ik weet het niet", in plaats van te gokken.

Hoe Ze Wonnen: De "Zwitsers Mes"-Strategie

1. Het Divers Team (Het Ensemble)

In plaats van te vertrouwen op één supercomputer, gebruikten ze een team van zeven verschillende AI-modellen.

De Reuzen: Ze namen enorme modellen mee (zoals GLM-4.6 met 357 miljard parameters) die als encyclopedieën werken.
De Specialisten: Ze namen een zelfgebouwd, kleiner model mee genaamd Meno-Lite-0.1. Denk hierbij aan een model met 7 miljard parameters dat specifiek is getraind om een "feitencontroleur" te zijn in plaats van een "creatieve schrijver". Het is als een kleine, wendbare detective die heel goed is in het opsporen van ontbrekende informatie.
De Mix: Ze gebruikten modellen van verschillende bedrijven (Google, Meta, Microsoft, etc.) en van verschillende maten. Het idee is dat als één model een fout maakt, een ander het misschien goed heeft.

2. De Twee Prompting-stijlen

Ze vroegen de modellen niet allemaal op dezelfde manier. Ze gebruikten twee verschillende "instructiestijlen":

Stijl A (Het Regelboek): Een strenge set regels die de AI vertelt zich alleen aan de verstrekte tekst te houden.
Stijl B (De Voorbeelden): Ze gaven de AI een paar voorbeelden van hoe om te gaan met lastige situaties (zoals wanneer er geen documenten zijn of wanneer de geschiedenis van het gesprek leeg is). Dit is als een student een oefentoets laten zien voordat het echte examen begint.

3. De Hoofdrechter (De Selectie)

Dit is het geheim. Voor elke enkele vraag genereerden alle zeven modellen een antwoord. Vervolgens las de Hoofdrechter (GPT-4o-mini) ze allemaal en vroeg: "Welk van deze antwoorden is het meest trouw aan de documenten?"

Als de documenten leeg waren, zei het systeem automatisch: "Ik weet het niet" (een veilige, perfecte zet).
Als de documenten een antwoord hadden, koos de Hoofdrechter degene die geen feiten verzon.

Belangrijkste Bevindingen (De "Aha!"-momenten)

Diversiteit > Grootte: Het winnende team bewees dat een mix van verschillende modellen beter is dan alleen het grootste, duurste model hebben. Het "team" sloeg het beste enkele reuzenmodel (GLM-4.6) met een aanzienlijke marge. Het is als een estafetteteam dat een solo-loper verslaat omdat ze meer grond hebben afgedekt.
Voorbeelden Verslaan Regels: Toen ze de AI specifieke voorbeelden gaven van hoe om te gaan met "Ik weet het niet"-situaties (few-shot prompting), presteerde het veel beter dan toen ze alleen abstracte regels gaven. Het is als een kind leren door iemand te laten zien hoe delen werkt in een video, in plaats van alleen te zeggen "wees aardig".
De Rol van het Kleine Model: Het aangepaste 7B-model (Meno-Lite-0.1) kreeg niet de meeste stemmen, maar wanneer het wel werd gekozen, was het vaak het perfecte antwoord. Het was een "specialist" die de dag redde in niche-situaties, wat bewijst dat je niet altijd een enorm brein nodig hebt voor elke klus.

De Kritiek: Het Spel Was Iets Gemanipuleerd

De auteurs wezen ook op een gebrek in de wedstrijd zelf.

De "Lege Doos"-Shortcut: In de test waren de verstrekte documenten volledig leeg wanneer een vraag "onbeantwoordbaar" was. Dit maakte het te makkelijk voor de AI om te winnen: het hoefde alleen maar "lege doos" te detecteren en "Ik weet het niet" te zeggen.
Het Echte Leven is Moeilijker: In de echte wereld komen onbeantwoordbare vragen meestal met irrelevante documenten (afleidingsmanoeuvres). De auteurs betogen dat toekomstige tests deze "afleidingen" moeten bevatten om de AI harder te laten werken en te bewijzen dat het de tekst daadwerkelijk begrijpt, in plaats van alleen maar lege ruimte op te sporen.

Samenvatting

RaguTeam won door AI-generatie te behandelen als een talentenjacht. Ze verzamelden een divers gezelschap personages (verschillende AI-modellen), gaven ze verschillende manieren om zich voor te bereiden (prompts) en huurden een slimme scheidsrechter (de Hoofdrechter) in om de winnaar te kiezen voor elke ronde. Ze toonden aan dat een goed gecoördineerd team van diverse AI's slimmer en betrouwbaarder is dan welke enkele AI dan ook die alleen werkt.

Technische Samenvatting: RaguTeam bij SemEval-2026 Taak 8

Probleemdefinitie

Het artikel behandelt SemEval-2026 Taak 8 (MTRAGEval), specifiek Taak B, die zich richt op trouwe meer-draads antwoordgeneratie in Retrieval-Augmented Generation (RAG)-omgevingen. De kernuitdaging bestaat uit het genereren van een antwoord op een laatste gebruikersvraag binnen een meer-draads dialoog, strikt gebaseerd op de verstrekte referentieteksten.

De taak vereist dat systemen verschillende complexe beperkingen navigeren:

Contextintegratie: Het combineren van dialooggeschiedenis met opgehaalde documenten.
Trouw: Zorgen dat alle beweringen worden ondersteund door de verstrekte bewijslast, waarbij hallucinaties of afhankelijkheid van parametrische wereldkennis worden vermeden.
Afweging: Het correct identificeren en afwijzen van het beantwoorden van onbeantwoordbare of onvoldoende gespecificeerde vragen.
Meer-draads coherentie: Het oplossen van coreferenties en het volgen van de gebruikersintentie over verschillende beurten heen.

De evaluatiemeta is een Gecorrigeerde Harmonische Gemiddelde (HM3) van drie scores: $RB_{alg}$ (BERTScore Recall, BERT-K-Precision, ROUGE-L), $RB_{llm}$ (LLM-rechterscore) en $RL_F$ (referentievrije trouw). Een kritiek onderdeel is de behandeling van "onbeantwoordbare" instanties, waarbij het systeem moet afzien van antwoordgeven om hoge scores te behalen.

Methodologie

Het RaguTeam-systeem maakt gebruik van een heterogeen ensemble-benadering in combinatie met een rechtergebaseerde selectie-mechanisme. De pijplijn bestaat uit drie fasen:

1. Prompt Engineering Strategieën

Het team gebruikte twee verschillende promptstrategieën om de diversiteit van kandidaten te maximaliseren:

Alleen Systeemprompt (Groep 1): Een iteratief verfijnde systeemprompt ( $P$ ) gegenereerd via een LLM-gebaseerde procedure (met gebruik van Gemini). Deze prompt legt de nadruk op strikte contextvolging, extractieve formulering, gepersonaliseerde synthese en expliciete afweging voor onbeantwoordbare vragen.
Few-Shot Strategie (Groep 2): Geaugmenteerde prompts die categorie-bewuste few-shot voorbeelden bevatten. Instanties werden geklusterd in drie categorieën op basis van contextbeschikbaarheid: (1) volledige context, (2) lege context (onbeantwoordbaar) en (3) lege geschiedenis (eerste beurt). Medoiden werden geselecteerd uit elke categorie om robuuste gedragsdemonstraties te bieden.

2. Samenstelling Heterogeen Ensemble

Het systeem genereert kandidaten vanuit zeven diverse LLM's om complementaire faalmodi te benutten over modelfamilies, schalen en aanbieders heen:

Groep 1 (Systeemprompt): Gemini-3-Pro-Preview, GLM-4.6, Llama-3.3-70B-Instruct en Qwen3-235B-A22B-Instruct-2507.
Groep 2 (Few-Shot): Claude 4.5 Haiku, Qwen2.5-32B-Instruct en Meno-Lite-0.1.
- Meno-Lite-0.1 is een 7B-model geïntroduceerd door de auteurs, afgeleid van Qwen2.5-7B-Instruct. Het onderging voortgezette voortraining op Russisch-Engelse educatieve data en supervisie-finetuning voor extractie, multi-hop QA en RAG-georiënteerde instructievolging.

3. Rechtergebaseerde Selectie

Voor elke instantie fungeert een lichtgewicht GPT-4o-mini-model als rechter. Het evalueert alle zeven kandidaatantwoorden op trouw (controleer of beweringen worden ondersteund door de verstrekte teksten) en kent een score toe van 0 tot 1. De kandidaat met de hoogste score wordt geselecteerd.

Nabewerking: Voor instanties met lege referentieteksten omzeilt het systeem de generatie en geeft het een vast "Ik heb geen antwoord"-antwoord om betrouwbare afweging te garanderen.

Belangrijkste Bijdragen

Rechtergeselecteerd Ensemble: Een systeem dat zeven LLM's combineert met twee promptstrategieën, geselecteerd door een GPT-4o-mini-rechter, met een bereikte gecorrigeerde HM3 van 0,7827.
Diversiteitsablaties: Demonstraties dat diversiteit in modelfamilies, schalen en promptstrategieën consistente winsten oplevert ten opzichte van elk enkel model.
Meno-Lite-0.1: De introductie van een 7B domein-aangepast model dat een sterke kosten-prestatieafweging bereikt, met een HM3 van 0,681 op beantwoordbare instanties en superieure afwegingscapaciteiten op onbeantwoordbare instanties in vergelijking met grotere baselines.
Benchmarkanalyse: Een kritische examinatie van MTRAGEval, met de nadruk op beperkingen zoals "doel-lekkage" via lege contexten en annotatiegaten.

Resultaten

Het systeem behaalde de 1e plaats van de 26 teams bij SemEval-2026 Taak 8.

Prestaties: Een gecorrigeerde HM3 van 0,7827, significant beter dan de sterkste baseline (gpt-oss-120b, 0,6390) met +0,1437 absolute punten (+22,5% relatief).
Ensemble versus Enkele Modellen: Het ensemble (0,783) presteerde beter dan het beste individuele model, GLM-4.6 (0,748), wat bevestigt dat rechtergebaseerde selectie meerwaarde toevoegt boven de ruwe modelschaal.
Ablatie-inzichten:
- Diversiteit: Willekeurige selectie uit het ensemble presteerde beter dan de meeste individuele modellen, wat de waarde van kandidaatdiversiteit bewijst.
- Prompting: Few-shot prompting met categorie-bewuste voorbeelden presteerde beter dan de iteratief verfijnde systeemprompt, met name bij onvoldoende gespecificeerde vragen (+3,7 p.p. winst).
- Meno-Lite-0.1: Hoewel zelden geselecteerd door de rechter (2/424 instanties), leverde het hoogwaardige niche-selecties en toonde het sterke standalone-prestaties op onbeantwoordbare vragen (IDK-ratio van 0,54 versus 0,24 voor Qwen2.5-32B).

Betekenis en Claims

Het artikel stelt drie primaire inzichten voor die voortvloeien uit hun resultaten:

Diversiteit boven Schaal: Een heterogeen ensemble van kleinere en grotere modellen kan het grootste enkele model (bijv. 357B GLM-4.6) overtreffen voor grondige generatie, wat suggereert dat complementaire faalmodi kritischer zijn dan het aantal parameters.
Concrete Demonstraties: Categorie-bewuste few-shot voorbeelden zijn effectiever dan abstracte systeeminstructies, vooral voor het afhandelen van randgevallen zoals onvoldoende gespecificeerde vragen.
Trouw versus Pragmatische Geschiktheid: Hoewel trouw noodzakelijk is, is het niet voldoende voor pragmatische geschiktheid. Het ensemble presteerde slechter op onvoldoende gespecificeerde vragen in vergelijking met GLM-4.6, wat wijst op de behoefte aan multi-objectieve selectie die gronding balanceert met volledigheid.

De auteurs merken ook systeembeperkingen op, waaronder computerkosten, latentie door sequentiële generatie/rechting en afhankelijkheid van het specifieke rechtermodel (GPT-4o-mini). Zij concluderen dat toekomstige benchmarks afleidende teksten moeten bevatten voor onbeantwoordbare vragen om triviale shortcuts te voorkomen, en dat referentievrije metriekberekening moet worden beperkt tot de evaluatiefase om lekkage te voorkomen.