RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation
Das von RaguTeam für SemEval-2026 Task 8 entwickelte Sieg-System, das ein heterogenes Ensemble aus sieben LLMs einsetzt, das von einem GPT-4o-mini-Richter orchestriert wird, um die beste Antwort auszuwählen, erreichte den ersten Platz, indem es die stärkste Baseline deutlich übertraf und gleichzeitig das kosteneffiziente Meno-Lite-0.1-Modell vorstellte sowie die Annotationseinschränkungen der Aufgabe kritisierte.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Eine „Talentshow" für KI
Stellen Sie sich vor, Sie veranstalten eine Talentshow, um die beste Antwort auf eine knifflige Frage zu finden. Sie haben eine Jury aus sieben verschiedenen Richtern (KI-Modellen), jeder mit seinem eigenen einzigartigen Stil, seinen Stärken und Schwächen. Manche sind riesige, superschlaue Riesen; andere sind kleinere, spezialisierte Experten.
Das Team der Staatlichen Universität Nowosibirsk, genannt RaguTeam, wählte nicht einfach den „klügsten" Richter aus. Stattdessen richteten sie ein System ein, bei dem alle sieben Richter eine Antwort verfassen, und dann ein Hauptrichter (eine leichte KI namens GPT-4o-mini) alle sieben Antworten liest und die eine beste Antwort für diese spezifische Frage auswählt.
Sie nahmen dieses System an einem Wettbewerb namens SemEval-2026 Task 8 (speziell Task B) teil, der testet, wie gut KI Fragen beantworten kann, die ausschließlich auf bereitgestellten Dokumenten basieren, selbst während eines langen Gesprächs. Ihr System gewann Platz 1 von 26 Teams.
Das Problem: Die „Halluzinations"-Falle
In der echten Welt versucht KI oft, zu hilfreich zu sein. Wenn sie die Antwort nicht weiß, erfindet sie vielleicht etwas (halluziniert), um selbstbewusst zu klingen. Das ist gefährlich, wenn die KI als Faktenprüfer fungieren soll.
Die Wettbewerbsaufgabe war knifflig, weil sie Folgendes beinhaltete:
- Mehrstufige Gespräche: Die KI muss sich daran erinnern, was früher im Chat gesagt wurde.
- Strenge Regeln: Die KI darf nur die bereitgestellten „Referenzpassagen" verwenden (wie bei einer Klausur ohne Bücher).
- Der „Ich weiß es nicht"-Test: Manchmal enthalten die Dokumente die Antwort nicht. Die KI soll sagen: „Ich weiß es nicht", anstatt zu raten.
Wie sie gewannen: Die „Schweizer Taschenmesser"-Strategie
1. Das diverse Team (Das Ensemble)
Anstatt sich auf einen Supercomputer zu verlassen, nutzten sie ein Team aus sieben verschiedenen KI-Modellen.
- Die Riesen: Sie schlossen massive Modelle ein (wie GLM-4.6 mit 357 Milliarden Parametern), die wie Enzyklopädien sind.
- Die Spezialisten: Sie schlossen ein benutzerdefiniertes, kleineres Modell namens Meno-Lite-0.1 ein. Stellen Sie sich dies als ein 7-Milliarden-Parameter-Modell vor, das speziell darauf trainiert wurde, ein „Faktenprüfer" und kein „kreativer Schriftsteller" zu sein. Es ist wie ein kleiner, wendiger Detektiv, der sehr gut darin ist, zu erkennen, wenn Informationen fehlen.
- Die Mischung: Sie nutzten Modelle verschiedener Unternehmen (Google, Meta, Microsoft usw.) und verschiedener Größen. Die Idee ist, dass, wenn ein Modell einen Fehler macht, ein anderes es richtig machen könnte.
2. Die zwei Prompting-Stile
Sie fragten die Modelle nicht alle auf die gleiche Weise. Sie nutzten zwei verschiedene „Anweisungsstile":
- Stil A (Das Regelbuch): Ein strenger Satz von Regeln, der der KI sagt, sich ausschließlich an den bereitgestellten Text zu halten.
- Stil B (Die Beispiele): Sie gaben der KI ein paar Beispiele, wie sie mit kniffligen Situationen umgehen soll (wie wenn keine Dokumente vorhanden sind oder wenn der Gesprächsverlauf leer ist). Das ist wie einem Schüler vor der eigentlichen Prüfung einen Probetest zu zeigen.
3. Der Hauptrichter (Die Auswahl)
Das ist das Geheimnis. Für jede einzelne Frage generierten alle sieben Modelle eine Antwort. Dann las der Hauptrichter (GPT-4o-mini) sie alle und fragte: „Welche dieser Antworten ist den Dokumenten am treuesten?"
- Wenn die Dokumente leer waren, sagte das System automatisch: „Ich weiß es nicht" (ein sicherer, perfekter Zug).
- Wenn die Dokumente eine Antwort enthielten, wählte der Hauptrichter diejenige aus, die keine Fakten erfand.
Wichtige Erkenntnisse (Die „Aha!"-Momente)
- Vielfalt > Größe: Das gewinnende Team bewies, dass eine Mischung aus verschiedenen Modellen besser ist als nur das größte, teuerste zu haben. Das „Team" schlug das einzelne beste Riesenmodell (GLM-4.6) mit einem deutlichen Vorsprung. Es ist wie eine Staffelmannschaft, die einen Solo-Läufer schlägt, weil sie mehr Boden abgedeckt haben.
- Beispiele schlagen Regeln: Als sie der KI spezifische Beispiele dafür gaben, wie sie mit „Ich weiß es nicht"-Situationen umgehen soll (Few-Shot-Prompting), schnitt sie viel besser ab als wenn sie ihr nur abstrakte Regeln gaben. Es ist wie einem Kind beizubringen, indem man ihm ein Video von jemandem zeigt, der teilt, anstatt ihm nur zu sagen: „Sei nett".
- Die Rolle des kleinen Modells: Das benutzerdefinierte 7B-Modell (Meno-Lite-0.1) erhielt nicht die meisten Stimmen, aber wenn es ausgewählt wurde, war es oft die perfekte Antwort. Es war ein „Spezialist", der in Nischensituationen den Tag rettete und bewies, dass man nicht immer ein massives Gehirn für jeden Job braucht.
Die Kritik: Das Spiel war ein wenig manipuliert
Die Autoren wiesen auch auf einen Mangel im Wettbewerb selbst hin.
- Der „Leere-Kasten"-Abkürzungsweg: Im Test waren die bereitgestellten Dokumente bei jeder „unbeantwortbaren" Frage vollständig leer. Das machte es für die KI zu einfach zu gewinnen: Sie musste nur den „leeren Kasten" erkennen und „Ich weiß es nicht" sagen.
- Das echte Leben ist härter: In der realen Welt kommen unbeantwortbare Fragen normalerweise mit irrelevanten Dokumenten (Ablenkungen) einher. Die Autoren argumentieren, dass zukünftige Tests diese „Ablenkungen" einschließen sollten, um die KI härter arbeiten zu lassen und zu beweisen, dass sie den Text tatsächlich versteht, anstatt nur leeren Raum zu erkennen.
Zusammenfassung
RaguTeam gewann, indem sie die KI-Generierung wie eine Talentshow behandelten. Sie versammelten eine diverse Besetzung von Charakteren (verschiedene KI-Modelle), gaben ihnen verschiedene Vorbereitungsweisen (Prompts) und stellten einen klugen Schiedsrichter (den Hauptrichter) ein, um für jede einzelne Runde den Gewinner auszuwählen. Sie zeigten, dass ein gut koordiniertes Team diverser KIs intelligenter und zuverlässiger ist als jede einzelne KI, die allein arbeitet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.