DS@GT ARC at Touché: Large Language Models for Retrieval-Augmented Debate

Stellen Sie sich eine Welt vor, in der Computer nicht nur chatten, sondern tatsächlich debattieren. Dies ist das Spielfeld der konversationellen KI, eines Zweigs der Wissenschaft, bei dem Maschinen lernen, ein Gespräch zu führen, einen Standpunkt zu debattieren oder sogar die Rolle eines Anwalts einzunehmen. Aber hier liegt der Knackpunkt: Woher wissen wir, ob ein Computer gut argumentiert? In der menschlichen Welt haben wir Regeln für gute Konversation, wie etwa Klarheit, Wahrheit und das Maß an Information (nicht zu viel oder zu wenig zu reden). In dem Papier, das Sie gleich lesen werden, verwenden die Forscher einen berühmten Satz dieser Regeln, die sogenannten Grice’schen Maximen (denken Sie an sie als die „Regeln für höfliche und effektive Konversation“). Sie verwenden auch Retrieval-Augmented Generation, was eine schicke Art zu sagen ist: „Der Computer schlägt erst Fakten in einer Bibliothek nach, bevor er spricht“, damit er sich nicht einfach Dinge ausdenkt. Die große Frage, die sich alle stellen, ist: Wenn wir eine Gruppe von superintelligenten KI-Computern bitten, die Argumente der jeweils anderen zu bewerten, werden sie sich einig sein? Und wenn sie sich alle einig sind, bedeutet das dann, dass das Argument tatsächlich gut ist?

Dieses von einem Team der Georgia Tech namens DS@GT verfasste Paper taucht tief in einen kürzlichen Wettbewerb namens Touché 2025 ein, bei dem das Ziel war, einen Roboter-Debattierer zu bauen. Das Team entwickelte ein System, das sechs verschiedene „Superhirne“ (Large Language Models) nutzt, um sowohl Debatten-Antworten zu generieren als auch diese zu bewerten. Sie fanden heraus, dass diese Superhirne in der Tat exzellent darin sind, Argumente zu generieren, besonders wenn sie zuerst Fakten nachschlagen können. Die eigentliche Überraschung kam jedoch, als sie versuchten, diese KI-Gehirne als Richter einzusetzen. Die Forscher entdeckten, dass die KI-Richter zwar oft übereinstimmen, ihre Einigkeit jedoch eine Falle ist. Es ist, als würde man sechs Zwillinge bitten, eine Prüfung zu bewerten; sie geben vielleicht alle dieselbe Note, weil sie im selben Haus aufgewachsen sind und ähnlich denken, und nicht, weil sie objektiv richtig liegen.

Das Team führte Simulationen durch, in denen ihre KI-Debattierer über Themen wie die Frage, ob die Erde flach ist, debattierten. Sie fanden heraus, dass die KI-Richter bei einigen Regeln (wie der Relevanz) sehr streng, aber bei anderen (wie der Höflichkeit) überraschend nachsichtig waren. Die schockierendste Entdeckung betraf die Qualität. Die KI-Richter stimmten oft zu, dass ein Argument „hochwertig“ sei und gaben ihm eine hohe Punktzahl, doch als die menschlichen Organisatoren die offiziellen Antworten überprüften, lag die KI oft falsch. Die KI-Richter wurden von Argumenten getäuscht, die zwar überzeugend klangen, aber faktisch wackelig waren. Das Paper legt nahe, dass es nicht ausreicht, wenn eine Gruppe von KI-Modellen in einer Punktzahl übereinstimmt, um zu bedeuten, dass diese Punktzahl zuverlässig ist – insbesondere wenn es darum geht, zu prüfen, ob die Fakten wahr sind. Kurz gesagt: Die KI-Richter sind groß darin, zu erkennen, ob ein Satz gut geschrieben ist, aber sie sind nicht gut darin, zu erkennen, ob der Satz tatsächlich wahr ist, und sie neigen dazu, aus den falschen Gründen übereingestimmter Meinung zu sein.

Die Geschichte der Roboter-Debattierer

Die Forscher richteten eine digitale Arena für eine Debatte ein. Auf der einen Seite stand ein simulierter menschlicher Nutzer, der eine Behauptung aufstellte. Auf der anderen Seite musste das KI-System des DS@GT-Teams darauf reagieren. Aber dies war nicht nur ein Chat; es war eine Retrieval-Augmented Debate. Bevor die KI sprach, wurde sie gezwungen, in eine digitale Bibliothek (eine Datenbank mit Argumenten) zu gehen und die zehn besten Beweisstücke zu extrahieren, die ihren Standpunkt stützen. Dies ist der „RAG“-Teil: Die KI konnte nicht einfach raten; sie musste Belege vorlegen.

Das Team verwendete sechs verschiedene „Frontier“-Modelle (die fortschrittlichsten verfügbaren KIs zum damaligen Zeitpunkt) von drei verschiedenen Unternehmen: OpenAI, Google und Anthropic. Diese Modelle wurden mit Namen wie gpt-4.1, gemini-2.5-pro und claude-opus-4 versehen. Diesen Modellen wurde eine spezifische Aufgabe gegeben: eine Antwort auf das Argument des Nutzers zu generieren. Das Team nahm diese Antworten und bat dieselben Modelle (und andere), die Rolle von Richtern zu übernehmen. Die Richter mussten die Antworten basierend auf vier Regeln bewerten:

1. Quantität (Quantity): Haben sie genug gesagt, aber nicht zu viel?
2. Qualität (Quality): War es wahr und durch Beweise gestützt?
3. Relation (Relation): Sind sie beim Thema geblieben?
4. Art und Weise (Manner): War es klar und höflich?

Das „Zwilling“-Problem

Hier wird die Geschichte interessant. Die Forscher wollten wissen: „Wenn all diese KI-Richter dieselbe Punktzahl geben, können wir dieser Punktzahl vertrauen?“ Sie führten eine massive Simulation mit 100 verschiedenen Debattenthemen und tausenden von Gesprächsrunden durch.

Zuer Sie sich an, wie die KI-Modelle als Debattierer abschnitten. Die Ergebnisse waren beeindruckend. Die Modelle, die die Strategie „zuerst Fakten nachschlagen“ verwendeten, schnitten sehr gut ab. Beispielsweise erreichte das Modell gpt-4.1 im Durchschnitt einen Wert von 0,70 bei der Einhaltung der Konversationsregeln, was eines der höchsten Ergebnisse im Wettbewerb war. Dies zeigte, dass der Zugriff der KI auf eine Bibliothek ihr hilft, besser zu debattieren.

Doch dann betrachteten sie die KI-Modelle als Richter. Sie fragten: „Stimmen diese Richter überein?“ Die Antwort war ein klares Ja, aber mit einem Haken. Die Richter desselben Unternehmens (wie die zwei Google-Modelle oder die zwei Anthropic-Modelle) stimmten fast perfekt überein. So hatten beispielsweise die zwei Anthropic-Richter eine Korrelation von 0,844 über alle Regeln hinweg. Das ist so, als würden zwei Zwillinge ein Puzzle fertigstellen und sagen: „Wir finden beide, dass der Himmel blau ist“ – nicht, weil sie in den Himmel geschaut haben, sondern weil sie die gleiche neuronale Verdrahtung teilen.

Die Forscher erkannten, dass diese hohe Übereinstimmung irreführend war. Sie verglichen die Punktzahlen der KI-Richter mit den offiziellen Punktzahlen, die von den menschlichen Organisatoren vergeben wurden. Die Ergebnisse waren eine Diskrepanz.

• Bei Quantität und Relation lag die Übereinstimmung der KI-Richter einigermaßen nah an den menschlichen Bewertungen.
• Aber bei der Qualität war die Lücke riesig. Die KI-Richter hielten die Antworten für großartig (und gaben ihnen hohe Punktzahlen), aber die menschlichen Organisatoren vergaben sehr niedrige Punkte. In den offiziellen Ergebnissen erreichte der gpt-4.1-Durchlauf nur 0,17 für Qualität, was bedeutete, dass er in den meisten Fällen keine faktisch korrekten Argumente lieferte. Dennoch hatten die KI-Richter ihm hohe Punktzahlen gegeben.

Das Experiment der „schwachen Supervision“

Das Team versuchte, dieses Problem zu lösen. Sie fragten sich: „Was wäre, wenn wir einige ‚schwächere‘ Richter beimischen?“ Sie fügten einige kleinere Open-Source-Modelle hinzu (wie die LLaMA-8B-Modelle, die von einem anderen Team namens SINAI verwendet wurden) sowie einfache Computerregeln (wie das Zählen der Wortlänge), um zu sehen, ob sie die „Zwilling“-Übereinstimmung aufbrechen könnten.

Sie nutzten einen statistischen Trick namens Weak Supervision, um all diese verschiedenen Meinungen zu kombinieren. Sie hofften, durch das Hinzufügen von Richtern, die anders dachten, eine genauere Punktzahl zu erhalten.

• Als sie die schwächeren Richter hinzufügten, änderten sich die Rankings ein wenig.
• Die Korrelation zwischen der „Konsens“-Punktzahl der KI-Richter und der menschlichen „offiziellen Punktzahl“ blieb jedoch niedrig. Für die Metrik Qualität lag die Korrelation nur bei 0,224 (mit dem erweiterten Pool) und 0,286 (mit dem abhängigkeitsbewussten Modell).

Dies bedeutet, dass die KI-Richter selbst bei dem Versuch, die Dinge zu mischen, immer noch nicht zuverlässig vorhersagen konnten, was Menschen als ein „gutes“ Argument empfinden würden. Das Paper zeigt, dass die KI-Richter zu gut darin sind, Stil zu erkennen (ist der Satz flüssig? ist er höflich?), aber schlecht darin, Substanz zu erkennen (ist die Tatsache wahr?).

Das große Fazit

Das Paper schließt mit einer Warnung an jeden, der KI-Debattierer entwickelt. Nur weil eine Gruppe superintelligenter KI-Modelle alle zustimmt, dass ein Argument „gut“ ist, heißt das nicht, dass es das ist. Sie könnten sich nur deshalb einig sein, weil sie auf ähnlichen Daten trainiert wurden und dieselben Vorurteile teilen. Dies gilt insbesondere für die Qualität. Die KI-Modelle können durch eine Antwort getäuscht werden, die zwar selbstbewusst und gut strukturiert klingt, aber eigentlich voller Lügen oder erfundener Fakten ist.

Die Autoren schlagen vor, dass wir in Zukunft nicht einfach darauf vertrauen können, dass eine KI die KI bewertet. Wir müssen spezifischer werden. Anstatt eine KI zu fragen: „Ist das ein gutes Argument?“, sollten wir separat fragen: „Ist dieser Fakt wahr?“ und „Ist dieser Beweis echt?“. Bis wir das können, ist der „Konsens“ der KI-Richter ein wenig wie ein Raum voller Menschen, die zustimmend nicken – sie können alle falsch liegen, und sie können alle aus demselben Grund falsch liegen. Das Paper behauptet nicht, dies gelöst zu haben, aber es wirft ein helles Licht auf das Problem und zeigt uns, dass der Weg zu einer zuverlässigen KI-Debatte viel schwieriger ist, als nur die KI sich selbst bewerten zu lassen.