DS@GT ARC at Touché: Large Language Models for Retrieval-Augmented Debate

Stel je een wereld voor waarin computers niet alleen chatten, maar ook echt discussiëren. Dit is het speelveld van Conversational AI, een tak van de wetenschap waar machines leren om een gesprek te voeren, een standpunt te verdedigen of zelfs de rol van een advocaat te spelen. Maar hier komt het lastige deel: hoe weten we of een computer goed debatteert? In de menselijke wereld hebben we regels voor een goed gesprek, zoals duidelijk zijn, de waarheid spreken en niet te veel of te weinig praten. In het artikel dat je zo gaat lezen, gebruiken de onderzoekers een beroemde set van deze regels genaamd de Griceaanse Maximes (denk aan hen als de "regels voor beleefde en effectieve conversatie"). Ze gebruiken ook Retrieval-Augmented Generation, wat een chique manier is om te zeggen: "de computer zoekt eerst feiten op in een bibliotheek voordat hij spreekt", zodat hij niet zomaar dingen verzint. De grote vraag die iedereen stelt is: als we een heleboel superintelligente AI-computers vragen om elkaars argumenten te beoordelen, zullen ze het dan met elkaar eens zijn? En als ze het allemaal met elkaar eens zijn, betekent dat dan dat het argument ook daadwerkelijk goed is?

Dit artikel, geschreven door een team van Georgia Tech genaamd DS@GT, duikt in een recente competitie genaamd Touché 2025, waarbij het doel was om een robotdebater te bouwen. Het team bouwde een systeem dat gebruikmaakt van zes verschillende "superhersenen" (Large Language Models) om zowel debatreacties te genereren als ze te beoordelen. Ze ontdekten dat deze superhersenen inderdaad uitstekend zijn in het genereren van argumenten, vooral wanneer ze eerst feiten kunnen opzoeken. De echte verrassing kwam echter toen ze de AI-hersenen als rechters probeerden te gebruiken. De onderzoekers ontdekten dat hoewel de AI-rechters vaak met elkaar eens zijn, hun overeenstemming een valstrik is. Het is alsoastel dat je zes tweelingen vraagt om een toets te nakijken; ze geven misschien allemaal hetzelfde cijfer omdat ze in hetzelfde huis zijn opgegroeid en op dezelfde manier denken, en niet omdat ze objectief gelijk hebben.

Het team voerde simulaties uit waarbij hun AI-debatters discussieerden over onderwerpen zoals de vraag of de aarde plat is. Ze ontdekten dat de AI-rechters erg streng waren op sommige regels (zoals relevantie), maar verrassend laks op andere (zoals beleefdheid). De meest schokkende ontdekking ging over Kwaliteit. De AI-rechters vonden vaak dat een argument "hoge kwaliteit" had en gaven het een hoge score, maar wanneer de menselijke organisatoren de officiële antwoorden controleerden, zat de AI er vaak naast. De AI werd gefopt door argumenten die overtuigend klonken, maar die feitelijk wankel waren. Het artikel suggereert dat alleen omdat een groep AI-modellen het met elkaar eens is over een score, die score nog niet betrouwbaar is, vooral wanneer het gaat om de vraag of de feiten kloppen. Kortom, de AI-rechters zijn goed in het herkennen of een zin goed geschreven is, maar ze zijn niet goed in het herkennen of de zin ook echt waar is, en ze zijn de neiging om met elkaar eens te zijn om de verkeerde redenen.

Het Verhaal van de Robotdebatters

De onderzoekers richtten een digitale arena in voor een debat. Aan de ene kant stond een gesimuleerde menselijke gebruiker die een bewering deed. Aan de andere kant moest het AI-systeem van het DS@GT-team reageren. Maar dit was niet zomaar een chat; het was een Retrieval-Augmented Debate. Voordat de AI sprak, werd hij gedwongen om naar een digitale bibliotheek (een database met argumenten) te gaan en de tien beste stukjes bewijs op te halen om zijn punt te ondersteunen. Dit is het "RAG"-gedeelte: de AI kon niet zomaar gokken; hij moest met bewijzen komen.

Het team gebruikte zes verschillende "frontier" modellen (de meest geavanceerde AI die op dat moment beschikbaar was) van drie verschillende bedrijven: OpenAI, Google en Anthropic. Ze gaven deze modellen namen zoals gpt-4.1, gemini-2.5-pro en claude-opus-4. Deze modellen kregen een specifieke taak: een reactie genereren op het argument van de gebruiker. Het team nam vervolgens deze reacties en vroeg dezelfde modellen (en anderen) om als rechters op te treden. De rechters moesten de reacties beoordelen op basis van vier regels:

1. Hoeveelheid (Quantity): Zeiden ze genoeg, maar niet te veel?
2. Kwaliteit (Quality): Was het waar en ondersteund door bewijs?
3. Relatie (Relation): Bleven ze bij het onderwerp?
4. Manier (Manner): Was het duidelijk en beleefd?

Het "Tweelingprobleem"

Hier wordt het verhaal interessant. De onderzoekers wilden weten: "Als al deze AI-rechters dezelfde score geven, kunnen we die score dan vertrouwen?" Ze voerden een massale simulatie uit met 100 verschillende debatonderwerpen en duizenden beurten.

Eerst keken ze hoe de AI-modellen presteerden als debatters. De resultaten waren indrukwekkend. De modellen die de strategie "eerst feiten opzoeken" gebruikten, deden het erg goed. Zo haalde het gpt-4.1-model bijvoorbeeld gemiddeld een score van 0,70 voor het volgen van de regels van conversatie, wat een van de hoogste scores in de competitie was. Dit toonde aan dat het geven van toegang tot een bibliotheek een AI helpt om beter te debatteren.

Maar toen keken ze naar de AI-modellen als rechters. Ze vroegen: "Zijn deze rechters het met elkaar eens?" Het antwoord was een luid ja, maar met een addertje onder het gras. De rechters van hetzelfde bedrijf (zoals de twee Google-modellen of de twee Anthropic-modellen) waren het bijna perfect met elkaar eens. Zo hadden de twee Anthropic-rechters een correlatie van 0,844 over alle regels heen. Dit is alsof twee tweelingen een puzzel afmaken en zeggen: "Wij vinden ook dat de lucht blauw is," niet omdat ze naar de lucht hebben gekeken, maar omdat ze dezelfde hersenbedrading delen.

De onderzoekers realiseerden zich dat deze hoge mate van overeenstemming misleidend was. Ze vergeleken de scores van de AI-rechters met de officiële scores van de menselijke organisatoren. De resultaten waren een mismatch.

• Voor Hoeveelheid en Relatie lag de overeenstemming van de AI-rechters redelijk dicht bij de menselijke scores.
• Maar voor Kwaliteit was de kloof enorm. De AI-rechters vonden de reacties geweldig (en gaven hoge scores), maar de menselijke organisatoren gaven ze juist zeer lage scores. In de officiële resultaten behaalde de gpt-4.1-run slechts een 0,17 voor Kwaliteit, wat betekende dat het meestal niet in staat was om feitelijk correcte argumenten te leveren. Toch hadden de AI-rechters het met hoge cijfers beoordeeld.

Het "Weak Supervision" Experiment

Het team probeerde dit probleem op te lossen. Ze vroegen zich af: "Wat als we wat 'zwakkere' rechters toevoegen?" Ze voegden enkele kleinere, open-source modellen toe (zoals de LLaMA-8B modellen gebruikt door een ander team genaamd SINAI) en enkele eenvoudige computercodes (zoals het tellen van de woordlengte) om te zien of ze de "tweeling"-overeenstemming konden doorbreken.

Ze gebruikten een statistische truc genaamd weak supervision om alle verschillende meningen te combineren. Ze hoopten dat ze door rechters toe te voegen die anders dachten, een nauwkeuriger score konden krijgen.

• Toen ze de zwakkere rechters toevoegden, veranderde de rangschikking een klein beetje.
• Echter, de correlatie tussen de consensus van de AI-rechters en de menselijke "officiële score" bleef laag. Voor de metriek Kwaliteit was de correlatie slechts 0,224 (met de uitgebreide pool) en 0,286 (met het dependency-aware model).

Dit betekent dat zelfs toen ze probeerden de boel te mengen, de AI-rechters nog steeds niet in staat waren om betrouwbaar te voorspellen wat mensen als een "goed" argument zouden beschouwen. Het artikel suggereert dat de AI-rechters te goed zijn in het herkennen van stijl (is de zin vloeiend? is het beleefd?) maar slecht in het herkennen van inhoud (is het feit waar?).

De Belangrijkste Conclusie

Het artikel sluit af met een waarschuwing voor iedereen die AI-debatters bouwt. Alleen omdat een groep superintelligente AI-modellen het er allemaal over eens is dat een argument "goed" is, betekent dat nog niet dat het zo is. Ze zijn het misschien alleen met elkaar eens omdat ze getraind zijn op vergelijkbare data en dezelfde vooroordelen delen. Dit geldt vooral voor Kwaliteit. De AI-modellen kunnen worden gefopt door een reactie die zelfverzekerd en goed gestructureerd klinkt, maar die in werkelijkheid vol staat met leugens of verzonnen feiten.

De auteurs suggereren dat we in de toekomst niet alleen kunnen vertrouwen op AI om AI te beoordelen. We moeten specifieker zijn. In plaats van een AI te vragen: "Is dit een goed argument?", zouden we apart moeten vragen: "Is dit feit waar?" en "Is dit bewijs echt?". Totdat we dat kunnen doen, is de "consensus" van de AI-rechters een beetje als een kamer vol mensen die knikkend instemmend hun hoofd bewegen — ze kunnen er allemaal naast zitten, en ze kunnen er allemaal om dezelfde reden naast zitten. Het artikel beweert dit niet opgelost te hebben, maar werpt een helder licht op het probleem: het laat zien dat de weg naar een betrouwbare AI-discussie veel moeilijker is dan simpelweg de AI zichzelf te laten beoordelen.