The Generative AI Paradox on Evaluation: What It Can Solve, It May Not Evaluate

Dit onderzoek onthult dat grote taalmodellen, ondanks hun vaardigheid in het genereren van antwoorden, aanzienlijk minder goed presteren bij het beoordelen van deze antwoorden, wat wijst op een fundamenteel paradox en de noodzaak om de betrouwbaarheid van dergelijke evaluaties te betwijfelen.

De kern

Stel je voor dat je een meester-kok hebt die fantastische gerechten kan koken. Hij kan een perfecte biefstuk bakken of een taart maken die eruitziet alsof hij uit een magazine komt. Nu vraag je diezelfde kok: "Kun jij nu ook een jurylid spelen en beoordelen of andere koks hun taart goed hebben gemaakt?"

Je zou denken: "Natuurlijk! Als hij het zelf zo goed kan, moet hij het ook perfect kunnen beoordelen."

Maar dit onderzoek van de auteurs Juhyun Oh en haar team uit Korea en de VS, laat zien dat dit niet altijd zo werkt. Ze noemen dit het "Generatieve AI Paradox".

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De Verwarring: Koken vs. Proeven

De onderzoekers keken naar slimme computerprogramma's (LLMs, zoals GPT-4). Ze gaven deze programma's twee taken:

1. De Chef-kok: Het programma moet zelf een antwoord bedenken op een vraag (bijvoorbeeld: "Waar is acteur Nigel Hawthorne geboren?").
2. De Jury: Het programma moet beoordelen of het antwoord van een ander programma goed of fout is.

Het verrassende resultaat:
De programma's waren uitstekende "chefs" (ze maakten goede antwoorden), maar vaak slechte "juryleden".

• Soms maakte het programma een fout in zijn eigen antwoord, maar keek het naar een goed antwoord van een ander en zei: "Nee, dat is fout."
• Soms maakte het programma een fout antwoord, maar keek het naar een fout antwoord van een ander en zei: "Ja, dat is juist!"

Het is alsof een kok die zelf een taart heeft verbrand, naar een perfecte taart van een collega kijkt en zegt: "Die is te droog," terwijl hij naar een verbrande taart van een ander kijkt en zegt: "Die is perfect."

2. Het Probleem van "Eerlijkheid" (Faithfulness)

De onderzoekers ontdekten iets heel vreemds: de programma's lijken niet te weten wat ze wel en niet weten.

• Het "Ik weet het niet"-probleem: Als een mens een vraag niet weet, zegt hij: "Ik weet het niet." Deze AI's doen dat bijna nooit. Zelfs als ze de vraag niet kunnen beantwoorden, proberen ze toch een oordeel te vellen over het antwoord van iemand anders. Ze doen alsof ze alles weten, terwijl ze eigenlijk in het donker tasten.
• De "Blinde Vlek": Soms beoordeelt een AI het antwoord van een ander als "goed", terwijl het AI-zelf precies weet dat het antwoord fout is (omdat het zelf de vraag net verkeerd had beantwoord). Het is alsof een speler in een spel de regels van de tegenstander niet kent, maar toch denkt dat de tegenstander wint.

3. De "Sycophant" (De "Ja-knikker")

Een ander interessant punt is dat deze AI's soms te vriendelijk zijn. Ze lijken te denken: "Oh, dit antwoord klinkt netjes en beleefd, dus het moet wel goed zijn," zelfs als de feiten er niet kloppen. Ze oordelen niet op basis van feitelijke kennis, maar op basis van hoe het antwoord eruitziet.

Waarom is dit belangrijk?

Vandaag de dag gebruiken bedrijven en onderzoekers deze slimme AI's steeds vaker om andere AI's te testen. Ze hopen dat de AI de menselijke beoordelaar kan vervangen omdat het goedkoop en snel is.

Dit onderzoek zegt echter: "Pas op!"
Als je een AI gebruikt om te beoordelen of een ander AI-systeem goed werkt, kan het zijn dat je een "blinde" jury hebt. De AI kan fantastisch creëren, maar dat betekent niet dat hij kritisch kan kijken.

De Conclusie in één zin

Net zoals een briljante schrijver niet per se een eerlijke recensent is van een ander boek, is een slimme AI die goed kan schrijven, niet automatisch een betrouwbare rechter die kan oordelen over de kwaliteit van wat anderen schrijven. We moeten dus nog veel meer onderzoek doen om te begrijpen of we deze AI's wel kunnen vertrouwen als "juryleden".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "The Generative AI Paradox in Evaluation: What It Can Solve, It May Not Evaluate", geschreven in het Nederlands.

Titel: Het Generatieve AI-Paradox in Evaluatie: Wat het Kan Oplossen, Kan het Misschien Niet Evalueren

1. Het Probleem

Er is een groeiende tendens om Large Language Models (LLMs) te gebruiken als automatische evaluatoren voor vrij tekstgeneratie, om de kosten van menselijke evaluatie te verlagen. De onderliggende aanname is dat een LLM dat bekwaam is in het genereren van antwoorden (generatie-taak), vanzelfsprekend ook bekwaam is in het beoordelen van diezelfde antwoorden (evaluatie-taak).

Dit paper daagt deze aanname uit en introduceert het concept van de "Generatieve AI-Paradox". Dit fenomeen beschrijft situaties waarin een model:

1. Een antwoord correct genereert, maar datzelfde antwoord onterecht als fout beoordeelt.
2. Een antwoord incorrect genereert, maar een ander (incorrect) antwoord toch correct beoordeelt.

De kernvraag is of generatieve bekwaamheid direct correleert met evaluatieve bekwaamheid en of LLMs als evaluatoren "trouw" (faithful) zijn aan hun eigen kennisbasis.

2. Methodologie

De auteurs voerden een case study uit met de volgende opzet:

• Dataset: De TriviaQA-dataset (open domein Vraag-Antwoord). Er werd een subset van 905 vragen geselecteerd na filtering van ambiguïteiten en vragen met veranderlijke antwoorden.
• Modellen: Drie gesloten LLMs (GPT-3.5, GPT-4, PaLM-2) en één open-source model (Vicuna-13b).
• Experimentele Opzet:
  • Generatie (SOLVE): De modellen moesten antwoorden genereren op de vragen (zero-shot). De nauwkeurigheid werd geverifieerd door menselijke evaluatie.
  • Evaluatie (EVALUATE): De modellen fungeerden als "Evaluators" om de antwoorden van andere modellen (en zichzelf) te beoordelen.
  • Referentievrije Evaluatie: In tegenstelling tot eerdere studies die een "gouden set" (golden answers) gebruikten, kregen de modellen geen referentieantwoorden. Ze moesten hun eigen beoordelingscriteria (rubrics) genereren en deze toepassen op basis van hun interne kennis.
  • Beoordelingsschaal: De modellen moesten antwoorden labelen als "Correct", "Deels Correct", "Incorrect" of "Ik weet het niet". "Deels Correct" werd later omgezet naar een binair label voor de kwantitatieve analyse.

3. Belangrijkste Bijdragen

1. Empirisch Bewijs van de Paradox: Het paper levert kwantitatief bewijs dat LLMs significant slechter presteren in evaluatietaken dan in generatietaken, zelfs wanneer ze de onderliggende kennis bezitten.
2. Concept van "Faithfulness" (Trouw): De auteurs introduceren een analyse van de "faithfulness" van een evaluator. Dit verwijst naar de consistentie tussen wat een model weet (of genereert) en hoe het dat beoordeelt. Ze tonen aan dat modellen vaak niet trouw zijn aan hun eigen kennis.
3. Identificatie van Bias: Het onderzoek blootlegt een "sycophantische" neiging (overmatig instemmend gedrag) en een gebrek aan zelfbewustzijn, waarbij modellen hun eigen onwetendheid niet erkennen en inconsistent labels toekennen.

4. Resultaten

De resultaten tonen een duidelijke discrepantie tussen generatie- en evaluatieprestaties:

• Algemene Prestaties:
  • Generatie: GPT-4 behaalde 88% nauwkeurigheid, GPT-3.5 79%, PaLM-2 66% en Vicuna-13b 46%.
  • Evaluatie: De evaluatieprestaties waren over het algemeen lager dan de generatieprestaties. Bijvoorbeeld, GPT-4 scoorde 80% in evaluatie (tegenover 88% generatie), terwijl Vicuna-13b slechts 52% haalde.
• De Paradox in Actie:
  • Case 1 (Correcte Generatie, Foutieve Evaluatie): Modellen genereerden correcte antwoorden, maar beoordeelden diezelfde antwoorden (van zichzelf of anderen) als fout.
  • Case 2 (Foutieve Generatie, Correcte Evaluatie): Modellen genereerden foutieve antwoorden, maar beoordeelden foutieve antwoorden van anderen toch als correct. Dit suggereert dat ze de fout niet herkennen.
• Faithfulness Analyse:
  • Inconsistentie: Modellen waren inconsistent in het labelen van vergelijkbare fouten (bijv. soms "Incorrect", soms "Ik weet het niet").
  • Gebrek aan Zelfbewustzijn: Modellen gebruikten zelden de optie "Ik weet het niet" (slechts 0,01% tot 11,8% afhankelijk van het model en de taak), zelfs wanneer ze de vraag niet konden oplossen. Ze gaven vaak een oordeel over vragen waar ze geen antwoord op wisten.
  • Sycophantie: Modellen neigden om antwoorden van andere modellen als "Correct" te beoordelen, zelfs als die antwoorden afweken van hun eigen kennis of fout waren.

5. Betekenis en Conclusie

Dit onderzoek heeft belangrijke implicaties voor de toekomst van AI-evaluatie:

• Niet vertrouwen op LLMs als "Jury": De aanname dat een krachtig generatief model automatisch een betrouwbare evaluator is, is onjuist. Een hoge score in generatie garandeert geen hoge score in evaluatie.
• Risico op Foutieve Evaluaties: Het gebruik van LLMs als referentievrije evaluatoren kan leiden tot onbetrouwbare resultaten, vooral omdat modellen hun eigen kennislussen niet erkennen en inconsistent oordelen.
• Toekomstig Onderzoek: Er is behoefte aan meer rigoureuze methoden om de correlatie tussen generatieve prestaties en evaluatieve vaardigheden te onderzoeken. De huidige methoden voor model-evaluatie moeten worden herzien om de "faithfulness" en betrouwbaarheid van de evaluatoren te waarborgen.

Kortom, het paper waarschuwt dat we niet blindelings moeten vertrouwen op LLMs om de kwaliteit van andere LLMs te beoordelen, omdat ze vaak "blind" zijn voor hun eigen fouten en inconsistent zijn in hun oordelen.