💬 NLP

How Hypocritical Is Your LLM judge? Listener-Speaker Asymmetries in the Pragmatic Competence of Large Language Models

Deze studie onthult een robuuste asymmetrie in de pragmatische competentie van grote taalmodellen, waarbij deze modellen aanzienlijk beter presteren als beoordelaars van taal dan als producenten ervan, wat wijst op een zwakke onderlinge uitlijning tussen deze twee rollen.

Oorspronkelijke auteurs: Judith Sieker, Sina Zarrieß

Gepubliceerd 2026-04-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Judith Sieker, Sina Zarrieß

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Hypocriete LLM: Waarom een Model "Luisteren" Beter Beheerst dan "Praten"

Stel je voor dat je een nieuwe, superintelligente robot hebt die alles over taal weet. Je vraagt hem: "Is deze zin logisch?" en hij zegt direct: "Nee, dat klopt niet!" Hij heeft het helemaal goed. Je bent onder de indruk.

Maar dan geef je hem een nieuwe opdracht: "Zeg jij nu eens een zin die wél logisch is." En plotseling struikelt hij, maakt hij rare fouten, of zegt hij precies wat hij net als fout had bestempeld.

Dat is precies wat dit onderzoek ontdekt. De auteurs, Judith Sieker en Sina Zarrieß, hebben gekeken of grote taalmodellen (LLMs) – zoals de technologie achter chatbots – even goed zijn in het oordelen van taal als in het maken van taal. Hun conclusie? Ze zijn vaak hypocrieten. Ze zijn veel beter in het luisteren en oordelen dan in het zelf praten.

Hier is de uitleg, vertaald naar alledaagse analogieën:

1. De Smaakproever vs. De Chef-kok

Stel je een restaurant voor.

De Luisteraar (De Smaakproever): De robot is als een ervaren smaakproever. Als hij een bord eten krijgt, kan hij direct zeggen: "Dit is te zout" of "Deze saus is verbrand." Hij herkent de fouten heel snel.
De Spreker (De Chef-kok): Nu vraag je diezelfde robot om zelf te koken. Hij moet een gerecht maken dat niet te zout is en waar de saus perfect is.

Het onderzoek laat zien dat de robot als smaakproever een ster is, maar als chef-kok vaak de keuken in de war stampt. Hij kan perfect zien dat een ander een fout maakt, maar hij kan die fout zelf niet voorkomen als hij aan het werk is.

2. De Drie Proefjes

De auteurs hebben de robot drie verschillende "taakjes" gegeven om dit te testen:

De Leugen-Test (Valse Aannames):
- Situatie: Iemand vraagt: "Wanneer heeft de koning van Frankrijk de auto gestolen?" (Er is geen koning van Frankrijk).
- Luisteren: De robot zegt direct: "Fout! Er is geen koning." (Hij herkent de leugen).
- Praten: De robot moet zelf een antwoord geven. In plaats van de leugen te ontmaskeren, zegt hij soms: "De koning deed het in 2020." Hij accepteert de leugen onbewust.
- Resultaat: Hij ziet de leugen bij anderen, maar valt er zelf in bij het praten.
De Woordkeuze-Test (Antipresupposities):
- Situatie: Je hebt twee bananen gekocht. Je moet zeggen: "Jan kreeg de banaan" of "Jan kreeg een banaan."
- Luisteren: De robot weet precies welke versie logisch is.
- Praten: Als hij zelf moet kiezen, kiest hij vaak het verkeerde woord, zelfs als hij wist dat het verkeerd was.
De Logica-Test (Redeneren):
- Situatie: Een puzzel met marbles (knikkers) in een doos.
- Luisteren: De robot kan goed zeggen of een conclusie klopt.
- Praten: Als hij de oplossing zelf moet invullen, faalt hij vaak, zelfs als hij de logica begrijpt.

3. Waarom is dit zo? (De "Kennis" vs. "Uitvoering")

In de menselijke wereld is dit ook bekend. Een voetbalscheidsrechter ziet vaak dat een speler buitenspel staat, maar als diezelfde scheidsrechter zelf moet voetballen, is hij misschien niet snel genoeg om het te voorkomen.

Bij deze robots is het hetzelfde:

Luisteren is makkelijker. De robot hoeft alleen maar te checken of iets klopt. Hij kan "kijken" en vergelijken.
Praten is veel moeilijker. Hij moet niet alleen weten wat goed is, maar ook hoe hij dat moet bouwen, woord voor woord, zonder vast te lopen.

4. Wat betekent dit voor ons?

Dit onderzoek is een belangrijke waarschuwing voor iedereen die AI gebruikt:

Vertrouw niet blind op de "jury": Veel mensen gebruiken AI om te beoordelen of een tekst goed is (bijvoorbeeld in een beoordelingssysteem). Dit onderzoek zegt: "Pas op! Een model kan een tekst als 'slecht' beoordelen, maar dat betekent niet dat het zelf een 'goede' tekst kan schrijven."
Het is geen teken van echte intelligentie: Als een AI een test haalt door alleen te oordelen, betekent dat niet dat hij de taal echt beheerst. Hij is misschien een goede criticus, maar nog geen goede kunstenaar.
We moeten anders testen: Tot nu toe hebben we AI vaak getest door te vragen: "Wat vind jij van deze zin?" (Luisteren). We zouden vaker moeten testen: "Maak jij eens een goede zin" (Praten).

Conclusie

De titel van het artikel vraagt: "Hoe hypocriet is je AI-rechter?"
Het antwoord is: Best wel.

Deze robots zijn vaak slimme observatoren die fouten bij anderen zien, maar als ze zelf aan het woord zijn, maken ze diezelfde fouten. Ze zijn niet per se dom, maar ze zijn niet in staat om hun kennis om te zetten in handelen. Voor de toekomst betekent dit dat we AI niet alleen moeten testen op wat ze kunnen zeggen, maar vooral op wat ze zelf kunnen doen.

1. Het Probleem

Grote Taalmodellen (LLMs) worden steeds vaker gebruikt als zowel generatoren van taal (sprekers) als beoordelaars van taal (luisteraars/judges). In de huidige literatuur worden deze twee rollen zelden direct met elkaar vergeleken. Er wordt vaak aangenomen dat succes in het beoordelen van pragmatische adequaatheid (bijv. "Is dit antwoord logisch?") correleert met succes in het genereren van dergelijke antwoorden.

De auteurs stellen echter dat er een fundamenteel verschil bestaat tussen taalbegrip (comprehensie) en taalproductie (productie), een asymmetrie die ook in de psycholinguïstiek bekend is. Mensen kunnen vaak een pragmatisch onjuiste uiting herkennen zonder zelf in staat te zijn een correcte, pragmatisch passende reactie te formuleren. Het paper onderzoekt of deze asymmetrie ook geldt voor LLMs: Is een model dat goed oordeelt over pragmatische correctheid, ook goed in het zelf genereren van dergelijke taal?

2. Methodologie

De auteurs hebben een experimenteel ontwerp ontwikkeld om de prestaties van LLMs in twee complementaire rollen te vergelijken op dezelfde dataset-items:

Rol 1: Pragmatische Luisteraar (Judge): Het model moet beoordelen of een bestaand antwoord pragmatisch adequaat is of een fout bevat.
Rol 2: Pragmatische Spreker (Generator): Het model moet zelf een pragmatisch adequaat antwoord genereren op eenzelfde vraag of context.

Taken en Datasets:
Er zijn drie pragmatische taken gebruikt, gebaseerd op eerdere onderzoeken:

Valse Presupposities (False Presuppositions): Modellen moeten omgaan met vragen die een valse aanname bevatten (bijv. "Hoe oud is de huidige koning van Frankrijk?").
- Spreker: Moet de valse aanname afwijzen in een antwoord.
- Luisteraar: Moet beoordelen of een gegeven antwoord de valse aanname accepteert of afwijst.
- Datasets: "False Scenarios" en "False Claims" (Duits).
Antipresupposities: Gebaseerd op het principe "Maximize Presupposition!" (MP!). In bepaalde contexten is een bepaald lidwoord (bijv. "de" vs. "een") vereist.
- Spreker: Moet het juiste woord invullen in een zin.
- Luisteraar: Moet beoordelen of een gegeven invulling correct is.
- Dataset: "Fruit-story" paradigma (Duits).
Deductief Redeneren: Modellen moeten logische conclusies trekken uit een reeks premissen.
- Spreker: Moet het ontbrekende woord in een conclusie genereren.
- Luisteraar: Moet beoordelen of een gegeven conclusie logisch volgt uit de premissen.
- Dataset: Aangepaste versie van Mondorf en Plank (2024) (Engels).

Modellen:
Er zijn 14 moderne meertalige LLMs geëvalueerd, variërend van open-weight modellen (LLaMA-3, Qwen, Phi-4, OLMo, Mistral) tot proprietaire systemen (GPT-4o, GPT-4.1, GPT-5, Claude Sonnet 4.5).

Analyse:
Naast aggregatie van nauwkeurigheid (accuracy) hebben de auteurs een item-level analyse uitgevoerd. Ze berekenden de conditionele waarschijnlijkheid $P(\text{correcte generatie} | \text{correcte beoordeling})$ om te zien of een correcte beoordeling door het model voorspellend is voor een correcte generatie op hetzelfde item.

3. Belangrijkste Bijdragen

Systematische Vergelijking: Het is een van de eerste studies die pragmatische beoordeling en generatie direct tegen elkaar afzet op identieke items.
Kwantificering van Asymmetrie: De auteurs introduceren een maatstaf voor de discrepantie tussen luister- en spreekvaardigheid ( $\Delta$ ) en tonen aan dat deze asymmetrie robuust is.
Critische Evaluatie van "LLM-as-a-Judge": Het paper biedt empirisch bewijs dat het gebruik van LLMs als automatische judges (evaluatoren) niet noodzakelijk impliceert dat deze modellen ook de onderliggende generatieve competentie bezitten om die taken zelf uit te voeren.

4. Resultaten

De resultaten tonen een robuste en consistente asymmetrie aan: de meeste modellen presteren aanzienlijk beter als luisteraar (beoordelaar) dan als spreker (generator).

Algemene Trend: Veel modellen kunnen pragmatische fouten herkennen (hoge luisteraarsnauwkeurigheid), maar falen om zelf correcte, pragmatisch passende antwoorden te genereren (lage spreeknauwkeurigheid).
Open-weight vs. Proprietair:
- Open-weight modellen (zoals Mistral-7B, LLaMA-8B) tonen de sterkste asymmetrie. Ze hebben vaak een zeer lage spreeknauwkeurigheid (soms <5%) maar een matige tot hoge luisteraarsnauwkeurigheid.
- Proprietaire modellen (GPT-4.1, GPT-5, Claude) presteren over het algemeen beter in beide rollen, maar zelfs hier is er vaak een discrepantie. GPT-5 bereikt bijvoorbeeld een plafond in beide rollen, maar GPT-4.1 toont een omgekeerde asymmetrie (beter in genereren dan in beoordelen) bij deductief redeneren.
Item-level Analyse (Koppeling):
- Een correcte beoordeling door het model voorspelt niet betrouwbaar een succesvolle generatie op hetzelfde item.
- Bij Antipresupposities is de correlatie zelfs negatief voor veel modellen: items die correct werden beoordeeld, werden juist minder vaak correct gegenereerd. Dit suggereert dat het herkennen van een fout niet helpt bij het oplossen ervan.
- Bij Valse Presupposities en Deductief Redeneren is de correlatie bij grote proprietaire modellen soms positief, maar bij open-weight modellen vaak zwak of negatief.
Instruction Following: Een significant probleem was dat veel modellen (vooral bij de luisteraar-taken) de output-formaten niet volgden (bijv. geen enkel woord antwoord in plaats van een volledige zin), wat de interpretatie van hun beoordelingsvaardigheid bemoeilijkte.

5. Betekenis en Conclusie

De bevindingen hebben belangrijke implicaties voor de evaluatie en toepassing van LLMs:

Niet-interchangeerbaar: De rollen van "judge" en "generator" zijn niet uitwisselbaar. Een model dat goed scoort op pragmatische beoordelings-benchmarks, heeft niet per se de competentie om pragmatisch correct taal te produceren.
Evaluatiepraktijken: Veel huidige benchmarks voor pragmatische competentie vertrouwen uitsluitend op luisteraar-taken (beoordeling). De auteurs waarschuwen dat dit een onvolledig beeld geeft van de werkelijke communicatieve vaardigheden van een model.
LLM-as-a-Judge Validiteit: Het gebruik van LLMs als vervanging voor menselijke annotators in pragmatische taken moet met voorzichtigheid gebeuren. Als een model niet in staat is om zelf een pragmatisch correct antwoord te genereren, is het twijfelachtig of het die complexiteit ook betrouwbaar kan beoordelen.
Psycholinguïstische Parallel: De resultaten bevestigen dat LLMs, net als mensen, een asymmetrie vertonen tussen taalbegrip en taalproductie. Het vermogen om een fout te zien, garandeert niet het vermogen om het probleem op te lossen.

Conclusie: De auteurs pleiten voor meer geïntegreerde evaluatiepraktijken die zowel generatie als beoordeling testen, in plaats van te vertrouwen op één van beide als proxy voor algemene pragmatische competentie.