Language Models Agree With Each Other, Not With Readers

De Grote AI-Echochamber versus de Stille Lezer

Stel je voor dat je in een kamer staat vol mensen die proberen te raden waar een mysterieus, onzichtbaar boek over gaat. Als je een groep mensen vraagt een pagina te lezen en de belangrijkste zinnen te markeren, krijg je een rommelige, prachtige chaos. De één markeert een grappige grap, een ander markeert een droevig feit, en een derde omcirkelt een woord waarvan hij de klank mooi vindt. Ze lezen allemaal om hun eigen redenen, zonder instructies, zonder prijzen en zonder dat iemand hen vertelt wat "belangrijk" betekent. Dit is hoe echt lezen werkt: het is persoonlijk, rommelig en vol meningsverschillen.

Stel je nu voor dat je die mensen vervangt door een vloot superintelligente computers, die allemaal getraind zijn op dezelfde enorme bibliotheek van het internet. Je stelt ze exact dezelfde vraag: "Welke zinnen in dit verhaal doen ertoe?" Je zou verwachten dat ze net zo rommelig zijn als de mensen, of misschien zelfs diverser omdat het verschillende machines zijn. Maar hier komt de wending: deze computers beginnen precies op elkaar te lijken. Ze kiezen allemaal dezelfde zinnen, met een mate van overeenstemming die geen enkele groep mensen ooit bereikt. Dit artikel onderzoekt dat vreemde fenomeen. Het vraagt zich af: kopiëren deze AI-modellen elkaar simpelweg, of hebben ze op de een of andere manier allemaal besloten wat een enkele "juiste" manier van lezen is? En als ze zo erg met elkaar overeenstemmen, stemmen ze dan ook met ons overeen?

Het Experiment: Een Battle om het Markeren

Om het antwoord te vinden, zetten de onderzoekers een uniek spel op. Ze huurden geen mensen in om als proefpersonen op te treden of betaalden hen om regels te volgen. In plaats daarvan keken ze naar een echt sociaal platform waar duizenden gewone mensen tekst hadden gemarkeerd op 120 verschillende webartikelen voor hun eigen persoonlijke redenen—misschien om een feit te onthouden, een citaat van een vriend te bewaren, of gewoon omdat een zin goed voelde. Cruciaal was dat deze lezers elkaars markeringen niet konden zien; ze lazen in totale isolatie.

Vervolgens vroegen de onderzoekers 18 verschillende AI-modellen (van grote bedrijven zoals OpenAI, Google en Anthropic, variërend van kleine tot superkrachtige "frontier"-modellen) om dezelfde 120 artikelen te lezen en de bovenste 20% van de zinnen te selecteren die het belangrijkst leken. Ze vergeleken hoeveel de AI's met elkaar overeenstemden versus hoeveel de echte mensen met elkaar overeenstemden.

De Grote Ontdekking: AI's zijn Beste Vrienden (Maar Niet Met Jou)

De resultaten waren verbijsterend. Wanneer twee verschillende AI-modellen hetzelfde artikel lazen, stemden ze over welke zinnen belangrijk waren 2,3 keer meer overeen dan twee willekeurige menselijke lezers met elkaar stemden.

Ter illustratie:

• Twee mensen die dezelfde pagina lezen, delen misschien ongeveer 4,1 gemarkeerde zinnen uit een typische set van 14.
• Twee AI-modellen die diezelfde pagina lezen, deelden ongeveer 8,7 zinnen.
• Nog schokkender: de twee krachtigste AI-modellen van rivaliserende bedrijven (GPT-5.4 en Claude Opus 5) stemden met elkaar 5,1 keer meer overeen dan twee mensen dat deden. Sterker nog, ze stemden bijna evenveel met elkaar overeen als een mens met zichzelf wanneer die dezelfde tekst twee keer leest!

Het artikel noemt dit "convergentie". Het betekent dat de AI's allemaal in lockstep marcheren, waarbij ze dezelfde "beste" zinnen kiezen, terwijl mensen allemaal verschillende kanten op marcheren.

Wat het NIET is (Het Uitsluiten van de Verkeerde Verklaringen)

De onderzoekers waren zeer zorgvuldig om er zeker van te zijn dat dit geen truc was. Ze testten en sloten verschillende voor de hand liggende redenen uit waarom de AI's zo veel overeenstemming vertonen:

• Het is niet omdat ze van hetzelfde bedrijf zijn: Modellen van totaal andere laboratoria en landen stemden evenveel overeen als modellen van hetzelfde bedrijf.
• Het is niet omdat ze "deterministisch" (robotachtig) zijn: Zelfs wanneer dezelfde AI exact dezelfde vraag twee keer kreeg, koos hij niet altijd exact dezelfde zinnen (hij stemde slechts voor 27% overeen met zichzelf!). Maar wanneer het met een andere AI communiceerde, stemden ze veel meer overeen dan dat.
• Het is niet vanwege de bewoording van de prompt: Het lichtelijk veranderen van de woorden in de instructie voorkwam de overeenstemming niet.
• Het is niet omdat ze een "correct" antwoord kopiëren: De taak had geen goed of fout antwoord. De AI's kozen alleen wat zij belangrijk vonden.

Het "Register"-mysterie: Houden ze van Andere Woorden?

Men zou kunnen vermoeden dat AI's zoveel overeenstemming vertonen omdat ze allemaal houden van lange, chique, wetenschappelijke zinnen, terwijl mensen houden van korte, emotionele zinnen. De onderzoekers controleerden dit door naar 11 verschillende kenmerken van de zinnen te kijken (zoals lengte, interpunctie en woordtypen).

Ze ontdekten dat wanneer ze zinnen matchten op lengte en positie, er geen verschil was. De AI's en de mensen kozen zinnen die er aan de oppervlakte exact hetzelfde uitzagen. De AI's kozen geen "robotwoorden"; ze kozen hetzelfde type woorden als mensen, maar dan een compleet andere set zinnen. De afstand tussen wat AI's kiezen en wat mensen kiezen groeit, maar dat komt niet doordat ze een andere taal spreken.

Het Plafond: AI's Komen Ruimte Tekort om Menselijk te Zijn

Hier is het meest interessante deel van het verhaal. De onderzoekers vroegen: "Wordt AI slimmer, begint het dan meer met mensen overeen te stemmen?"

Het antwoord is ja, maar slechts tot op zekere hoogte.

• Nieuwere, intelligentere modellen stemmen inder meer overeen met mensen dan oudere, minder intelligente modellen.
• Echter, ze raken een "plafond". Zelfs het beste AI-model in de studie bereikte slechts ongeveer 84% van het overeenstemmingsniveau dat een perfect "groepskonsensus" (het gemiddelde standpunt van veel mensen) zou kunnen bereiken.
• Ondertussen blijft de overeenstemming tussen twee AI's stijgen, waarbij ze het menselijke plafond passeren en veel hoger gaan.

Het is alsoal de AI's leren lezen als mensen, maar ze leren ook sneller te lezen als elkaar. Ze worden zo goed in het imiteren van een specifieke "ideale" lezer, dat ze de werkelijke mensen achter zich laten.

Het Procedurele Probleem: Een Eerlijk Gevecht?

Het paper geeft ook toe dat er een eigenaardigheid zat in de manier waarop het spel werd gespeeld. Wanneer een mens tekst markeert, markeert hij misschien 20 zinnen, maar de onderzoekers lieten hem slechts de bovenste 14 houden (een willekeurige selectie van zijn beste zinnen). De AI werd echter gedwongen om zijn absolute beste 14 zinnen te kiezen. Dit gaf de AI een oneerlijk voordeel, als een basketballer die zijn 14 beste schoten mag kiezen terwijl de mens 14 schoten willekeurig uit een stapel van 20 moet kiezen.

Toen de onderzoekers de AI lieten spelen volgens de regels van de mens (door willekeurig te kiezen uit zijn topkeuzes), kromp de kloof tussen AI- en menselijke overeenstemming met de helft. Maar zelfs toen stemden de AI's nog steeds aanzienlijk meer met elkaar overeen dan mensen met elkaar. De kloof verdween niet; hij werd alleen kleiner.

De Conclusie

Het artikel concludeert dat taalmodellen niet alleen hulpmiddelen zijn die ons helpen lezen; ze worden een heel nieuw soort lezer. Ze convergeren naar een gedeelde, interne manier van tekstbegrip die veel uniformer is dan hoe echte mensen lezen. Hoewel ze beter worden in het begrijpen van ons, worden ze zelfs beter in het begrijpen van elkaar. Het resultaat is een wereld waarin AI-modellen mogelijk meer overeenstemming hebben met een rivaliserende AI van een ander bedrijf dan met de persoon die de tekst leest. Het is een krachtige, ietwat griezelige echochamber waar de machines allemaal dezelfde melodie neuriën, terwijl de mensen nog steeds hun eigen unieke liedjes zingen.