The Subjectivity of Monoculture

Dit artikel betoogt dat het fenomeen van monocultuur in machine learning-modellen geen absolute eigenschap is, maar een subjectieve, contextafhankelijke conclusie die sterk afhangt van de gekozen nulhypothese en de onderzochte populatie.

De kern

De Subjectiviteit van de "Monocultuur" in AI: Waarom "Te Veel Overeenkomst" Afhangt van Je Bril

Stel je voor dat je een grote groep vrienden uitnodigt voor een quizavond. Je vraagt ze allemaal dezelfde 100 vragen. Als je ziet dat ze bijna op elke vraag hetzelfde antwoord geven, zou je denken: "Wow, deze vrienden denken precies hetzelfde! Ze hebben een monocultuur."

Maar wat als ik je zeg dat deze conclusie volledig afhangt van hoe je de quiz hebt opgezet en welke vrienden je hebt uitgenodigd? Dat is precies wat dit paper laat zien.

De auteurs, Nathanael Jo, Nikhil Garg en Manish Raghavan, zeggen dat de claim dat AI-modellen "te veel overeenstemmen" (monocultuur) niet een vast feit is, maar een subjectieve conclusie die afhangt van twee cruciale keuzes die de onderzoeker maakt.

Hier is de uitleg in simpele taal, met behulp van een paar creatieve metaforen:

1. De "Nul-Model" Keuze: Wat is een "Normaal" Antwoord?

Stel je voor dat je kijkt naar de antwoorden van je vrienden. Om te zeggen dat ze "te veel overeenkomen", moet je eerst weten wat er zou gebeuren als ze geen overeenkwamen. Je hebt een "nul-model" nodig: een referentiepunt voor pure toeval.

• De simpele bril: Je denkt: "Als ze allebei 80% van de vragen goed hebben, is de kans dat ze op dezelfde vraag hetzelfde antwoord geven gewoon 0,8 x 0,8 = 64%." Als ze vaker dan 64% overeenkomen, is dat "monocultuur".
• De slimme bril (de auteurs' voorkeur): Maar wacht even! Sommige vragen zijn heel makkelijk (bijv. "Wat is 2+2?") en sommige zijn heel moeilijk. Als twee vrienden beide slim zijn, zullen ze de makkelijke vragen allebei goed hebben en de moeilijke allebei fout. Dat is geen bewijs dat ze samenzweren; dat is gewoon omdat de vragen zo zijn.

De Metafoor:
Stel je voor dat je twee mensen ziet die allebei een paraplu openen.

• Zonder context: Je denkt: "Ze doen precies hetzelfde! Ze hebben een monocultuur."
• Met context: Je kijkt naar de lucht en ziet dat het regent. Nu snap je: "Natuurlijk doen ze hetzelfde! Het regent!" De "regen" is hier de moeilijkheid van de vraag.

Het paper laat zien dat als je de "regen" (de moeilijkheid van de vragen) niet meetelt in je berekening, je denkt dat er een groot probleem is. Maar als je dat wel doet, verdwijnt het probleem vaak grotendeels. De "monocultuur" was eigenlijk gewoon een reactie op dezelfde moeilijke of makkelijke vragen.

2. De "Populatie" Keuze: Met wie vergelijk je ze?

De tweede keuze is: Met wie vergelijk je de modellen?

• De "Kleine Club" (Homogeen): Stel je voor dat je alleen vrienden uitnodigt die allemaal dezelfde opleiding hebben gedaan en dezelfde boeken hebben gelezen. Als ze dan allemaal hetzelfde antwoord geven, is dat misschien niet omdat ze "te veel overeenkomen", maar omdat ze allemaal op dezelfde manier zijn opgeleid. Het is lastig om te zien of ze echt onafhankelijk denken als je ze alleen vergelijkt met hun eigen soort.
• De "Grote Mix" (Divers): Als je nu ook een kok, een schilder en een wiskundige uitnodigt, en ze geven allemaal hetzelfde antwoord op een vraag over wiskunde, dan is dat pas echt opmerkelijk!

De Metafoor:
Stel je voor dat je kijkt naar een groep mensen die allemaal rode schoenen dragen.

• Als je alleen mensen uit een rode schoenen-winkel bekijkt, denk je: "Wow, iedereen draagt rode schoenen! Wat een monocultuur!"
• Maar als je kijkt naar een hele stad, zie je dat mensen blauwe, groene en gele schoenen dragen. De rode schoenen zijn misschien gewoon een trend in die ene winkel, of misschien is het gewoon een warme dag waarop rode schoenen populair zijn.

Het paper toont aan dat als je alleen naar een groep zeer vergelijkbare AI-modellen kijkt (bijvoorbeeld allemaal gemaakt door één bedrijf), je denkt dat ze extreem op elkaar lijken. Maar als je ze vergelijkt met een hele diverse groep (verschillende bedrijven, verschillende methodes), blijkt dat ze soms juist heel verschillend zijn.

Wat betekent dit voor de wereld?

De auteurs zeggen dat we niet moeten roepen: "AI-modellen zijn allemaal hetzelfde!" zonder eerst te kijken naar de context.

1. Het is niet absoluut: Of modellen "te veel overeenkomen" hangt af van welke vragen je stelt en welke modellen je vergelijkt.
2. Het is een diagnostisch hulpmiddel: Door te kijken waarom ze overeenkomen (bijvoorbeeld: omdat ze allemaal dezelfde moeilijke vraag niet snappen), kunnen we beter begrijpen waar de zwaktes van AI zitten, in plaats van alleen te klagen dat ze "te gelijkend" zijn.
3. Voorzichtigheid is geboden: Als we te snel concluderen dat er een "monocultuur" is, kunnen we de echte oorzaken missen. Misschien is het probleem niet dat de modellen slecht zijn, maar dat onze testvragen te eendimensionaal zijn.

Kortom:
Het paper zegt: "Stop met roepen dat AI-modellen allemaal hetzelfde denken, tenzij je eerst je bril opzet om te zien of het regent (de vraagmoeilijkheid) en of je kijkt naar de juiste groep mensen (de diversiteit van modellen)."

Het is een oproep om kritischer te kijken naar hoe we AI testen, in plaats van te vertrouwen op simpele cijfers die kunnen liegen.

Technische samenvatting

Titel: De Subjectiviteit van Monocultuur

Auteurs: Nathanael Jo, Nikhil Garg, Manish Raghavan

---

1. Het Probleem

Er is een groeiende consensus in de literatuur dat AI-modellen (inclusief Large Language Models of LLM's) een fenomeen vertonen dat "algorithmische monocultuur" wordt genoemd: onafhankelijk getrainde modellen produceren opvallend vaak identieke outputs. Dit wordt vaak gezien als een risico voor diversiteit, robuustheid en eerlijkheid in sociotechnische systemen.

De kern van het probleem dat deze paper aanpakt, is echter dat de bewering dat modellen "te veel overeenkomen" (excess agreement) inherente subjectief is. De vraag "hoeveel overeenkomst is te veel?" kan niet in een vacuüm worden beantwoord. Het hangt af van twee cruciale, door de onderzoeker gemaakte keuzes:

1. De nulhypothese (Baseline): Wat wordt beschouwd als "onafhankelijkheid"? Welk model definieert de verwachte mate van overeenkomst?
2. De populatie: Op welke set van modellen en welke set van items (vragen) wordt de analyse uitgevoerd?

Zonder expliciete definitie van deze twee factoren zijn conclusies over monocultuur misleidend of niet reproduceerbaar.

---

2. Methodologie

De auteurs formaliseren het probleem van monocultuur als een inferentieprobleem waarbij "monocultuur" wordt gedefinieerd als de discrepantie tussen de waargenomen data en een gekozen nulmodel van onafhankelijkheid.

A. Theoretisch Kader: Het Nulmodel en de "Null Ladder"

• Nulmodel: Een gezamenlijke verdeling waarbij alle afhankelijkheid tussen modellen kan worden verklaard door gedeelde latente parameters (zoals itemmoeilijkheid of modelcapaciteit), terwijl de modellen conditioneel onafhankelijk zijn gegeven deze parameters.
• Theorema 1: Toont aan dat voor elke waargenomen verdeling van overeenstemming er een voldoende rijk nulmodel bestaat dat de data als conditioneel onafhankelijk kan verklaren. Dit betekent dat als het nulmodel complex genoeg is, "monocultuur" theoretisch altijd kan worden weggeëigend als een artefact van de modelkeuze.
• Null Ladder (Definitie 1): De auteurs introduceren een geneste reeks van steeds expressievere nulmodellen ($N_1 \subseteq N_2 \subseteq \dots$). Naarmate men de ladder beklimt (meer complexiteit toevoegt), neemt de "excess correlation" (de onverklaarde correlatie) af.
  • Een te simpel model (bijv. alleen algemene nauwkeurigheid) leidt tot een hoge schatting van monocultuur.
  • Een te rijk model (bijv. met itemmoeilijkheid en specialisatie) kan alle correlatie verklaren, waardoor monocultuur ondetecteerbaar wordt.

B. Empirische Validatie: Item Response Theory (IRT)

Om hun theorie te testen, gebruiken de auteurs Item Response Theory (IRT), een psychometrisch model dat vaak wordt gebruikt om latente vaardigheden en itemmoeilijkheid te schatten.

• Dataset: Twee grote benchmarks: HELM (72 modellen, 14k vragen) en Open LLM Leaderboard (HF) (451 modellen, 12k vragen).
• Experiment 1 (Dimensionaliteit): Ze passen multidimensionale IRT-modellen toe met toenemende dimensies ($K$). Elke dimensie vertegenwoordigt een type vaardigheid of vraag.
  • Resultaat: Naarmate $K$ toeneemt, daalt de Mean Squared Error (MSE) en de resterende correlatie tussen modellen monotoon naar nul. Dit bewijst dat een complexer nulmodel meer van de "schijnbare" monocultuur kan absorberen.
• Experiment 2 (Itemmoeilijkheid): Vergelijking van hun framework met eerdere werken (Kim et al., 2025; Goel et al., 2025) die geen itemmoeilijkheid modelleren.
  • Ze vergelijken een 1D-IRT zonder itemmoeilijkheid (vergelijkbaar met eerdere baselines) met een 1D-IRT met itemmoeilijkheid.
  • Resultaat: Wanneer itemmoeilijkheid expliciet wordt gemodelleerd, daalt de geschatte excess correlatie drastisch. Modellen lijken alleen maar op elkaar omdat ze dezelfde makkelijke of moeilijke vragen goed/slecht beantwoorden, niet noodzakelijk vanwege een diepere afhankelijkheid.

C. Experiment 3: Relativiteit van de Populatie

De auteurs tonen aan dat zelfs bij een vast nulmodel, de conclusies afhangen van de geselecteerde populatie van modellen en items.

• Setup: Ze starten met een homogene populatie (bijv. alleen OpenAI-modellen of alleen Random Forests) en breiden dit geleidelijk uit met diverse modellen.
• Observatie: In homogene populaties is het moeilijk om echte correlatie te onderscheiden van gedeelde "gemakkelijke" items. De geschatte itemmoeilijkheid wordt extreem (alles is heel makkelijk of heel moeilijk), wat leidt tot onbetrouwbare inferenties.
• Theorema 5: Toont wiskundig aan dat heterogeniteit in de populatie (diverse items en modellen) de stabiliteit van de parameter-schatting verbetert en de "conditioning" van het nulmodel versterkt.

---

3. Belangrijkste Bijdragen

1. Conceptuele Reframing: Monocultuur wordt niet gepresenteerd als een absolute eigenschap van modellen, maar als een context-afhankelijke inferentie. Het is een discrepancy tussen observatie en een gekozen referentiepunt.
2. Formalisatie van Subjectiviteit: De paper formaliseert dat de keuze van het nulmodel (de "ladder") en de populatie de resultaten fundamenteel bepalen. Er is geen "ware" mate van monocultuur zonder deze context.
3. Empirisch Bewijs: Door gebruik te maken van IRT op grote schaal, demonstreren ze dat eerdere conclusies over hoge monocultuur deels kunnen worden toegeschreven aan het negeren van itemheterogeniteit (moeilijkheidsgraad).
4. Diagnostisch Instrument: Ze bieden een raamwerk (het vullen van een specifiek nulmodel) waarmee onderzoekers kunnen diagnosticeren welke variatie in hun data wordt verklaard door bekende factoren (zoals moeilijkheid) en wat overblijft als echte, onverklaarde afhankelijkheid.

---

4. Resultaten

• Vermindering van Correlatie: In Experiment 1 daalt de absolute gemiddelde residual-correlatie exponentieel naarmate de dimensie van het IRT-model toeneemt. Dit betekent dat "excess agreement" grotendeels een artefact is van een te simpel nulmodel.
• Impact van Itemmoeilijkheid: In Experiment 2 zien ze dat correlatiematrices die itemmoeilijkheid modelleren (IRT-1) aanzienlijk minder sterke positieve correlaties tonen dan modellen die dit negeren (IRT-0.5 of eerdere baselines). Sommige sterke positieve correlaties keren zelfs om naar licht negatief wanneer moeilijkheid wordt gecontroleerd.
• Populatie-afhankelijkheid: In Experiment 4 wordt aangetoond dat bij het evalueren van een homogene groep modellen (bijv. alleen Random Forests), de geschatte correlatie verandert in ruis. Pas bij het toevoegen van diverse modelklassen (Logistic Regression, MLP) worden de parameters stabiel en wordt de "echte" structuur van overeenstemming zichtbaar.

---

5. Betekenis en Implicaties

• Voor Onderzoek: De paper waarschuwt onderzoekers om hun keuzes voor nulmodellen en populaties expliciet te rechtvaardigen. Het simpelweg rapporteren van een correlatiecoëfficiënt zonder context is onvoldoende.
• Voor Beleid en Audit: Het voorkomt overmoedige claims over de robuustheid of diversiteit van AI-systemen. Als een systeem lijkt te falen in monocultuur, kan het zijn dat de evaluatie niet divers genoeg was of dat het nulmodel te simpel was.
• Toekomstige Richting: Het werk legt de basis voor het onderscheid tussen "productieve consensus" (modellen die het juiste antwoord vinden omdat het antwoord objectief correct is) en "brittle redundancy" (modellen die hetzelfde fout antwoord geven door gedeelde zwaktes). Het benadrukt de noodzaak van transparante, schaalbare evaluaties die rekening houden met itemheterogeniteit en modeldiversiteit.

Kortom, de paper concludeert dat monocultuur geen vaststaand feit is, maar een relatief concept dat volledig afhankelijk is van hoe we definiëren wat "normale" onafhankelijkheid is en welke modellen we vergelijken.