Sixteen models, fewer than two voices: measuring ensemble dispersion where no answer is uniquely correct

Stel je voor dat je een lastig puzzel probeert op te lossen, maar in plaats van slechts één vriend te vragen, vraag je een hele kamer vol vrienden. Je hoopt dat ze, omdat ze allemaal verschillende mensen zijn, een breed scala aan creatieve oplossingen zullen geven. Dit is het basisidee achter het gebruik van "ensembles" van Kunstmatige Intelligentie (AI)-modellen. In de wereld van de informatica is een ensemble simpelweg een groep verschillende AI-programma's die samenwerken om een probleem op te lossen. De grote hoop is dat je door het verzamelen van vele verschillende "stemmen", een rijker en diverser scala aan antwoorden krijgt dan bij slechts één model.

Maar hier zit de adder onder het gras: alleen omdat je een kamer vol mensen hebt, betekent dat niet dat ze allemaal iets anders zeggen. Als ze allemaal naar dezelfde school zijn gegaan, dezelfde boeken hebben gelezen en volgens dezelfde regels zijn onderwezen, kunnen ze er allemaal precies hetzelfde antwoord op loslaten, zij het met net andere woorden. Dit artikel duikt in een specifiek hoekje van AI-onderzoek genaamd "diversiteitsmeting". Het stelt een eenvoudige maar diepzinnige vraag: wanneer we een groep AI's vragen een probleem op te lossen dat geen enkel juist antwoord heeft (zoals het interpreteren van een complexe menselijke emotie), denken ze dan werkelijk anders? Of zijn ze allemaal slechts een echo van elkaar? De onderzoekers geven hierom omdat ze willen weten of we, als we denken dat we een breed scala aan perspectieven krijgen, maar in werkelijkheid een menigte klonen voor ons hebben, mogelijk slechte beslissingen nemen op basis van een vals gevoel van veiligheid.

De Grote AI-echoput

In deze studie zetten de onderzoekers een massaal experiment op om te zien hoeveel "ruis" een groep AI-modellen daadwerkelijk maakt. Ze verzamelden een panel van 16 verschillende AI-modellen uit 10 verschillende families (zie dit als verschillende merken of afstammelingen van AI). Ze vroegen deze modellen om op te treden als ervaren therapeuten en een casus te schrijven voor een fictieve patiënt. Het verhaal van de patiënt was vaag genoeg zodat er niet één "juiste" manier was om het te interpreteren; een goede therapeut zou naar hetzelfde verhaal kunnen kijken en er vele verschillende invalshoeken in kunnen zien.

Het team wilde de "dissensie" of de onenigheid tussen de modellen meten. Ze gebruikten een speciaal wiskundig instrument genaamd de Vendi Score. Stel je voor dat je een groep mensen hebt die antwoorden roepen. Als iedereen exact hetzelfde woord roept, is de Vendi Score laag (zoals 1). Als iedereen een volledig ander woord roept, is de score hoog (zoals 16). De onderzoekers wilden zien of hun 16 modellen zouden handelen als 16 unieke individuen of dat ze zouden instorten tot één enkele, saaie stem.

De Grote Verrassing: Minder dan Twee Stemmen

De resultaten waren een behoorlijke schok. Zelfs hoewel ze 16 verschillende modellen uit 10 verschillende families hadden, gedroeg de groep zich gemiddeld genomen alsof het slechts 1,69 verschillende stemmen waren.

Om dit in perspectief te plaatsen: de onderzoekers testten ook een enkel AI-model door hetzelfde model 16 keer dezelfde vraag te stellen op zijn eigen, waarbij ze keken naar de "stochastische variatie" (wat wetenschappers bedoelen met het licht veranderen van de stemming). Zelf wist zelfs één enkel model, op zichzelf, al 1,43 verschillende versies van het antwoord te produceren door slechts de stemming licht te variëren. De hele groep van 16 modellen voegde dus slechts ongeveer een kwart van een "stem" aan diversiteit toe ten opzichte van wat één enkel model uit zichzelf kon genereren.

Het is alsoal je een koor van 16 zangers van 10 verschillende muziekscholen inhuurt, in de verwachting van een symfonie van unieke stijlen, om er vervolgens achter te komen dat ze allemaal klinken als één persoon die dezelfde melodie neuriet, net iets vals. Het artikel sluit expliciet de mogelijkheid uit dat het simpelweg toevoegen van meer modellen aan de groep automatisch voor meer diversiteit zorgt. Sterker nog, de studie laat zien dat het toevoegen van meer modellen aan een panel een gebrekkige manier is om meer perspectieven te verkrijgen.

Wie is de Rebel? (En dat hangt af van de menigte)

De onderzoekers wilden ook weten: "Is er één specifiek model dat altijd de rebel is, degene die met iedereen in strijd is?" Ze volgden welk model in elke ronde van het experiment de "meest divergente" was.

Hier komt de wending: de identiteit van de rebel veranderde afhankelijk van wie er nog meer in de kamer was.

In een kleiner experiment met slechts drie modellen was één specifiek model (GPT-4o) de meeste tijd de rebel. Maar toen het team de groep uitbreidde naar 16 modellen, zakte datzelfde model naar de derde plaats. Nieuwe "rebellen" kwamen op, zoals Ministral 14B en Llama 3.3 70B, die de leiding namen in het afwijken van de groep.

Dit bewijst dat "rebel zijn" geen permanent persoonlijkheidskenmerk is van een specifiek AI-model. Het is een relatie. Een model kan heel verschillend lijken, enkel omdat de andere modellen in de groep toevallig erg veel op elkaar lijken. Als je de groep vervangt, kan de "rebel" plotseling de "conformist" worden. Dit betekent dat als een systeem je een "divergente stem" laat zien om je te helpen een beslissing te nemen, die stem je meer vertelt over de specieke groep AI's die er op dat moment aanwezig is, dan over het specifieke AI-model zelf.

Doet Grootte of Merk Er Toe?

Het team testte ook twee veelvoorkomende aannames die mensen over AI hebben:

1. Betekent groter ook anders? Ze vergeleken "kleine" modellen met "grote" modellen binnen dezelfde familie. De resultaten waren rommelig. Soms was het kleinere model de rebel; soms de grotere. Er was geen consistente regel.
2. Doet de familienaam er toe? Ze keken naar modellen uit dezelfde "familie" (zoals verschillende versies van hetzelfde merk). Hoewel modellen uit dezelfde familie de neiging hadden om iets meer op elkaar te lijken dan op vreemden, was het bewijs zwak omdat ze slechts enkele paren hadden om te vergelijken.

Het artikel concludeert dat je niet kunt voorspellen hoe "divergent" een AI zal zijn door enkel naar de grootte of de merknaam te kijken. Je moet het daadwerkelijk meten in de specifieke context waarin je het gebruikt.

Waarover is de AI het Eigenlijk Oneens?

Ten slotte controleerden de onderzoekers of de modellen meer van mening verschilden bij de gevallen die ontworpen waren om open te staan voor vele interpretaties. Ze hadden de patiëntverhalen gesorteerd in drie typen: die met één duidelijke lezing, die met een gedeelde maar ineffectieve lezing, en die met werkelijk onderscheidende lezingen.

Ze verwachtten dat de modellen het meest van mening zouden verschillen bij de "open" verhalen. Dat was niet het geval. De modellen waren evenveel (of zelfs iets minder) van mening verschillend bij de "open" verhalen als bij de andere. In plaats daarvan werd de mate van onenigheid gedreven door de klinische inhoud van het verhaal. Bijvoorbeeld: verhalen over "depressie" riepen meer onenigheid op dan verhalen over "trauma".

Dit suggere咗 dat de AI-modellen niet zo gevoelig zijn voor de "openheid" van een probleem zoals mensen dat zijn. Ze reageren op de specifieke details van het verhaal (zoals het type ziekte dat wordt genoemd) in plaats van op de filosofische complexiteit van de situatie.

De Conclusie

Deze studie zegt niet dat AI nutteloos is; het zegt alleen dat we moeten stoppen met aan te nemen dat een grote groep AI's automatisch een slimme, diverse groep is. Als je 16 modellen in een kamer zet, krijg je misschien slechts de wijsheid van twee. De "diversiteit" die je krijgt, is geen vast getal dat je kunt kopen door meer modellen toe te voegen; het is iets fragiels dat afhangt van de specifieke mix van modellen en het specifieke probleem dat ze oplossen.

De belangrijkste les is dat als je een groep AI's gebruikt om je te helpen bij een moeilijke beslissing, je niet alleen moet tellen hoeveel modellen je hebt. Je moet meten hoe verschillend ze daadwerkelijk zijn, want de "afwijkende" stem die je ziet, is misschien slechts een tijdelijk effect van wie er aan tafel zit, en niet een diep inzicht van een unieke machine.