A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

In de snel evoluerende wereld van kunstmatige intelligentie wenden onderzoekers zich vaak tot een strategie genaamd "ensemble learning" om moeilijke problemen op te lossen. In plaats van te vertrouwen op één enkel, massief computerprogramma om het juiste antwoord te vinden, brengen ze een groep verschillende programma's samen, die elk getraind zijn op verschillende gegevens of ontworpen zijn met verschillende sterktes, en vragen hen allemaal om aan dezelfde taak te werken. De hoop is dat terwijl het ene programma misschien struikelt, een ander zal slagen, en dat ze door hun inspanningen te combineren, een niveau van nauwkeurigheid kunnen bereiken dat geen enkel individueel lid alleen zou kunnen halen. Een hardnekkige uitdaging is echter geweest hoe te beslissen welk lid van de groep men moet vertrouwen wanneer ze het oneens zijn. Traditionele methoden werken vaak als een verkiezing, waarbij elk model een stem krijgt en het gekozen antwoord simpelweg degene is die de meeste steun ontvangt. Deze aanpak gaat ervan uit dat de collectieve wijsheid van de groep te vinden is in de meerderheid, maar negeert de mogelijkheid dat het populairste antwoord fout kan zijn, of dat een stillere, betrouwbaardere expert wordt overstemd door een luidere, minder nauwkeurige een.

Een nieuwe studie stelt een andere manier voor om over dit probleem na te denken, waarbij wordt gesuggereerd dat een groep modellen voor kunstmatige intelligentie niet behandeld moet worden als een kiescollege, maar als een jury. In een rechtszaal telt een jury niet simpelweg hoeveel mensen het eens zijn over een vonnis; in plaats daarvan luisteren ze naar de getuigenis van elke getuige en proberen ze te beoordelen wie geloofwaardig is op basis van wat ze zeggen en hoe hun verhalen met elkaar overeenstemmen. De onderzoekers achter dit werk vroegen zich af of een groep taalmodellen hetzelfde zou kunnen doen: de betrouwbaarheid van elk lid afleiden uitsluitend uit het patroon van hun antwoorden, zonder de juiste antwoorden vooraf te hoeven kennen. Ze bouwden een systeem waarbij de modellen fungeren als getuigen, en het systeem leert degenen te vertrouwen wiens getuigenis consistent overeenstemt met de waarheid, zelfs hoewel het systeem de waarheid zelf nooit ziet.

De onderzoekers testten dit idee op een benchmark van 1.560 vragen die een breed scala aan onderwerpen beslaan, van wiskunde en wetenschap tot recht en algemeen redeneren. Ze verzamelden negen verschillende taalmodellen, variërend in grootte en training, om als experts te dienen. In een standaardopstelling zouden deze modellen een reeks vragen krijgen, waarbij hun antwoorden worden gecombineerd met behulp van een eenvoudige meerderheidsstemming of een gewogen gemiddelde waarbij de gewichten worden bepaald door hoe goed de modellen presteerden op een aparte set vragen met bekende antwoorden. De nieuwe methode slaat echter de stap over van het kijken naar de juiste antwoorden om vertrouwen te bepalen. In plaats daarvan gebruikt het een wiskundig proces om de antwoorden te analyseren die de modellen gaven op de vragen die aan hen werden gesteld. Door te kijken naar welke modellen met elkaar overeenkwamen en welke met elkaar verschilden, schat het systeem de betrouwbaarheid van elk model in. Het behandelt het juiste antwoord als een verborgen feit dat de modellen proberen te rapporteren, en het berekent de waarschijnlijkheid dat elk model de waarheid spreekt op basis van de configuratie van de reacties van de groep.

De resultaten van dit experiment waren opmerkelijk. Het jury-gebaseerde systeem, dat leerde te vertrouwen op zijn leden zonder ooit een enkel juist antwoord te hebben gezien, behaalde een nauwkeurigheid van 76,9 procent op de volledige benchmark. Deze prestatie was aanzienlijk beter dan een eenvoudige meerderheidsstemming, die 63,0 procent scoorde, en presteerde ook beter dan het beste enkele model in de groep, dat 75,0 procent bereikte. Misschien wel het belangrijkste: de jury presteerde net zo goed als een systeem dat dezelfde combinatieregels gebruikte maar werd getraind met de juiste antwoorden om de gewichten te bepalen. Deze bevinding suggereert dat het complexe proces van het labelen van gegevens om een systeem te leren welke modellen men moet vertrouwen, niet strikt noodzakelijk is; het systeem kan leren de juiste getuigen te vertrouwen door simpelweg te luisteren naar wat ze zeggen. De studie vond ook dat het behouden van het volledige bereik van mogelijke antwoorden die een model kan geven, in plaats van alleen de topkeuze, de resultaten aanzienlijk verbeterde. Wanneer het systeem de waarschijnlijkheidsverdeling van antwoorden overwoog, won het een extra 8,4 procentpunten boven een eenvoudige stemming, en het correct wegen van de experts voegde nog eens 5,5 punten toe.

De onderzoekers waren zorgvuldig om de gedachte uit te sluiten dat dit succes simpelweg te danken was aan meer gegevens of betere bemonsteringstechnieken. Ze vergeleken hun methode met verschillende andere geavanceerde technieken die ook proberen modellen te combineren zonder labels, en de jury presteerde consequent beter. Het versloeg bijvoorbeeld de sterkste alternatieve label-vrije methode met 5,5 procentpunten. De studie onderzocht ook of het systeem simpelweg geluk had of dat het daadwerkelijk de juiste patronen leerde. Ze testten de jury op verschillende subsets van de modellen en vonden dat het consequent beter presteerde dan zowel de stemmen met gelijke gewichten als de beste enkele expert in bijna alle combinaties. De enige keer dat de jury niet verbeterde ten opzichte van het beste enkele model, was wanneer de groep uit zeer zwakke experts bestond, een scenario waarin geen enkele combinatiemethode realistisch gezien kon helpen.

Een van de meest significante aspecten van dit werk is dat het de aanname uitdaagt dat supervisie altijd vereist is om de beste resultaten te behalen. In veel velden van kunstmatige intelligentie is de standaardpraktijk het trainen van een systeem op een grote dataset waar de juiste antwoorden bekend zijn, zodat het systeem kan leren welke modellen goed zijn. Deze nieuwe aanpak laat zien dat voor het combineren van modellen het systeem de betrouwbaarheid direct kan afleiden uit de overeenstemming en onenigheid tussen de modellen zelf. De onderzoekers vonden dat het verschil tussen de jury en het gesuperviseerde systeem zo klein was dat het niet statistisch significant was wanneer rekening werd gehouden met de natuurlijke variatie in hoe de modellen werden aangepast. Dit impliceert dat de extra inspanning van het labelen van gegevens om een combinatie-regel te trainen, in veel gevallen het niet waard is.

De studie onderzocht ook hoe het systeem omgaat met onzekerheid. Wanneer de modellen gevraagd wordt om antwoorden te genereren, produceren ze vaak een reeks mogelijkheden in plaats van een enkele definitieve verklaring. De jury-methode gebruikt deze volledige distributies van antwoorden, waardoor het meer nuance kan vatten dan een eenvoudige stemming. Bijvoorbeeld, als één model zeer zelfverzekerd is over een foutief antwoord terwijl een ander iets minder zelfverzekerd is over het juiste antwoord, kan het systeem het bewijs gepast wegen. De onderzoekers vonden dat deze aanpak bijzonder effectief was bij wiskundige problemen, waarbij het beste enkele model in de groep moeite had, maar de jury in staat was de sterktes van andere modellen te benutten om de juiste oplossing te bereiken.

Hoewel de methode krachtig is, merkten de onderzoekers ook enkele beperkingen op. Het systeem vereist dat elk model in de groep een antwoord geeft, en voor generatieve taken moet het meerdere monsters nemen om een betrouwbare distributie van antwoorden op te bouwen. Dit verhoogt de computationele kosten in vergelijking met het simpelweg vragen aan één model om een antwoord. De studie suggereert echter dat deze kosten gerechtvaardigd zijn door de aanzienlijke winst in nauwkeurigheid. De onderzoekers observeerden ook dat de mate van vertrouwen van het systeem in zijn antwoorden vaak hoger was dan de werkelijke nauwkeurigheid, wat betekent dat het soms heel zeker was van een foutief antwoord. Dit is een veelvoorkomend probleem in kunstmatige intelligentie, en de onderzoekers merkten op dat het systeem gekalibreerd zou moeten worden voordat de vertrouwensscores als een betrouwbare maatstaf voor de waarheid kunnen worden gebruikt.

Uiteindelijk biedt dit onderzoek een nieuw perspectief op hoe we de collectieve intelligentie van kunstmatige intelligentie kunnen aanwenden. Door modellen te behandelen als een jury in plaats van een kiescollege, kunnen we systemen bouwen die slimmer zijn dan de som der delen zonder de antwoorden vooraf te hoeven kennen. Het vermogen om vertrouwen af te leiden uit getuigenis alleen, opent de deur naar efficiëntere en aanpasbaardere manieren van het gebruik van kunstmatige intelligentie, waarbij het systeem voortdurend zijn begrip kan verfijnen van welke experts het moet vertrouwen naarmate het nieuwe problemen tegenkomt. De bevindingen suggereren dat de sleutel tot het ontsluiten van het volledige potentieel van deze groepen niet ligt in het dwingen van hen om het eens te worden, maar in het leren hoe ze naar elkaar kunnen luisteren en de geloofwaardigheid van hun eigen stemmen kunnen beoordelen.