In de wereld van kunstmatige intelligentie worden grote taalmodellen vaak beoordeeld op basis van één enkele, eenvoudige vraag: kan het het juiste antwoord geven? Wanneer een gebruiker vraagt om een oplossing voor een wiskundig probleem, een regel code of een medische diagnose, is de standaardtest of het model één correct antwoord produceert. Deze benadering behandelt de machine als een student die een eindexamen maakt, waarbij alleen de hoogste score telt. Echter, in veel realistische situaties is één enkel antwoord niet genoeg. Een wetenschapper die een nieuw medicijn ontwerpt, heeft misschien tien verschillende chemische structuren nodig die allemaal werken, zodat hij er een kan kiezen die het makkelijkst te produceren is. Een software engineer die een beveiligingslek dicht, wil misschien verschillende manieren om de code te patchen om te zien welke het veiligst is. In deze scenario's ligt de waarde van de machine niet in haar vermogen om één perfecte output te produceren, maar in haar vermogen om een rijke set van verschillende, nuttige opties te genereren. De uitdaging voor onderzoekers is geweest hoe ze dit vermogen kunnen meten. Traditionele tests tellen vaak hoe vaak een model het goed heeft, of ze kiezen simpelweg het beste antwoord uit een lijst en negeren de rest. Dit mist het punt volledig wanneer het doel een diverse collectie van geldige mogelijkheden is om uit te kiezen.

Een team van onderzoekers bij het RIKEN Center for Computational Science in Japan heeft een nieuwe manier ontwikkeld om naar dit probleem te kijken. Ze hebben een gespecialiseerde testomgeving gecreëerd, die ze een benchmark noemen, ontworpen om specifiek te zien hoe goed een kunstmatige intelligentie een verscheidenheid aan nuttige antwoorden voor een enkele taak kan genereren. In plaats van te vragen: "Heeft het het antwoord goed?", vraagt hun methode: "Hoeveel verschillende, oprecht nuttige antwoorden heeft het gevonden?" Ze hebben deze test gebouwd met behulp van vijf zeer verschillende soorten realistische problemen, variërend van het ontwerpen van chemische moleculen tot het repareren van softwarebugs en het zoeken naar medisch bewijs. Voor elk probleem hebben ze exact gedefinieerd wat een "nuttig" resultaat is en hoe te bepalen of twee resultaten daadwerkelijk verschillend zijn. Bijvoorbeeld, bij het ontwerpen van moleculen kunnen twee antwoorden er aan de oppervlakte verschillend uitzien, maar als ze dezelfde kernchemische structuur delen, tellen ze als hetzelfde nuttige resultaat. De onderzoekers hebben vervolgens verschillende modellen door deze taken gelopen, waarbij ze hen vroegen om dit meerdere keren te proberen, en hebben geteld hoeveel unieke, geldige oplossingen zij hadden verzameld.

De resultaten van dit onderzoek onthullen een verrassende waarheid over hoe deze machines werken. De onderzoekers ontdekten dat de modellen die het beste zijn in het produceren van een enkel, hoogwaardig antwoord, niet noodzakelijkerwijs de modellen zijn die de beste collectie diverse antwoorden produceren. Sterker nog, de rangschikking van welk model "het beste" is, verandert afhankelijk van hoeveel pogingen worden toegestaan. Een model dat de leiding neemt wanneer het slechts één poging krijgt, kan achterop raken wanneer het twintig pogingen krijgt, terwijl een ander model dat langzamer start, uiteindelijk een breder scala aan nuttige oplossingen kan ontdekken. Dit suggereert dat de instellingen die worden gebruikt om deze modellen te draaien belangrijker zijn dan voorheen gedacht. De onderzoekers ontdekten dat het verhogen van de "temperatuur", een instelling die de output van het model willekeuriger en gevarieerder maakt, vaak leidde tot een veel bredere collectie nuttige resultaten, ook al verlaagde dit soms de kwaliteit van een enkel antwoord. Omgekeerd verbeterde een functie genaamd "denken", die het model aanmoedigt om stapsgewijs te redeneren voordat het antwoordt, de kwaliteit van individuele antwoorden, maar hielp het het model niet altijd om meer onderscheidende oplossingen te vinden.

Misschien wel het belangrijkste is dat de studie aantoonde dat het simpelweg kijken naar hoe verschillend de antwoorden er aan de oppervlakte uitzien, niet genoeg is om te bepalen of ze werkelijk nuttig zijn. Een veelgebruikte manier om diversiteit te beoordelen is door te controleren of de woorden of tekens in de antwoorden van elkaar verschillen. De onderzoekers vonden dat deze controle op het oppervlak een slechte voorspeller is van of het model daadwerkelijk nieuwe, geldige oplossingen heeft gevonden. Een model kan tien antwoorden produceren die er heel verschillend uitzien, maar die allemaal dezelfde onderliggende oplossing vertegenwoordigen, waardoor het niet de variëteit biedt die een gebruiker daadwerkelijk nodig heeft. Door een systeem te gebruiken dat de werkelijke inhoud en betekenis van de antwoorden controleert tegen de specifieke regels van de taak, konden de onderzoekers de werkelijke "dekking" van de resultaten meten. Ze ontdekten dat deze diepere maatstaf vaak leidde tot andere conclusies over welke modellen en instellingen het best presteerden.

Het team testte vier verschillende grote taalmodellen binnen deze vijf domeinen: het ontwerpen van moleculen, het repareren van software repositories, het vinden van bugs in code, het diagnosticeren van medische gevallen en het zoeken naar bewijs om complexe vragen te ondersteunen. Ze draalden elk model met verschillende instellingen, zoals het variëren van het niveau van willekeur en het in- of uitschakelen van het "denkproces". Vervolgens maten ze hoeveel onderscheidende, geldige uitkomsten elk model produceerde naarmate het aantal pogingen toenam. De gegevens toonden aan dat voor de meeste taken het model dat het best presteerde aan het begin, niet het model was dat het best presteerde na vele pogingen. Bijvoorbeeld, in de taak van het ontwerpen van moleculen was één model de leider na een enkele poging, maar tegen de tijd dat er twintig pogingen waren gedaan, had een ander model aanzienlijk meer unieke chemische structuren ontdekt. Dit patroon hield stand over de hele linie, wat aangeeft dat de beste strategie voor het genereren van één antwoord vaak anders is dan de beste strategie voor het genereren van een set antwoorden.

De studie onderzocht ook of het expliciet vertellen van het model om zichzelf niet te herhalen zou helpen. In sommige gevallen hebben onderzoekers geprobeerd om diversiteit af te dwingen door het model te vragen nieuwe ideeën te genereren die verschillend zijn van wat het zojuist heeft gezegd. De onderzoekers ontdekten dat deze aanpak niet betrouwbaar werkte. Hoewel het in sommige specifieke taken zoals het zoeken naar bewijs hielp, verminderde het in andere taken, zoals het repareren van software, juist het aantal nuttige oplossingen. Dit suggereert dat het simpelweg vragen om variatie niet garandeert dat het model nieuwe, geldige grond zal vinden. In plaats daarvan speelt de manier waarop het model is geconfigureerd, met name de instellingen die de willekeur controleren, een meer cruciale rol in het bepalen of het een breed scala aan nuttige mogelijkheden kan verkennen.

Deze bevindingen veranderen hoe we de evaluatie van kunstmatige intelligentie moeten zien. Jarenlang lag de focus op het krijgen van het enkel beste antwoord. Maar naarmate deze machines worden gebruikt voor complexere taken waarbij het hebben van opties cruciaal is, is de oude manier van succes meten onvoldoende. Het werk van de onderzoekers demonstreert dat een eindige set kandidaat-antwoorden een betekenend object van studie op zich is. Het is niet slechts een collectie pogingen die leiden naar één winnaar; het is een landschap van mogelijkheden dat in kaart gebracht en gemeten kan worden. Door hun nieuwe methode te gebruiken, die ze "gevalideerde taakdekking" noemen, lieten ze zien dat we direct kunnen evalueren hoe goed een model dit landschap verkent. De resultaten suggereren dat we, om het meeste uit deze tools te halen, misschien moeten stoppen met zoeken naar het enkel beste antwoord en moeten beginnen met het waarderen van de breedte van de opties die ze kunnen bieden.

De implicaties van dit onderzoek reiken verder dan alleen het kiezen van het juiste model. Het suggereert dat de manier waarop we met deze systemen omgaan, moet veranderen. Als een gebruiker een verscheidenheid aan oplossingen nodig heeft, moet hij misschien de instellingen aanpassen om exploratie aan te moedigen, zelfs als dat betekent dat individuele antwoorden misschien iets minder perfect zijn. De studie biedt een concrete manier om deze verschillende benaderingen te testen en te vergelijken, bewegend voorbij vage ideeën van "creativiteit" of "diversiteit" naar een duidelijke, meetbare telling van nuttige uitkomsten. De onderzoekers hebben hun tools en data publiekelijk beschikbaar gemaakt, zodat anderen nieuwe modellen en instellingen tegen deze nieuwe standaard kunnen testen. Dit opent de deur naar een genuanceerder begrip van wat deze machines kunnen doen, waarbij de focus verschuift van een enkel punt van succes naar het volledige bereik van hun potentieel.

Uiteindelijk biedt het artikel een stille maar significante verschuiving van perspectief. Het betoogt dat de waarde van een kunstmatige intelligentie niet alleen ligt in haar vermogen om gelijk te hebben, maar in haar vermogen om op veel verschillende manieren nuttig te zijn. Door een test te bouwen die de accumulatie van onderscheidende, geldige resultaten meet, hebben de onderzoekers een nieuwe lens geboden om naar deze krachtige tools te kijken. Ze hebben aangetoond dat de weg naar het beste pakket aan antwoorden niet altijd dezelfde is als de weg naar het beste enkele antwoord, en dat de instellingen die we kiezen een diepgaand verschil kunnen maken in de variëteit van de oplossingen die we ontvangen. Dit werk beweert niet dat het elk probleem bij de evaluatie van AI heeft opgelost, maar het biedt een heldere, reproduceerbare methode om een vraag te stellen die te lang is over het hoofd gezien: hoeveel nuttige dingen kan deze machine eigenlijk vinden?