From Values to Benchmarks: Evaluating Large Language Models for Governmental Use in Dutch
Dit artikel introduceert het "Grip op LLM's"-framework, een uitgebreide evaluatiesuite ontwikkeld met Nederlandse expertise uit gemeenten om grote taalmodellen voor overheidsgebruik te beoordelen over zes kernaspecten, waarbij wordt onthuld dat geen enkel model uitblinkt op alle gebieden en waarbij kritieke afwegingen tussen kwaliteit, kosten en milieu-impact worden benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je net een super-slimme robotassistent hebt gekocht die e-mails kan schrijven, vragen kan beantwoorden en lange rapporten kan samenvatten. Het is alsof je een geniale bibliothecaris hebt die nooit slaapt. Maar hier komt de crux: deze robot is voornamelijk getraind op boeken die in het Engels zijn geschreven, en jij moet hem gebruiken om een Nederlandse gemeente te helpen runnen, waar iedereen Nederlands spreekt. Je kunt hem niet simpelweg vragen om "zijn best te doen", want als hij een fout maakt, kan hij per ongeluk iemands uitkering weigeren, nepnieuws verspreiden of bepaalde groepen mensen onrechtvaardig behandelen.
Dit is de wereld van Large Language Models (LLM's). Zie ze als digitale hersenen die bijna alles op het internet hebben gelezen. Ze zijn geweldig in praten en schrijven, maar ze kunnen ook verraderlijk zijn. Ze kunnen liegen met veel zelfvertrouwen (dingen verzinnen), bevooroordeeld zijn tegenover bepaalde mensen, of zoveel elektriciteit verbruiken dat ze aanvoelen als een kleine elektriciteitscentrale. Voor een overheid gaat het bij het gebruik van deze robots niet alleen om het kiezen van de "slimste" eenheid; het gaat erom het kiezen van de robot die eerlijk is, rechtvaardig is en niet de begroting of de planeet in de kreukels werkt. Tot nu toe was er geen goede manier om deze robots specifiek te testen voor Nederlandse overheidsfuncties.
Het "Grip op LLM's"-rapport: De robots testen
Een team van onderzoekers van de Gemeente Amsterdam, werkend samen met universiteitsexperts, besloot dit op te lossen. Ze bouwden een nieuw testkader genaamd "Grip op LLMs". In plaats van alleen te vragen: "Hoe slim is deze robot?", vroegen ze een groep ambtenaren, beleidsmakers en diversiteitsexperts: "Wat vindt u het belangrijkst wanneer u een robot inhuurt om de stad te helpen besturen?"
De experts gaven hen een lijst van zes zaken die ertoe doen:
- Feitelijkheid: Vertelt het de waarheid?
- Eerlijkheid: Als de robot het antwoord niet weet, geeft hij dat dan toe, of verzint hij gewoon iets?
- Sociale Bias (Vooroordelen): Behandelt het mensen van verschillende leeftijden, geslachten of achtergronden eerlijk?
- Energieverbruik: Hoeveel elektriciteit verbruikt het?
- Kosten: Hoeveel geld kost het om het te draaien?
- Transparantie van Trainingsdata: Weten we van welke boeken en websites het heeft geleerd?
Vervolgens testten ze meer dan 30 verschillende robotbreinen (zowel de beroemde van grote techbedrijven als kleinere, open-source modellen) aan de hand van deze zes criteria. Ze maakten een speciale "rapportcijferlijst" die voor iedereen, zelfs voor niet-experts, begrijpelijk is.
De Grote Verrassing: Er bestaat geen perfecte robot
Het belangrijkste wat ze ontdekten, is dat er niet één enkele "beste" robot bestaat. Het is alsof je een auto probeert te kopen die tegelijkertijd de snelste, de meest brandstofefficiënte, de goedkoopste en de veiligste is. Je kunt niet alles tegelijk hebben; je moet keuzes maken (trade-offs).
- Het "Slim maar Sluw"-probleem: De onderzoekers ontdekten dat "slim" zijn (hoge feitelijkheid) niet betekent dat een robot "eerlijk" is. Sterker nog, sommige van de nieuwste, krachtigste modellen waren geweldig in het beantwoorden van vragen, maar verschrikkelijk in het toegeven dat ze iets niet wisten. Ze verzonnen vol vertrouwen antwoorden in plaats van te zeggen: "Ik weet het niet zeker." Voor een overheid is dit gevaarlijk, omdat een zelfverzekerde leugen erger is dan een stil "ik weet het niet".
- De Prijs van Kracht: De robots die het slimst en meest capabel waren, kostten ook het meeste geld en verbruikten de meeste energie. Als een stad een super-slimme robot wil, moet zij bereid zijn een hogere prijs te betalen en meer elektriciteit te verbruiken.
- Bias is een Wildcard: "Slim" of "duur" zijn garandeerde niet dat een robot eerlijk was. Sommige goedkope robots waren erg bevooroordeeld, terwijl sommige dure robots eerlijk waren. Je kunt er niet zomaar vanuit gaan dat meer geld uitgeven een "aardigere" robot oplevert. Je moet de bias specifiek controleren.
De Oplossing: Een Gebruiksvriendelijk Dashboard
Omdat de resultaten zo complex waren, publiceerde het team niet alleen een saaie lijst met cijfers. Ze bouwden een kleurrijk, gemakkelijk te begrijpen dashboard (zoals een scherm om personages te selecteren in een videogame).
- Groene pillen laten zien hoe goed de robot is in het vertellen van de waarheid.
- Rode balken laten zien hoeveel energie of geld het kost.
- Iconen laten zien of de robot bevooroordeeld is tegenover bepaalde groepen.
Dit hulpmiddel stelt een stadsmanager in staat om naar het dashboard te kijken en te zeggen: "Oké, we hebben een robot nodig die heel eerlijk en goedkoop is, ook al is hij niet de absoluut slimste," of "We hebben de slimste nodig, en we zijn bereid de hoge energiekosten te dragen."
Wat ze niet vonden (En wat volgt)
Het paper is voorzichtig in de opmerking dat dit geen definitieve "winnaar krijgt alles"-lijst is. Het is een momentopname van de huidige situatie. Ze merkten ook op dat hoewel ze testten op bias wat betreft leeftijd, geslacht en afkomst, er veel andere soorten bias zijn (zoals politieke opvattingen) die ze nog niet volledig hebben gedekt. Ze ontdekten ook dat sommige robots geweldig waren in het samenvatten van documenten, maar verschrikkelijk in het vereenvoudigen van complexe juridische teksten voor gewone burgers.
De belangrijkste les is dat overheden niet zomaar de robot kunnen kiezen met de hoogste score op een standaardtest. Ze moeten naar het hele plaatje kijken. Als ze een robot willen die veilig, eerlijk en eerlijk is voor de Nederlandse burgers, moeten ze bereid zijn keuzes te maken en te accepteren dat geen enkele robot perfect is in alles. De "Grip op LLMs"-tool is de kaart die hen helpt om door die keuzes te navigeren zonder de weg kwijt te raken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.