Evaluating Language Models' Evaluations of Games
Dit artikel introduceert een formalisme en dataset om het vermogen van AI-systemen om bordspellen te evalueren te beoordelen, waarbij wordt aangetoond dat redenerende modellen weliswaar beter overeenkomen met menselijke oordelen dan niet-redenerende modellen, maar dat hun aansluiting bij menselijke data verzwakt naarmate ze dichter bij speltheoretische optimaliteit komen en dat ze onvoorspelbaar middelenverbruik vertonen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je op een feestje bent waar iedereen probeert een gigantische, complexe puzzel op te lossen. Meestal, wanneer we Kunstmatige Intelligentie (KI) testen, vragen we de KI: "Kun jij deze puzzel oplossen?" en kijken we hoe snel of nauwkeurig het de oplossing kan vinden.
Maar dit artikel stelt een andere, subtielere vraag: "Kun de KI naar de puzzel kijken en ons vertellen of het wel de moeite waard is om hem op te lossen?"
De onderzoekers wilden zien of KI-modellen kunnen optreden als een gamecriticus of scheidsrechter, in plaats van alleen als speler. Ze testten dit door de KI 121 gloednieuwe bordspellen te geven (spellen die de KI nog nooit had gezien) en hen twee specifieke vragen over elk spel te stellen:
- De "Eerlijkheid"-vraag: Als twee mensen dit perfect zouden spelen, wie zou er dan winnen? Is het spel in balans, of is één speler vanaf het begin gedoemd?
- De "Leuk"-vraag: Zouden mensen dit spel daadwerkelijk leuk vinden om te spelen?
Hier is wat ze vonden, opgesplitst in eenvoudige concepten:
1. De "Slimme" versus de "Menselijke"
De onderzoekers vergeleken drie soorten "denkers":
- De Directe Gokker: Standaard KI-modellen die direct een antwoord geven.
- De Diep Denker: Nieuwere KI-modellen die tijd nemen om na te denken (met behulp van een denkketen) voordat ze antwoorden.
- De Mens: Echte mensen die de spelregels bekeken en hun intuïtie gaven.
Het Resultaat: De "Directe Gokkers" waren verschrikkelijk hierin. Ze klonken zelfverzekerd, maar hadden vaak volledig ongelijk, voornamelijk omdat ze gokten op basis van patronen die ze zagen in hun trainingsdata in plaats van de nieuwe regels daadwerkelijk te analyseren.
De "Diepe Denkers" waren veel beter. Ze keken daadwerkelijk naar de regels, simuleerden het spel in hun "hoofd" en gaven antwoorden die dichter bij het denken van mensen lagen. Ze waren echter niet perfect.
2. Het "Klompje" Probleem (Te slim is slecht)
Hier is de meest verrassende bevinding. De onderzoekers vonden een vreemde, niet-lineaire relatie tussen hoe "slim" de KI was en hoe vaak het het eens was met mensen.
- Te dom: De KI gokt willekeurig en is het oneens met mensen.
- Precies goed: De KI denkt hard na en is het eens met mensen.
- Te perfect: Naarmate de KI extreem goed wordt in het berekenen van de wiskundig perfecte uitkomst (zoals een supercomputer-schaakengine), begint het weer oneens te worden met mensen.
De Analogie: Stel je een spel "Steen, Papier, Schaar" voor.
- Een mens denkt: "Ik gooi Steen, want ik heb geluk."
- Een "Precies goed" KI denkt: "Mensen kiezen vaak voor Steen, dus ik moet Papier kiezen."
- Een "Te perfecte" KI denkt: "Statistisch gezien is Papier de optimale zet, dus ik kies Papier."
Het artikel vond dat wanneer de KI te geobsedeerd raakt door wiskundige perfectie, het stopt met begrijpen wat een mens daadwerkelijk zou doen of voelen. Het wordt zo rationeel dat het zijn "menselijke touch" verliest.
3. De "Leuk"-factor is moeilijk te meten
Toen de KI werd gevraagd over "Eerlijkheid" (wiskunde), waren de resultaten consistent. Maar toen ze werd gevraagd over "Leuk", waren de resultaten overal.
De Analogie: Een KI vragen om "Eerlijkheid" te beoordelen, is als vragen om de lengte van een tafel te meten met een liniaal. Er is een duidelijk antwoord. Het vragen om "Leuk" te beoordelen, is als vragen om de "geluk" van een liedje te meten. Het is subjectief en rommelig.
Het artikel vond dat verschillende KI-modellen zeer verschillende ideeën hadden over wat een spel leuk maakt. Sommigen dachten dat een kort spel leuk was; anderen dachten dat een lang, strategisch spel leuk was. Omdat "leuk" moeilijk te definiëren is, waren de KI-modellen inconsistent, en soms konden zelfs de meest geavanceerde modellen het niet eens worden met elkaar, laat staan met mensen.
4. Het "Energydrankje"-probleem
Tot slot keken de onderzoekers hoeveel "hersencapaciteit" (rekenkracht) de KI gebruikte om deze vragen te beantwoorden.
De Analogie: Stel je voor dat je wordt gevraagd om te beslissen of een nieuw recept goed is.
- Soms kijk je gewoon even naar de ingrediëntenlijst (weinig inspanning).
- Soms lees je het hele recept, denk je aan de smaak en controleer je de kooktijd (veel inspanning).
Het artikel vond dat de KI-modellen zeer onvoorspelbaar waren. Soms gebruikten ze een minieme hoeveelheid inspanning om een complex spel te beoordelen, en soms gebruikten ze een enorme hoeveelheid inspanning om een simpel spel te beoordelen. Ze leken geen goed gevoel te hebben voor "wanneer te stoppen met denken". Ze wisten niet hoe ze "bronnen-rationeel" moesten zijn – ze wisten niet wanneer ze hun energie moesten sparen.
Samenvatting
Dit artikel suggereert dat KI, om een echte partner voor mensen te zijn, meer moet doen dan alleen problemen oplossen. Het moet in staat zijn om problemen te evalueren.
- Standaard KI is als een rekenmachine: snel in wiskunde, maar slecht in het begrijpen van de "sfeer".
- Redenerende KI is beter: het kan de regels doordenken en komt dichter bij menselijke meningen.
- De Haken: Als de KI te gefocust raakt op wiskundige perfectie, stopt het met klinken als een mens. En als het gaat om subjectieve dingen zoals "leuk", hebben zelfs de slimste KI's moeite om het eens te worden over wat een spel leuk maakt.
De auteurs concluderen dat we KI niet alleen moeten leren hoe te oplossen, maar ook hoe te beslissen wat het oplossen waard is, en hoe het zijn hersencapaciteit efficiënt moet gebruiken zonder te veel of te weinig na te denken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.