Evaluating Language Models' Evaluations of Games
Dieser Beitrag stellt ein Formalismus und einen Datensatz vor, um die Fähigkeit von KI-Systemen zur Bewertung von Brettspielen zu evaluieren, und zeigt, dass zwar reasoning-Modelle besser mit menschlichen Urteilen übereinstimmen als nicht-reasoning-Modelle, ihre Übereinstimmung mit menschlichen Daten jedoch schwächer wird, wenn sie sich der spieltheoretischen Optimalität annähern, und dass sie ein unvorhersehbares Ressourcenverhalten aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie befinden sich auf einer Party, bei der alle versuchen, ein riesiges, komplexes Puzzle zu lösen. Normalerweise fragen wir beim Testen von Künstlicher Intelligenz (KI) die KI: „Können Sie dieses Puzzle lösen?" und beobachten, wie schnell oder genau sie die Antwort findet.
Dieser Artikel stellt jedoch eine andere, subtilere Frage: „Kann die KI das Puzzle betrachten und uns sagen, ob es sich überhaupt zu lösen lohnt?"
Die Forscher wollten herausfinden, ob KI-Modelle wie ein Spielekritiker oder ein Schiedsrichter agieren können, statt nur wie ein Spieler. Sie testeten dies, indem sie der KI 121 brandneue Brettspiele (Spiele, die die KI zuvor noch nie gesehen hatte) vorlegten und zu jedem zwei spezifische Fragen stellten:
- Die „Fairness"-Frage: Wenn zwei Personen dieses Spiel perfekt spielen, wer würde gewinnen? Ist das Spiel ausgewogen, oder ist ein Spieler von Anfang an zum Scheitern verurteilt?
- Die „Spaß"-Frage: Würden Menschen dieses Spiel tatsächlich gerne spielen?
Hier ist das Ergebnis, aufgeteilt in einfache Konzepte:
1. Der „Intelligente" vs. der „Menschliche"
Die Forscher verglichen drei Arten von „Denkern":
- Der Sofort-Rater: Standard-KI-Modelle, die sofort eine Antwort ausspucken.
- Der Tiefgrübler: Neuere KI-Modelle, die Zeit zum „Nachdenken" (unter Verwendung einer Gedankenkette) benötigen, bevor sie antworten.
- Der Mensch: Echte Menschen, die sich die Spielregeln ansahen und ihr Bauchgefühl äußerten.
Das Ergebnis: Die „Sofort-Rater" waren dabei schrecklich. Sie klangen selbstbewusst, lagen aber oft völlig falsch, hauptsächlich weil sie basierend auf Mustern in ihren Trainingsdaten raten, anstatt die neuen Regeln tatsächlich zu analysieren.
Die „Tiefgrübler" waren deutlich besser. Sie betrachteten tatsächlich die Regeln, simulierten das Spiel in ihrem „Gedanken" und gaben Antworten, die näher an dem lagen, was Menschen dachten. Allerdings waren sie nicht perfekt.
2. Das „Goldlöckchen"-Problem (Zu intelligent ist schlecht)
Hier ist die überraschendste Erkenntnis. Die Forscher entdeckten eine seltsame, nicht-lineare Beziehung zwischen der „Intelligenz" der KI und dem Grad, in dem sie mit Menschen übereinstimmte.
- Zu dumm: Die KI rät zufällig und stimmt mit Menschen nicht überein.
- Genau richtig: Die KI denkt hart nach und stimmt mit Menschen überein.
- Zu perfekt: Wenn die KI extrem gut darin wird, das mathematisch perfekte Ergebnis zu berechnen (wie eine Supercomputer-Schachmaschine), beginnt sie, wieder von Menschen abzuweichen.
Die Analogie: Stellen Sie sich ein Spiel „Stein, Schere, Papier" vor.
- Ein Mensch denkt: „Ich werfe Stein, weil ich mich glücklich fühle."
- Eine „Genau richtige" KI denkt: „Menschen wählen oft Stein, also sollte ich Papier wählen."
- Eine „Zu perfekte" KI denkt: „Statistisch ist der optimale Zug Papier, also werde ich Papier wählen."
Der Artikel fand heraus, dass, wenn die KI zu besessen davon wird, mathematisch perfekt zu sein, sie aufhört zu verstehen, was ein Mensch tatsächlich tun oder fühlen würde. Sie wird so rational, dass sie ihren „menschlichen Touch" verliert.
3. Der „Spaß"-Faktor ist schwer zu messen
Als die KI nach „Fairness" (Mathematik) gefragt wurde, waren die Ergebnisse konsistent. Doch als sie nach „Spaß" gefragt wurde, waren die Ergebnisse völlig durcheinander.
Die Analogie: Eine KI nach „Fairness" zu fragen, ist wie zu fragen, ob sie die Länge eines Tisches mit einem Lineal misst. Es gibt eine klare Antwort. Sie nach „Spaß" zu fragen, ist wie zu fragen, ob sie die „Glückseligkeit" eines Songs misst. Es ist subjektiv und chaotisch.
Der Artikel fand heraus, dass verschiedene KI-Modelle sehr unterschiedliche Vorstellungen davon hatten, was ein Spiel spaßig macht. Manche hielten ein kurzes Spiel für spaßig; andere hielten ein langes, strategisches Spiel für spaßig. Da „Spaß" schwer zu definieren ist, waren die KI-Modelle inkonsistent, und manchmal konnten sich selbst die fortschrittlichsten Modelle nicht untereinander einig werden, geschweige denn mit Menschen.
4. Das „Energy-Drink"-Problem
Schließlich untersuchten die Forscher, wie viel „Gehirnleistung" (Rechenressourcen) die KI benötigte, um diese Fragen zu beantworten.
Die Analogie: Stellen Sie sich vor, Sie sollen entscheiden, ob ein neues Rezept gut ist.
- Manchmal werfen Sie nur einen Blick auf die Zutatenliste (geringer Aufwand).
- Manchmal lesen Sie das gesamte Rezept, stellen sich den Geschmack vor und prüfen die Kochzeit (hoher Aufwand).
Der Artikel fand heraus, dass die KI-Modelle sehr unberechenbar waren. Manchmal setzten sie einen winzigen Aufwand ein, um ein komplexes Spiel zu bewerten, und manchmal einen massiven Aufwand, um ein einfaches zu bewerten. Sie schienen kein gutes Gespür dafür zu haben, „wann sie aufhören sollen zu denken". Sie wussten nicht, wie man „ressourcenrational" ist – sie wussten nicht, wann sie ihre Energie sparen sollten.
Zusammenfassung
Dieser Artikel legt nahe, dass die KI, um ein echter Partner für Menschen zu sein, mehr tun muss als nur Probleme zu lösen. Sie muss in der Lage sein, Probleme zu bewerten.
- Standard-KI ist wie ein Taschenrechner: schnell in der Mathematik, aber schlecht darin, die „Stimmung" zu verstehen.
- Schlussfolgernde KI ist besser: Sie kann die Regeln durchdenken und kommt menschlichen Meinungen näher.
- Der Haken: Wenn die KI zu sehr darauf fokussiert ist, mathematisch perfekt zu sein, hört sie auf, wie ein Mensch zu klingen. Und wenn es um subjektive Dinge wie „Spaß" geht, haben selbst die intelligentesten KIs Schwierigkeiten, sich darauf zu einigen, was ein Spiel angenehm macht.
Die Autoren kommen zu dem Schluss, dass wir der KI nicht nur beibringen müssen, wie man löst, sondern wie man entscheidet, was sich zu lösen lohnt, und wie man ihre Rechenkraft effizient einsetzt, ohne zu viel oder zu wenig nachzudenken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.