💻 computer science

Evaluating Language Models' Evaluations of Games

Questo articolo presenta un formalismo e un dataset per valutare la capacità dei sistemi di intelligenza artificiale di valutare giochi da tavolo, rivelando che, sebbene i modelli di ragionamento si allineino meglio ai giudizi umani rispetto ai modelli privi di ragionamento, la loro aderenza ai dati umani si indebolisce man mano che si avvicinano all'ottimalità teorico-giochistica e mostrano un utilizzo delle risorse imprevedibile.

Autori originali: Katherine M. Collins, Cedegao E. Zhang, Graham Todd, Lance Ying, Mauricio Barba da Costa, Ryan Liu, Prafull Sharma, Adrian Weller, Ionatan Kuperwajs, Lionel Wong, Joshua B. Tenenbaum, Thomas L. Griffi

Pubblicato 2026-04-28

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Katherine M. Collins, Cedegao E. Zhang, Graham Todd, Lance Ying, Mauricio Barba da Costa, Ryan Liu, Prafull Sharma, Adrian Weller, Ionatan Kuperwajs, Lionel Wong, Joshua B. Tenenbaum, Thomas L. Griffiths

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere a una festa dove tutti stanno cercando di risolvere un gigantesco e complesso puzzle. Di solito, quando testiamo l'Intelligenza Artificiale (IA), chiediamo all'IA: "Riesci a risolvere questo puzzle?" e vediamo quanto velocemente o accuratamente riesce a trovare la risposta.

Ma questo articolo pone una domanda diversa, più sottile: "L'IA può guardare il puzzle e dirci se vale la pena risolverlo?"

I ricercatori volevano vedere se i modelli di IA potevano agire come critici di giochi o arbitri, piuttosto che come semplici giocatori. Lo hanno testato fornendo all'IA 121 nuovi giochi da tavolo (giochi che l'IA non aveva mai visto prima) e ponendo due domande specifiche su ciascuno:

La domanda sulla "Equità": Se due persone giocassero perfettamente, chi vincerebbe? Il gioco è bilanciato, o un giocatore è destinato a perdere fin dall'inizio?
La domanda sul "Divertimento": Le persone si divertirebbero davvero a giocare a questo gioco?

Ecco cosa hanno scoperto, suddiviso in concetti semplici:

1. Il "Saggio" vs. l'"Umano"

I ricercatori hanno confrontato tre tipi di "pensatori":

L'Indovino Istantaneo: Modelli IA standard che semplicemente sputano una risposta immediatamente.
Il Pensatore Profondo: Modelli IA più recenti che impiegano tempo per "pensare" (utilizzando una catena di pensiero) prima di rispondere.
L'Umano: Persone reali che hanno esaminato le regole del gioco e hanno dato la loro impressione istintiva.

Il Risultato: Gli "Indovini Istantanei" erano terribili in questo. Suonavano sicuri di sé ma erano spesso completamente sbagliati, principalmente perché indovinavano basandosi su schemi visti nei loro dati di addestramento piuttosto che analizzando effettivamente le nuove regole.

I "Pensatori Profondi" erano molto meglio. Hanno effettivamente esaminato le regole, simulato il gioco nella loro "mente" e dato risposte più vicine a quelle degli umani. Tuttavia, non erano perfetti.

2. Il Problema "Goldilocks" (Troppo Intelligente è Male)

Ecco la scoperta più sorprendente. I ricercatori hanno trovato una strana relazione non lineare tra quanto l'IA era "intelligente" e quanto concordava con gli umani.

Troppo Stupido: L'IA indovina a caso e non concorda con gli umani.
Appena Giusto: L'IA pensa a fondo e concorda con gli umani.
Troppo Perfetto: Man mano che l'IA diventa estremamente brava a calcolare l'esito matematicamente perfetto (come un motore scacchistico supercomputer), inizia a non concordare più con gli umani.

L'Analogia: Immagina una partita a "Sasso, Carta, Forbice".

Un umano pensa: "Lancerò Sasso perché mi sento fortunato."
Un'IA "Appena Giusta" pensa: "Gli umani scelgono spesso Sasso, quindi dovrei scegliere Carta."
Un'IA "Troppo Perfetta" pensa: "Statisticamente, la mossa ottimale è Carta, quindi sceglierò Carta."

L'articolo ha scoperto che quando l'IA diventa troppo ossessionata dall'essere matematicamente perfetta, smette di capire cosa farebbe o sentirebbe effettivamente un umano. Diventa così razionale da perdere il suo "tocco umano".

3. Il Fattore "Divertimento" è Difficile da Misurare

Quando all'IA è stato chiesto di valutare l'"Equità" (matematica), i risultati erano coerenti. Ma quando è stata interrogata sul "Divertimento", i risultati erano ovunque.

L'Analogia: Chiedere all'IA di giudicare l'"Equità" è come chiederle di misurare la lunghezza di un tavolo con un righello. C'è una risposta chiara. Chiederle di giudicare il "Divertimento" è come chiederle di misurare la "felicità" di una canzone. È soggettivo e disordinato.

L'articolo ha scoperto che diversi modelli di IA avevano idee molto diverse su cosa renda un gioco divertente. Alcuni pensavano che un gioco breve fosse divertente; altri pensavano che un gioco lungo e strategico fosse divertente. Poiché il "divertimento" è difficile da definire, i modelli di IA erano incoerenti e, a volte, persino i modelli più avanzati non riuscivano a mettersi d'accordo tra loro, figuriamoci con gli umani.

4. Il Problema della "Bevanda Energetica"

Infine, i ricercatori hanno esaminato quanto "potere cerebrale" (risorse di calcolo) l'IA utilizzava per rispondere a queste domande.

L'Analogia: Immagina che ti venga chiesto di decidere se una nuova ricetta è buona.

A volte guardi solo l'elenco degli ingredienti (basso sforzo).
A volte leggi l'intera ricetta, immagini il sapore e controlli i tempi di cottura (alto sforzo).

L'articolo ha scoperto che i modelli di IA erano molto imprevedibili. A volte usavano una quantità minima di sforzo per giudicare un gioco complesso, e a volte usavano una quantità enorme di sforzo per giudicarne uno semplice. Non sembravano avere un buon senso di "quando smettere di pensare". Non sapevano come essere "razionali nelle risorse": non sapevano quando risparmiare la loro energia.

Riepilogo

Questo articolo suggerisce che affinché l'IA sia un vero partner per gli umani, deve fare di più che semplicemente risolvere problemi. Deve essere in grado di valutare i problemi.

L'IA Standard è come una calcolatrice: veloce nei calcoli, ma scarsa nel comprendere l'"atmosfera".
L'IA di Ragionamento è migliore: può ragionare sulle regole e avvicinarsi alle opinioni umane.
Il Rovescio della Medaglia: Se l'IA diventa troppo focalizzata sull'essere matematicamente perfetta, smette di sembrare umana. E quando si tratta di cose soggettive come il "divertimento", persino le IA più intelligenti faticano a mettersi d'accordo su cosa renda un gioco piacevole.

Gli autori concludono che dobbiamo insegnare all'IA non solo come risolvere, ma come decidere cosa vale la pena risolvere, e come utilizzare il suo potere cerebrale in modo efficiente senza pensare troppo o troppo poco.

1. Enunciato del Problema

La valutazione tradizionale dell'IA si concentra sulle capacità di risoluzione dei problemi (ad esempio, giocare a scacchi, Go o risolvere problemi matematici). Tuttavia, il ragionamento umano coinvolge una competenza cognitiva di ordine superiore: la valutazione dei problemi—la capacità di determinare se un problema, un sistema o un gioco valga la pena di essere affrontato prima di tentare di risolverlo.

Gli autori identificano un vuoto nella ricerca attuale sull'IA: mentre i modelli vengono testati su come giocano ai giochi, raramente vengono testati su come valutano i giochi. Nello specifico, il documento affronta due dimensioni della difficoltà di valutazione:

Difficoltà di Calcolo: Quanto è computazionalmente intensiva la query? (ad esempio, calcolare il payoff atteso richiede la simulazione degli stati di gioco).
Difficoltà di Quantificazione: Quanto è ambiguo il metrico? (ad esempio, definire il "divertimento" è soggettivo e manca di una singola verità fondamentale).

La domanda di ricerca centrale è: In che misura i moderni modelli linguistici (LM) e i modelli di ragionamento possono valutare l'equità (payoff) e il "divertimento" di giochi nuovi, e come queste valutazioni si allineano ai giudizi umani e agli ottimi della teoria dei giochi?

2. Metodologia

Dataset e Stimoli

Giochi Nuovi: Lo studio ha utilizzato un corpus di 121 giochi da tavolo strategici competitivi a due giocatori (da Collins et al., 2025). Questi sono in gran parte varianti nuove del Tris (ad esempio, diverse dimensioni della scacchiera, condizioni di vittoria, handicap) progettate per essere improbabili che esistano nei dati di addestramento, costringendo i modelli a fare affidamento sul ragionamento piuttosto che sulla memorizzazione.
Baseline Umana: Circa 20 partecipanti umani hanno valutato ogni gioco come "principianti" (prima di giocare) su due query:
1. Payoff Atteso (Equità): La probabilità che il Giocatore 1 vinca rispetto a un pareggio.
2. Divertimento: Una valutazione soggettiva di quanto il gioco sia divertente.
Dati Totali: Oltre 450 giudizi umani nell'intero dataset.

Modelli Valutati

Gli autori hanno testato un'ampia gamma di modelli, categorizzati in base alle loro capacità di ragionamento:

LM Non-Ragionanti: Modelli standard (ad esempio, GPT-4, DeepSeek-v3, LLaMA 3.1) sollecitati con o senza Catena di Pensiero (CoT).
Modelli di Ragionamento: Modelli avanzati con tracce di ragionamento esplicite (ad esempio, OpenAI o1, o3, GPT-5, DeepSeek-R1, Gemini 2.5 Pro/Flash).
Baseline Computazionali:
- Ottimo della Teoria dei Giochi: Calcolato dove possibile (78 su 121 giochi).
- Agenti Simulati: "Giocatore Intuitivo" (basato su euristiche), "Giocatore Esperto" (ricerca ad albero di profondità 5) e Monte Carlo Tree Search (MCTS).

Metriche di Valutazione

Allineamento: Correlazione $R^2$ tra le previsioni del modello e i giudizi umani.
Razionalità: Accuratezza e deviazione dal payoff ottimo stimato della teoria dei giochi.
Utilizzo delle Risorse: Analisi del conteggio dei token di ragionamento per misurare il costo computazionale.
Analisi delle Tracce: Codifica delle tracce di ragionamento per identificare le strategie (ad esempio, simulazione esplicita, ragionamento analogico, calcolo matematico).

3. Contributi Chiave

Nuovo Paradigma di Valutazione: Propone un quadro per valutare l'IA non solo sulla risoluzione dei problemi, ma sulla valutazione se i problemi valgano la pena di essere risolti. Questo introduce un livello di meta-ragionamento nella valutazione dell'IA.
Formalismo per la Difficoltà di Valutazione: Categorizza esplicitamente le query di valutazione in base alla loro complessità computazionale (difficile da calcolare) e ambiguità di quantificazione (difficile da quantificare), fornendo un modo strutturato per confrontare il ragionamento dell'IA.
Studio Empirico su Larga Scala: Fornisce il primo confronto su larga scala di LM e modelli di ragionamento contro principianti umani e ottimi della teoria dei giochi su valutazioni di giochi nuovi.
Analisi Razionalità-Risorse: Indaga la relazione tra sforzo di ragionamento (utilizzo dei token) e qualità della valutazione, evidenziando la necessità di un meta-ragionamento razionale rispetto alle risorse nell'IA.

4. Risultati Chiave

A. Payoff Atteso (Equità)

Ragionamento vs. Non-Ragionamento: I modelli non ragionanti (anche con CoT) hanno mostrato un scarso allineamento con i giudizi umani e gli ottimi della teoria dei giochi. Si sono basati pesantemente su bias induttivi statistici dai dati di addestramento.
Modelli di Ragionamento: I modelli con ragionamento esplicito (ad esempio, o3, DeepSeek-R1) hanno migliorato significativamente l'allineamento sia con i giudizi umani che con gli ottimi della teoria dei giochi.
Allineamento Non Monotono: Una scoperta critica è una relazione non monotona tra la sofisticazione del modello e l'allineamento umano.
- Man mano che i modelli diventavano più sofisticati (GPT-4 $\to$ o1 $\to$ o3), si allineavano meglio agli umani.
- Tuttavia, man mano che i modelli si avvicinavano all'ottimo della teoria dei giochi (ad esempio, GPT-5), il loro allineamento con i giudizi umani peggiorava. GPT-5 era altamente razionale ma "troppo razionale" per corrispondere alle intuizioni dei principianti umani.
Evidenza di Simulazione: L'analisi delle tracce suggerisce che i modelli di ragionamento ad alte prestazioni si impegnano in una qualche forma di simulazione esplicita del gioco, sebbene la frequenza vari.

B. Valutazione del Divertimento

Sfida di Quantificazione: Valutare il "divertimento" si è rivelato più difficile che valutare il payoff. I risultati sono stati "frastagliati" tra i modelli; i modelli più avanzati non hanno costantemente superato quelli meno avanzati.
Variabilità Umana: I giudizi umani sul divertimento hanno mostrato un'alta varianza (ad esempio, distribuzioni bimodali), che la maggior parte dei modelli non è riuscita a catturare.
Fattori: I modelli variavano nei fattori che consideravano (equilibrio, sfida, durata, novità). Mentre la maggior parte considerava "sfida" e "ricchezza strategica", differivano significativamente su "equilibrio" e "durata", portando a punteggi scalari incoerenti.

C. Utilizzo delle Risorse

Costi Imprevedibili: I modelli di ragionamento hanno mostrato un utilizzo dei token altamente variabile tra i giochi e le query.
Mancanza di Correlazione: Non c'era una forte correlazione tra il numero di token di ragionamento utilizzati e l'accuratezza della valutazione (né rispetto agli umani né all'ottimo della teoria dei giochi).
Novità vs. Calcolo: Controintuitivamente, i giochi più "nuovi" (quelli più lontani dal Tris standard) non hanno richiesto in modo coerente più token di calcolo, suggerendo che i modelli non adattano dinamicamente le risorse in base alla complessità del problema.

5. Significato e Implicazioni

Allineamento dell'IA e Partner di Pensiero: Affinché l'IA possa servire come efficaci "partner di pensiero" (ad esempio, nell'educazione o nella progettazione di meccanismi), deve allinearsi ai valori e alle intuizioni umani, non solo all'ottimalità matematica. La scoperta che modelli "più razionali" possono essere meno allineati agli umani è cruciale per progettare un'IA benefica.
Meta-Ragionamento: I risultati evidenziano una carenza nei modelli attuali: manca loro un meta-ragionamento razionale rispetto alle risorse. Non regolano dinamicamente il loro sforzo computazionale in base alla difficoltà della query di valutazione.
Direzioni Future: Il documento invita a:
- Sviluppare agenti in grado di simulare diversi livelli di razionalità (ad esempio, simulare un "principiante" rispetto a un "esperto").
- Creare benchmark per le capacità di valutazione dei problemi.
- Indagare come controllare la "precisione" delle valutazioni dell'IA per corrispondere a contesti umani specifici.

In conclusione, questo documento sposta il focus dall'IA come risolutore all'IA come valutatore, rivelando che, sebbene i modelli di ragionamento siano potenti, la loro capacità di allinearsi ai giudizi soggettivi umani (specialmente su metriche ambigue come il divertimento) è complessa e non lineare, richiedendo nuovi approcci al meta-ragionamento e all'allocazione delle risorse.