💬 NLP

Reasoning Capabilities of Large Language Models. Lessons Learned from General Game Playing

Questo studio valuta le capacità di ragionamento formale di quattro modelli linguistici su compiti di simulazione in ambienti di gioco strutturati, rivelando progressi significativi nonostante un calo delle prestazioni con l'aumentare della complessità temporale e l'emergere di errori sistematici come l'hallucination di regole.

Autori originali: Maciej Świechowski, Adam Żychowski, Jacek Mańdziuk

Pubblicato 2026-02-24

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Maciej Świechowski, Adam Żychowski, Jacek Mańdziuk

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🎮 Il Grande Esperimento: I Cervelli Artificiali al Gioco di Scacchi (e non solo)

Immaginate di avere quattro cucinatori robot super intelligenti (i modelli di Intelligenza Artificiale: Gemini, Llama, GPT-OSS). La domanda degli scienziati è: "Questi robot sanno davvero seguire una ricetta complessa passo dopo passo, o stanno solo indovinando basandosi su quello che hanno mangiato prima?"

Per scoprirlo, invece di farli cucinare una torta, li hanno messi in una palestra di logica chiamata General Game Playing (GGP).

1. La Palestra: Un Mondo di Regole "Aliene" 🌌

Invece di far giocare i robot a giochi che conosciamo (come la Monopoli o il calcio), dove potrebbero aver già letto le regole su internet, gli scienziati hanno usato un linguaggio speciale chiamato GDL.

Pensate al GDL come a un linguaggio alieno o a un manuale di istruzioni scritto in un codice segreto.

Il compito: Dare al robot le regole del gioco (il codice), lo stato attuale della partita (dove sono i pezzi) e chiedergli: "Cosa succede dopo?" oppure "Quali mosse posso fare?".
La sfida: Il robot non deve indovinare. Deve applicare la logica pura, come un computer, senza confondersi.

2. I Quattro Atleti 🏃‍♂️

Hanno messo alla prova quattro modelli diversi:

Gemini 2.5 Pro: Il campione olimpico, il più grande e potente.
Gemini 2.5 Flash: Il fratello veloce, leggermente meno potente ma rapidissimo.
GPT-OSS 120B: Un modello open-source molto capace.
Llama 3.3 70B: Un altro modello open-source, molto popolare.

3. Le Prove della Palestra 🏆

Hanno fatto fare ai robot quattro tipi di esercizi, dal più facile al più difficile:

La Prossima Mossa (Next State): "Se muovo questo pezzo, dove finisce?" (Facile: un solo passo).
Le Mosse Legali (Legal Actions): "Quali sono tutte le mosse che posso fare ora?" (Medio: bisogna trovare tutto ciò che è permesso).
Il Viaggio nel Tempo (Multistep State): "Se faccio 5 mosse di fila, dove mi trovo alla fine?" (Difficile: bisogna tenere a mente la storia).
Il Giocatore Completo (Action-State): "Gioca tu per 5 mosse e dimmi dove finisci." (Il livello "Boss": deve decidere cosa fare e calcolare il risultato).

4. I Risultati: Chi vince e chi cade? 📉

Ecco cosa è successo, con delle metafore:

Il Re è ancora lì (Gemini 2.5 Pro): È stato il migliore in assoluto. Quando si tratta di un solo passo, è quasi perfetto (95% di successo). È come un giocatore di scacchi che non sbaglia mai una mossa singola.
La caduta nel vuoto: Più il gioco diventava lungo (più mosse da fare di fila), più tutti i robot facevano errori. È come se dovessero ricordare una lista della spesa: se la lista è di 3 cose, la ricordano tutti. Se è di 10 cose, iniziano a dimenticare o a inventare cose che non esistono.
Il problema della "Cascata": Se il robot sbaglia anche solo una piccola cosa al primo passo, al decimo passo la situazione è completamente sbagliata. È come costruire una torre di carte: se ne metti una storta all'inizio, tutto crolla alla fine.

5. L'Esperimento "Maschera": Capiscono le regole o le parole? 🎭

Questa è la parte più affascinante. Gli scienziati hanno fatto un trucco: hanno preso le regole dei giochi e hanno cambiato i nomi.

Invece di dire "Cavallo", "Pedone" o "Scacco", hanno usato parole senza senso come "Term1", "Term2" o parole casuali come "Sedia", "Foresta".
L'obiettivo: Capire se il robot stava ragionando sulle regole o se stava solo dicendo "Ah, so che i Cavallo si muovono a L perché l'ho letto su Wikipedia".

Risultato: Anche con le parole "strane" e senza senso, i robot migliori (come Gemini Pro) hanno continuato a giocare bene!

Cosa significa? Significa che stanno davvero imparando la logica e le regole, non stanno solo imitando parole che hanno sentito prima. Sono come bambini che imparano le regole di un nuovo gioco guardando il tabellone, senza bisogno che gli spieghino il nome delle pedine.

6. Gli Errori Tipici: Dove si inceppano? 🤖💥

Nonostante i progressi, i robot fanno ancora errori "umani":

Allucinazioni: A volte inventano regole che non esistono (es. "Il cavallo può saltare tre caselle" anche se la regola dice di no).
Dettagli in più: A volte aggiungono cose che non dovrebbero esserci, come se il robot dicesse: "Ehi, ho anche un cappello!" quando nel gioco non c'è.
Confusione sintattica: A volte capiscono la logica ma sbagliano a scrivere la risposta (come scrivere una ricetta con la punteggiatura sbagliata).

🎯 La Conclusione in Pillole

Questo studio ci dice due cose importanti:

Buone notizie: I modelli di oggi sono diventati bravissimi a ragionare su regole logiche complesse, molto meglio di qualche anno fa. Non sono solo "macchine che parlano", stanno imparando a "pensare" secondo regole.
Avvertenze: Non sono ancora perfetti. Se li usate per cose critiche (come calcoli finanziari o legali) dove serve il 100% di precisione, non fidatevi ciecamente. Se il gioco è lungo e complesso, tendono a perdere il filo e a fare errori a catena.

In sintesi: I nostri "cervelli digitali" stanno imparando a giocare a scacchi con regole inventate al momento, e lo fanno abbastanza bene, ma se la partita dura troppo, hanno bisogno di un umano che li tenga d'occhio per evitare che facciano mosse impossibili! ♟️🤖

1. Problema e Contesto

Il lavoro affronta la questione cruciale della capacità dei Large Language Models (LLM) di eseguire ragionamento logico formale in ambienti strutturati e governati da regole. Mentre i modelli moderni eccellono nel linguaggio naturale, la loro affidabilità in compiti che richiedono inferenza simbolica, tracciamento dello stato e rispetto di vincoli logici rigidi rimane incerta.

Il problema centrale è determinare se i LLM operino come veri ragionatori simbolici (capaci di derivare nuovi fatti da regole formali) o se si basino su correlazioni linguistiche superficiali e conoscenza pre-addestrata (es. riconoscere la parola "scacchi" e applicare regole memorizzate invece di leggere le regole fornite). Per testare questo, gli autori utilizzano il framework General Game Playing (GGP), dove le regole di un gioco sono fornite dinamicamente in un linguaggio logico formale chiamato GDL (Game Description Language), basato su Datalog/Prolog.

2. Metodologia

Gli autori hanno progettato un benchmark rigoroso basato su 35 giochi GDL selezionati da un pool di 86, caratterizzati da diverse complessità strutturali.

Modelli Valutati

Sono stati testati quattro modelli rappresentativi dello stato dell'arte:

Gemini 2.5 Pro e Gemini 2.5 Flash (modelli proprietari Google).
Llama 3.3 70B (modello open-weight Meta).
GPT-OSS 120B (modello open-weight OpenAI).

Compiti Sperimentali

Sono stati definiti quattro compiti di difficoltà crescente:

Generazione dello stato successivo: Dato uno stato corrente e una mossa congiunta, prevedere lo stato risultante.
Generazione delle mosse legali: Enumerare tutte le azioni legali disponibili per i giocatori in uno stato dato.
Generazione di stati multi-step: Simulare una sequenza di $n$ mosse partendo dallo stato iniziale.
Generazione di azioni e stati multi-step: Generare autonomamente una sequenza valida di $n$ mosse legali e calcolare lo stato finale.

Variabili di Controllo e Obfuscation

Per distinguere tra ragionamento simbolico puro e conoscenza semantica, i compiti sono stati eseguiti in due varianti:

Originale: Nomi di predicati e costanti significativi (es. cell, move, capture).
Oscure (Obfuscated): I simboli non riservati sono stati sostituti con:
- Placeholder generici (es. term1, term2).
- Parole del dizionario (es. "sedia", "foresta") per testare l'interferenza semantica.
- Stringhe casuali (es. AoinIj6) per eliminare qualsiasi indizio linguistico.

Metriche di Valutazione

Jaccard Index (JI): Misura la sovrapposizione tra l'insieme di fatti atteso e quello generato dal modello.
Strict Success Rate (%S): Misura la percentuale di casi in cui l'output è perfettamente corretto (JI = 1). Questo è fondamentale perché un singolo errore in una simulazione multi-step può causare un collasso a cascata dell'intero stato.

3. Contributi Chiave

Adattamento del framework GGP: Trasformazione del GGP in un benchmark standardizzato per valutare il ragionamento logico dei LLM, offrendo una verità di base (ground truth) oggettiva tramite un interprete GDL.
Valutazione comparativa estesa: Analisi dettagliata di quattro modelli su 35 giochi diversi, coprendo compiti da singolo passo a simulazioni a lungo termine.
Analisi delle correlazioni strutturali: Studio di come le proprietà dei giochi (profondità delle regole, numero di condizioni, complessità composizionale) influenzino le prestazioni dei diversi modelli.
Verifica del grounding semantico: Dimostrazione empirica che i modelli possono ragionare su regole formali anche in assenza di significato linguistico, sebbene con degradazione delle prestazioni.
Identificazione degli errori comuni: Classificazione sistematica dei fallimenti, inclusi errori di formattazione, fattispecie ridondanti e violazione di vincoli di movimento.

4. Risultati Principali

Prestazioni Generali

Gerarchia dei modelli: Gemini 2.5 Pro ha ottenuto le prestazioni migliori in assoluto, seguito da Gemini 2.5 Flash, GPT-OSS 120B e Llama 3.3 70B. Le differenze sono statisticamente significative.
Compiti a singolo passo: Nella generazione dello stato successivo (Task 1), i modelli più forti (Gemini Pro) raggiungono un JI medio > 0.99 e un %S > 0.95, dimostrando capacità eccellenti nell'applicazione di regole logiche in un singolo passaggio.
Degradazione multi-step: Le prestazioni crollano all'aumentare dell'orizzonte temporale (numero di passi). Nel Task 4 (azione + stato multi-step), anche il modello migliore scende a un %S di circa 0.65. Gli errori locali si accumulano rapidamente, portando a stati finali errati.

Impatto dell'Obfuscation

I modelli sono in grado di ragionare simbolicamente anche quando i nomi delle variabili non hanno significato (es. stringhe casuali), suggerendo che non si basano esclusivamente sulla memoria pre-addestrata dei giochi.
Tuttavia, l'oscuramento riduce le prestazioni. Paradossalmente, l'uso di parole del dizionario (es. "sedia") ha causato il peggioramento più grave rispetto alle stringhe casuali, indicando che i significati semantici esterni possono interferire con la logica interna del gioco.

Correlazioni con la Complessità

Gemini 2.5 Pro: È sensibile alla profondità delle regole (nested complexity) e alla ricorsione.
Gemini 2.5 Flash e GPT-OSS: Sono limitati principalmente dalla lunghezza totale delle regole (volume della definizione), suggerendo difficoltà nel gestire spazi di ricerca ampi anche se la logica è superficiale.
Llama 3.3 70B: Mostra una forte correlazione con la proprietà "convergente" (stati che non vengono mai cancellati), indicando limitazioni fondamentali nella tracciabilità della dinamica del gioco.

Errori Comuni

L'analisi qualitativa ha rivelato:

Regole allucinate: Il modello "corregge" implicitamente le regole del gioco basandosi su senso comune (es. assumendo regole mancanti per la gestione delle merci in un gioco agricolo).
Fatti ridondanti: Mantenimento di fatti nello stato che dovrebbero essere stati rimossi secondo le regole GDL.
Violazione dei vincoli: Proposta di mosse illegali (es. movimenti diagonali in giochi che permettono solo ortogonali) a causa della complessità composizionale delle regole.
Errori di formattazione: Sintassi GDL errata (es. parentesi mancanti) che rende l'output non parsabile.

5. Significato e Conclusioni

Il paper dimostra che i LLM contemporanei hanno fatto progressi significativi nel ragionamento simbolico formale, superando le conclusioni di studi precedenti che li consideravano inadeguati per tali compiti. Tuttavia, non sono ancora ragionatori simbolici affidabili per applicazioni critiche che richiedono una precisione del 100% su catene di ragionamento lunghe.

Implicazioni:

L'uso dei LLM in sistemi decisionali basati su regole formali richiede meccanismi di verifica esterni o approcci iterativi (es. validazione intermedia dello stato).
La capacità di ragionamento è intrinseca alla struttura del modello e non dipende esclusivamente dalla familiarità linguistica, ma la complessità composizionale rimane un collo di bottiglia.
Il framework GGP proposto offre una metodologia robusta e scalabile per il futuro sviluppo e valutazione di modelli di ragionamento.

In sintesi, mentre i modelli mostrano una comprensione profonda della logica formale, la loro affidabilità diminuisce esponenzialmente con la lunghezza della catena di inferenza, rendendo necessaria una cautela nell'implementazione di sistemi autonomi basati su LLM per compiti di simulazione complessa.