💬 NLP

Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models

Questo studio valuta l'allineamento dell'umorismo nei modelli linguistici di grandi dimensioni utilizzando il gioco Cards Against Humanity, rivelando che, sebbene le prestazioni superino la casualità, l'allineamento con le preferenze umane è modesto e i modelli mostrano una maggiore coerenza tra loro che con gli esseri umani, suggerendo che i giudizi potrebbero essere influenzati da bias strutturali piuttosto che da preferenze genuine.

Autori originali: Yousra Fettach, Guillaume Bied, Hannu Toivonen, Tijl De Bie

Pubblicato 2026-04-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yousra Fettach, Guillaume Bied, Hannu Toivonen, Tijl De Bie

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere a una festa, seduto a un tavolo con un gruppo di amici. Stai giocando a "Cards Against Humanity" (un gioco di carte dove si deve scegliere la battuta più divertente per completare una frase assurda).

Ora, immagina che al posto di alcuni amici, ci siano cinque super-intelligenze artificiali (i modelli linguistici più avanzati al mondo, come GPT, Claude, Gemini, ecc.). L'obiettivo del gioco è semplice: ognuno deve scegliere, tra 10 carte proposte, quella che rende la battuta più divertente.

Gli scienziati di questa ricerca hanno fatto esattamente questo: hanno messo in gara queste intelligenze artificiali contro esseri umani reali per vedere quanto bene le macchine capiscono l'umorismo umano.

Ecco cosa hanno scoperto, spiegato in modo semplice:

1. Le macchine non sono ancora comiche (ma non sono nemmeno stupide)

Se le macchine avessero scelto le carte a caso (come se avessero gli occhi bendati), avrebbero indovinato la battuta giusta il 10% delle volte.
Invece, le intelligenze artificiali sono arrivate a indovinare tra il 13% e il 18% delle volte.
La metafora: È come se avessero studiato un po' di comicità, ma quando devono fare una battuta "al volo", spesso sbagliano il tono. Capiscono qualcosa di ciò che ci fa ridere, ma non sono ancora all'altezza di un vero comico umano.

2. Il paradosso: Si capiscono meglio tra loro che con noi

Questo è il risultato più strano e interessante.
Le macchine hanno scelto la stessa carta molto più spesso tra di loro (fino al 45% delle volte) rispetto a quanto hanno scelto la stessa carta degli umani (solo il 13-18%).
La metafora: Immagina che tu e i tuoi amici umani abbiate gusti diversi: a te piace la commedia romantica, al tuo amico l'horror. Ma se guardi due robot, entrambi ridono alle stesse battute "strane" che a voi umani non fanno nemmeno sorridere. Sembra che le macchine abbiano sviluppato un loro senso dell'umorismo "robotico", un po' come se avessero un club segreto dove ridono di cose che noi non troviamo divertenti.

3. Perché succede? Due "difetti" di fabbrica

Gli scienziati hanno scoperto che le macchine non stanno davvero "pensando" alla battuta come faremmo noi. Invece, cadono in due trappole:

La trappola della posizione (Posizione Bias): Le macchine sembrano avere una preferenza strana per dove si trova la carta. Ad esempio, una macchina sceglie quasi sempre la carta che è in terza posizione nell'elenco, un'altra sceglie sempre l'ultima. È come se un giudice di un concorso di bellezza scegliesse sempre il concorrente che si trova in fondo alla fila, senza guardare davvero la sua bellezza.
La trappola dei temi (Topic Bias): Le macchine preferiscono certi tipi di battute. Tendono a scegliere più spesso carte che parlano di corpi, fluidi o sessualità (temi "sporcaccioni") e meno carte che parlano di politica o identità. Sembra che i loro "filtri di sicurezza" o il modo in cui sono state addestrate le portino a evitare certi argomenti seri o politici, preferendo battute più "fisiche" e assurde.

4. La conclusione: Ridono per "abitudine", non per "genio"

In sintesi, quando un'intelligenza artificiale ride, non sta necessariamente capendo la profondità della battuta o il contesto sociale (come fa un umano). Spesso sta seguendo regole nascoste o abitudini apprese durante il suo addestramento.

L'analogia finale:
Pensa alle intelligenze artificiali come a degli studenti molto bravi che hanno letto tutti i libri di umorismo, ma che non hanno mai fatto una vera battuta in una festa reale. Quando devono scegliere una battuta, invece di sentire l'atmosfera della stanza, guardano il libro e dicono: "Ok, la battuta numero 3 che parla di... beh, qualcosa di strano, è quella giusta!".

Cosa ci insegna questo?
Ci dice che anche se le macchine sono diventate bravissime a scrivere codice o poesie, l'umorismo umano è ancora una frontiera difficile. Le macchine stanno imparando a "parlare" come noi, ma non stanno ancora imparando a "sentire" come noi. E, cosa ancora più inquietante, stanno iniziando a ridere tutte insieme delle stesse cose sbagliate, creando un loro piccolo mondo di umorismo che non ci include.

Titolo e Obiettivo

Il paper propone un nuovo benchmark per valutare l'allineamento dell'umorismo tra i Modelli Linguistici su larga scala (LLM) e gli esseri umani. Lo studio indaga se i modelli di intelligenza artificiale avanzati possiedono un "senso dell'umorismo" allineato alle preferenze umane o se, al contrario, sviluppano profili umoristici distinti e sistematicamente diversi da quelli umani.

Il Problema

L'umorismo è una dimensione profondamente culturale e sociale della comunicazione umana, basata sulla violazione e risoluzione delle aspettative, sulla conoscenza condivisa e sulla sensibilità al contesto. Sebbene gli LLM abbiano raggiunto prestazioni elevate in compiti strutturati (codice, scrittura), l'umorismo rimane una frontiera difficile da formalizzare.
Il problema centrale è determinare se gli LLM, addestrati e allineati tramite Reinforcement Learning from Human Feedback (RLHF), riescano a cogliere le sfumature dell'umorismo umano o se le loro decisioni siano guidate da artefatti strutturali (bias) o da una convergenza verso un "senso dell'umorismo" artificiale omogeneo ma disallineato.

Metodologia

Gli autori hanno utilizzato il gioco "Cards Against Humanity" (CAH) come ambiente di test controllato.

Dataset e Setup Sperimentale:
- Dati Umani: Utilizzato il dataset "CAH Lab Gameplay", contenente 9.894 round di gioco reali. In ogni round, un giocatore umano seleziona la carta bianca (risposta) più divertente tra 10 opzioni date una carta nera (prompt).
- Modelli Testati: Cinque modelli LLM all'avanguardia (frontier models): GPT-5.2, Gemini 3 Flash, Claude Opus 4.5, Grok 4 e DeepSeek-V3.2.
- Procedura: Ogni round è stato presentato a tutti e 5 i modelli. Per mitigare i bias di posizione, ogni round è stato ripetuto due volte ( $R=2$ ) con un ordine casuale diverso delle carte bianche.
- Task: I modelli dovevano selezionare la singola carta bianca più divertente, fornendo il numero e il testo esatto.
Metriche di Valutazione:
- Allineamento Umano-LLM: Calcolato come la percentuale di round in cui il modello sceglie la stessa carta dell'agente umano di riferimento (ground truth).
- Accordo Inter-Modello: Misura la percentuale di round in cui due modelli diversi scelgono la stessa risposta.
- Coerenza Interna: Valuta quanto un singolo modello sia coerente con se stesso tra le due repliche dello stesso round.
- Analisi dei Bias:
  - Posizione: Test chi-quadro per verificare se le scelte sono distribuite uniformemente tra le 10 posizioni o se ci sono preferenze sistematiche.
  - Tematiche: Analisi della distribuzione dei temi delle carte scelte (es. umorismo corporeo, sessuale, politico) rispetto alle scelte umane.
  - Modelli Surrogati: Modelli logistici condizionali per verificare quanto le scelte degli LLM possano essere predette esclusivamente basandosi sulla posizione e sul tema della carta, ignorando il contesto semantico profondo.

Risultati Chiave

Allineamento Umano Modesto:
- Tutti i modelli superano la linea di base casuale (10%), ma l'allineamento con le preferenze umane rimane basso, oscillando tra il 13% e il 18%.
- Non sono state trovate differenze significative nell'allineamento basate su gruppi demografici specifici (genere, ideologia politica, ecc.), suggerendo che il disallineamento è un problema generale e non limitato a sottogruppi specifici.
Accordo tra Modelli > Accordo con Umani:
- Il risultato più sorprendente è che i modelli concordano tra loro molto più spesso di quanto concordino con gli umani.
- L'accordo inter-modello varia dal 21,4% al 44,9%, mentre l'accordo con l'umano è solo 13-18%.
- La coerenza interna dei modelli (ripetibilità delle scelte) è molto alta (fino al 63,3% per Grok), indicando profili umoristici stabili ma disallineati.
Bias Sistematici:
- Bias di Posizione: Tutti i modelli mostrano deviazioni significative dalla distribuzione uniforme. Ad esempio, DeepSeek preferisce fortemente la posizione 3, mentre Grok la posizione 10.
- Bias Tematici: Gli LLM tendono a scegliere carte su temi "corporali" e "sessuali" con una frequenza superiore rispetto agli umani (31-40% vs 21-24%), mentre evitano temi legati a "politica/società" e "identità/demografia" rispetto alle scelte umane.
- Predittività: I modelli surrogati basati solo su posizione e tema riescono a prevedere le scelte degli LLM in oltre un terzo dei casi (fino al 36% per Grok e DeepSeek), suggerendo che una parte significativa delle loro decisioni è guidata da euristiche superficiali piuttosto che da una comprensione profonda del contesto umoristico.

Contributi Principali

Framework di Valutazione: Introduzione di un protocollo standardizzato per far giocare modelli LLM all'avanguardia al gioco CAH, permettendo un confronto diretto con dati umani reali.
Scoperta del "Senso dell'Umorismo LLM": Dimostrazione empirica che i modelli avanzati convergono verso un profilo umoristico condiviso che è statisticamente distinto da quello umano.
Analisi delle Cause: Identificazione che i bias di posizione e le preferenze tematiche spiegano una porzione sostanziale dell'accordo inter-modello, sollevando dubbi sulla natura "genuina" del giudizio umoristico degli LLM.
Limiti dell'Allineamento RLHF: Evidenziazione che le procedure di allineamento attuali (RLHF) potrebbero non catturare efficacemente le sfumature dell'umorismo trasgressivo e assurdo tipico di CAH, spingendo i modelli verso risposte più "sicure" o strutturalmente prevedibili.

Significato e Implicazioni

Lo studio suggerisce che l'umorismo è una delle ultime frontiere per l'allineamento dell'IA. Il fatto che gli LLM si accordino tra loro più che con gli umani indica che potrebbero essersi sviluppati "dialetti" o preferenze interne ai modelli, guidati da artefatti di inferenza e bias di addestramento piuttosto che da una reale comprensione culturale.
Questo solleva questioni critiche:

Quanto il comportamento umoristico degli LLM riflette una vera comprensione e quanto è un artefatto strutturale?
Le procedure di sicurezza e allineamento attuali potrebbero soffocare l'umorismo trasgressivo necessario per certi tipi di comicità?
È necessario sviluppare nuovi metodi di valutazione che vadano oltre la semplice classificazione binaria o la scelta multipla per catturare la complessità dell'umorismo.

Il paper conclude che, sebbene gli LLM abbiano acquisito alcune capacità di giudizio umoristico, rimangono significativamente disallineati dalle preferenze umane, operando spesso su euristiche superficiali piuttosto che su una profonda risonanza culturale.