Resources and Evaluation in Computational Humour Generation: A Systematic Survey across Languages and Cultures

Far dire a un computer una barzelletta è uno dei compiti più ingannevolmente difficili dell'intelligenza artificiale. Richiede più di una semplice assemblaggio di parole che seguano le regole della grammatica; la macchina deve comprendere le regole sottili, spesso invisibili, della cultura, del tempismo e delle aspettative umane. Una barzelletta che funziona in una città potrebbe fallire o addirittura risultare offensiva in un'altra, e ciò che sembra divertente a una persona potrebbe apparire confuso a qualcun altro. Per anni, i ricercatori hanno cercato di costruire sistemi in grado di generare umorismo, passando da semplici programmi basati su regole che scambiavano le parole a sistemi moderni e complessi che apprendono da enormi quantità di testo. Ma man mano che questi sistemi sono diventati più potenti, è emerso un nuovo problema: mentre i computer stanno diventando più bravi a scrivere barzellette, la base su cui poggiano sta diventando più difficile da vedere. Non sappiamo se i dati da cui hanno imparato rappresentino davvero le persone che dovrebbero divertire, o se i test utilizzati per giudicarli misurino effettivamente ciò che pensiamo stiano misurando.

Una recente indagine sistematica condotta da ricercatori della King Mongkut's University of Technology Thonburi esamina duramente questa base nascosta. Il team ha esaminato settantaquattro studi pubblicati tra il 2020 e il 2026, un periodo che ha visto un cambiamento massiccio nel modo in cui i computer vengono istruiti per creare umorismo. Non si sono limitati a guardare le barzellette prodotte dalle macchine; hanno tracciato l'intero ciclo di vita della ricerca, dai dati grezzi utilizzati per addestrare i modelli ai metodi utilizzati per decidere se una barzelletta fosse effettivamente divertente. Il loro obiettivo era determinare se le risorse disponibili per gli scienziati siano davvero aperte all'uso da parte di altri, se i dati coprano la vasta varietà delle culture umane e se il modo in cui testiamo questi sistemi sia affidabile. Ciò che hanno scoperto è un campo in rapida transizione, dove la tecnologia ha superato la trasparenza e il rigore necessari per sostenerla.

Il panorama della generazione dell'umorismo è cambiato drasticamente in pochi anni. In passato, i ricercatori si affidavano a regole specifiche e artigianali o a piccoli set di dati progettati per un singolo tipo di barzelletta, come un gioco di parole o un titolo. Oggi, il campo è dominato dai grandi modelli linguistici, che sono enormi programmi informatici addestrati su enormi quantità di testo provenienti da internet. Questi modelli possono generare testo in molte lingue e stili, e sono apparsi nel settantatré percento degli studi esaminati. Invece di scrivere un programma per raccontare una barzelletta specifica, i ricercatori spesso forniscono a questi modelli un'istruzione semplice, o "prompt", chiedendo loro di essere divertenti. Questa flessibilità ha permesso un'ondata di nuovi esperimenti, con il numero di studi che è aumentato bruscamente dopo il 2023. Tuttavia, questo spostamento ha creato un nuovo tipo di opacità. Poiché la conoscenza dell'umorismo è ora diffusa tra le impostazioni interne del modello, le istruzioni date ad esso e i dati che recupera durante la generazione, spesso è impossibile capire esattamente da dove provenga l'umorismo o quale specifico contesto culturale stia attingendo.

Uno dei risultati più sorprendenti dell'indagine è che, nonostante l'abbondanza di dati, sia incredibilmente difficile trovarli, riutilizzarli o verificarli. I ricercatori hanno controllato la disponibilità dei dataset e delle risorse create in questi settantaquattro studi e hanno scoperto che solo il ventotto percento erano pubblicamente disponibili per l'uso da parte di altri. Ancora più preoccupante è che solo uno studio citava esplicitamente la licenza legale che disciplina come i suoi dati possano essere utilizzati. Nel mondo della ricerca scientifica, questo è come pubblicare una ricetta ma rifiutarsi di elencare gli ingredienti o le regole per condividere il piatto. Quando i ricercatori hanno esaminato le poche risorse rilasciate, hanno scoperto che nessuna di esse aveva un indirizzo permanente e immutabile su internet, noto come identificatore persistente. Ciò significa che i collegamenti ai dati possono rompersi e, una volta interrotto il collegamento, i dati sono effettivamente persi. Senza licenze chiare e posizioni stabili, altri scienziati non possono riprodurre i risultati o costruire sul lavoro svolto, il che rallenta il progresso e rende difficile sapere se un sistema sia veramente efficace o solo fortunato.

L'indagine ha anche rivelato un divario significativo tra le lingue parlate dalle persone che i sistemi sono destinati a servire e le lingue utilizzate per costruirli. Più della metà degli studi si concentrava esclusivamente sull'inglese, anche se i ricercatori sostenevano che i loro sistemi potessero funzionare in diverse culture. Sebbene ci fossero studi che coinvolgevano il cinese, lo spagnolo, il giapponese e altre lingue, molti di questi si basavano sulla traduzione di barzellette inglesi piuttosto che sulla raccolta di umorismo creato naturalmente da parlanti nativi. Questa è una distinzione critica perché l'umorismo è profondamente legato alla cultura; una barzelletta che si basa su un evento storico specifico o su una consuetudine locale non può essere semplicemente tradotta per funzionare altrove. I ricercatori hanno scoperto che solo quattro studi hanno valutato direttamente se l'umorismo generato fosse culturalmente appropriato, utilizzando valutatori che appartenessero effettivamente alla comunità di riferimento. Nella maggior parte degli altri casi, i ricercatori hanno assunto che se un parlante nativo lo trovava divertente, allora fosse culturalmente sicuro, senza testare effettivamente le specifiche sensibilità culturali o le tradizioni.

Per quanto riguarda il giudizio su un computer che ha avuto successo nel raccontare una barzelletta, i metodi utilizzati sono spesso incoerenti e talvolta fuorvianti. Lo standard d'oro per misurare l'umorismo è sempre stato il giudizio umano, e l'indagine ha confermato che la valutazione umana è ancora il metodo più comune, utilizzato nell'ottantaquattro percento degli studi. Tuttavia, il modo in cui queste valutazioni vengono condotte varia enormemente. Alcuni studi utilizzano un piccolo gruppo di studenti, mentre altri utilizzano comici professionisti o grandi gruppi di lavoratori online. Meno del quaranta percento degli studi ha riferito l'uso di test statistici per garantire che i propri risultati non fossero solo un colpo di fortuna, e molti non hanno spiegato come abbiano deciso se una barzelletta fosse divertente o meno. In un tentativo di velocizzare le cose, alcuni ricercatori hanno iniziato a usare altri modelli informatici per agire come giudici, ma l'indagine ha rilevato che questi giudici automatizzati spesso non concordano con gli esseri umani. Potrebbero valutare una risposta come divertente perché è nuova o sorprendente, anche se un essere umano la troverebbbe confusa o offensiva. Questo crea il rischio che i sistemi vengano ottimizzati per compiacere altri computer piuttosto che per divertire persone reali.

I ricercatori hanno concluso che l'ostacolo principale nel campo non è più la mancanza di dati, ma piuttosto la difficoltà di trovare, riutilizzare e verificare i dati che già esistono. Il passaggio a modelli potenti e general-purpose non ha eliminato la necessità di risorse di alta qualità e ben documentate; ha reso quelle risorse ancora più importanti. Per andare avanti, il campo deve adottare migliori pratiche per la condivisione dei dati, inclusi licenze chiare, collegamenti permanenti e descrizioni dettagliate di come i dati siano stati raccolti e annotati. Soprattutto, i ricercatori devono garantire che le loro valutazioni corrispondano alle affermazioni che fanno. Se un sistema dovrebbe essere divertente per un gruppo culturale specifico, deve essere testato da persone appartenenti a quel gruppo, utilizzando criteri che riflettano i loro valori e le loro tradizioni. Finché queste fondamenta non saranno rafforzate, il progresso nel far raccontare barzellette ai computer rimarrà incerto, con guadagni che potrebbero riflettere le stranezze dei metodi di test piuttosto che una vera comprensione dell'umorismo umano.