💬 NLP

lmfaoooo at SemEval-2026 Task 1: Humor Is an Audience. Preference Modeling for Constrained Humor Generation

Questo articolo presenta un sistema vincitore del primo posto per il SemEval-2026 Task 1 (MWAHAHA) che affronta la natura dell'umorismo dipendente dal pubblico impiegando una strategia di tipo "genera-molti, seleziona-il-migliore", in cui un pool diversificato di candidati viene classificato da un modello di preferenza addestrato su giudizi umani a coppie piuttosto che su punteggi di divertimento assoluti.

Autori originali: Alexey Tikhonov, Alexey Ivanov

Pubblicato 2026-06-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alexey Tikhonov, Alexey Ivanov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il proprietario di un comedy club che sta cercando di scegliere la battuta più divertente per lo spettacolo di stasera. Hai mille barzellette scritte da un robot super veloce, ma sai che ciò che fa ridere una persona potrebbe far alzare gli occhi al cielo a un'altra. Il foglio che stai leggendo è un rapporto su come gli autori hanno costruito un sistema per risolvere esattamente questo problema per una competizione di informatica chiamata SemEval-2026 Task 1 (soprannominata MWAHAHA).

Ecco la storia di come l'hanno fatto, suddivisa in semplici passaggi:

1. Il Problema: "Divertente" è negli occhi di chi guarda

Gli autori sottolineano che insegnare a un computer a essere divertente è difficile non perché non sappia scrivere parole, ma perché il concetto di "divertente" è soggettivo.

Il Problema del Pubblico: Una battuta che spacca a Berlino potrebbe fallire a Pechino. Anche gli esseri umani non riescono a mettersi d'accordo su cosa sia divertente; se chiedi a 10 persone di valutare una battuta, daranno 10 punteggi diversi.
Il Problema del Robot: I computer sono bravissimi a memorizzare. Se chiedi a un robot di raccontare una barzelletta, spesso si limita a ripetere le stesse 25 battute che ha imparato a memoria, come un pappagallo che ripete una frase fatta. Fatica a ideare qualcosa di veramente nuovo.

2. La Strategia: "Lancia i Dardi, poi Colpisci il Centro"

Invece di cercare di far scrivere al computer la barzelletta perfetta in un colpo solo, gli autori hanno usato una strategia in due fasi: Genera Molti, Poi Seleziona il Migliore.

Fase 1: La "Fabbrica di Barzellette" (Generazione)
Hanno allestito una fabbrica che produce 50 diverse barzellette per ogni singolo spunto (prompt). Hanno utilizzato un mix di diversi modelli di IA (come una squadra di diversi comici) e li hanno costretti a essere creativi affinché non si limitassero a fare copia-incolla delle solite vecchie barzellette. Si sono anche assicurati che le barzellette rispettassero le regole (come includere parole specifiche o rimanere entro una certa lunghezza).
- Analogia: Immagina di chiedere a 50 chef diversi di preparare un hamburger. Alcuni lo faranno piccante, altri dolce, altri ancora strano. Ora hai un enorme mucchio di hamburger.
Fase 2: Il "Degustatore" (Selezione)
Ora, avevano bisogno di un modo per scegliere il vincitore da quel mucchio di 50. Poiché gli esseri umani non possono giudicare ogni singola barzelletta in tempo reale, hanno costruito un Modello di Preferenza.
- Inveve di chiedere al computer: "Questa barzelletta è divertente?" (che è un termine vago e confuso), hanno chiesto: "Tra la Barzelletta A e la Barzelletta B, quale delle due è migliore?".
- Hanno addestrato questo modello su circa 2.500 voti umani in cui le persone confrontavano due barzellette e ne sceglievano una vincitrice. È come addestrare un giudice mostrandogli migliaia di scontri "A contro B" finché il giudice non impara il gusto della folla.

3. Il Tocco Segreto: Il "Libro di Ricette dell'Umorismo"

Per rendere il loro "Degustatore" più intelligente e facile da comprendere, non si sono limitati a lasciare che il computer tirasse a indovinare. Hanno creato una "Base dell'Umorismo" — una breve lista di 17 "sapori" specifici dell'umorismo.

Pensa a questo come a una credenza delle spezie. I sapori potrebbero includere "Umorismo Nero", "Gioco di Parole", "Esagerazione" o "Colpo di Scena Inaspettato".
Quando il computer guarda una barzelletta, non dice solo "Bene" o "Male". Controlla la barzelletta rispetto alla credenza delle spezie: Ha una battuta finale forte? Sta usando giochi di parole? È troppo dark?
Questo rende il sistema "interpretabile", il che significa che gli esseri umani possono guardare i risultati e capire perché il computer ha scelto quella specifica battuta (ad esempio: "L'ha scelta perché aveva un ottimo colpo di scena, anche se era un po' breve").

4. I Risultati: Vincere la Competizione

Hanno testato questo sistema su tre diversi tipi di dati (barzellette di Reddit, barzellette professionali e il proprio nuovo dataset).

Il Vincitore: Il loro metodo "Confronta due Barzellette" ha funzionato molto meglio rispetto al chiedere semplicemente al computer di dare un punteggio a una singola barzelletta. È stato anche migliore nel gestire diverse lingue e culture rispetto ad altri metodi.
Il Trofeo: Nella competizione reale (MWAHAHA), il loro sistema si è classificato 1° posto in inglese e cinese, e 2° posto in spagnolo.

5. La Grande Conclusione

Il documento conclude che il futuro dell'umorismo informatico non è far scrivere al robot barzellette migliori partendo da zero. Il robot è già bravo a scrivere molte barzellette. La vera sfida è scegliere quella giusta.

Gli autori sostengono che, se vogliamo che i computer siano divertenti, dobbiamo smettere di cercare di misurare il "divertimento" come un singolo numero e iniziare a concentrarci sulle preferenze — ovvero capire cosa piace a specifici pubblici confrontando le opzioni, proprio come facciamo quando decidiamo quale film guardare o quale canzone ascoltare.

In breve: Hanno costruito un sistema che genera un enorme buffet di barzellette e usa un "degustatore" intelligente e addestrato per scegliere il piatto che il pubblico è più propenso ad amare, vincendo la competizione comprendendo che l'umorismo riguarda la preferenza del pubblico, non la barzelletta in sé.

Riepilogo Tecnico: SemEval-2026 Task 1 (MWAHAHA)

Definizione del Problema
Il documento affronta la persistente difficoltà della generazione di umorismo computazionale, che deriva da due sfide primarie: l'intrinseca soggettività del "divertente" e la tendenza dei Large Language Models (LLM) a memorizzare e ripetere template ad alta frequenza piuttosto che generare contenuti originali. L'umorismo dipende dal pubblico, variando significativamente per cultura, demografia e contesto, portando a una supervisione rumorosa in cui l'accordo tra gli annotatori è spesso basso (ad esempio, $\kappa$ di Fleiss $\approx 0,49$ per i dati relativi ai giochi di parole). Inoltre, la generazione non vincolata spesso risulta in un collasso del modo (mode collapse), dove i modelli ricorrono a un piccolo insieme di battute familiari. Il SemEval-2026 Task 1 (MWAHAHA) si rivolge specificamente alla generazione di umorismo vincolato (ad esempio, condizionato da titoli o parole specifiche) attraverso l'inglese, lo spagnolo e il cinese, valutando i sistemi tramite giudizi di preferenza umana in un setting stile arena. Gli autori sostengono che, per i compiti vincolati, il collo di bottiglia non sia la generazione pura, ma la selezione affidabile del candidato ottimale per un pubblico target.

Metodologia
Gli autori propongono una pipeline a due stadi "genera-molti → seleziona-il-migliore", trattando la generazione di umorismo come un problema di massimizzazione della diversità seguito da un problema di apprendimento delle preferenze.

Generazione dei Candidati:
- Strategia: Un approccio di prompting multi-step ispirato alle tecniche di brainstorming: generazione di associazioni, loro espansione e fusione in battute finali.
- Diversità e Vincoli: Un ensemble di modelli (Claude-Sonnet-4, Claude-Ops-4.5 e GPT-5) viene utilizzato con una temperatura di 1.0. Un trucco di "tail-focused sampling" attinge candidati da regioni a bassa probabilità per aumentare la novità.
- Filtraggio: Vengono generati 50 candidati per istanza. I vincoli rigidi (inclusione di parole chiave, lunghezza) sono imposti deterministicamente. I quasi-duplicati vengono rimossi tramite similarità di embedding, mantenendo solo il centroide di ogni cluster.
Modellazione delle Preferenze e Selezione:
- "Base dell'Umorismo" Interpretabile: Invece di fare affidamento esclusivamente su raw text embeddings, gli autori costruiscono una base di feature compatta e interpretabile (17 feature nella corsa finale). Questa è derivata dal prompting di un LLM per generare "indizi di differenza" tra coppie di battute, embedding di tali indizi, clustering (DP-means) e de-duplicazione semantica.
- Estrazione delle Feature: La base viene utilizzata per punteggiare le battute in due modalità:
  - Pointwise: Punteggio di una singola battuta rispetto alle regole.
  - Pairwise: Confronto tra due battute per determinare quale si allinei meglio a regole specifiche.
- Addestramento del Modello: Leggeri predittori di preferenza vengono addestrati utilizzando L1 (LASSO) per la selezione delle feature e regressione regolarizzata L2 per la stabilità. Gli autori danno priorità alla regressione basata su coppie (pairwise-based regression) come approccio principale, poiché produce una maggiore stabilità nel ranking globale nonostante i costi computazionali più elevati ( $\Theta(n^2)$ vs $\Theta(n)$ ). Impiegano ottimizzazioni come la priorità dei confronti tra componenti scollegate e candidati dissimili per ridurre il numero di valutazioni richieste a $\Theta(n \log n)$ .
- Ranking Globale: I ranking finali sono aggregati utilizzando modelli Bradley-Terry-Luce e procedure stile Elo tramite il toolkit Evalica.

Contributi Chiave

Rilascio dei Dati di Preferenza: Il rilascio di circa 2,5K giudizi di coppia umani raccolti tramite il prototipo "Humor Arena", insieme agli esistenti dataset basati su Reddit e ScaleAI.
Inquadramento "Preference-First": Una formalizzazione della generazione di umorismo vincolato come un problema di ranking guidato da decisioni di coppia ripetute, sostenendo che questo fornisca segnali di apprendimento più stabili rispetto al punteggio assoluto.
Pipeline Interpretabile: Un metodo per convertire i confronti etichettati in una base di feature compatta, consentendo l'addestramento di modelli di preferenza leggeri e interpretabili.
Implementazione del Sistema: Il sistema "lmfaoooo", che integra il flusso di lavoro di generazione e selezione, con tutti i prompt, i pool di candidati e gli artefatti rilasciati pubblicamente.

Risultati

Performance All'interno del Dataset: Sui tre dataset (Reddit, ScaleAI e Humor Arena), i modelli di feature basati su coppie hanno superato costantemente sia i baseline pointwise che i baseline "NoBasis" (diretto LLM judge). Ad esempio, sul dataset Humor Arena, il modello pairwise ha raggiunto un'accuratezza del 77% rispetto al 45% del modello pointwise e al 37% del modello NoBasis.
Trasferimento Cross-Domain: I modelli pairwise hanno dimostrato capacità di trasferimento più forti rispetto ai baseline pointwise. Sebbene il trasferimento sia stato parziale e asimmetrico (indicando componenti dell'umorismo sia universali che specifici della comunità), i modelli pairwise hanno mantenuto un'accuratezza superiore nelle impostazioni di test off-diagonal.
Performance SemEval-2026 Task 1: Il sistema ha ottenuto il 1° posto nei subtask inglese e cinese e il 2° posto nel subtask spagnolo.
- ELO Inglese: 1041 (95% CI [1009, 1064])
- ELO Cinese: 1081 (95% CI [1031, 1127])
- ELO Spagnolo: 1091 (95% CI [1053, 1121])

Significatività e Rivendicazioni
Il paper postula che il futuro della generazione di umorismo dipenda meno dal miglioramento delle capacità di generazione di testo grezzo — che i moderni LLM possiedono già in abbondanza — e più dal miglioramento della valutazione e della modellazione delle preferenze. Gli autori affermano che i loro risultati supportano una visione "preference-first": generare candidati diversi è sempre più facile, ma identificare in modo affidabile quale candidato si allinei con un pubblico specifico rimane la difficoltà principale. L'uso di una base di feature interpretabile consente un'analisi degli errori mirata, rivelando che mentre alcune feature dell'umorismo (ad esempio, punchline chiare) sono selezionate universalmente, altre sono specifiche della comunità. Gli autori concludono che il progresso in questo campo dipenderà sempre più da una robusta modellazione delle preferenze piuttosto che esclusivamente sui miglioramenti dell'architettura di generazione.