Sintesi Tecnica: "Non dirlo!": Vincoli, Conformità e Comunicazione quando i Modelli Linguistici Giocano a Taboo

1. Definizione del Problema

Il gioco di Taboo richiede a un giocatore di descrivere una parola bersaglio senza utilizzare un set specifico di parole proibite, facendo affidamento su associazioni semantiche per permettere a un indovinatore di identificare il target. Questo compito presenta una sfida unica per i Large Language Models (LLM) perché richiede la soddisfazione simultanea di due obiettivi contrastanti:

1. Vincoli Lessicali Rigidi: Il modello deve sopprimere parole lesicamente e concettualmente salienti (la lista proibita) e le loro varianti morfologiche.
2. Efficacia Comunicativa: Il modello deve generare una descrizione sufficientemente informativa da evocare il concetto target per un essere umano o un machine guesser.

I benchmark attuali testano spesso l'aderenza alle istruzioni in isolamento. Questo articolo investiga se gli LLM possano navigare il compromesso tra conformità alle regole e utilità comunicativa in un contesto che richiede una "ancoraggio lessicale sotto vincolo". Gli autori mettono in discussione se le descrizioni generate sotto vincolo siano abbastanza dettagliate da essere utili e se le strategie adottate dai modelli si allineino con i processi cognitivi umani nel gioco.

2. Metodologia

2.1. Dati e Modelli

• Dataset: Lo studio utilizza 194 carte di Taboo in italiano trascritte manualmente da un gioco da tavolo fisico. Ogni carta contiene una parola bersaglio e cinque parole proibite.
• Modelli: Sono stati valutati due modelli open-weight:
  • google/gemma-3-4b-it: Un modello leggero istruito (instruction-tuned) selezionato per le sue prestazioni generali e la compatibilità con Sparse AutoEncoders (SAE) pre-addestrati per esperimenti di interpretabilità.
  • openai/gpt-oss-20b: Un modello di ragionamento Mixture-of-Experts post-addestrato con Chain-of-Thought (CoT) reinforcement learning. È stato valutato sia con che senza ragionamento esplicito per valutare il ruolo della deliberazione nell'aderenza ai vincoli.

2.2. Condizioni Sperimentali (Livelli di Intervento)

Gli autori hanno investigato tre distinti livelli di intervento per imporre i vincoli:

1. Prompting (Livello di Istruzione): Il modello riceve l'istruzione tramite il prompt dell'utente di evitare la parola target e la lista delle parole proibite (incluse le derivazioni morfologiche). Il prompt richiede esplicitamente una descrizione sotto le 3로 parole senza testo circostante.
2. Vincoli durante la Generazione (Livello di Decoding):
   • Censura A Priori dei Radicali: Prima della generazione, viene calcolato un set statico di token proibiti basato sui radicali delle parole vietate. I logit per questi token vengono mascherati a $-\infty$ ad ogni step di decoding.
   • Generazione Vincolata al Tempo di Inferenza: Un approccio dinamico in cui il modello genera liberamente finché non viene rilevato un word completo che corrisponde a un radicale proibito. La generazione torna indietro (backtrack) all'inizio della parola inficiante, che viene aggiunta a una maschera persistente a livello di posizione, e la generazione riprende con il token soppresso.
3. Manipolazioni del Modello (Livello di Rappresentazione):
   • Steering tramite SAE: Utilizzando Sparse AutoEncoders (SAE), gli autori hanno identificato le feature nel residual stream (Layer 29) più fortemente associate a ciascuna parola proibita. Durante la generazione, è stato applicato un intervento di scaling della norma di attivazione per guidare il residual stream lontano da queste direzioni di feature, sopprimendo i concetti sottostanti senza modificare i pesi del modello o menzionare esplicitamente le parole proibite nel prompt.

2.3. Metriche di Valutazione

• Conformità (Compliance):
  • Accuratezza: Percentuale di output con zero violazioni (verbatim o morfologiche).
  • Tipi di Violazione: Quota di violazioni esatte, violazioni morfologiche e "leak del target" (uso accidentale della parola target).
  • No : Tasso di esaurimento del budget di ragionamento per il modello GPT.
• Efficacia Comunicativa (Informativeness):
  • LLM-as-a-Judge: Due modelli (Gemma e GPT) hanno agito come giudici, leggendo le descrizioni e indovinando il target. L'efficacia è stata misurata tramite Pass@k (se il primo token del target è tra le prime k predizioni) e Likelihood del token grezzo.
  • Valutazione Umana: 8 annotatori hanno partecipato a due fasi:
    • Indovinare (Guessing): Gli annotatori hanno indovinato i target partendo dalle descrizioni del modello.
    • Descrivere (Describing): Gli annotatori hanno generato descrizioni in condizioni "spontanee" (orali) e "deliberate" (scritte) per servire come baseline per la performance del modello.

3. Risultati Chiave

3.1. Conformità ai Vincoli

• Prompting: Ha migliorato significativamente la conformità rispetto alla baseline non vincolata. Gemma-3-4b-it ha raggiunto un'accuratezza del 91,2%; GPT-oss-20b con ragionamento ha raggiunto il 97,4%. Il ragionamento ha aiutato GPT a sopprimere le parole verbatim ma è stato meno efficace contro le varianti morfologiche.
• Generazione Vincolata: Ha ottenuto una conformità quasi perfetta. Gemma-3-4b-it ha raggiunto il 98,5% (a priori) e il 96,4% (online). GPT-oss-20b con ragionamento ha raggiunto il 92,3% (a priori) ma è sceso all'87,1% (online), con un tasso più alto di leak della parola target.
• Steering tramite SAE: Ha performato scarsamente sulla conformità (55,7%), significativamente inferiore al prompting e alla generazione vincolata. Ciò suggerisce che lo steering a livello di rappresentazione da solo non può imporre in modo affidabile vincoli lessicali di superficie.

3.2. Efficacia Comunicativa (Informatività)

• Trade-off: Il metodo di imposizione del vincolo ha plasmato la qualità della descrizione.
  • Il Prompting tendeva a produrre descrizioni eccessivamente prudenti e informativamente scarse.
  • La Generazione Vincolata ha forzato il modello verso parafrasi semanticamente più precise, risultando in punteggi Pass@10 più elevati per i giudici rispetto al prompting.
  • Lo Steering tramite SAE ha mostrato una sorprendente dissociazione: nonostante la bassa conformità, ha prodotto descrizioni competitivamente informative (Pass@10 fino al 21,1%), suggerendo che bloccare i token di superficie impone un costo descrittivo che l'intervento a livello di rappresentazione evita.
• Sensibilità del Giudice: I due modelli giudici differivano significamente in sensibilità. GPT-oss-20b assegnava probabilità vicine allo zero ai target in quasi tutte le condizioni, mentre Gemma-3-4b-it era più generoso, sebbene entrambi concordassero sull'ordinamento relativo dei metodi.

3.3. Modello vs. Umano

• Asimmetria nell'Indovinare (Guessing): I modelli sono stati sostanzialmente peggiori degli umani come guesser.
  • Gli annotatori umani hanno raggiunto il 30,77% di accuratezza indovinando le descrizioni del modello.
  • I giudici modello (anche Gemma-3-4b-it) hanno richiesto da 5 a 10 tentativi (Pass@5 a Pass@10) per avvicinarsi all'accuratezza che gli umani ottenevano con un solo tentativo (Pass@1) sulle descrizioni scritte dagli umani.
  • GPT-oss-20b come giudice assegnava probabilità vicine allo zero ai target corretti in quasi tutti i casi.
• Asimmetria nel Descrivere (Describing):
  • Per i modelli, il ragionamento (CoT) ha migliorato significativamente la conformità (72,2% vs 97,4% per GPT).
  • Per gli umani, le descrizioni orali spontanee hanno prodotto un'accuratezza di indovinamento superiore (95%) rispetto alle descrizioni scritte deliberate (85%), probabilmente a causa della raffinazione interattiva e in tempo reale possibile nella comunicazione orale, che manca alla generazione di testo statico.

4. Contributi e Significato

Contributi Chiave

1. Framework di Vincolo Multi-livello: Il paper confronta sistematicamente le strategie di enforcement dei vincoli attraverso tre livelli del processo generativo: prompting, masking al tempo di decoding e manipolazione della rappresentazione interna (SAE).
2. Valutazione Bidirezionale Umano-Modello: A differenza degli studi precedenti che si basano solo su metriche automatiche, questo lavoro ancora la valutazione al gameplay effettivo invertendo i ruoli: gli umani indovinano le descrizioni del modello, e i modelli indovinano le descrizioni umane.
3. Caratterizzazione dei Trade-off: Lo studio dimostra che la conformità alle regole e l'efficacia comunicativa non sono controllabili indipendentemente. Il meccanismo usato per imporre un vincolo (istruzione vs decoding vs rappresentazione) altera fondamentalmente la natura dell'output, creando distinti trade-off tra sicurezza (evitare parole proibite) e utilità (evocare il target).

Significato e Affermazioni

Gli autori affermano che l'ancoraggio lessicale sotto vincolo rimane una sfida aperta per gli attuali modelli linguistici.

• Il "Gap di Indovinamento" (Guessing Gap): L'incapacità dei modelli di indovinare i target da descrizioni indirette con l'efficienza umana suggerisce che gli LLM manchino della stessa rete di associazioni lessicali salienti che rendono intuitivo il Taboo per gli umani. Gli autori suggeriscono che questo punti a una differenza tra l'elaborazione "Sistema 1" veloce e associativa usata dagli umani e il ragionamento "Sistema 2" deliberato dei modelli.
• Limitazioni: Gli autori notano con modestia che il benchmark è attualmente solo in italiano, l'insieme di valutazione condiviso è piccolo (10 parole) e lo steering SAE è stato testato solo su un'architettura. Evidenziano inoltre che lo studio valuta i modelli in un setting a turno singolo, mentre il gioco originale è intrinsecamente interattivo.
• Direzioni Future: Il paper sostiene che giochi come Taboo costituiscono un testbed naturale e inesplorato per le capacità dei modelli linguistici, specificamente per sondare l'adattamento pragmatico e l'ancoraggio collaborativo in configurazioni multi-agente e multi-turno.