KCLarity at SemEval-2026 Task 6: Encoder and Zero-Shot Approaches to Political Evasion Detection

Questo documento descrive la partecipazione del team KCLarity a SemEval-2026 Task 6, confrontando approcci encoder e zero-shot per il rilevamento dell'evasione politica e dimostrando che, sebbene le due formulazioni di modellazione offrano prestazioni simili, RoBERTa-large eccelle sul set di test pubblico mentre GPT-5.2 in modalità zero-shot generalizza meglio sul set di valutazione nascosto.

L'essenziale

🕵️‍♂️ Il Detective della Chiarezza: Come abbiamo insegnato alle macchine a smascherare le risposte evasive dei politici

Immagina di essere a un'intervista televisiva. Un giornalista fa una domanda molto diretta: "Signor Presidente, quanti soldi ha speso per quel progetto?".
Il politico risponde: "Siamo molto impegnati a garantire la sicurezza economica del nostro popolo, che è la priorità assoluta...".

Cosa è successo? Il politico non ha risposto. Ha fatto una "ginnastica linguistica". È stato chiaro? No. Ha evaso la domanda? Sì.

Il compito di questo paper (scritto da ricercatori del King's College London) era proprio questo: costruire un "detective digitale" capace di capire se un politico sta rispondendo onestamente o sta facendo il girotondo per non dire la verità.

Ecco come hanno fatto, spiegato passo dopo passo.

1. Il Gioco: Due Livelli di Indagine

Il compito aveva due livelli, come un gioco a due fasi:

• Fase 1 (La Chiarezza): La risposta è chiara o è un "fumo negli occhi"? (Sì/No/Forse).
• Fase 2 (L'Evasione): Se è un "fumo negli occhi", che tipo di trucco ha usato? (Ha cambiato argomento? Ha detto "non lo so"? Ha dato una risposta parziale?).

I ricercatori hanno creato un sistema chiamato KCLarity per risolvere questo enigma.

2. I Due Approcci: Il "Libro di Testo" vs. L'"Intuizione"

Per insegnare al computer a fare il detective, hanno provato due strade diverse:

• Strada A: L'Approccio Diretto (Il Libro di Testo)
  Hanno insegnato al computer a guardare la risposta e dire subito: "Questa è una risposta chiara" oppure "Questa è ambigua". È come se gli dessi un libro di regole e gli dicessi: "Se vedi la parola X, scrivi Y".

• Strada B: L'Approccio a Cascata (L'Intuizione Esperta)
  Qui hanno fatto un passo in più. Hanno prima chiesto al computer di identificare il trucco specifico (es. "Ha usato la tecnica del 'cambiare argomento'"). Poi, usando una mappa logica (una gerarchia), hanno dedotto: "Ah, se ha usato il cambio argomento, allora la risposta non è chiara".

  Il risultato? Entrambe le strade hanno funzionato bene, ma la Strada B è stata più utile. Perché? Perché una volta che il computer impara a riconoscere i "truccini" (evasione), può usarli per capire anche la chiarezza, senza dover imparare due cose separate. È come imparare a riconoscere i ladri: se sai riconoscere un ladro, sai anche che c'è un crimine, senza dover studiare due manuali diversi.

3. I "Giocatori": I Robot che hanno partecipato

Hanno messo alla prova due tipi di intelligenza artificiale:

• I "Lettori Attenti" (Modelli Encoder come RoBERTa):
  Immagina questi modelli come studenti molto bravi che hanno studiato migliaia di interviste politiche. Hanno letto tutto, memorizzato i pattern e sono diventati esperti nel riconoscere le risposte evasive.

  • Vincitore: Il modello RoBERTa-large è stato il migliore quando ha potuto "studiare" (allenarsi) sui dati. È come uno studente che ha fatto molti compiti a casa.

• I "Geni Naturali" (Modelli Decoder Zero-Shot come GPT-5.2):
  Questi sono modelli enormi (come GPT-5.2) che non hanno studiato specificamente per questo compito. Gli è stato dato solo un foglio con le istruzioni (un "prompt") e si sono messi al lavoro. Sono come un genio che entra in una stanza e capisce tutto senza aver mai visto quel tipo di problema prima.

  • Vincitore: GPT-5.2 è stato il migliore quando ha dovuto affrontare dati "nascosti" (dati su cui non aveva mai studiato). Ha dimostrato una capacità di adattamento incredibile, superando i robot che avevano studiato a memoria.

4. La Sfida: L'Equilibrio delle Classi

C'era un problema: nella maggior parte delle interviste, i politici usano spesso la stessa tecnica (la risposta "ambivalente", quella che sembra dire qualcosa ma non dice nulla). Era come avere un mazzo di carte dove il 60% sono carte rosse e solo il 10% sono blu.
Il computer tendeva a dire "Rosso" per tutto, perché era più facile. I ricercatori hanno dovuto "pesare" le carte: dire al computer "Attenzione, le carte blu sono rare, ma se le riconosci vale più punti!". Purtroppo, questo trucco non ha aiutato molto in questo caso specifico.

5. Il Risultato Finale: Chi ha vinto la gara?

Quando hanno messo alla prova i loro sistemi su un set di dati segreto (la "prova finale" della gara SemEval):

• Il sistema basato su GPT-5.2 (il genio naturale) è arrivato 22° su 44 per la chiarezza e 13° su 33 per l'evasione.
• È stato sorprendente vedere che il modello che non aveva studiato (GPT) ha battuto o pareggiato i modelli che avevano studiato a fondo (RoBERTa) sui dati segreti.

Cosa significa?
Significa che i modelli moderni sono diventati così intelligenti da capire il contesto umano (le sfumature, l'ironia, le scuse) senza bisogno di essere "addestrati" su migliaia di esempi specifici. Tuttavia, i modelli addestrati (RoBERTa) sono ancora molto forti e affidabili se hai i dati giusti.

🎯 La Morale della Favola

In parole povere, i ricercatori hanno scoperto che:

1. È difficile insegnare alle macchine a capire quando un politico sta "prendendo in giro" il pubblico, perché spesso le risposte sono ambigue anche per gli umani.
2. La strategia migliore è far capire alla macchina come viene evasa la domanda, piuttosto che chiedergli direttamente se è chiara.
3. Le intelligenze artificiali più grandi e potenti (come GPT-5.2) stanno iniziando a essere così brave a capire il linguaggio umano da non aver bisogno di studiare per ogni singolo compito: basta spiegar loro cosa fare e lo fanno bene.

È un passo avanti importante per la trasparenza: un giorno, potremo avere un assistente digitale che ci dirà in tempo reale: "Attenzione, il politico sta usando la tecnica del 'cambio argomento'!".

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "KCLarity at SemEval-2026 Task 6: Encoder and Zero-Shot Approaches to Political Evasion Detection", presentata in italiano.

1. Problema e Contesto

Il paper descrive la partecipazione del team KCLarity alla sfida condivisa CLARITY (SemEval-2026), focalizzata sull'analisi del discorso politico. L'obiettivo principale è sviluppare metodi NLP automatizzati per rilevare e classificare l'ambiguità e le tecniche di evasione nelle risposte dei politici durante le interviste televisive.

Il compito è strutturato in due sottoproblemi gerarchicamente collegati:

• Task 1 (Chiarezza): Classificare il livello di chiarezza della risposta in tre categorie: Risposta Chiara (Clear Reply), Risposta Ambivalente (Ambivalent Reply) e Non-Risposta Chiara (Clear Non-Reply).
• Task 2 (Evasione): Identificare la specifica tecnica di evasione utilizzata (9 categorie, tra cui Dodging, Deflection, General, Partial, ecc.).

Il dataset di riferimento è QEvasion, composto da interviste presidenziali statunitensi. Una delle sfide principali è lo sbilanciamento delle classi: la classe "Risposta Ambivalente" domina il dataset (59,2%), rendendo difficile la distinzione tra risposte chiare e ambigue, come evidenziato anche da un accordo inter-annotatore (IAA) variabile su queste categorie.

2. Metodologia

Il team KCLarity ha valutato due approcci principali di modellazione:

A. Modelli Encoder (Fine-tuning)

Sono stati utilizzati modelli basati su Transformer encoder, in particolare le varianti RoBERTa e DeBERTa-v3 (nelle versioni base e large).

• Formulazioni di Addestramento:
  1. Chiarezza Diretta: Previsione diretta delle 3 etichette di chiarezza.
  2. Chiarezza basata sull'Evasione (Evasion-based): Previsione delle 9 etichette di evasione, con successiva inferenza della classe di chiarezza tramite la tassonomia gerarchica.
• Strategie di Input:
  • Segmented: Risposta prima della domanda ([CLS] a [SEP] q [SEP]).
  • Marked: Domanda prima della risposta con token speciali ([QUESTION] q [ANSWER] a). L'approccio "Marked" ha mostrato prestazioni superiori.
• Gestione dello Sbilanciamento: Sono state testate strategie di pesatura della funzione di perdita (Loss Weighting) come Balanced (inverso della frequenza) e Sqrt, sebbene l'approccio non pesato abbia spesso ottenuto risultati migliori o comparabili.
• Ablazioni: Sono stati esplorati anche il mascheramento dei nomi delle persone (per ridurre la dipendenza dalla conoscenza del mondo) e il trasferimento da domini finanziari (Earnings Calls), ma senza miglioramenti significativi.

B. Modelli Decoder (Zero-Shot)

Sono stati valutati modelli decoder-only (LLM) in modalità zero-shot, senza fine-tuning sul dataset QEvasion.

• Modelli Testati: Llama 3, Qwen, Gemma 3 (open-weight) e GPT-5.2 (commerciale).
• Prompting: Tutti i modelli sono stati istruiti a prevedere prima l'etichetta di evasione (Task 2) e derivare la chiarezza (Task 1) tramite la tassonomia, mantenendo coerenza con l'approccio encoder.

3. Risultati Chiave

Performance sul Set di Test Pubblico

• Encoder: Il modello RoBERTa-large (addestrato per prevedere l'evasione e mappare la chiarezza) ha ottenuto le migliori prestazioni tra i modelli encoder, con un Macro-F1 di 0.661 per la chiarezza e un F1 medio di 0.371 per l'evasione.
• Decoder: Tra i modelli zero-shot, GPT-5.2 è stato il più performante (F1 chiarezza: 0.626), superando tutti i modelli open-weight. Tuttavia, i modelli encoder fine-tuned hanno generalmente superato i decoder zero-shot su questo set.

Performance sul Set di Test Nascosto (Official Ranking)

Sul set di valutazione ufficiale (nascosto), le dinamiche sono cambiate:

• Il sistema GPT-5.2 (Zero-Shot) ha ottenuto i risultati migliori, classificandosi 22° su 44 nel Task 1 (F1 = 0.74) e 13° su 33 nel Task 2 (F1 = 0.50).
• L'ensemble di RoBERTa-large ha ottenuto un F1 di 0.72 (Task 1) e 0.45 (Task 2).
• Analisi del Gap: Mentre RoBERTa ha migliorato le prestazioni dal pubblico al nascosto (0.661 → 0.72), GPT-5.2 ha mostrato un miglioramento ancora più marcato (0.626 → 0.74). Questo suggerisce che i modelli encoder potrebbero aver subito un leggero overfitting sulla distribuzione di addestramento, mentre GPT-5.2 ha dimostrato una maggiore generalizzazione e robustezza su dati non visti.

Analisi degli Errori

• La classe "Risposta Ambivalente" è stata la più difficile da distinguere dalle altre, riflettendo le discrepanze tra gli annotatori umani.
• A livello di evasione, il modello ha mostrato confusione tra strategie semanticamente sovrapposte come Implicit, General, Deflection e Partial.
• Le classi con supporto ridotto (es. Clarification, Partial) hanno mostrato F1 molto bassi e alta varianza.

4. Contributi Principali

1. Confronto Encoder vs. Decoder: Dimostrazione empirica che, sebbene i modelli encoder fine-tuned siano competitivi su dati simili al training, i modelli LLM zero-shot (in particolare GPT-5.2) possono offrire una migliore generalizzazione su set di test nascosti per compiti di classificazione gerarchica complessa.
2. Validazione della Formulazione "Evasion-First": Conferma che prevedere le etichette di evasione (9 classi) e mapparle alla chiarezza (3 classi) è una strategia efficace, paragonabile alla previsione diretta della chiarezza, ma più flessibile.
3. Analisi di Robustezza: Evidenzia come le strategie di splitting dei dati (stratificato vs. disgiunto per presidente) influenzino la selezione del modello e la valutazione della generalizzazione cross-speaker.
4. Risorsa Open Source: Il codice completo e i dettagli di implementazione sono stati resi disponibili per garantire la riproducibilità.

5. Significato e Conclusioni

Il lavoro sottolinea che il rilevamento dell'evasione politica rimane una sfida complessa a causa della natura soggettiva delle annotazioni e della sovrapposizione semantica tra le strategie di evasione.
Il risultato più significativo è il trade-off osservato: i modelli encoder fine-tuned eccellono quando il dominio di test è simile al training, mentre i modelli LLM zero-shot mostrano una maggiore resilienza e capacità di generalizzazione su distribuzioni diverse, pur richiedendo costi computazionali e di inferenza maggiori.
Il paper conclude che, nonostante i progressi, la valutazione di tali sistemi deve essere interpretata con cautela a causa dello sbilanciamento delle classi e della bassa frequenza di alcune categorie di evasione, suggerendo che futuri miglioramenti potrebbero derivare da una modellazione più esplicita dell'incertezza degli annotatori (soft labels) piuttosto che dalla sola ottimizzazione del modello.