Paying Attention to Deflections: Mining Pragmatic Nuances for Whataboutism Detection in Online Discourse

Sintesi Tecnica: Prestare attenzione alle deflessioni: Minare le sfumature pragmatiche per il rilevamento del "whataboutism" nel discorso online

Problema
Il documento affronta la sfida, ancora poco esplorata, del rilevamento del "whataboutism" nell'elaborazione del linguaggio naturale (NLP) quantitativa. Il whataboutism è definito come una manovra discorsiva utilizzata per deflettere le critiche o evitare questioni sfavorevoli sollevando un altro argomento, spesso più favorevole, o mediante una controaccusa. Sebbene sia spesso associato alla fallacia del tu quoque e alla propaganda, gli autori sostengono che gli attuali metodi di rilevamento si affidano eccessivamente alla presenza lessicale esplicita della frase "what about" (e allora il...). Questo approccio non riesce a distinguere tra:

1. Deflessione propagandistica: Utilizzare la costruzione per deviare i narrazioni e seminare sfiducia.
2. Argomentazione valida: Utilizzare la costruzione per contestare affermazioni, suggerire soluzioni o aggiungere specificazioni all'interno di un discorso ragionevole.

La difficoltà principale risiede nella "flessibilità pragmatica" della costruzione. Frasi sintatticamente e semanticamente simili possono funzionare come propaganda dannosa o come argomentazione valida a seconda interamente del contesto discorsivo (l'antecedente Domanda Sotto Discussione, o QUD - Question Under Discussion). I modelli allo stato dell'arte per il rilevamento della propaganda e la somiglianza semantica falliscono nel catturare queste sfumature pragmatiche, spesso classificando erroneamente l'argomentazione valida come propaganda o mancando di rilevare deflessioni sottili.

Metodologia
Gli autori propongono un nuovo framework che coinvolge nuovi dataset, un'analisi tematica e un'innovazione architettonica specifica per il mining dei campioni negativi.

1. Costruzione del Dataset (TQ+):
   Gli autori introducono due nuovi dataset, TQ+ (Tu Quoque e oltre), composto da:

   • TQ+YT: 1.642 commenti YouTube etichettati su sei temi socialmente divisivi.
   • TQ+TW: 1.202 coppie tweet-risposta di Twitter su otto temi.
     A differenza dei precedenti corpora che assumevano che tutte le istanze fossero propagandistiche, questi dataset distinguono tra argomentazione valida e whataboutism. Le annotazioni sono state eseguite da tre madrelingua inglesi con un'elevata concordanza tra annotatori ($\kappa = 0,65$ per YouTube, $\kappa = 0,75$ per Twitter), richiedendo agli annotatori di esaminare l'intero contesto del video o i thread di conversazione per comprendere il setting pragmatico.

2. Esperimenti Baseline:
   Lo studio valuta prima gli approcci standard:

   • Transfer Learning: Fine-tuning di BERT e RoBERTa (inclusa una variante per il rilevamento dell'ironia) sui dati etichettati.
   • Somiglianza Semantica: Utilizzo di SBERT, Contrastive Learning con "Correct and Smooth" (C&S) e SimCSE. Questi modelli si affidano alla similarità del coseno per differenziare i campioni positivi e negativi.
   • Risultati: Questi baseline si comportano scarsamente, in particolare sui dati di YouTube. Mostrano un forte bias verso la classe maggioritaria (non-whataboutism) e non riescono a distinguere le differenze pragmatiche, spesso affidandosi a una somiglianza semantica superficiale che è insufficiente per questo compito.

3. Metodo Proposto: MINA (Mining Negatives with Attention):
   Per superare i limiti della similarità del coseno negli spazi ad alta dimensionalità (dove i vettori tendono a essere quasi ortogonali) e l'incapacità di catturare gli spostamenti pragmatici, gli autori propongono MINA.

   • Meccanismo: Invece di usare la similarità del coseno per selezionare i campioni negativi, MINA utilizza i pesi della cross-attention da un encoder Transformer.
   • Processo: Per un commento target $t$, il modello costruisce una tupla di contesto contenente $t$ e $c$ commenti della stessa discussione/video. Il modello utilizza la cross-attention per identificare il commento all'interno del contesto che è pragmaticamente più dissimile (ovvero, il campione negativo più efficace per il contrasto).
   • Architettura: Il testo del commento target e il commento di contesto selezionato ("più dissimile") vengono concatenati e inviati a un Multi-Layer Perceptron (MLP) per la classificazione. Ciò consente al modello di apprendere l'ancoraggio pragmatico all'interno dell'ambiente del discorso sociale piuttosto che affidarsi esclusivamente alla semantica distributiva globale.

Risultati Chiave
Gli autori riportano miglioramenti significativi rispetto ai precedenti metodi allo stato dell'arte utilizzando l'approccio MINA:

• YouTube (TQ+YT): MINA ha ottenuto un miglioramento del 10% nel punteggio F1 rispetto al secondo miglior risultato. Nello specifico, l'applicazione di MINA a SBERT ha aumentato l'F1 da 0,07 a 0,58, e l'applicazione di MINA al modello di ironia di RoBERTa ha aumentato l'F1 da 0,30 a 0,52.
• Twitter (TQ+TW): MINA ha ottenuto un miglioramento del 4% rispetto al miglior baseline. SBERT con MINA ha raggiunto un F1 di 0,75, superando il vanilla SBERT (0,69) e RoBERTa (0,71).
• Studi di Ablazione: La configurazione ottimale è stata individuata con 2 strati di encoder, 32 teste di attenzione e una dimensione del contesto pari a 1. Lo studio ha inoltre rilevato che aumentare gli strati dell'encoder o le teste di attenzione oltre questi valori non portava alcun beneficio.
• Performance dei LLM: Gli autori hanno testato i grandi modelli linguistici (Llama-2, GPT-3.5-turbo) e hanno scoperto che performano scarsamente (punteggi F1 inferiori ai baseline di BERT), faticando con le istanze di whataboutism riformulate in modo sottile nonostante le loro capacità generali.

Significatività e Rivendicazioni
Il documento sostiene che il rilevamento del whataboutism richieda un passaggio dall'analisi puramente semantica o sintattica all'analisi pragmatica.

• Distinzione dalla Propaganda: Il lavoro dimostra che il whataboutism non è sinonimo di propaganda; essa si sovrappone ma serve funzioni distinte, inclusi strumenti di argomentazione valida come la contestazione o l'orientamento dell'attenzione.
• Limiti delle Misure di Similarità: Lo studio fornisce prove empiriche del fatto che le convenzionali misure di somiglianza semantica (come la similarità del coseno) sono inadeguate per catturare le differenze pragmatiche necessarie per rilevare la deflessione nel discorso dei social media.
• Novità di MINA: L'introduzione dell'uso dei pesi dell'attenzione per il mining dei campioni negativi è presentata come un contributo innovativo che riesce a modellare il contrasto pragmatico. Questo approccio suggerisce che l'ancoraggio del testo nel discorso sociale circostante (tramite l'attenzione al contesto più dissimile) sia più efficace rispetto al tipico apprendimento contrastivo per compiti che coinvolgono complessi movimenti discorsivi.
• Contributo di Risorse: Il rilascio dei dataset TQ+, che sono più ampi e sfumati rispetto ai precedenti corpora sulla propaganda, è inteso a stimolare ulteriore ricerca sul ruolo della pragmatica nella disinformazione e nel rilevamento delle fallacie.

Gli autori rimangono modesti riguardo ai limiti, notando che i dataset sono sbilanciati (riflettendo scenari reali), che i temi emotivi possono influenzare l'etichettatura e che la dipendenza dai batch di tuple randomizzate in MINA può causare una leggera varianza nei modelli riaddestrati. Concludono che, sebbene gli attuali modelli incontrino difficoltà, il framework MINA proposto offre una via percorribile per comprendere il complesso discorso che circonda la disinformazione.