💻 computer science

LLM-Driven Data Augmentation and Fine-Tuned Transformers vs. Few-Shot LLMs for Arabic Propaganda Technique Detection

Questo articolo presenta una pipeline completa per il rilevamento della propaganda in lingua araba che dimostra come l'aumento dei dati few-shot guidato da GPT-4.1 superi significativamente i metodi tradizionali, consentendo a un modello BERT sottoposto a fine-tuning di raggiungere risultati allo stato dell'arte (F1-Micro=0,66) che superano sia i precedenti benchmark che gli approcci LLM few-shot, rivelando al contempo che le caratteristiche linguistiche sono dannose e che l'aumento dei dati è il fattore critico di successo in questo contesto a scarse risorse e sbilanciato.

Autori originali: Heba Mohammed Abed, Iyad H. Alshami, Motaz K H Saad

Pubblicato 2026-09-01

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Heba Mohammed Abed, Iyad H. Alshami, Motaz K H Saad

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel vasto e rumoroso panorama dei social media, una forma sottile di persuasione si nasconde spesso in piena vista. A differenza delle fake news, che si basano su menzogne palesi, la propaganda opera torcendo la verità, utilizzando un linguaggio emotivo e trucchi retorici per plasmare il modo in cui le persone interpretano i fatti. È uno strumento di influenza che può essere fattualmente accurato ma profondamente manipolatorio. Sebbene questo fenomeno sia stato ampiamente studiato nei contesti anglofoni, il mondo arabofono presenta una sfida unica. La lingua araba è ricca e complessa, con parole che cambiano forma in base al loro ruolo nella frase, rendendo difficile per i normali programmi informatici comprenderne il significato. Inoltre, i ricercatori hanno faticato a trovare abbastanza esempi di questo comportamento per insegnare ai computer come individuarlo. I dati disponibili sono scarsi e fortemente sbilanciati, con alcune tecniche di manipolazione che appaiono centinaia di volte mentre altre appaiono solo una o due volte, lasciando le macchine cieche di fronte alle forme di influenza più rare e spesso più pericolose.

Un team di ricercatori dell'Università Islamica di Gaza e dell'Università del Salento si è posto l'obiettivo di risolvere questo duplice problema: come creare abbastanza esempi di addestramento di alta qualità affinché i computer possano imparare, e quale tipo di modello informatico sia il più adatto a rilevare queste tecniche in arabo. Si sono concentrati su un dataset specifico di tweet contenenti diciassette diverse tecniche di propaganda, che vanno dal "linguaggio carico" che utilizza parole emotive all' "attacco personale" che colpisce il carattere di una persona. Il dataset originale era troppo piccolo e sbilanciato per istruire efficacemente un computer. Per rimediare, i ricercatori hanno sperimentato tre diversi modi per espandere artificialmente i dati. Hanno provato a usare un modello linguistico di grandi dimensioni per sostituire le parole con sinonimi, hanno provato a tradurre i tweet in inglese e poi nuovamente in arabo per creare nuove formulazioni, e hanno provato a chiedere a un'IA potente di scrivere esempi completamente nuovi di propaganda basandosi su pochi esempi reali.

I risultati di questi esperimenti hanno rivelato una chiara gerarchia di successo. I metodi tradizionali, come la sostituzione delle parole o l'inserimento casuale, sono falliti in gran parte perché la complessa grammatica dell'arabo si rompe quando le parole vengono spostate o cambiate senza comprendere la struttura della frase. Questi tentativi hanno prodotto testi che suonavano errati per un madrelingua. Tuttavia, quando i ricercatori hanno chiesto a un'IA sofisticata di generare nuovi ed interi esempi di propaganda in uno stile specifico, i risultati sono stati eccezionali. Questo metodo ha prodotto testi naturali e grammaticalmente corretti, con un tasso di successo di quasi il novantanove per cento dopo la revisione umana. Questa singola strategia ha trasformato un minuscolo dataset di seimila voci in una collezione robusta di oltre quattromila esempi unici, insegnando efficacementamente al computer come appaiono realmente le tecniche di propaganda più rare.

Con questo nuovo, ampliato archivio di esempi in mano, il team ha testato due diversi approcci per insegnare ai computer come rilevare la propaganda. Il primo approccio prevedeva il "fine-tuning", in cui un modello informatico pre-addestrato viene regolato specificamente per questo compito utilizzando i nuovi dati. Il secondo approccio prevedeva il "few-shot prompting", in cui un'IA massiccia e di uso generale riceve solo una manciata di esempi e le viene chiesto di identificare le tecniche senza alcun addestramento preventivo. I ricercatori hanno eseguito decine di esperimenti, testando varie architetture di modelli e persino cercando di aiutare i modelli aggiungendo informazioni extra sulla grammatica e sui nomi di persone o luoghi nel testo.

Le conclusioni sono state decisive. Il sistema con le prestazioni migliori è stato un modello che era stato sottoposto a fine-tuning sui nuovi dati aumentati. Questo sistema ha raggiunto un livello di accuratezza che ha superato i precedenti migliori risultati nel campo per un margine significativo, in particolare nella sua capacità di individuare le tecniche rare e sottili che erano state precedentemente trascurate. I ricercatori hanno scoperto che aggiungere dettagli grammaticali extra danneggiava in realtà le prestazioni dei modelli, suggerendo che la comprensione interna del linguaggio da parte del computer fosse già sufficiente e che le informazioni extra introducessero solo confusione. Al contrario, i potenti modelli di IA generica, pur essendo capaci, hanno faticato a identificare le tecniche rare quando ricevevano solo pochi esempi. Funzionavano bene con i trucchi comuni, ma non riuscivano a riconoscere quelli meno frequenti, restando indietro rispetto al modello specializzato e sottoposto a fine-tuning.

In definitiva, lo studio dimostra che per le lingue complesse e a basse risorse come l'arabo, la chiave del successo non risiede nell'uso dell'IA più grande possibile, ma nella cura attenta e nell'espansione dei dati utilizzati per addestrare un modello specializzato. I ricercatori hanno scoperto che l'aumento dei dati era il fattore più importante, colmando il divario tra ciò che i computer potevano fare con informazioni limitate e ciò che potevano raggiungere con un dataset ricco e diversificato. Sebbene i grandi modelli di IA offrano un'alternativa conveniente che non richiede addestramento, essi attualmente non possono eguagliare la precisione di un modello che è stato specificamente istruito su un dataset ampio e di alta qualità. Questo lavoro fornisce una via chiara per costruire strumenti migliori per rilevare la manipolazione nei social media in arabo, dimostrando che con i giusti dati, anche le forme di propaganda più elusive possono essere identificate.

Sintesi Tecnica: Aumento dei Dati Guidato da LLM e Transformer Fine-Tuned vs. LLM Few-Shot per il Rilevamento di Tecniche di Propaganda in Arabo

Definizione del Problema

Il rilevamento delle tecniche di propaganda nei social media in lingua araba è un compito critico per l'alfabetizzazione mediatica e la governance delle piattaforme, eppure rimane significativamente meno esplorato rispetto all'inglese. Il campo affronta tre sfide primarie:

Scarsità e Sbilanciamento dei Dati: L'unico corpus benchmark fine-grained disponibile, il corpus WANLP 2022, contiene solo 930 tweet annotati su 17 etichette di tecniche di propaganda. La suddivisione di addestramento (607 voci) soffre di un grave sbilanciamento delle classi, dove l'etichetta più frequente ("Linguaggio Carico") appare 446 volte mentre la più rara ("Presentazione di Dati Irrilevanti") appare una sola volta.
Complessità Morfologica: L'arabo è una lingua morfologicamente ricca con complesse inflessioni radice-schema. Le tecniche standard di aumento dei dati progettate per l'inglese (ad esempio, sostituzione di sinonimi, inserimento/cancellazione casuale di token) spesso falliscono in arabo, producendo output grammaticalmente errati che degradano le prestazioni del modello.
Incertezza sul Paradigma del Modello: Non è chiaro se i transformer pre-addestrati sottoposti a fine-tuning o il prompting di Large Language Models (LLM) few-shot siano più efficaci per questo specifico compito multi-label a basse risorse. Inoltre, l'utilità dell'aggiunta di caratteristiche linguistiche esplicite (POS, NER) ai modelli transformer in questo contesto rimane non investigata.

Metodologia

Gli autori propongono una pipeline completa che affronta la scarsità di dati e la selezione del modello, strutturata in due fasi principali:

1. Strategie di Aumento dei Dati

Per espandere l'insieme di addestramento da 607 a 4.191 voci uniche, tre distinte strategie di aumento sono state confrontate sistematicamente e filtrate manualmente:

Sostituzione di Sinonimi tramite LLM: Utilizzando il modello command-r di Cohere per generare sinonimi arabi grammaticalmente corretti per i token selezionati. Ciò ha prodotto un tasso di accettazione del 68,4%.
Aumento tramite Modelli Pre-addestrati: Una combinazione di back-translation (Arabo $\rightarrow$ Inglese $\rightarrow$ Arabo tramite modelli Helsinki-NLP) e generazione di testo con araGPT2. Questi hanno raggiunto tassi di accettazione rispettivamente dell'89,6% e dell'84,1%.
Generazione di Dataset Few-Shot: Utilizzando GPT-4.1 per sintetizzare esempi di propaganda completamente nuovi basati su guide di stile (esempi seed) per tecniche specifiche. Questa strategia ha ottenuto la qualità più elevata con un tasso di accettazione del 98,5% e ha arricchito con successo la diversità multi-label.

Nota: Metodi tradizionali come la sostituzione di sinonimi con nlpaug e le operazioni casuali sui token sono stati testati ma rifiutati a causa di tassi di errore superiori al 20%, causati principalmente da fallimenti nell'accordo morfologico.

2. Benchmarking dei Modelli

Il dataset aumentato è stato valutato attraverso due paradigmi:

Deep Learning Fine-Tuned: Sono stati condotti 12 esperimenti utilizzando tre architetture: BERT (CAMeLBERT), CNN+LSTM+Attention, e RNN+LSTM+Attention. Questi sono stati testati sia sul dataset originale che su quello aumentato, con e senza l'aggiunta di caratteristiche esplicite di Part-of-Speech (POS) e Named Entity Recognition (NER).
Prompting Few-Shot di LLM: Quattro LLM (GPT-5, DeepSeek-V3.2, LLaMA-3.3-70b e Qwen3-32b) sono stati valutati utilizzando un approccio di prompting zero-shot/few-shot con 15 esempi selezionati manualmente che coprono tutte le 17 etichette delle tecniche.

Configurazione di Addestramento: I modelli hanno utilizzato Adaptive Focal Loss (per CNN/RNN) o Hybrid Focal/Dice Loss (per BERT) per affrontare lo sbilanciamento delle classi. Il post-processing ha incluso l'ottimizzazione della soglia e il boosting ibrido basato su regole per le classi rare.

Contributi Chiave

Confronto Sistematico dell'Aumento: Il paper fornisce il primo confronto sistematico tra la generazione guidata da LLM e l'aumento tradizionale per il rilevamento della propaganda in arabo. Stabilisce che la generazione few-shot con GPT-4.1 produce i dati di qualità più elevata (tasso di accettazione del 98,5%), mentre i metodi tradizionali spesso falliscono a causa della morfologia araba.
Benchmarking Comprensivo: Presenta il primo confronto diretto tra modelli di deep learning fine-tuned e LLM few-shot sul benchmark WANLP 2022, coprendo 16 diverse configurazioni sperimentali.
Nuovo Stato dell'Arte: Gli autori stabiliscono un nuovo sistema state-of-the-art utilizzando BERT fine-tuned sul dataset aumentato, superando il vincitore del task condiviso WANLP 2022.
Risultati Contro-intuitivi sulle Caratteristiche: Lo studio rivela che l'aggiunta di caratteristiche linguistiche (POS, NER) ai transformer pre-addestrati degrada inaspettatamente le prestazioni, sfidando l'assunto che le caratteristiche linguistiche esplicite aiutino sempre i compiti di NLP in arabo.

Risultati

Miglior Sistema Complessivo: BERT fine-tuned sul dataset aumentato (senza caratteristiche linguistiche) ha raggiunto F1-Micro = 0,660 e F1-Macro = 0,470.
- Questo supera il vincitore di WANLP 2022 (Hussein et al., 2022) che ha ottenuto F1-Micro = 0,649 e F1-Macro = 0,185.
- Il miglioramento in F1-Macro (+28,5 punti) indica un rilevamento significativamente migliore delle tecniche di propaganda rare.
Impatto dell'Aumento: L'aumento dei dati è stato il fattore più significativo. Per BERT, l'aumento ha migliorato l'F1-Micro da 0,57 a 0,66 e l'F1-Macro da 0,20 a 0,47.
Impatto delle Caratteristiche Linguistiche: L'aggiunta di caratteristiche POS/NER ha ridotto costantemente le prestazioni. Per BERT sul dataset originale, l'F1-Micro è sceso da 0,57 a 0,23 quando sono state aggiunte le caratteristiche.
Prestazioni degli LLM: Tra gli LLM few-shot, DeepSeek-V3.2 è stato il migliore con F1-Micro = 0,54 e F1-Macro = 0,32. Sebbene competitivi per le tecniche frequenti, gli LLM generalmente hanno ottenuto prestazioni inferiori rispetto a BERT fine-tuned, particolarmente sulle classi rare.
Confronto tra Architetture: Sebbene BERT abbia generalmente superato le ibridazioni CNN e RNN, il modello RNN+LSTM+Attention con caratteristiche ha raggiunto l'F1-Macro più alto (0,49) in una specifica configurazione, sebbene a costo di un F1-Micro inferiore (0,48).

Significato e Rivendicazioni

Il paper sostiene che l'aumento dei dati è il fattore più importante per costruire sistemi efficaci di rilevamento della propaganda in arabo in contesti a basse risorse. Lo studio dimostra che:

Il fine-tuning batte il prompting few-shot: Per compiti multi-label a grana fine con grave sbilanciamento delle classi, il fine-tuning su dati aumentati è superiore al prompting few-shot degli LLM.
La sensibilità morfologica è critica: Le strategie di aumento dei dati NLP standard sono insufficienti per l'arabo; è necessaria la generazione guidata da LLM o una attenta back-translation per mantenere l'integrità grammaticale.
Cautela nell'ingegneria delle caratteristiche: I professionisti non dovrebbero assumere che la combinazione di caratteristiche sintattiche (POS/NER) con i transformer pre-addestrati porti benefici per i testi dei social media in arabo; in questo contesto, il rumore introdotto dai tagger imperfetti e la ridondanza con gli embedding dei transformer appare deleterio.

Gli autori concludono che la loro pipeline fornisce una guida pratica per i ricercatori che costruiscono risorse NLP in arabo, sottolineando che un aumento dei dati di alta qualità può colmare il divario di prestazioni tra deep learning e LLM, anche in scenari altamente sbilanciati. Il lavoro futuro suggerisce di investigare il fine-tuning diretto degli LLM sul dataset aumentato e il trasferimento cross-lingue.