mdok-style at SemEval-2026 Task 10: Finetuning LLMs for Conspiracy Detection

Riepilogo Tecnico: mdok-style a SemEval-2026 Task 10

Definizione del Problema
Il documento affronta il Task 10 di SemEval-2026 (PsyCoMark), un compito condiviso focalizzato sul rilevamento di credenze cospirazioniste all'interno del discorso sui social media. Nello specifico, gli autori si occupano del Sottocompito 2, un problema di classificazione binaria che richiede l'identificazione di se un commento Reddit in inglese esprime una credenza cospirazionista (Sì/No). La sfida principale evidenziata è la scarsità di dati di addestramento etichettati, costituiti da soli 1.715 campioni positivi e 2.263 negativi, con lunghezze del testo filtrate tra 160 e 1.000 caratteri.

Metodologia
Il sistema proposto, denominato mdok-style, adatta un framework robusto per il rilevamento di testi generati da macchine (originariamente sviluppato per PAN@CLEF2025) al dominio del rilevamento delle cospirazioni. L'approccio si basa su tre componenti fondamentali:

1. Modello di Base e Fine-tuning: Il sistema utilizza il grande modello linguistico (LLM) Qwen3-32B, selezionato da un confronto tra le famiglie Qwen3 e Gemma-3. Il modello viene sottoposto a fine-tuning per la classificazione di sequenze binarie utilizzando QLoRA (quantizzazione a 4 bit) per l'efficienza dei parametri. Il processo di ottimizzazione impiega l'ottimizzatore paged AdamW con un piano di apprendimento cosine (2e-5) e un rapporto di warmup di 0,03.
2. Aumento dei Dati: Per mitigare le dimensioni ridotte del dataset, gli autori impiegano quattro tecniche specifiche di aumento applicate al 10% delle copie dei dati di addestramento:
   • Anonimizzazione: Sostituzione di email, menzioni utente e numeri di telefono identificati tramite regex con tag ([EMAIL], [USER], [PHONE]), mantenendo la sostituzione originale degli URL ([URL]).
   • Variazione del Maiuscolo/Minuscolo: Generazione di versioni in minuscolo e maiuscolo del testo per imporre l'insensibilità al caso e focalizzarsi sul significato semantico.
   • Omoglifizzazione: Introduzione di sostituzioni di caratteri visivamente simili da script diversi per aumentare la robustezza contro la confusione dei classificatori basati sulla tokenizzazione.
   • De-duplicazione: Rimozione delle copie ridondanti non modificate dal set di addestramento finale.
3. Auto-addestramento: Il sistema implementa un approccio iterativo di apprendimento semi-supervisionato. Un modello iniziale viene addestrato sui dati etichettati d'oro aumentati. Successivamente, predice le etichette per i set di sviluppo e test non etichettati. Solo le previsioni con estrema confidenza (probabilità $\ge$ 0,99 per "Sì" o $\le$ 0,01 per "No") vengono conservate come "etichette d'argento". Questi pseudo-etichette ad alta confidenza vengono combinati con i dati di addestramento originali per ritrattare il rilevatore, con l'obiettivo di espandere il set di addestramento effettivo senza propagare errori significativi.

Contributi Chiave

• Trasferimento Cross-Dominio: Il documento dimostra il trasferimento riuscito del framework mdok, originariamente progettato per il rilevamento di testi generati da macchine, al distinto dominio del rilevamento delle teorie cospirazioniste.
• Robustezza tramite Aumento: Lo studio convalida che la combinazione di tecniche specifiche di offuscamento del testo (omoglifi, anonimizzazione) con l'auto-addestramento può affrontare efficacemente la scarsità di dati nel fine-tuning degli LLM.
• Implementazione del Sistema: Gli autori forniscono un'implementazione open-source completa (tramite il framework IMGTB) e una guida dettagliata per la replica, inclusi gli iperparametri specifici e le pipeline di elaborazione dei dati utilizzati.

Risultati
Il sistema presentato ha ottenuto un punteggio Macro F1 di 0,78 sul set di test ufficiale.

• Classifica: Il sistema si è classificato 8° su 52 presentazioni, posizionandosi nel 85° percentile.
• Prestazioni Comparative: Sebbene il Qwen3-32B con auto-addestramento e una soglia di classificazione spostata (0,7) abbia prodotto il punteggio più alto, gli autori notano che modelli più piccoli, come DeBERTa-Large (<0,5B parametri), hanno raggiunto un Macro F1 competitivo di 0,75, suggerendo un compromesso favorevole tra prestazioni e costo computazionale.
• Ablazione: L'inclusione dell'auto-addestramento e dell'aumento dei dati ha migliorato costantemente le prestazioni rispetto al modello di base senza questi componenti (ad esempio, Qwen3-32B senza auto-addestramento ha ottenuto 0,76).

Significato e Affermazioni
Il documento afferma con modestia che l'approccio mdok-style, originario del rilevamento di testi generati da macchine, è una strategia vitale e competitiva per il rilevamento delle cospirazioni. Gli autori sottolineano che il loro metodo sfrutta con successo l'aumento dei dati e l'auto-addestramento per superare i limiti dei piccoli dataset di addestramento. Riconoscono che, sebbene il loro sistema sia altamente competitivo, il costo computazionale dei modelli da 32B parametri deve essere soppesato rispetto ai guadagni marginali rispetto a modelli più piccoli ed efficienti come DeBERTa. Il lavoro conclude che l'approccio è efficace, ma nota limitazioni riguardanti la valutazione di soli testi in inglese e un'esplorazione limitata delle architetture dei modelli di base.