Riepilogo Tecnico: UCSC NLP al SemEval-2026 Task 10 (PsyCoMark)

Definizione del Problema

Il documento affronta il SemEval-2026 Task 10 (PsyCoMark), che si concentra sul rilevamento di narrazioni complottiste all'interno di testi in lingua inglese. Il compito è suddiviso in due sottotask distinti:

1. Sottotask 1 (Estrazione dei Marcatori di Complotto): Identificazione ed estrazione di segmenti di testo (span) corrispondenti a cinque ruoli semantici specifici: Attore (Actor), Azione (Action), Effetto (Effect), Evidenza (Evidence) e Vittima (Victim). La sfida risiede nel fatto che queste strutture di ruolo appaiono sia nel discorso complottista che in quello non complottista (critico); la distinzione dipende dal framing e dalla postura epistemica piuttosto che dalla mera presenza di tali ruoli.
2. Sottotask 2 (Rilevamento del Complotto a Livello di Documento): Classificazione di interi documenti in una di tre categorie: Sì (complotto), No (non complicità) o Non determinabile.

Il dataset consiste in oltre 4.100 post di Reddit. Una difficoltà chiave rilevata è la densa annotazione dei marcatori e il moderato sbilanciamento delle classi, in particolare nei label a livello di documento.

Metodologia

Gli autori propongono due sistemi indipendenti basati su RoBERTa-large, addestrati separatamente senza condivisione di parametri o trasferimento di feature tra i task.

Sottotask 1: Estrazione di Span Boundary-Aware

Invece dell'etichettatura a livello di token, gli autori formulano il compito come classificazione di span multi-label su span candidati enumerati.

• Architettura: Il modello enumera tutti i candidati span fino a una lunghezza massima di $L=32$ token. Per ogni span $(i, j)$, viene costruita una rappresentazione contestuale concatenando:
  • Embedding del token iniziale e finale ($h_i, h_j$).
  • Embedding mediati (mean-pooled) dei token all'interno dello span ($\bar{h}_{i:j}$).
  • Un embedding appreso che codifica la larghezza dello span ($w_{emb}$).
  • Embedding contestuali dei token immediatamente adiacenti a sinistra e a destra ($h_{i-1}, h_{j+1}$).
    Questo vettore a 6 componenti (dimensione 6144) viene passato attraverso un MLP a due strati per predire i cinque ruoli.
• Strategia di Addestramento:
  • Etichettatura: Per imporre un apprendimento preciso dei confini (boundary), uno span candidato è etichettato come positivo solo se la sua Intersezione su Unione (IoU) con uno span gold è $\ge 0,95$.
  • Campionamento: Viene utilizzata una strategia di campionamento a tre livelli per gestire l'ingente numero di span negativi: (1) tutti gli span allineati ai gold, (2) hard negatives (span con sovrapposizione parziale, IoU $\in [0,50, 0,75)$), e (3) negativi casuali non sovrapposti.
  • Loss: Binary Cross-Entropy con logit, pesata per ruolo per affrontare lo sbilanciamento delle classi.
• Decoding: Le predizioni sono sottoposte a post-processing che include il dimensionamento della soglia di probabilità per ruolo (ottimizzato sulla validazione) e Non-Maximum Suppression (NMS) basata sulla contenzione. La NMS elimina gli span sovrapposti in base ai rapporti di contenzione e alle soglie di IoU, seguita dalla fusione di span adiacenti dello stesso ruolo separati da piccoli gap di caratteri.

Sottotask 2: Classificazione del Documento

• Architettura: Un approccio standard di classificazione di sequenza utilizzando la rappresentazione del token [CLS] di RoBERTa-large.
• Addestramento: Il modello è sottoposto a fine-tuning con Cross-Entropy loss e label smoothing ($\alpha=0,05$) per ridurre l'overconfidence. Viene utilizzato un split stratificato 90/10 train-validation.
• Indipendenza: Questo modello opera esclusivamente sul testo grezzo, ignorando le predizioni degli span del Sottotask 1 durante l'addestramento e l'inferenza.

Risultati Chiave

• Sottotask 1: Il sistema si è classificato al 7° posto tra le squadre partecipanti con un macro F1 di 0,2251 sul test set ufficiale (valutato con IoU a livello di token $\ge 0,5$).
  • Validazione Interna: Il modello ha raggiunto un micro F1 decodificato di 0,6501 sul set di validazione (usando IoU a livello di carattere $\ge 0,3$).
  • Disparità di Performance: Il calo delle prestazioni è attribuito alla metrica di valutazione più rigorosa a livello di token e alla sensibilità dei ruoli astratti (Azione, Effetto, Evidenza) ai criteri di confine. I ruoli di tipo entità (Attore, Vittima) hanno mostrato una maggiore robustezza.
• Sottotask 2: Il sistema si è classificato al 12° posto con un weighted F1 di 0,7694 sul test set ufficiale.
  • Nota: La valutazione ufficiale ha escluso le istanze "Non determinabile", calcolando le metriche su 608 campioni, il che differisce dall'impostazione a tre classi della validazione.

Significato e Claim

Il documento sostiene che il suo contributo principale risieda nella specifica formulazione dell'estrazione degli span per i marcatori di complotto e nell'analisi della sensibilità ai confini.

• Hard Negative Mining: Gli autori identificano l'uso di hard negatives (span con sovrapposizione parziale) come critico per prevenire il modello dal predire span eccessivamente ampi, rendendo così più netta la localizzazione dei confini.
• Indipendenza vs. Accoppiamento: Il sistema dimostra che, sebbene l'estrazione dei marcatori e la classificazione del documento siano intrinsecamente correlate, possono essere modellate indipendentemente. Il classificatore di documenti ha ottenuto performance competitive senza esplicite feature di ruolo, suggerendo che i segnali di complotto possono essere appresi direttamente dal testo grezzo.
• Allineamento della Valutazione: Il documento sottolinea come la performance sia altamente sensibile all'allineamento tra le metriche di sviluppo e il protocollo di valutazione ufficiale. La discrepanza tra i punteggi di validazione e di test è in gran parte attribuita al passaggio da criteri di IoU a livello di carattere più rilassati durante lo sviluppo a criteri di IoU a livello di token più rigorosi nella valutazione finale.
• Limitazioni: Gli autori riconoscono con modestia che i ruoli astratti rimangono difficili a causa dell'astrazione semantica e della variabilità della lunghezza degli span. Notano che la lunghezza massima fissa dello span ($L=32$) può imporre un tetto massimo alla recall per marcatori più lunghi e multi-clausali.

Il lavoro conclude che, sebbene gli attuali sistemi possano apprendere i segnali di complotto, i miglioramenti futuri potrebbero richiedere una modellazione congiunta di ruoli e classificazione, un decoding strutturato degli span e l'integrazione di feature psicolinguistiche per distinguere meglio il framing complottista dalla narrazione critica.