AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection

Questo articolo presenta una pipeline innovativa basata su LLM agentic per la SemEval-2026 Task 10, che utilizza un design decoupled con Dynamic Discriminative Chain-of-Thought e un'architettura "Anti-Echo Chamber" per estrarre marcatori psicolinguistici e rilevare l'adesione alle teorie del complotto, ottenendo significativi miglioramenti nelle prestazioni rispetto alla baseline.

L'essenziale

🕵️‍♂️ Il Detectivo Digitale: Come AILS-NTUA ha sconfitto le Teorie del Complotto

Immagina di dover trovare un ago in un pagliaio, ma l'ago è una frase specifica che rivela un complotto, e il pagliaio è un milione di post su Reddit. Inoltre, molti pagliacci nel pagliaio fingono di essere aghi, o parlano di aghi solo per prenderli in giro.

Il team AILS-NTUA dell'Università Politecnica di Atene ha partecipato a una gara internazionale (SemEval-2026) per risolvere questo problema. Invece di usare un semplice "robot" che legge e decide, hanno costruito un squadra di investigatori digitali (un sistema "agente") che lavora insieme come un tribunale.

Ecco come funziona la loro invenzione, spiegata con metafore semplici:

1. Il Problema: Due Sfide Diverse

Il compito aveva due parti:

• Sfida 1 (Caccia all'Indizio): Trovare le frasi esatte nel testo che contengono i "segni" di un complotto (chi lo fa, cosa fa, chi ne soffre). È come cercare le parole chiave in una lettera segreta.
• Sfida 2 (Giudizio Finale): Capire se l'autore del testo crede davvero al complotto o se sta solo raccontando una notizia (es. "Il giornale dice che...").

Il problema è che i modelli di intelligenza artificiale normali spesso si confondono: se leggono "Il governo ha nascosto la verità", pensano che chi scrive ci creda. Ma se leggono "Il giornale dice che il governo ha nascosto la verità", stanno solo riportando una notizia. I robot tendono a confondere i due casi.

2. La Soluzione: Un Tribunale Digitale

Invece di un solo robot, il team ha creato un processo a più stadi, simile a un'indagine giudiziaria.

Fase 1: L'Investigatore "DD-CoT" (Il Detectivo che Pensa)
Per trovare gli indizi (Sfida 1), hanno usato un metodo chiamato DD-CoT.

• L'analogia: Immagina un detective che non si accontenta di dire "Questo è un indizio". Prima di segnare un pezzo di testo, deve scrivere su un foglio: "Perché questo è un indizio? E perché NON potrebbe essere qualcos'altro?".
• Il trucco: Costringendo l'IA a pensare al contrario ("Perché non è la vittima ma l'agente?"), l'IA smette di fare errori stupidi e individua con precisione chirurgica le parole giuste, evitando di inventare frasi che non esistono nel testo.

Fase 2: La "Camera Anti-Eco" (Il Consiglio dei Giurati)
Per decidere se il testo è un complotto o una notizia (Sfida 2), hanno creato una stanza virtuale chiamata Anti-Echo Chamber.

• Il problema: Di solito, gli IA fanno "eco" (ripetono ciò che sentono) e si convincono a vicenda che un complotto è reale.
• La soluzione: Hanno messo a sedere 4 giurati virtuali con personalità opposte, che non possono parlarsi tra loro:
  1. L'Accusatore (Prosecutor): Cerca prove che qualcuno creda al complotto.
  2. Il Difensore (Defense): Cerca prove che sia solo una notizia, una satira o un dubbio ("Ma forse è solo una teoria...").
  3. Il Letteralista: Legge il testo parola per parola, ignorando i "vibes" o le emozioni.
  4. Il Profiler: Analizza lo stile e le emozioni (es. "Sta urlando? Usa parole da cospiratore?").
• Il Giudice Calibrato: Alla fine, un Giudice ascolta tutti e quattro. Se c'è un dubbio, il Giudice tende a dire "Non è un complotto" (per sicurezza), evitando di accusare ingiustamente chi sta solo riportando notizie.

3. Il Risultato: Perché hanno vinto?

Il sistema ha funzionato benissimo perché ha separato i compiti:

• Non ha mescolato la "caccia alle parole" con il "giudizio morale".
• Ha usato un "tribunale" invece di un "oracolo" singolo.

I risultati in numeri:

• Nella caccia agli indizi (Sfida 1), hanno raddoppiato la precisione rispetto ai metodi base.
• Nel giudizio finale (Sfida 2), sono stati quasi il doppio più bravi a non confondere le notizie con le credenze.

4. La Metafora Finale

Immagina di dover distinguere tra un attore che recita una scena di un film e un criminale reale.

• Un sistema semplice guarda la scena e dice: "È un crimine!" (perché l'attore urla e minaccia).
• Il sistema AILS-NTUA è come un regista esperto che ha un comitato di esperti: uno guarda la sceneggiatura, uno controlla se l'attore sta recitando, uno verifica se c'è una telecamera nascosta. Solo quando tutti sono d'accordo che non c'è una telecamera e l'attore sta davvero agendo, allora si chiama la polizia.

In Sintesi

Questo paper ci insegna che per risolvere problemi complessi (come capire le teorie del complotto), non serve solo un'intelligenza artificiale più "forte", ma un'intelligenza artificiale più organizzata. Creando un flusso di lavoro dove diversi "agenti" si controllano a vicenda, si riducono gli errori e si ottiene un risultato molto più umano e affidabile.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection", redatta in italiano.

1. Problema e Contesto

Il paper affronta la sfida di SemEval-2026 Task 10, che si concentra su due sottocompiti interconnessi relativi al discorso cospirazionista:

1. Estrazione dei Marker Psicolinguistici (S1): Identificare e localizzare a livello di caratteri specifici span testuali che rappresentano i "mattoni" del ragionamento cospirazionista (Attore, Azione, Effetto, Vittima, Evidenza), basati sulla psicologia evolutiva.
2. Rilevamento dell'Approvazione (S2): Determinare se un commento su Reddit esprime un'approvazione (endorsement) di una teoria del complotto o se si tratta semplicemente di un resoconto neutrale, di una smentita o di satira.

Le sfide principali identificate sono:

• Ambiguità Semantica: I modelli LLM tradizionali tendono a confondere il soggetto grammaticale con l'agente semantico (es. in frasi passive, confondere la vittima con l'attore).
• Il "Tranello del Giornalista" (Reporter Trap): I modelli spesso classificano erroneamente come "approvazione" testi che riportano neutralmente teorie cospirazioniste (es. "L'articolo afferma che..."), non distinguendo tra la menzione di una cospirazione e la sua adesione.
• Fragilità nella Localizzazione: Gli LLM sono spesso bravi nel ragionamento semantico ma scadenti nel localizzare con precisione i confini dei caratteri (character-level offsets), portando a span "allucinati".

2. Metodologia: Pipeline Agente LLM

Gli autori propongono un'architettura agente decouplata (separata), che distingue tra il ragionamento semantico (gestito dall'LLM) e le operazioni deterministiche (gestite da algoritmi classici). Il sistema è diviso in due fasi principali:

Fase S1: Estrazione dei Marker tramite DD-CoT

Per l'estrazione, viene introdotto il framework Dynamic Discriminative Chain-of-Thought (DD-CoT):

• Ragionamento Discriminativo: A differenza del CoT standard, il generatore deve esplicitamente formulare un contro-argomento per ogni span candidato, spiegando perché una certa etichetta è corretta e perché le alternative confondibili (es. Attore vs. Vittima) sono errate.
• Loop di Auto-Raffinamento (Self-Refine): Un ciclo iterativo composto da:
  1. Generatore: Propone span etichettati.
  2. Critic: Verifica la veridicità letterale, i confini e la discriminazione delle etichette.
  3. Refiner: Applica modifiche minime basate sul feedback.
  4. Verificatore Deterministico: Un modulo non-LLM che mappa le stringhe estratte agli offset esatti dei caratteri nel testo originale, eliminando errori di allucinazione e off-by-one.
• Recupero Contrastivo: Vengono recuperati esempi few-shot che includono "hard negatives" (testi con vocabolario cospirazionista ma senza approvazione) per insegnare al modello a distinguere i marcatori dal contesto.

Fase S2: Rilevamento tramite "Anti-Echo Chamber"

Per la classificazione, viene adottata un'architettura a Consiglio Adversariale per mitigare i bias e il "Reporter Trap":

• Forensic Profiler: Un nodo deterministico calcola segnali linguistici leggeri (es. densità di attribuzione, uso di maiuscole, pattern "JAQing" - Just Asking Questions) prima che l'LLM elabori il testo.
• Parallel Council: Quattro "giurati" (agenti) con ruoli distinti analizzano il documento indipendentemente senza vedersi i risultati:
  1. Procuratore: Cerca prove di approvazione.
  2. Avvocato della Difesa: Cerca prove di neutralità, smentita o satira.
  3. Literalista: Verifica l'implicazione letterale e il carico della prova.
  4. Profiler di Stance: Analizza le sfumature di certezza e dinamica di gruppo.
• Calibrated Judge: Un giudice finale aggrega i voti ponderati dai punteggi di confidenza, applicando regole conservative per gestire i casi ambigui e prevenendo l'approvazione quando le prove sono contraddittorie.

3. Contributi Chiave

1. Primo metodo basato su Agenti LLM: È la prima proposta che utilizza un flusso di lavoro multi-agente per l'estrazione di marker psicolinguistici e il rilevamento dell'approvazione cospirazionista.
2. DD-CoT: Introduce un meccanismo di ragionamento esplicito che forza il modello a dedurre ambiguità semantiche attraverso contro-argomentazioni, migliorando la distinzione tra ruoli (es. Attore vs. Vittima).
3. Architettura Ibrida Decouplata: Separa il ragionamento semantico dall'indicizzazione deterministica degli span, garantendo output a livello di caratteri privi di allucinazioni.
4. Anti-Echo Chamber: Un'architettura di consiglio avversariale che risolve efficacemente il problema del "Reporter Trap", distinguendo il reportage neutrale dall'approvazione attiva.
5. Analisi Empirica Completa: Include studi di ablazione, profilazione della latenza e test di trasferibilità su modelli open-weights (Qwen-3-8B).

4. Risultati Sperimentali

Il sistema è stato valutato sul dataset SemEval-2026 (4.800 annotazioni da Reddit):

• Sottocompito 1 (Estrazione Marker):

  • F1 Macro: 0.24 sul set di sviluppo (vs 0.12 della baseline zero-shot), un miglioramento del 100%.
  • Posizionamento: 3° posto nella classifica di sviluppo.
  • Il miglioramento è guidato principalmente dal DD-CoT (+2.7 punti F1 per la classe ATTOR) e dal loop di auto-rifinitura.

• Sottocompito 2 (Rilevamento Cospirazione):

  • F1 Macro: 0.79 sul set di sviluppo (vs 0.53 della baseline), un miglioramento del 49%.
  • Posizionamento: 13° posto nello sviluppo, 24° nel test.
  • Il sistema ha ridotto il tasso di falsi positivi (sui "hard negatives") del 50% (da 0.160 a 0.080) grazie al Consiglio e al recupero contrastivo.

• Robustezza: Il sistema mantiene prestazioni competitive anche su modelli più piccoli (Qwen-3-8B) con schemi semplificati, dimostrando la portabilità dell'approccio agenziale.

5. Significato e Implicazioni

Il lavoro dimostra che per compiti NLP complessi e psicologicamente sfumati, l'ingegneria del flusso di lavoro (workflow engineering) può sostituire o superare la necessità di scalare semplicemente le dimensioni del modello.

• Interpretabilità: L'approccio fornisce spiegazioni chiare (tramite i ragionamenti degli agenti) su perché un testo è classificato come cospirazionista, andando oltre la "scatola nera".
• Affidabilità: La separazione tra ragionamento e localizzazione risolve un problema cronico degli LLM nell'estrazione di span precisi.
• Mitigazione dei Bias: L'architettura "Anti-Echo Chamber" offre un nuovo paradigma per gestire i bias di conferma e i falsi positivi nel rilevamento di disinformazione, insegnando al modello a riconoscere la differenza tra discutere un complotto e crederci.

In sintesi, il paper stabilisce un nuovo standard per l'analisi del discorso cospirazionista, spostando il focus dalla semplice classificazione testuale a un'analisi strutturale, psicolinguistica e giuridicamente ispirata (tramite il concetto di "tribunale" degli agenti).