AILS-NTUA at SemEval-2026 Task 12: Graph-Based Retrieval and Reflective Prompting for Abductive Event Reasoning

Each language version is independently generated for its own context, not a direct translation.

🕵️‍♂️ Il Detective Digitale: Come abbiamo vinto la sfida del "Perché?"

Immagina di essere un detective privato. Ti viene mostrata una scena del crimine (un evento accaduto nel mondo reale) e ti viene chiesto: "Perché è successo?".

Non hai tutte le prove, ma hai una valigetta piena di documenti, articoli di giornale e appunti sparsi. Il tuo compito è leggere questi documenti, ignorare le distrazioni (i "falsi indizi") e trovare la causa più plausibile. A volte, la risposta è una sola; altre volte, sono tre o quattro cause che lavorano insieme.

Il team AILS-NTUA ha creato un sistema intelligente che ha vinto questa sfida con un punteggio quasi perfetto (0,95 su 1,00). Ecco come funziona, diviso in tre fasi magiche.

1️⃣ Fase 1: La Mappa del Tesoro (Ricerca Grafica)

Immagina che i documenti che hai nella valigetta siano isole in un oceano. Alcuni sono collegati da ponti solidi, altri sono isolati.

Il problema: Se leggi tutti i documenti, ti perdi nel rumore. Se ne leggi pochi, potresti saltare un ponte cruciale e non capire la storia completa.
La soluzione: Il nostro sistema costruisce una mappa interconnessa. Non legge i documenti uno per uno, ma guarda come si collegano tra loro.
- Usa due tipi di "radar": uno che cerca parole chiave (come un cercapersone) e uno che cerca il significato (come un detective che capisce il contesto).
- Se un documento è collegato a un altro, il sistema lo segue, come se camminasse lungo i ponti dell'isola.
- Il risultato: Elimina le "isole fantasma" (i documenti irrilevanti) e raccoglie solo il gruppo di documenti che raccontano la vera storia, assicurandosi di non perdere nessun pezzo del puzzle.

2️⃣ Fase 2: L'Investigatore che Pensa ad Alta Voce (Ragionamento Riflessivo)

Una volta selezionati i documenti giusti, li passiamo a un'intelligenza artificiale (un "Cervello Digitale" o LLM). Ma non gli diciamo solo: "Dammi la risposta".

Il trucco: Costruiamo un promemoria speciale (un prompt) che costringe l'IA a fare due cose:
1. Scrivere un'analisi: Deve spiegare perché pensa che una certa opzione sia giusta o sbagliata, come se stesse parlando ad alta voce mentre pensa.
2. Dare la risposta: Solo dopo aver analizzato tutto, deve scegliere le lettere (A, B, C, D).
L'evoluzione: Abbiamo usato un assistente automatico (chiamato GEPA) che ha "giocato" con migliaia di varianti di questo promemoria per trovare la formula magica che spinge l'IA a ragionare meglio, proprio come un allenatore che corregge la tecnica di un atleta.

3️⃣ Fase 3: Il Controllo di Qualità (Coerenza Post-Evento)

Anche i migliori detective possono commettere errori di distrazione. A volte l'IA dice cose che si contraddicono.

Il problema: L'IA potrebbe dire: "La causa è l'esplosione" E ALLO STESSO TEMPO dire "Nessuna delle cause sopra è corretta". È impossibile! O potrebbe dire che due documenti identici hanno significati opposti.
La soluzione: Abbiamo applicato un filtro logico automatico alla fine. È come un controllore di volo che verifica il piano di volo prima del decollo.
- Se l'IA sceglie "Nessuna delle altre" insieme ad altre opzioni, il sistema corregge l'errore.
- Se due opzioni sono identiche, il sistema le tratta allo stesso modo.
- Questo passaggio ha fatto saltare il punteggio del sistema in modo incredibile, risolvendo quasi tutti gli errori "stupidi".

🧠 Cosa abbiamo imparato dai "Cervelli Digitali"?

Analizzando 14 diversi modelli di intelligenza artificiale, abbiamo scoperto che tutti soffrono degli stessi tre difetti di carattere, proprio come gli umani:

La catena spezzata: Spesso vedono solo un pezzo della storia (es. "Il fuoco ha bruciato la casa") e dimenticano la causa profonda (es. "Un corto circuito ha acceso il fuoco"). Si fermano a metà strada.
L'ossessione per il "vicino": Preferiscono la causa che è avvenuta appena prima dell'evento, ignorando le cause che hanno preparato il terreno giorni o mesi prima. È come dire che la pioggia è colpa dell'ombrello aperto, e non delle nuvole nere.
Il bias del "dramma": Se c'è una causa esplosiva e drammatica e una causa noiosa ma reale, scelgono sempre quella drammatica.

🏆 Il Risultato Finale

Grazie a questa combinazione di mappa intelligente, ragionamento strutturato e controllo di qualità rigoroso, il nostro sistema è arrivato primo nella classifica mondiale.

In sintesi: Non abbiamo inventato un nuovo cervello, ma abbiamo costruito un sistema di supporto che aiuta il cervello digitale a non distrarsi, a pensare con calma e a non commettere errori di logica. È come dare a un genio un buon organizzatore e un controllore di qualità: il risultato è un detective imbattibile.

Each language version is independently generated for its own context, not a direct translation.

1. Introduzione e Problema

Il paper presenta il sistema vincitore della SemEval-2026 Task 12, focalizzata sul Ragionamento Abduttivo sugli Eventi (Abductive Event Reasoning).

Il Problema: Il compito richiede di identificare la causa più diretta e plausibile di un evento del mondo reale, partendo da un contesto testuale (un insieme di documenti) e selezionando tra diverse opzioni di spiegazione. A differenza del ragionamento deduttivo, l'abduzione implica inferire la migliore spiegazione possibile da informazioni incomplete, un compito notoriamente difficile per i Large Language Models (LLM) a causa della necessità di gestire catene causali implicite e di distinguere tra correlazione e causalità.
La Sfida: I modelli esistenti tendono a fallire su dati incerti, mostrando bias induttivi come la preferenza per cause vicine temporalmente (proximate cause) o la tendenza a selezionare un'unica causa invece di riconoscere cause multiple.

2. Metodologia: Una Pipeline a Tre Stadi

Il sistema proposto da AILS-NTUA adotta una pipeline innovativa composta da tre fasi distinte, progettata per massimizzare la precisione e la coerenza logica.

Fase 1: Recupero Basato su Grafi e Filtraggio dei Distrattori

Invece di utilizzare un recupero documentale standard, il sistema costruisce un grafo ibrido di documenti per ogni argomento (topic):

Costruzione del Grafo: I nodi sono i documenti del contesto. Gli archi rappresentano la similarità ibrida, combinando segnali densi (embedding vettoriali, es. Cohere Embed v4) e segnali sparsi (BM25+ con potenziamento delle entità).
Strategia di Recupero: Si identificano punti di ingresso (top-k documenti per segnale denso e sparso) e si esegue una ricerca in ampiezza (BFS) sul componente connesso.
Obiettivo: Prioritizzare il recall rispetto alla precisione. Un documento mancante potrebbe rompere una catena causale multi-hop, mentre documenti extra aggiungono solo rumore gestibile.
Aggregazione per Topic: Poiché le domande dello stesso topic condividono documenti, il sistema aggrega il contesto a livello di topic, ottenendo un tasso di hit nella cache del 91% e riducendo i costi di inferenza dell'87%.

Fase 2: Ragionatore LLM con Prompting Riflessivo

Il cuore del sistema è un LLM (utilizzando modelli come Claude Sonnet 4.5 Thinking) guidato da un design del prompt ottimizzato:

Prompting Strutturato: Utilizza un formato XML che forza il modello a produrre un'analisi prima della risposta (<analysis> seguito da <answer>). Questo agisce come una "scratchpad" strutturata, incoraggiando il ragionamento a catena (Chain-of-Thought).
Ottimizzazione con GEPA: Il design del prompt è stato raffinato utilizzando GEPA (Reflective Prompt Evolution) tramite DSPy. Invece di usare i prompt generati automaticamente come "scatole nere", il team ha analizzato le euristiche scoperte da GEPA (es. gestione delle opzioni duplicate, esclusività dell'opzione "Nessuna delle altre") per informare la progettazione manuale del prompt finale.
Auto-Coerenza: Vengono campionate $k=3$ risposte a temperatura $\tau=1.0$ e aggregate tramite votazione a maggioranza per ogni opzione.

Fase 3: Applicazione di Euristiche di Coerenza Post-Hoc

Questa è la componente che ha garantito il maggior guadagno di performance. Il sistema applica 8 euristiche deterministiche per correggere le violazioni logiche comuni:

Esclusività Mutua: Se l'opzione "Nessuna delle altre è corretta" è selezionata, tutte le altre opzioni devono essere rimosse.
Coerenza delle Duplicazioni: Se due opzioni hanno lo stesso testo, devono avere lo stesso valore di verità (entrambe selezionate o entrambe scartate).
Controlli Cross-Question: Sfrutta la struttura dei dati (domande "sorelle" sullo stesso evento) per propagare la coerenza logica tra domande correlate.
Chiusura: Se rimane un'unica opzione valida dopo i filtri, viene selezionata automaticamente.
Queste euristiche vengono applicate iterativamente fino alla convergenza (tipicamente 2 iterazioni).

3. Risultati Sperimentali

Il sistema ha raggiunto il primo posto nella classifica di valutazione con un punteggio di accuratezza di 0.95.

Performance dei Modelli: Tra i 18 configurazioni testate (7 famiglie di modelli), Claude Sonnet 4.5 Thinking ha ottenuto il miglior risultato base (0.828). L'uso del ragionamento esteso ("Thinking") ha mostrato benefici costanti rispetto ai modelli standard.
Impatto delle Componenti:
- Il recupero basato su grafi ha portato a miglioramenti marginali per i modelli avanzati, ma un guadagno significativo (+9 punti percentuali) per modelli più piccoli (es. Haiku 3.5).
- L'auto-coerenza (self-consistency) ha fornito guadagni modesti (+1.6 pp).
- Le euristiche post-hoc hanno generato il miglioramento più grande: portando il punteggio di Claude Sonnet 4.5 Thinking da 0.828 a 0.884 (+5.6 pp) sul set di sviluppo, e fino a 0.952 sul set di test.
Analisi degli Errori: L'analisi su 14 modelli ha rivelato che le domande multi-risposta sono significativamente più difficili (gap di accuratezza del 25-56% rispetto alle domande a risposta singola).

4. Contributi Chiave e Analisi degli Errori

Il paper offre contributi significativi oltre alla vittoria nella competizione:

Identificazione di Bias Induttivi Condivisi: L'analisi degli errori su 14 modelli ha rivelato tre bias sistematici comuni a tutte le famiglie di modelli, indipendentemente dalle loro dimensioni o architettura:
- Incompleteness della Catena Causale: I modelli tendono a selezionare un solo anello di una catena causale multi-step, ignorando il resto (18/42 fallimenti).
- Preferenza per la Causa Prossima: Tendenza a scegliere l'antecedente più recente temporalmente rispetto alle condizioni abilitanti più distali (11/42 fallimenti).
- Bias di Salienza: Preferenza per cause drammatiche o "notizie di cronaca" rispetto a fattori contributivi più sottili (9/42 fallimenti).
  Questi bias portano a una riduzione sistematica del conteggio delle cause del 51%, con una tendenza a selezionare una sola opzione anche quando sono richieste più risposte.
Validazione dell'Approccio Ibrido: Dimostra che combinare recupero avanzato (RAG basato su grafi), prompting ottimizzato e correzioni logiche post-hoc è superiore all'uso di un singolo modello LLM "grezzo".
Limiti dei Modelli Correnti: Anche i modelli frontier (GPT-5.2, Claude Opus, Gemini) faticano con il ragionamento abduttivo multi-label, suggerendo che l'attuale capacità di ragionamento causale ha un limite intrinseco che richiede architetture di ensemble o agenti multipli per essere superato.

5. Significato e Conclusioni

Il lavoro di AILS-NTUA dimostra che per compiti complessi di ragionamento causale in scenari reali, non basta affidarsi alla sola potenza di calcolo dei LLM. La combinazione di:

Recupero contestuale intelligente (per preservare la catena causale),
Prompting strutturato (per guidare il processo di pensiero),
Vincoli logici post-hoc (per correggere errori sistematici di coerenza),

è la chiave per raggiungere prestazioni umane o superiori. Inoltre, l'identificazione di bias condivisi tra modelli diversi suggerisce che le attuali architetture di LLM condividono pre-training priors simili che limitano la loro capacità di ragionamento abduttivo, indicando la necessità di nuovi approcci di addestramento o architetturali per colmare questo divario.