CascadeMind at SemEval-2026 Task 4: A Hybrid Neuro-Symbolic Cascade for Narrative Similarity

Riepilogo Tecnico: CascadeMind a SemEval-2026 Task 4

Definizione del Problema
Il paper affronta il Task 4 di SemEval-2026, focalizzato sulla Similarità di Storie Narrate. Il compito richiede ai sistemi di confrontare due storie candidate rispetto a una storia ancoraggio e determinare quale candidata sia più simile basandosi su tre assi specifici: tema astratto, corso d'azione e esiti. La sfida principale risiede nel fatto che la similarità narrativa va oltre la formulazione superficiale per includere temi condivisi, sequenze di eventi e risoluzioni, portando spesso a confronti ambigui in cui i Modelli Linguistici di Grande Dimensione (LLM) possono vedere un degrado delle prestazioni.

Metodologia: L'Architettura CascadeMind
Gli autori propongono CascadeMind, un sistema ibrido neuro-simbolico che utilizza un meccanismo di instradamento consapevole della confidenza. Il sistema tratta la distribuzione dei voti tra i campioni di auto-coerenza come un segnale di incertezza, selezionando dinamicamente un percorso decisionale in base al livello di consenso.

La pipeline opera in quattro fasi:

1. Voto di Auto-Coerenza Neurale: Il sistema interroga Gemini 2.5 Flash otto volte ($k=8$) con una temperatura di 1.0 per generare otto voti indipendenti A/B.
2. Controllo della Confidenza (Supermaggioranza): Se almeno 7 voti su 8 concordano (supermaggioranza), il sistema si impegna immediatamente in quella decisione. Questo percorso risolve la maggior parte dei casi (74% nello sviluppo).
3. Escalation: Se i voti iniziali sono divisi (ad esempio 4-4, 5-3, 6-2), il sistema procede con un'escalation emettendo tre chiamate API aggiuntive (per un totale di 32 voti) e prende il voto di maggioranza dell'insieme ampliato.
4. Fallback Simbolico (Tiebreaker): Solo nel raro evento di un pareggio perfetto dopo l'escalation (5% dei casi), il sistema ricorre a un Ensemble di Analisi Narrativa Multi-Scala. Questo componente simbolico calcola una somma ponderata di cinque segnali di similarità:
   • Similarità Lessicale: Similarità coseno TF-IDF (Peso: 49%).
   • Similarità della Grammatica della Storia: Similarità coseno media degli embedding di sentence-transformer attraverso cinque fasi narrative (ambientazione, conflitto, azione crescente, climax, risoluzione) (Peso: 40%).
   • Similarità Semantica: Similarità coseno dell'embedding dell'intera storia (Peso: 8%).
   • Curva di Tensione Narrativa: Correlazione di Pearson delle curve di tensione derivate dal sentiment (Peso: 2%).
   • Similarità della Catena di Eventi: Sottosequenza Comune più Lunga (LCS) dei verbi d'azione ordinati (Peso: 1%).

I pesi per l'ensemble simbolico sono stati ottimizzati tramite evoluzione differenziale su un set di addestramento sintetico di 1.900 triplets generati da LLM.

Contributi Chiave
Il paper delinea tre contributi principali:

1. Instradamento Consapevole della Confidenza: Una dimostrazione che l'accordo dei voti degli LLM funge da gradiente monotono affidabile per la difficoltà dell'istanza. Sul set di sviluppo, i casi di supermaggioranza (≥7/8 voti) raggiungono un'accuratezza dell'85%, i voti divisi il 67% e i pareggi perfetti il 61%.
2. Meccanismo Ibrido di Fallback: L'implementazione di un ensemble simbolico fondato sulla teoria narrativa (Propp, Freytag, Todorov) che viene attivato esclusivamente in caso di pareggi perfetti, piuttosto che come classificatore primario.
3. Analisi di Ablazione: Evidenza che mostra che i guadagni di prestazioni sono quasi interamente guidati dall'instradamento consapevole della confidenza (voto ed escalation), mentre il componente simbolico contribuisce in modo trascurabile al punteggio end-to-end poiché viene invocato solo nel 5% dei casi.

Risultati

• Prestazioni Ufficiali: Sul set di test della Track A (400 triplets), CascadeMind ha raggiunto un'accuratezza del 72,75%, classificandosi 10° su 44 team.
• Diagnostica di Sviluppo: Su un sottoinsieme di sviluppo, il sistema ha raggiunto un'accuratezza dell'81,0%.
• Analisi dei Percorsi:
  • I casi di supermaggioranza (74% del sottoinsieme) risolti con un'accuratezza dell'85%.
  • I casi con escalation risolti con un'accuratezza del 67%.
  • Il tiebreaker simbolico ha raggiunto un'accuratezza del 61,1% su un set diagnostico separato di pareggi perfetti.
• Isolamento del Componente Simbolico: Quando applicato come classificatore autonomo su tutti i casi (ignorando la cascata neurale), l'ensemble simbolico è sceso al 53% di accuratezza, confermando la sua idoneità solo come fallback ad alta incertezza.
• Discrepanza: Gli autori notano un divario significativo tra la prestazione del sottoinsieme di sviluppo della cascata (81,0%) e la prestazione del test ufficiale (72,75%), attribuendolo a una discrepanza di distribuzione e a un possibile overfitting sui dati di calibrazione sintetici.

Significato e Affermazioni
Il principale insegnamento metodologico del paper è che, per i compiti di similarità narrativa, calibrare quando spendere risorse computazionali aggiuntive su istanze difficili è più impattante che aggiungere rappresentazioni ausiliarie. Gli autori sostengono che il successo del sistema deriva dalla strategia di instradamento – utilizzando il consenso dei voti per distinguere casi facili, difficili e ambigui – piuttosto che dalla sofisticazione del fallback simbolico. Il componente simbolico, pur essendo teoricamente fondato, ha giocato un ruolo trascurabile nel punteggio finale a causa del suo basso tasso di invocazione. Il lavoro evidenzia l'utilità del voto di auto-coerenza come segnale di incertezza black-box per la previsione selettiva senza richiedere al modello di astenersi.