CascadeMind at SemEval-2026 Task 4: A Hybrid Neuro-Symbolic Cascade for Narrative Similarity

Resumen Técnico: CascadeMind en SemEval-2026 Tarea 4

Definición del Problema
El artículo aborda la Tarea 4 de SemEval-2026, que se centra en la Similitud de Narrativas. La tarea requiere que los sistemas comparen dos historias candidatas frente a una historia ancla y determinen cuál candidata es más similar basándose en tres ejes específicos: tema abstracto, curso de acción y resultados. El desafío central radica en el hecho de que la similitud narrativa se extiende más allá de la redacción superficial para incluir temas compartidos, secuencias de eventos y resoluciones, lo que a menudo conduce a comparaciones ambiguas donde los Modelos de Lenguaje Grandes (LLM) pueden ver degradado su rendimiento.

Metodología: La Arquitectura CascadeMind
Los autores proponen CascadeMind, un sistema neuro-simbólico híbrido que utiliza un mecanismo de enrutamiento consciente de la confianza. El sistema trata la distribución de votos a través de muestras de autoconsistencia como una señal de incertidumbre, seleccionando dinámicamente una vía de decisión basada en el nivel de consenso.

La tubería opera en cuatro etapas:

1. Votación de Autoconsistencia Neuronal: El sistema consulta a Gemini 2.5 Flash ocho veces ($k=8$) con una temperatura de 1.0 para generar ocho votos independientes A/B.
2. Verificación de Confianza (Supermayoría): Si al menos 7 de cada 8 votos coinciden (supermayoría), el sistema se compromete inmediatamente con esa decisión. Esta vía resuelve la mayoría de los casos (74% en el conjunto de desarrollo).
3. Escalaración: Si los votos iniciales están divididos (por ejemplo, 4-4, 5-3, 6-2), el sistema escala emitiendo tres llamadas API adicionales (totalizando 32 votos) y toma la votación mayoritaria del conjunto ampliado.
4. Respuesta Simbólica (Tiebreaker): Solo en el raro evento de un empate perfecto tras la escalación (5% de los casos), el sistema recurre a un Ensemble de Análisis Narrativo Multi-Escala. Este componente simbólico calcula una suma ponderada de cinco señales de similitud:
   • Similitud Léxica: Similitud del coseno TF-IDF (Peso: 49%).
   • Similitud de Gramática de Historia: Promedio de la similitud del coseno de incrustaciones de transformadores de oraciones a través de cinco fases narrativas (escenario, conflicto, acción ascendente, clímax, resolución) (Peso: 40%).
   • Similitud Semántica: Similitud del coseno de incrustación de la historia completa (Peso: 8%).
   • Curva de Tensión Narrativa: Correlación de Pearson de curvas de tensión derivadas del sentimiento (Peso: 2%).
   • Similitud de Cadena de Eventos: Subsecuencia Común Más Larga (LCS) de verbos de acción ordenados (Peso: 1%).

Los pesos para el ensemble simbólico se optimizaron mediante evolución diferencial en un conjunto de entrenamiento sintético de 1.900 tripletes generados por LLM.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Enrutamiento Consciente de la Confianza: Una demostración de que el acuerdo de votos de LLM sirve como un gradiente monótono confiable para la dificultad de la instancia. En el conjunto de desarrollo, los casos de supermayoría (≥7/8 votos) alcanzan un 85% de precisión, los votos divididos un 67% y los empates perfectos un 61%.
2. Mecanismo de Respuesta Híbrido: La implementación de un ensemble simbólico fundamentado en la teoría narrativa (Propp, Freytag, Todorov) que se activa exclusivamente en empates perfectos, en lugar de como un clasificador primario.
3. Análisis de Ablación: Evidencia que muestra que las ganancias de rendimiento son impulsadas casi en su totalidad por el enrutamiento consciente de la confianza (votación y escalación), mientras que el componente simbólico contribuye de manera insignificante a la puntuación de extremo a extremo porque se invoca solo en el 5% de los casos.

Resultados

• Rendimiento Oficial: En el conjunto de prueba de la Pista A (400 tripletes), CascadeMind logró una precisión del 72.75%, clasificándose en 10º lugar de 44 equipos.
• Diagnósticos de Desarrollo: En un subconjunto de desarrollo, el sistema logró un 81.0% de precisión.
• Análisis de Vías:
  • Los casos de supermayoría (74% del subconjunto) se resolvieron con un 85% de precisión.
  • Los casos escalados se resolvieron con un 67% de precisión.
  • El tiebreaker simbólico logró un 61.1% de precisión en un conjunto de diagnóstico separado de empates perfectos.
• Aislamiento del Componente Simbólico: Cuando se aplica como un clasificador independiente en todos los casos (ignorando la cascada neuronal), el ensemble simbólico cayó al 53% de precisión, confirmando su idoneidad solo como una respuesta de alta incertidumbre.
• Discrepancia: Los autores notan una brecha significativa entre el rendimiento del subconjunto de cascada de desarrollo (81.0%) y el rendimiento oficial de prueba (72.75%), atribuyendo esto a una incompatibilidad de distribución y un posible sobreajuste a los datos de calibración sintética.

Significado y Afirmaciones
La principal conclusión metodológica del artículo es que, para las tareas de similitud narrativa, calibrar cuándo gastar computación adicional en instancias difíciles es más impactante que agregar representaciones auxiliares. Los autores argumentan que el éxito del sistema se deriva de la estrategia de enrutamiento: utilizar el consenso de votos para distinguir casos fáciles, difíciles y ambiguos, en lugar de la sofisticación de la respuesta simbólica. El componente simbólico, aunque fundamentado teóricamente, jugó un papel insignificante en la puntuación final debido a su baja tasa de invocación. El trabajo destaca la utilidad de la votación de autoconsistencia como una señal de incertidumbre de caja negra para la predicción selectiva sin requerir que el modelo se abstenga.