Lacuna Inc. at SemEval-2026 Task 4: Structurally Gated State-Space Models for Disentangling Narrative Similarity

Resumen Técnico: IVD-SSM para la Similitud Narrativa

Definición del Problema
El artículo aborda el desafío computacional de evaluar la similitud narrativa, una tarea definida por SemEval-2026 Task 4 como la distinción de la "estructura profunda" de una trama (patrones abstractos de causalidad y progresión) frente a su realización superficial (nombres, entornos y objetos específicos). Las arquitecturas Transformer estándar suelen fallar en esto debido a un sesgo hacia el solapamiento léxico y semántico, lo que conduce a "correlaciones espurias" donde historias que comparten vocabulario específico de un género (por. ej., "zombis") se consideran similares a pesar de tener cadenas causales fundamentalmente distintas. Además, los Transformers estándar enfrentan cuellos de botella de memoria y computación cuadráticos ($O(N^2)$) al procesar las dependencias de largo alcance inherentes a las narrativas extendidas.

Metodología: IVD-SSM
Los autores proponen el Modelo de Espacio de Estados Desentrelazado de Invariantes-Variantes (IVD-SSM), una arquitectura híbrida diseñada para separar explícitamente las estructuras de la trama invariantes de los detalles semánticos variantes. El sistema consta de dos componentes primarios:

1. Codificador de Respaldo (Jamba-1.5-Mini):

   • El sistema utiliza un modelo Jamba-1.5-Mini, una arquitectura híbrida que combina capas de Mamba (Modelo de Espacio de Estados) con atención de Transformer.
   • Las capas Mamba fueron seleccionadas por su capacidad para comprimir el historial de la secuencia en un estado oculto actualizado dinámicamente con complejidad temporal lineal ($O(N)$), lo que las hace ideales para capturar cadenas causales de largo alcance sin la sobrecarga de memoria de los cachés de clave-valor (key-value).
   • Para adaptar el modelo de 12 mil millones de parámetros bajo restricciones computacionales, el respaldo se carga en cuantización NormalFloat de 4 bits (NF4). Los autores emplean QLoRA (Ajuste Fino de Parámetros Eficiente) dirigido únicamente a los módulos de proyección y de incrustación (embedding), manteniendo el resto de la red congelada para preservar el conocimiento previo del mundo.

2. Cabezal de Alineación Estructuralmente Gateado (SGA Head):

   • Esta es la contribución novedosa central, un mecanismo de alineación de doble escala diferenciable inspirado en el algoritmo de Smith-Waterman. Procesa una narrativa ancla y una narrativa candidata a través de dos vías paralelas:
     • Vía Macro (Estructura Invariante): Las secuencias de entrada se submuestrean fuertemente (salto o stride $k=4$) para capturar el esqueleto estructural grueso (por ejemplo, introducción, conflicto, resolución). Esta vía es ciega a las entidades específicas a nivel de token.
     • Vía Micro (Detalles Variantes): Las secuencias de resolución completa se procesan para capturar coincidencias de grano fino a nivel de entidad (por ejemplo, nombres de personajes específicos u objetos).
   • Mecanismo de Puerta (Gating): La Vía Macro genera una matriz de similitud estructural ($M_{macro}$), la cual es sobremuestreada y pasada a través de una activación Sigmoide escalada por temperatura para crear una máscara estructural suave ($G$). Esta máscara actúa como puerta sobre la matriz de similitud de la Vía Micro ($M_{micro}$) mediante multiplicación elemento a elemento ($M_{filtered} = M_{micro} \odot G$).
   • Este mecanismo suprime activamente el ruido semántico y los solapamientos de palabras clave superficiales, asegurando que solo se asignen puntuaciones de alta similitud cuando los detalles de grano fino se alinean dentro de regiones estructuralmente válidas.

Entrenamiento y Evaluación

• Datos: Debido a la limitación de datos anotados por humanos (200 tríos de desarrollo, 400 de prueba), el modelo fue entrenado exclusivamente con 1,900 tríos de historias sintéticas proporcionados por los organizadores de la tarea, aumentados con el conjunto anotado por humanos para la validación.
• Track A (Clasificación de Pares): El modelo utiliza un objetivo contrastivo para determinar qué candidato es estructuralmente más cercano a un ancla.
• Track B (Aprendizaje de Representación): El modelo genera vectores de incrustación densos mediante el mean-pooling de las salidas proyectadas del respaldo, seguido de una normalización L2 estricta para facilitar las comparaciones de distancia de coseno.

Resultos Clave

• Track A (Clasificación de Pares): El IV-SSM (Gated) alcanzó una precisión del 57.25%, superando la línea base aleatoria (50.00%) y la línea base de similitud de Jaccard léxica (56.25%). Sin embargo, quedó por detrás del prompt zero-shot de GPT-4o-mini (67.00%).
• Track B (Similitud de Incrustación): El modelo alcanzó un 54.50% de precisión, quedando por debajo del codificador de frases all-MiniLM-L6-v2 (58.50%) y story-emb (63.25%).
• Estudios de Ablación:
  • La Vía Micro sola (55.75%) tuvo un desempeño inferior a la línea base de Jaccard, confirmando que la similitud de tokens de grano fino sin filtrado estructural es vulnerable a los distractores léxicos.
  • La Vía Macro sola (57.00%) superó sustancialmente a Jaccard, indicando que el esqueleto estructural grueso porta la mayor parte de la señal para la equivalencia narrativa.
  • El Mecanismo de Puerta (Gating) proporcionó una mejora modesta pero consistente (+0.25%) sobre la variante de solo Macro, validando su papel en el filtrado del ruido semántico residual.

Significancia y Reivindicaciones
El artículo sostiene que el principal cuello de botella en la evaluación narrativa computacional es la confusión entre la estructura de la trama invariante y los detalles semánticos variantes. Los autores argumentan que sus resultados demuestran que la similitud narrativa no puede medirse de manera fiable mediante "bolsas de palabras" o incrustaciones de frases genéricas. En su lugar, requiere arquitecturas que modelen explícitamente el curso secuencial de la acción.

La significancia del trabajo reside en la capacidad del IVD-SSM para desentrelazar los invariantes estructurales de las variantes léxicas, proporcionando un marco principista para la comprensión narrativa profunda. Los autores señalan que, si bien su enfoque aún no iguala el rendimiento de los grandes LLM zero-shot (probablemente debido a que los LLM poseen un extenso pre-entrenamiento en estructuras narrativas y capacidades de razonamiento implícito), la arquitectura SGA mitiga con éxito las "correlaciones espurias" que causan que los modelos estándar fallen en muestras negativas difíciles.

Limitaciones
Los autores reconocen las siguientes limitaciones:

• Puerta Suave (Soft Gating): La puerta basada en la función Sigmoide es continua y nunca llega a cero, permitiendo cierta "filtración" de distractores léxicos fuertes (por ejemplo, entidades nombradas idénticas) que pueden invalidar la desalineación estructural.
• Complejidad Computacional: Aunque el respaldo es lineal, el cabezal SGA reintroduce un cuello de botella cuadrático ($O(L_a \times L_c)$) al calcular las matrices de similitud cruzada completas, lo que puede no escalar a novelas completas o guiones sin modificaciones de alineación dispersa (sparse alignment).
• Sesgo de Datos: El modelo fue entrenado principalmente con datos sintéticos generados por LLM, lo que podría llevar al sobreajuste en ritmos narrativos predecibles y arquetipos estándar, dejando sin explorar su desempeño en narrativas humanas de vanguardia o no lineales.