Lacuna Inc. at SemEval-2026 Task 4: Structurally Gated State-Space Models for Disentangling Narrative Similarity

Resumo Técnico: IVD-SSM para Similaridade Narrativa

Definição do Problema
O artigo aborda o desafio computacional de avaliar a similaridade narrativa, uma tarefa definida pela SemEval-2026 Task 4 como a distinção entre a "estrutura profunda" de um enredo (padrões abstratos de causalidade e progressão) e sua realização de nível superficial (nomes, cenários e objetos específicos). As arquiteturas Transformer padrão frequentemente falham nisso devido a um viés de sobreposição lexical e semântica, levando a "correlações espúrias" onde histórias que compartilham vocabulário específico de gênero (ex: "zumbis") são consideradas semelhantes, apesar de possuírem cadeias causais fundamentalmente diferentes. Além disso, os Transformers padrão enfrentam gargalos de memória e computação quadráticos ($O(N^2)$) ao processar as dependências de longo alcance inerentes a narrativas estendidas.

Metodologia: IVD-SSM
Os autores propõem o Modelo de Espaço de Estados Desentranhado de Invariantes-Variantes (IVD-SSM), uma arquitetura híbrida projetada para separar explicitamente as estruturas de enredo invariantes dos detalhes semânticos variantes. O sistema consiste em dois componentes primários:

1. Codificador de Backbone (Jamba-1.5-Mini):

   • O sistema utiliza um modelo Jamba-1.5-Mini, uma arquitetura híbrida que combina camadas Mamba (Modelo de Espaço de Estados) com atenção Transformer.
   • As camadas Mamba foram selecionadas por sua capacidade de comprimir o histórico da sequência em um estado oculto atualizado dinamicamente com complexidade de tempo linear ($O(N)$), tornando-as ideais para capturar cadeias causais de longo alcance sem o overhead de memória dos caches de chave-valor (key-value caches).
   • Para adaptar o modelo de 12 bilhões de parâmetros sob restrições computacionais, o backbone é carregado em quantização 4-bit NormalFloat (NF4). Os autores empregam QLoRA (Fine-Tuning de Parâmetros Eficientes) visando apenas os módulos de projeção e embedding, mantendo o restante da rede congelada para preservar o conhecimento de mundo pré-treinado.

2. Cabeça de Alinhamento Estruturalmente Gateado (SGA Head):

   • Esta é a principal contribuição de novidade, um mecanismo de alinhamento de escala dupla diferenciável inspirado no algoritmo de Smith-Waterman. Ele processa uma narrativa âncora e uma narrativa candidata através de dois caminhos paralelos:
     • Caminho Macro (Estrutura Invariante): As sequências de entrada são fortemente subamostradas (stride $k=4$) para capturar o esqueleto estrutural grosseiro (ex: introdução, conflito, resolução). Este caminho é cego a entidades de nível de token específicas.
     • Caminho Micro (Detalhes Variantes): As sequências de resolução total são processadas para capturar correspondências de nível de entidade e detalhe fino (ex: nomes de personagens específicos ou objetos).
   • Mecanismo de Gate (Portão): O Caminho Macro gera uma matriz de similaridade estrutural ($M_{macro}$), que é upsampled e passada por uma ativação Sigmoid com escala de temperatura para criar uma máscara estrutural suave ($G$). Esta máscara controla o caminho de similaridade do Micro-path ($M_{micro}$) via multiplicação elemento a elemento ($M_{filtered} = M_{micro} \odot G$).
   • Este mecanismo suprime ativamente o ruído semântico e as sobreposições de palavras-chave superficiais, garantindo que pontuações de similaridade elevadas sejam atribuídas apenas quando os detalhes finos se alinham dentro de regiões estruturalmente válidas.

Treinamento e Avaliação

• Dados: Devido aos dados limitados anotados por humanos (200 triplas de desenvolvimento, 400 de teste), o modelo foi treinado exclusivamente em 1.900 triplas de histórias sintéticas fornecidas pelos organizadores da tarefa, aumentadas com o conjunto anotado por humanos para validação.
• Track A (Classificação de Pares): O modelo utiliza um objetivo contrastivo para determinar qual de dois candidatos é estruturalmente mais próximo de uma âncora.
• Track B (Aprendizado de Representação): O modelo gera embeddings vetoriais densos via mean-pooling das saídas projetadas do backbone, seguidos de normalização L2 estrita para facilitar comparações de distância de cosseno.

Principais Resultados

• Track A (Classificação de Pares): O IVD-SSM (Gated) alcançou uma acurácia de 57,25%, superando a baseline aleatória (50,00%) e a baseline de similaridade lexical Jaccard (56,25%). No entanto, ficou atrás do prompt zero-shot do GPT-4o-mini (67,00%).
• Track B (Similaridade de Embedding): O modelo alcançou 54,50% de acurácia, ficando aquém do codificador de sentenças all-MiniLM-L6-v2 (58,50%) e do story-emb (63,25%).
• Estudos de Ablação:
  • O Micro-path sozinho (55,75%) teve desempenho inferior à baseline Jaccard, confirmando que a similaridade de tokens de detalhe fino sem filtragem estrutural é vulnerável a distratores lexicais.
  • O Macro-path sozinho (57,00%) superou substancialmente o Jaccard, indicando que o esqueleto estrutural grosseiro carrega a maior parte do sinal para equivalência narrativa.
  • O Mecanismo de Gating proporcionou uma melhoria modesta mas consistente (+0,25%) sobre a variante apenas com Macro, validando seu papel na filtragem de ruído semântico residual.

Significância e Alegações
O artigo afirma que o principal gargalo na avaliação narrativa computacional é a confluência da estrutura de enredo invariante com os detalhes semânticos variantes. Os autores argumentam que seus resultados demonstram que a similaridade narrativa não pode ser medida de forma confiável através de "bag-of-words" ou embeddings de sentenças genéricos. Em vez disso, requer arquiteturas que modelem explicitamente o curso sequencial de ação.

A significância do trabalho reside na capacidade do IVD-SSM de desentranhar invariantes estruturais de variantes lexicais, fornecendo um framework principiológico para a compreensão narrativa profunda. Os autores observam que, embora sua abordagem ainda não iguale o desempenho de grandes LLMs zero-shot (provavelmente devido ao extenso pré-treinamento dos LLMs em estruturas narrativas e capacidades de raciocínio implícito), a arquitetura SGA mitiga com sucesso as "correlações espúrias" que fazem os modelos padrão falharem em amostras negativas difíceis.

Limitações
Os autores reconhecem algumas limitações:

• Gating Suave (Soft Gating): O gate baseado em Sigmoid é contínuo e nunca chega a zero, permitindo algum "vazamento" de distratores lexicais fortes (ex: entidades nomeadas idênticas) para sobrepor o desalinhamento estrutural.
• Complexidade Computacional: Embora o backbone seja linear, a cabeça SGA reintroduz um gargalo quadrático ($O(L_a \times L_c)$) ao computar matrizes de similaridade cruzada completas, o que pode não escalar para romances completos ou roteiros sem modificações de alinhamento esparso.
• Viés de Dados: O modelo foi treinado principalmente em dados sintéticos gerados por LLMs, o que pode levar ao overfitting em ritmos narrativos previsíveis e arquétipos padrão, deixando o desempenho em narrativas humanas de vanguarda ou não lineares inexplorado.