CascadeMind at SemEval-2026 Task 4: A Hybrid Neuro-Symbolic Cascade for Narrative Similarity

Resumo Técnico: CascadeMind na SemEval-2026 Tarefa 4

Definição do Problema
O artigo aborda a Tarefa 4 da SemEval-2026, que foca em Similaridade de Narrativa. A tarefa exige que os sistemas comparem duas histórias candidatas contra uma história âncora e determinem qual candidata é mais similar com base em três eixos específicos: tema abstrato, curso de ação e desfechos. O desafio central reside no fato de que a similaridade narrativa vai além da redação superficial, incluindo temas compartilhados, sequências de eventos e resoluções, frequentemente levando a comparações ambíguas onde Modelos de Linguagem de Grande Escala (LLMs) podem ter seu desempenho degradado.

Metodologia: A Arquitetura CascadeMind
Os autores propõem o CascadeMind, um sistema híbrido neuro-simbólico que utiliza um mecanismo de roteamento consciente da confiança. O sistema trata a distribuição de votos entre amostras de autoconsistência como um sinal de incerteza, selecionando dinamicamente um caminho de decisão com base no nível de consenso.

O pipeline opera em quatro etapas:

1. Votação de Autoconsistência Neural: O sistema consulta o Gemini 2.5 Flash oito vezes ($k=8$) com uma temperatura de 1.0 para gerar oito votos independentes A/B.
2. Verificação de Confiança (Supermaioria): Se pelo menos 7 de 8 votos concordarem (supermaioria), o sistema compromete-se imediatamente com essa decisão. Este caminho resolve a maioria dos casos (74% no conjunto de desenvolvimento).
3. Escalonamento: Se os votos iniciais estiverem divididos (por exemplo, 4-4, 5-3, 6-2), o sistema escala emitindo três chamadas de API adicionais (totalizando 32 votos) e adota o voto majoritário do conjunto expandido.
4. Fallback Simbólico (Tiebreaker): Apenas no raro evento de um empate perfeito após o escalonamento (5% dos casos), o sistema recorre a um Ensemble de Análise Narrativa Multiescala. Este componente simbólico calcula uma soma ponderada de cinco sinais de similaridade:
   • Similaridade Lexical: Similaridade de cosseno TF-IDF (Peso: 49%).
   • Similaridade de Gramática de História: Similaridade de cosseno média de embeddings de sentence-transformer através de cinco fases narrativas (cenário, conflito, ação crescente, clímax, resolução) (Peso: 40%).
   • Similaridade Semântica: Similaridade de cosseno de embedding da história inteira (Peso: 8%).
   • Curva de Tensão Narrativa: Correlação de Pearson de curvas de tensão derivadas de sentimentos (Peso: 2%).
   • Similaridade de Cadeia de Eventos: Maior Subsequência Comum (LCS) de verbos de ação ordenados (Peso: 1%).

Os pesos para o ensemble simbólico foram otimizados via evolução diferencial em um conjunto de treinamento sintético de 1.900 tripletos gerados por LLM.

Contribuições Principais
O artigo delineia três contribuições primárias:

1. Roteamento Consciente da Confiança: Uma demonstração de que o acordo de votos de LLMs serve como um gradiente monótono confiável para a dificuldade da instância. No conjunto de desenvolvimento, casos de supermaioria (≥7/8 votos) alcançam 85% de precisão, votos divididos 67% e empates perfeitos 61%.
2. Mecanismo Híbrido de Fallback: A implementação de um ensemble simbólico fundamentado na teoria narrativa (Propp, Freytag, Todorov) que é acionado exclusivamente em empates perfeitos, e não como um classificador primário.
3. Análise de Ablação: Evidências mostrando que os ganhos de desempenho são quase inteiramente impulsionados pelo roteamento consciente da confiança (votação e escalonamento), enquanto o componente simbólico contribui de forma negligenciável para a pontuação final, pois é invocado apenas em 5% dos casos.

Resultados

• Desempenho Oficial: No conjunto de teste da Trilha A (400 tripletos), o CascadeMind alcançou 72,75% de precisão, classificando-se 10º entre 44 equipes.
• Diagnósticos de Desenvolvimento: Em um subconjunto de desenvolvimento, o sistema alcançou 81,0% de precisão.
• Análise de Caminhos:
  • Casos de supermaioria (74% do subconjunto) resolvidos com 85% de precisão.
  • Casos escalonados resolvidos com 67% de precisão.
  • O tiebreaker simbólico alcançou 61,1% de precisão em um conjunto de diagnóstico separado de empates perfeitos.
• Isolamento do Componente Simbólico: Quando aplicado como um classificador autônomo em todos os casos (ignorando o cascade neural), o ensemble simbólico caiu para 53% de precisão, confirmando sua adequação apenas como um fallback de alta incerteza.
• Discrepância: Os autores notam uma lacuna significativa entre o desempenho do subconjunto de desenvolvimento do cascade (81,0%) e o desempenho oficial do teste (72,75%), atribuindo isso a uma incompatibilidade de distribuição e possível sobreajuste aos dados de calibração sintéticos.

Significado e Alegações
A principal lição metodológica do artigo é que, para tarefas de similaridade narrativa, calibrar quando gastar computação adicional em instâncias difíceis é mais impactante do que adicionar representações auxiliares. Os autores argumentam que o sucesso do sistema decorre da estratégia de roteamento — usar o consenso de votos para distinguir casos fáceis, difíceis e ambíguos — e não da sofisticação do fallback simbólico. O componente simbólico, embora fundamentado teoricamente, desempenhou um papel negligenciável na pontuação final devido à sua baixa taxa de invocação. O trabalho destaca a utilidade da votação de autoconsistência como um sinal de incerteza de caixa-preta para previsão seletiva, sem exigir que o modelo se abstenha.