WISTERIA: Weak Implicit Signal-based Temporal Relation Extraction with Attention

Título: WISTERIA: Extração de Relações Temporais Baseada em Sinais Implícitos Fracos com Atenção

1. O Problema

A Extração de Relações Temporais (TRE) é uma tarefa fundamental no Processamento de Linguagem Natural (PLN) que visa identificar e classificar as relações temporais (antes, depois, simultâneo, etc.) entre eventos e expressões temporais em um texto.

Os principais desafios identificados pelos autores são:

• Dependência de Sinais Explícitos: Muitos modelos existentes assumem que as relações temporais são marcadas por palavras-chave explícitas (ex: "antes", "depois", "quando"). No entanto, em textos reais, essas marcas são esparsas.
• Sinais Implícitos: As relações temporais são frequentemente inferidas através de pistas linguísticas implícitas (sintaxe, morfologia, raciocínio de senso comum), que os modelos atuais têm dificuldade em capturar de forma interpretável.
• Limitações da Atenção Global: Modelos baseados em Transformers (como BERT) utilizam mecanismos de atenção que tendem a destacar tokens globalmente salientes, ignorando pistas específicas para cada par de entidades que realmente determinam a relação temporal. Além disso, a interpretabilidade dessas atenções é limitada, pois não fica claro se os tokens ponderados correspondem a evidências linguísticas reais.

2. Metodologia: A Arquitetura WISTERIA

O WISTERIA é um framework leve e interpretável que desloca o foco da modelagem de saliência global para a modelagem de evidências condicionadas à relação.

Componentes Principais:

1. Construção de Contexto:

   • Dado um par de entidades ($e_1, e_2$), extrai-se uma janela de contexto dinâmica. Se as entidades estiverem distantes, duas subjanelas são concatenadas.
   • As entidades são marcadas com tokens especiais ([E1], [/E1], etc.) e alinhadas entre tokenizadores de subpalavras (BERT) e palavras completas (spaCy).

2. Extração de Embeddings Multi-nível:

   • Utiliza um encoder BERT pré-treinado para obter embeddings de subpalavras.
   • Aplica um mecanismo de pooling baseado em atenção para agregar subpalavras em embeddings de nível de palavra e, subsequentemente, em embeddings de nível de entidade.
   • Refina essas representações através de um encoder Transformer leve (com poucas camadas).

3. Atenção Top-K Condicionada ao Par (Core Innovation):

   • Diferente da atenção padrão, o WISTERIA condiciona a distribuição de atenção especificamente ao par de entidades ($e_1, e_2$).
   • Cria-se uma representação do par ($h_{pair}$) concatenando os embeddings das entidades e projetando-os.
   • Utiliza-se atenção cruzada com três consultas: $e_1$, $e_2$ e $h_{pair}$.
   • Seleção Top-K: Para cada consulta, o modelo retém apenas os K tokens contextuais com os maiores pesos de atenção. Isso isola as evidências mais informativas para aquele par específico, em vez de considerar a sentença inteira de forma difusa.

4. Classificação de Relação:

   • O modelo utiliza três cabeças de predição complementares:
     1. Um classificador biaffine (interação direta entre entidades).
     2. Um cabeçalho focado apenas nos sinais contextuais Top-K selecionados.
     3. Um cabeçalho de fusão que combina características de entidades e contexto.
   • Os logits são integrados via uma fusão tardia (late fusion) aprendível para gerar a classificação final.

3. Contribuições Chave

1. Mecanismo de Atenção Top-K Condicionado à Relação: Propõe selecionar evidências específicas para cada par de entidades, tratando a atenção como um filtro de evidência seletivo e não apenas como uma medida de saliência global.
2. Protocolo de Interpretabilidade Linguística: Introduz uma análise sistemática das propriedades linguísticas (POS, Dependência Sintática e Morfologia) dos tokens selecionados pelo Top-K. Isso valida se o modelo está realmente focando em pistas temporais (ex: marcadores de tempo, morfologia verbal de tempo/aspecto).
3. Desempenho Competitivo com Eficiência: Demonstra que é possível alcançar alta precisão em benchmarks de TRE mantendo uma arquitetura leve (apenas uma camada adicional de Transformer), sem a necessidade de módulos complexos de grafos ou inferência lógica pesada.

4. Resultados Experimentais

O modelo foi avaliado em quatro conjuntos de dados de referência: TimeBank-Dense (TBD), MATRES, TDDMan e TDDAuto.

• Desempenho Quantitativo:

  • O WISTERIA obteve resultados competitivos, superando ou igualando modelos baseados em BERT e superando significativamente arquiteturas mais antigas (como BiLSTM).
  • Destaque na melhoria de +20.9 pontos F1 no conjunto TBD em comparação a uma linha de base BERT padrão, apesar de usar uma arquitetura mais leve.
  • Desempenhou melhor em conjuntos de dados de nível de sentença (TBD, MATRES), onde as relações são de curto alcance. Em conjuntos de nível de documento (TDDMan, TDDAuto), o desempenho foi competitivo, mas ligeiramente inferior a modelos baseados em grafos que propagam dependências de longo alcance explicitamente.

• Análise Linguística (Interpretabilidade):

  • Sinais Explícitos vs. Implícitos: A análise dos tokens Top-K revelou que, em sentenças curtas, o modelo foca em verbos, preposições e marcadores de dependência (ex: "when", "after") que indicam relações temporais.
  • Morfologia: O modelo demonstrou sensibilidade a marcadores de tempo (Passado) e aspecto (Perfeito), utilizando a morfologia verbal para inferir a ordem temporal.
  • Adaptabilidade: Em textos longos (documentos), o modelo migrou para focar em substantivos e estruturas de dependência discursiva, adaptando-se à escassez de conectivos temporais explícitos.
  • Estabilidade: O desempenho permaneceu estável para uma ampla faixa de valores de K, indicando robustez na seleção de evidências.

5. Significado e Conclusão

O WISTERIA representa um avanço significativo ao demonstrar que a interpretabilidade não precisa ser sacrificada em prol da precisão. Ao condicionar a atenção especificamente ao par de entidades, o modelo consegue:

• Isolar evidências contextuais relevantes que modelos globais ignoram.
• Fornecer justificativas linguísticas estruturadas para suas previsões, alinhando-se com fenômenos linguísticos conhecidos (morfologia, sintaxe).
• Oferecer uma alternativa eficiente computacionalmente aos modelos complexos baseados em grafos ou lógica.

Limitações e Futuro:
O trabalho reconhece que a modelagem atual é independente para cada par, não garantindo coerência temporal global (transitividade) em documentos longos. O futuro do trabalho visa integrar mecanismos de inferência baseados em restrições ou grafos sobre as evidências extraídas pelo WISTERIA para alcançar um raciocínio temporal globalmente consistente.

Em suma, o WISTERIA oferece uma visão localizada e interpretável do raciocínio temporal, provando que a seleção de evidências condicionada à relação é uma estratégia eficaz para extrair sinais temporais implícitos e fracos em textos naturais.