Semantic Centroids and Hierarchical Density-Based Clustering for Cross-Document Software Coreference Resolution

Título: Semântica de Centroides e Agrupamento Hierárquico Baseado em Densidade para Resolução de Coreferência de Software entre Documentos

1. O Problema

O artigo aborda a tarefa de Resolução de Coreferência entre Documentos (CDCR) de menções a software em corpora científicos. O desafio central é identificar e agrupar menções inconsistentes de software que se referem ao mesmo produto subjacente, mas que aparecem em diferentes documentos com variações de superfície (ex: nomes completos, acrônimos, versões específicas como "SPSS" vs. "Statistical Package for the Social Sciences" vs. "SPSS 28").

A tarefa foi dividida em três subproblemas com escalas crescentes:

• Subtarefa 1: Menções anotadas manualmente (padrão-ouro).
• Subtarefa 2: Menções extraídas automaticamente (introduzindo ruído).
• Subtarefa 3: Um cenário de grande escala com mais de 200.000 menções no conjunto de teste, exigindo alta eficiência computacional.

2. Metodologia

Os autores propõem um pipeline híbrido de três estágios que combina embeddings semânticos densos, recuperação baseada em base de conhecimento (KB) e agrupamento baseado em densidade.

A. Representação Semântica e Construção de Contexto

• Modelo de Embedding: Utilizam o modelo all-MiniLM-L6-v2 (Sentence-BERT) para gerar vetores de 384 dimensões. Este modelo foi escolhido por seu equilíbrio entre desempenho e eficiência (capacidade de processar ~14.000 sentenças/segundo em CPU).
• Construção da String de Contexto: Para mitigar a ambiguidade e o "desvio semântico" causado por metadados excessivos, eles constroem uma string estruturada para cada menção:
  • O nome da superfície é duplicado e ponderado (para garantir que o nome do software seja o sinal principal).
  • O tipo de entidade (ex: aplicação, plugin) é anexado.
  • Menções relacionais (metadados) são incluídas.
• Pooling: Utilizam mean-pooling ponderado pela máscara de atenção, seguido de normalização L2, permitindo a busca eficiente por produto interno (similaridade cosseno).

B. Construção da Base de Conhecimento (KB) e Atribuição

• Centroides: Para o conjunto de treinamento, calculam um vetor centroid único para cada cluster de software (padrão-ouro) pela média dos embeddings dos membros.
• Recuperação (FAISS): Durante a inferência, as menções de teste são comparadas a esses centroides usando o índice IndexFlatIP do FAISS para busca de similaridade.
• Estratégia de Atribuição Híbrida:
  1. Correspondência Exata: Se o nome canônico (normalizado) corresponder a uma entrada na KB, atribui-se imediatamente.
  2. Correspondência Semântica de Alta Confiança: Se a similaridade cosseno ao centroid mais próximo for > 0.7, atribui-se ao cluster.
  3. Correspondência Corroborada por String (Subtarefas 1 e 2): Se a similaridade estiver entre 0.5 e 0.7, mas o nome canônico existir na KB, prioriza-se o cluster existente (lida com ruído no embedding).
  4. Não Correspondentes: Menções que não atendem aos critérios acima são passadas para o estágio de agrupamento.

C. Agrupamento e Escalabilidade (HDBSCAN)

• Agrupamento Densidade: Menções não correspondidas são agrupadas usando HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise), que não exige um número pré-definido de clusters e lida bem com outliers.
• Estratégia de Bloqueio (Scalability): Para a Subtarefa 3 (grande escala), aplicam uma estratégia de bloqueio antes do HDBSCAN:
  • As menções são particionadas primeiro por tipo de entidade.
  • Blocos com > 20.000 menções são subdivididos pela primeira letra do nome canônico.
  • Isso reduz a complexidade computacional de $O(n^2)$ para a soma das complexidades dos blocos menores, permitindo escalabilidade sem GPU.
• Fusão Final: Após o agrupamento, menções que compartilham o mesmo nome canônico são fundidas em um único cluster, independentemente do resultado do HDBSCAN.

3. Contribuições Chave

• Abordagem Híbrida: Integração eficaz de correspondência exata de strings, recuperação de centroides semânticos e agrupamento denso para lidar tanto com menções claras quanto ambíguas.
• Tratamento de Escala: A estratégia de bloqueio hierárquico permite que o sistema processe mais de 200.000 menções em tempo razoável usando apenas CPU, superando os gargalos típicos de algoritmos de densidade.
• Normalização Robusta: O uso de duplicação do token de superfície e normalização de abreviações melhora significativamente a precisão da correspondência semântica.
• Observação Teórica: Os autores notam que a tarefa se assemelha mais a desambiguação de entidades (onde uma forma de superfície identifica no máximo um software) do que à coreferência clássica, sugerindo direções futuras para modelagem.

4. Resultados

O sistema obteve desempenho excepcional em todas as subtarefas, medido pela pontuação F1 do CoNLL (média harmônica de MUC, B-Cubed e CEAFE):

Análise de Escalabilidade:

• O tempo de execução para embeddings e busca KB escala linearmente com o número de menções.
• O estágio de HDBSCAN apresenta comportamento não monotônico devido à estratégia de bloqueio (blocos desbalanceados podem dominar o tempo), mas o sistema completou o conjunto de dados completo (219.950 menções) em cerca de 129 segundos em hardware padrão (CPU dual Xeon), sem necessidade de aceleração por GPU.

5. Significado e Conclusão

O trabalho demonstra que é possível resolver problemas complexos de coreferência de software em grandes volumes de dados científicos utilizando uma arquitetura leve e eficiente. A combinação de embeddings modernos (Sentence-BERT) com técnicas clássicas de recuperação (FAISS) e agrupamento denso (HDBSCAN) provou ser altamente eficaz.

O sistema não apenas atinge o estado da arte nas tarefas propostas, mas também oferece um modelo escalável que pode ser aplicado a outros domínios de entidades técnicas. Os autores sugerem trabalhos futuros focados na seleção adaptativa de limiares, atualização online de centroides e incorporação de grafos de citação para melhorar ainda mais a desambiguação.