Do Lexical and Contextual Coreference Resolution Systems Degrade Differently under Mention Noise? An Empirical Study on Scientific Software Mentions

Título: Sistemas de Resolução de Coreferência Lexical e Contextual Degradam de Forma Diferente sob Ruído de Menção? Um Estudo Empírico sobre Menções de Software Científico

Autores: Atilla Kaan Alkan et al. (Harvard-Smithsonian Center for Astrophysics)
Evento: SOMD 2026 (Shared Task on Software Mention Detection)

---

1. O Problema

O artigo aborda a resolução de coreferência de menções de software em documentos cruzados (cross-document coreference resolution). Diferente de tarefas anteriores focadas apenas na detecção de menções, o objetivo aqui é agrupar todas as menções a um mesmo software que aparecem em um conjunto de artigos científicos, mesmo que estejam em documentos diferentes.

Os desafios específicos deste domínio incluem:

• Variabilidade de Superfície: O mesmo software pode ser referido por seu nome completo, acrônimos, strings qualificadas por versão (ex: "MATLAB 2023a") ou URLs.
• Ambiguidade Contextual: A mesma forma de superfície pode referir-se a ferramentas diferentes em contextos disciplinares distintos.
• Ruído de Entrada: Em cenários reais, as menções de entrada são geradas por detectores automáticos que podem conter erros de delimitação de limites (boundary errors) ou substituições incorretas.
• Escalabilidade: A necessidade de processar grandes volumes de literatura científica com eficiência computacional.

2. Metodologia

Os autores propuseram e compararam duas abordagens não supervisionadas (sem fine-tuning de modelos), projetadas para explorar a alta regularidade superficial dos nomes de software:

A. Fuzzy Matching (FM) - Correspondência Fuzzy

• Abordagem: Baseada puramente na similaridade lexical de strings.
• Algoritmo: Utiliza o algoritmo Ratcliff/Obershelp (implementado via difflib no Python) para calcular a similaridade entre pares de strings de menção.
• Lógica: Duas menções são vinculadas se a pontuação de similaridade superar um limiar ($\theta$). Os clusters são formados aplicando a clausura transitiva (se A é similar a B e B a C, então A, B e C estão no mesmo cluster).
• Característica: É agnóstico ao contexto do documento e depende exclusivamente da similaridade de caracteres.

B. Context Aware Representations (CAR) - Representações Conscientes do Contexto

• Abordagem: Combina embeddings de nível de menção e de nível de documento.
• Modelo: Utiliza o all-MiniLM-L6-v2 (Sentence Transformers), um modelo leve de 22M parâmetros.
• Mecanismo:
  1. Gera um embedding para a string da menção normalizada ($e_m$).
  2. Gera um embedding para o contexto do documento, agregando até 10 frases contendo menções do mesmo documento ($e_d$).
  3. Combina os dois vetores ponderadamente: $e = \alpha \cdot e_m + (1-\alpha) \cdot e_d$ (com $\alpha=0.6$).
• Agrupamento: Utiliza agglomerative clustering com distância cosseno.

3. Contribuições Principais

1. Sistemas Competitivos: Dois baselines não supervisionados que alcançaram o 2º lugar em todas as três sub-tarefas do SOMD 2026, superando sistemas supervisionados mais complexos em algumas métricas.
2. Estudo de Robustez Controlada: Um estudo inovador de injeção de ruído para analisar como os sistemas degradam sob diferentes tipos de erros de detecção (modificação de limites vs. substituição de menção).
3. Análise de Trade-off Precisão-Velocidade: Uma caracterização detalhada de como a eficiência de inferência escala com o tamanho do corpus, revelando comportamentos não lineares inesperados.
4. Recurso Aberto: Liberação do código-fonte para reprodutibilidade e futuras pesquisas.

4. Resultados e Descobertas

Desempenho Geral

• Ambos os sistemas alcançaram pontuações CoNLL F1 muito altas (0.94–0.96).
• O sistema CAR superou consistentemente o FM em cerca de 1 ponto no conjunto de teste oficial, demonstrando que o contexto do documento ajuda a resolver casos ambíguos onde a mesma string refere-se a softwares diferentes.
• A alta regularidade lexical das menções de software (similaridade intra-cluster média de 0.881) explica por que métodos simples de correspondência de strings são tão eficazes.

Robustez ao Ruído (Injeção de Ruído)

O estudo revelou modos de falha complementares:

• Ruído de Limite (Boundary Noise): O sistema CAR foi significativamente mais robusto. Ao aumentar o ruído de 0% a 100%, o FM perdeu 0.20 pontos de F1, enquanto o CAR perdeu apenas 0.07. Isso ocorre porque os embeddings densos toleram pequenas alterações de caracteres, enquanto o FM depende de correspondência exata de substrings.
• Substituição de Menção (Mention Substitution): O FM degradou-se de forma mais suave (perda de 0.52) em comparação ao CAR (perda de 0.63). O CAR colapsou mais rapidamente porque o contexto do documento é construído a partir das próprias frases contendo a menção; se a menção é substituída, o contexto também é corrompido, eliminando o sinal de desambiguação.

Escalabilidade e Eficiência

• Escala Pequena (Subtarefa 1): O FM foi 7.4x mais rápido que o CAR, sendo a escolha ideal para corpora pequenos.
• Escala Grande (Subtarefa 2): A dinâmica inverteu. O tempo de inferência do FM aumentou 78x (comportamento superlinear devido à comparação par-a-par), enquanto o CAR aumentou apenas 10x (comportamento quase linear). Em grandes escalas, ambos convergiram para tempos similares (~46s), mas o CAR manteve sua vantagem de precisão.

5. Significado e Conclusão

O estudo demonstra que a seleção do sistema para resolução de coreferência de software não deve basear-se apenas na precisão máxima, mas sim no perfil de ruído do detector de menções a montante e na escala do corpus:

• Recomendação Prática:
  • Use Fuzzy Matching (FM) para corpora pequenos e quando a qualidade do detector de menções for alta (poucos erros de limite).
  • Use Context Aware Representations (CAR) para corporas grandes (escalabilidade superior) ou quando houver muitos erros de delimitação de limites no detector.
  • Se o erro predominante for a substituição da identidade do software (ex: detectar "Python" em vez de "NumPy"), nenhum dos dois sistemas é resiliente; a melhoria deve focar no detector de menções a montante.

O trabalho destaca que, para menções de software, a regularidade superficial é o fator dominante, tornando abordagens leves e não supervisionadas altamente competitivas e, em muitos casos, preferíveis a modelos neurais pesados supervisionados.