Do Lexical and Contextual Coreference Resolution Systems Degrade Differently under Mention Noise? An Empirical Study on Scientific Software Mentions

Título: ¿Degradan de manera diferente los sistemas de resolución de coreferencia léxica y contextual bajo ruido de mención? Un estudio empírico sobre menciones de software científico.

Autores: Atilla Kaan Alkan et al. (Harvard-Smithsonian Center for Astrophysics).
Contexto: Participación en la tarea compartida SOMD 2026 (Software Mention Detection 2026), centrada en la resolución de coreferencia de menciones de software a través de múltiples documentos.

---

1. El Problema

La resolución de coreferencia consiste en identificar todas las menciones en un texto que se refieren a la misma entidad del mundo real. En el dominio científico, y específicamente para menciones de software, este desafío presenta características únicas:

• Naturaleza Nominal: A diferencia de la coreferencia general que usa pronombres o descripciones nominales complejas, las menciones de software son predominantemente nombres propios, abreviaturas, cadenas con versiones o URLs.
• Desafío Trans-documental: El objetivo es determinar qué menciones en una colección completa de artículos científicos se refieren a la misma herramienta (ej. "MATLAB", "Matlab 2023", "MATLAB").
• Ruido de Entrada: Los sistemas de detección de menciones (upstream) no son perfectos; introducen errores como límites de mención incorrectos (boundary noise) o sustitución de nombres de software (mention substitution).
• Escalabilidad: La minería de literatura científica a gran escala requiere sistemas que no solo sean precisos, sino también eficientes computacionalmente.

El artículo busca responder tres preguntas de investigación (RQ):

1. ¿Puede una línea base léxica simple competir con enfoques de embeddings contextuales?
2. ¿Cómo de robustos son estos enfoques ante diferentes tipos de ruido en las anotaciones?
3. ¿Cuál es la compensación entre precisión y velocidad (trade-off) entre ambos métodos?

---

2. Metodología

Los autores compararon dos enfoques no supervisados y sin ajuste fino (fine-tuning-free):

A. Fuzzy Matching (FM) - Enfoque Léxico

• Mecanismo: Agrupa menciones basándose en la similitud superficial de las cadenas de texto.
• Algoritmo: Utiliza el algoritmo Ratcliff/Obershelp (implementado en difflib de Python) para calcular la similitud entre pares de cadenas. Este algoritmo es sensible a la estructura general de la cadena (subcadenas compartidas) en lugar de solo la distancia de edición.
• Proceso: Si la similitud $s(m_i, m_j) \geq \theta$ (umbral ajustado), se vinculan. Se aplica clausura transitiva para formar clústeres.
• Características: Es puramente léxico, ignora el contexto del documento y tiene una complejidad computacional superlineal respecto al número de menciones únicas.

B. Context Aware Representations (CAR) - Enfoque Contextual

• Mecanismo: Utiliza representaciones de embeddings para capturar tanto la forma superficial como el contexto semántico.
• Modelo: Emplea all-MiniLM-L6-v2 (Sentence Transformers), un modelo ligero de 22M parámetros.
• Representación Híbrida: Para cada mención, se generan dos vectores que se combinan:
  1. Nivel de Mención ($e_m$): Codificación de la cadena de texto normalizada.
  2. Nivel de Documento ($e_d$): Codificación de hasta 10 oraciones que contienen menciones en el mismo documento (captura el contexto disciplinario).
• Fusión: $e = \alpha \cdot e_m + (1-\alpha) \cdot e_d$ (con $\alpha=0.6$, dando más peso a la mención).
• Agrupación: Se utiliza clustering aglomerativo con distancia coseno. La codificación es lineal respecto al tamaño del corpus.

Estudio de Ruido Controlado

Para evaluar la robustez (RQ2), los autores inyectaron ruido artificial en los datos de entrenamiento (gold-standard) mediante dos tipos de perturbaciones:

1. Modificación de Límites (Boundary Modification): Extender o truncar aleatoriamente la mención (simula errores de detección de spans).
2. Sustitución de Mención (Mention Substitution): Reemplazar el nombre del software por otro diferente del conjunto de entrenamiento (simula errores de identificación de entidad).

---

3. Contribuciones Clave

1. Líneas Base Competitivas: Presentación de dos sistemas no supervisados que lograron el segundo lugar en las tres sub-tareas de SOMD 2026, superando a sistemas más complejos sin necesidad de entrenamiento específico.
2. Análisis de Robustez: Primer estudio sistemático de inyección de ruido en la resolución de coreferencia de menciones de software, revelando modos de fallo complementarios entre métodos léxicos y neuronales.
3. Análisis de Escalabilidad: Caracterización detallada del rendimiento de inferencia, demostrando que la complejidad computacional de los métodos léxicos simples puede ser una desventaja a gran escala frente a métodos neuronales ligeros.
4. Recurso Abierto: Liberación del código y del protocolo de inyección de ruido para fomentar la investigación futura en esta tarea.

---

4. Resultados Principales

Rendimiento en la Prueba Oficial (SOMD 2026)

• Ambos sistemas alcanzaron puntuaciones CoNLL F1 muy altas (0.94 – 0.96).
• CAR superó consistentemente a FM en aproximadamente 1 punto (0.96 vs 0.95), especialmente en la métrica CEAFe (que penaliza tanto el sobre-agrupamiento como el sub-agrupamiento).
• Conclusión RQ1: La alta regularidad superficial de los nombres de software (similitud intra-clúster promedio de 0.88) hace que los métodos léxicos simples sean una línea base muy fuerte, difícil de superar sin supervisión específica.

Robustez ante Ruido (RQ2)

Los sistemas mostraron perfiles de degradación complementarios:

• Ruido de Límites (Boundary Noise):
  • CAR es mucho más robusto: perdió solo 0.07 puntos F1 al pasar de 0% a 100% de ruido.
  • FM degradó significativamente: perdió 0.20 puntos.
  • Razón: Los embeddings densos son tolerantes a pequeñas alteraciones de caracteres, mientras que la coincidencia exacta de cadenas falla inmediatamente.
• Sustitución de Mención (Mention Substitution):
  • FM degradó más suavemente (perdió 0.52 puntos) que CAR (perdió 0.63 puntos).
  • Razón: En CAR, si se sustituye la mención, se corrompe tanto el vector de la mención como el contexto del documento (ya que el contexto se construye a partir de oraciones con menciones), eliminando la ventaja contextual.

Escalabilidad y Eficiencia (RQ3)

• Escala Pequeña (Subtarea 1, ~743 menciones): FM es 7.4 veces más rápido que CAR (0.6s vs 4.45s) con precisión casi idéntica.
• Escala Grande (Subtarea 2, ~21,500 menciones): La ventaja de FM desaparece.
  • El tiempo de FM aumentó 78 veces (de 0.6s a 47s) debido a su complejidad superlineal (comparación de pares).
  • El tiempo de CAR aumentó solo 10 veces (de 4.45s a 45s) debido a su escalabilidad lineal (codificación independiente).
  • En grandes volúmenes, ambos tardan un tiempo similar (~46s), pero CAR mantiene su ligera ventaja de precisión.

---

5. Significado y Conclusiones

El estudio demuestra que la selección del sistema de coreferencia no debe basarse únicamente en la precisión máxima, sino en el perfil de ruido del detector de menciones y la escala del corpus:

1. Regularidad Léxica: La naturaleza de los nombres de software (muy similares entre sí) reduce la necesidad de modelos neuronales pesados para tareas de coreferencia en este dominio específico.
2. Guía de Despliegue:
   • Usar Fuzzy Matching (FM) para corpus pequeños y cuando el detector de menciones es de alta calidad (bajo ruido).
   • Usar Context Aware Representations (CAR) para corpus grandes (escalabilidad) o cuando el detector de menciones tiende a cometer errores de límites (boundary errors).
   • Si el detector comete errores de identidad (sustitución de software), la mejora del detector upstream es más crítica que el cambio de algoritmo de coreferencia.
3. Impacto Futuro: El protocolo de inyección de ruido propuesto sirve como un marco reutilizable para evaluar la robustez de sistemas de NLP en tareas de minería de literatura científica, un área a menudo subexplorada.

En resumen, el trabajo proporciona una hoja de ruta práctica para la implementación de pipelines de extracción de software en ciencia, equilibrando precisión, robustez y eficiencia computacional.