Learning Nested Named Entity Recognition from Flat Annotations

1. Planteamiento del Problema

El Reconocimiento de Entidades Nombradas (NER) convencional asume que las entidades no se superponen. Sin embargo, en textos reales, es común encontrar entidades anidadas (una mención contenida dentro de otra, ej. "Ministerio de Asuntos Exteriores del Reino Unido" donde "Reino Unido" es una entidad anidada dentro de la organización).

• El Desafío: La anotación de datos para NER anidado es extremadamente costosa y laboriosa, ya que requiere identificar múltiples niveles de jerarquía.
• La Oportunidad: Existen abundantes corpus de NER "plano" (flat), donde solo se marcan las entidades externas, pero los recursos anidados son escasos.
• Preguntas de Investigación:
  1. ¿Pueden los modelos aprender estructuras anidadas utilizando solo anotaciones planas?
  2. ¿Pueden los Grandes Modelos de Lenguaje (LLM) ayudar a cerrar la brecha entre la supervisión plana y la anidada?
  3. ¿Pueden los LLM compensar la falta de anotaciones anidadas completas?

2. Metodología

Los autores evaluaron cuatro enfoques complementarios para recuperar la estructura anidada a partir de datos planos, utilizando el conjunto de datos NEREL (un benchmark ruso con 29 tipos de entidades, donde el 21% son anidadas).

A. Técnicas de Aumento de Datos (Generación de Señales Pseudo-Anidadas)

1. Inclusiones (Inclusions):
   • Se identifican subsecuencias de menciones planas que coinciden con la forma superficial de otras menciones en el corpus.
   • Se añade estas coincidencias como ejemplos positivos de entidades internas.
   • Se evalúa también la versión lematizada (usando pymorphy2 para el ruso) para manejar variaciones morfológicas, aumentando la cobertura de candidatos.
2. Corrupción de Entidades (Entity Corruption):
   • Se entrena al modelo para reconocer entidades dentro de contextos "dañados".
   • Se reemplazan palabras dentro de entidades largas con tokens de ruido (dígitos, letras aleatorias, signos de puntuación).
   • Estrategia clave: Se encontró que corromper la posición final de la entidad (manteniendo la palabra cabecera) es más efectivo que corromper el inicio o el medio.

B. Modificaciones en el Entrenamiento

3. Neutralización Plana (Flat Neutralization):
   • Basado en la idea de que los subespacios dentro de una entidad anotada no deben tratarse estrictamente como negativos.
   • Se introduce una tercera categoría: Neutral. Los espacios que coinciden con formas de entidades conocidas (vía inclusión) se marcan como neutros (excluidos de la función de pérdida) en lugar de negativos, reduciendo la señal de falsos negativos.

C. Enfoques Basados en LLM

4. Pipeline Híbrido (Fine-tuned + LLM):
   • Paso 1: Un modelo Binder (fine-tuned) detecta las entidades externas (outer) con alta precisión.
   • Paso 2: Para cada entidad externa detectada, se consulta a un LLM (DeepSeek-R1 o RuAdapt-Qwen) para identificar entidades anidadas dentro de ese rango específico.
   • Se compararon estrategias de few-shot (ejemplos aleatorios, más frecuentes, o balanceados por tipo de entidad).

3. Contribuciones Clave

1. Comparación Sistemática: Evaluación exhaustiva de métodos de supervisión débil (inclusiones, corrupción, neutralización) en un benchmark ruso complejo de 29 tipos de entidades.
2. Análisis de Estrategias de Corrupción: Descubrimiento de que la corrupción en la posición final de la entidad es consistentemente superior a otras posiciones, una observación no documentada previamente.
3. Pipeline Híbrido: Propuesta y evaluación de un enfoque que combina modelos fine-tuned para la detección de límites y LLMs para el razonamiento anidado, demostrando sus limitaciones actuales.
4. Evidencia Empírica: Demostración de que métodos simples pueden cerrar el 40% de la brecha de rendimiento entre la supervisión plana y la supervisión anidada completa.

4. Resultados Principales

Los experimentos se realizaron en el conjunto de datos NEREL (test set) utilizando el modelo Binder (basado en RuRoBERTa-large).

• Línea Base (Solo Plana): El modelo entrenado solo con datos planos obtuvo un F1 interno de 3.84%, confirmando que no puede aprender la estructura anidada sin ayuda.
• Inclusiones: Al añadir inclusiones, el F1 interno saltó a 21.36% (mejora de 5-7x).
• Combinación Óptima: La combinación de Inclusiones Lematizadas + Corrupción + Neutralización logró un F1 interno de 26.37%.
  • Esto cierra el 40% de la brecha respecto al límite superior (supervisión completa anidada, que alcanza 65.48% de F1 interno).
  • El F1 global se mantuvo alto (~77.89%), preservando el rendimiento en entidades externas.
• Rendimiento de LLMs:
  • Los LLMs puros (sin fine-tuning previo) tuvieron un rendimiento muy bajo (F1 global ~42%, F1 interno ~5.78%), luchando con la gran cantidad de tipos de entidades (29) y la estructura fina.
  • El enfoque Híbrido mejoró el F1 global a 70.16%, pero subió el rendimiento en entidades internas (18.84%) en comparación con los métodos de fine-tuning puro (26.37%), indicando que los LLMs actuales no son suficientes para la detección fina de anidación en este contexto.

5. Significado y Conclusiones

• Viabilidad: Es posible entrenar modelos para reconocer entidades anidadas utilizando exclusivamente anotaciones planas, reduciendo drásticamente el costo de anotación.
• Limitaciones de los LLMs: Aunque prometedores para tareas generales, los LLMs actuales (incluso modelos grandes de 32B parámetros) no pueden reemplazar la supervisión anidada completa para estructuras finas y múltiples tipos de entidades. El enfoque híbrido no supera a los modelos fine-tuned en la tarea específica de detección interna.
• Impacto: Los métodos propuestos (especialmente la combinación de inclusiones, corrupción y neutralización) ofrecen una ruta práctica para mejorar sistemas de NER en idiomas y dominios donde los recursos anidados son inexistentes o escasos.
• Limitaciones del Estudio: Se centró exclusivamente en el idioma ruso (con su rica morfología) y en textos de noticias. Los resultados podrían no generalizarse directamente a otros idiomas o dominios (biomédico, redes sociales) sin ajustes específicos.

En resumen, el trabajo demuestra que mediante ingeniería de datos inteligente (aumento de datos y modificación de la función de pérdida), se puede extraer una estructura jerárquica significativa de datos planos, aunque la supervisión completa anidada sigue siendo necesaria para alcanzar el máximo rendimiento.