Named Entity Recognition of Historical Texts via Large Language Model

A continuación se presenta un resumen técnico detallado del artículo "Reconocimiento de Entidades Nombradas en Textos Históricos mediante Modelos de Lenguaje Grandes":

1. Planteamiento del Problema

Contexto: El Reconocimiento de Entidades Nombradas (NER) es fundamental para extraer información estructurada de textos históricos no estructurados (por ejemplo, periódicos, manuscritos) para apoyar la investigación en humanidades digitales.
Desafíos:

• Escasez de Datos: Los conjuntos de datos anotados de alta calidad para textos históricos son raros debido al alto costo y la experiencia requerida para el etiquetado manual.
• Variabilidad Lingüística: Los textos históricos contienen vocabulario arcaico, ortografía inconsistente, puntuación limitada y ruido derivado de la digitalización mediante Reconocimiento Óptico de Caracteres (OCR).
• Limitaciones de los Métodos Tradicionales: Los enfoques estándar de aprendizaje automático supervisado y aprendizaje profundo requieren grandes cantidades de datos de entrenamiento anotados específicos del dominio, que a menudo no están disponibles para los corpus históricos.
  Objetivo: Investigar si los Modelos de Lenguaje Grandes (LLM), específicamente utilizando estrategias de prompting de cero disparos (zero-shot) y pocos disparos (few-shot), pueden realizar eficazmente NER en textos históricos sin necesidad de ajuste fino específico de la tarea o datos de entrenamiento anotados extensos.

2. Metodología

El estudio utiliza el conjunto de datos HIPE-2022, un corpus multilingüe (alemán, francés, inglés, sueco, finés) que abarca los siglos XVIII al XX, centrándose en la tarea de NER gruesa (identificación de Persona, Lugar, Obra, etc.).

Configuración Experimental:

• Modelo: Se seleccionó DeepSeek-V3-0324 por su fuerte rendimiento multilingüe y eficiencia de costos.
• Temperatura: Se estableció en 0 para garantizar el determinismo, aunque los experimentos se repitieron tres veces para tener en cuenta la estocasticidad del modelo.
• Enfoques Evaluados:
  1. Línea Base de Cero Disparos (Zero-Shot): Se proporciona al LLM instrucciones sobre las etiquetas de entidades y el formato de salida, pero sin ejemplos.
  2. Prompting de Pocos Disparos (Few-Shot): Se proporciona al LLM $k$ ejemplos anotados ($k \in \{1, 3, 5\}$) recuperados de los conjuntos de entrenamiento/desarrollo.
     • Estrategias de Recuperación:
       • Selección Aleatoria: Línea base para pocos disparos.
       • Superposición Léxica: Utiliza la superposición de tokens ponderada por TF-IDF para encontrar documentos similares a nivel superficial.
       • Similitud de Incrustaciones (Embedding): Utiliza distiluse-base-multilingual-cased-v2 para encontrar documentos semánticamente similares mediante similitud del coseno.
  3. Post-procesamiento: Las salidas del LLM (listas de Python de tuplas) se convierten al formato IOB requerido por el HIPE-scorer.
  4. Método de Conjunto: Se aplica Votación Mayoritaria en las tres ejecuciones experimentales para agregar predicciones y reducir la varianza.

Métricas de Evaluación:

• HIPE-scorer: Herramienta de evaluación oficial utilizada.
• Configuraciones: Puntuaciones F1 (Micro) tanto Estrictas (coincidencia exacta de límites y etiquetas) como Difusas (solapamiento con la etiqueta correcta).
• Análisis Estadístico: Media e intervalos de confianza sobre tres ejecuciones; pruebas de Wilcoxon con corrección de Bonferroni para significancia.

3. Contribuciones Clave

1. Evaluación Empírica: Una evaluación exhaustiva de los LLM para NER histórica en cinco idiomas y múltiples géneros utilizando un paradigma de cero/pocos disparos.
2. Comparación de Estrategias: Un análisis comparativo del prompting de cero disparos frente al de pocos disparos, revelando que el prompting de un solo ejemplo (1-shot) a menudo es superior a los enfoques de múltiples ejemplos (3-shot, 5-shot).
3. Análisis de Recuperación: Investigación sobre los métodos de selección de ejemplos (Aleatorio vs. Léxico vs. Incrustación), encontrando que la presencia de un ejemplo importa más que el método de selección.
4. Análisis de Errores: Categorización detallada de los tipos de errores (por ejemplo, entidades omitidas, sustitución de tipos) para comprender cómo el prompting mitiga modos de fallo específicos.

4. Resultados Clave

• Mejora del Rendimiento: El prompting de pocos disparos supera significativamente a la línea base de cero disparos en todos los conjuntos de datos. Incluso un solo ejemplo aleatorio mejora sustancialmente el rendimiento.
• El Fenómeno del "Un Ejemplo": Contrario a la intuición, proporcionar más ejemplos (3 o 5) a menudo disminuye el rendimiento en comparación con el uso de solo uno. Los autores atribuyen esto a que la longitud del prompt excede la ventana de contexto óptima del modelo o diluye la claridad de la tarea.
• Estrategia de Selección: No hubo diferencia estadísticamente significativa entre las estrategias de selección Aleatoria, Superposición Léxica y Similitud de Incrustaciones para prompts de un solo ejemplo. El modelo generaliza bien independientemente de cómo se elija el ejemplo.
• Votación Mayoritaria: Aplicar votación mayoritaria sobre tres ejecuciones produce mejoras modestas, particularmente en configuraciones Difusas, pero las ganancias a menudo son estadísticamente insignificantes en configuraciones Estrictas.
• Comparación con el Estado del Arte (SOTA):
  • El prompting basado en LLM generalmente rinde menos que los modelos de Estado del Arte (SOTA) totalmente supervisados (que utilizan ajuste fino en datos anotados) por un margen significativo (por ejemplo, -0.20 F1 en ajmc (de)).
  • Excepción: El enfoque de LLM superó ligeramente al SOTA anterior en el conjunto de datos Sonar (de).
• Reducción de Errores: El prompting de pocos disparos es más efectivo para reducir errores de "Entidad Omitida" (Tipo 2) y errores de "Sustitución de Tipo de Entidad" (Tipo 3), ayudando al modelo a alinearse con las categorías correctas.

5. Significado e Implicaciones

• Alternativa Viable de Bajo Recurso: Aunque aún no es un reemplazo para el ajuste fino supervisado en escenarios de alta precisión, el prompting de LLM ofrece una línea base rentable, agnóstica al idioma y sin entrenamiento para NER histórica donde los datos anotados no existen o son demasiado costosos de producir.
• Eficiencia: El hallazgo de que 1-shot es óptimo sugiere que los investigadores pueden lograr resultados sólidos con ingeniería de prompts y sobrecarga de recuperación mínimas, evitando la complejidad de grandes ventanas de contexto.
• Impacto en Humanidades Digitales: Este enfoque permite el análisis de corpus históricos multilingües y con pocos recursos sin el cuello de botella de la anotación manual, facilitando un acceso más amplio a materiales de archivo.
• Direcciones Futuras: El artículo sugiere trabajo futuro en optimización de prompts (compresión), recuperación avanzada utilizando metadatos históricos y expansión de la evaluación a corpus más amplios para mejorar la generalizabilidad.

Conclusión: El estudio demuestra que los LLM son una herramienta poderosa para NER histórica en entornos de bajo recurso. Aunque aún no igualan la precisión de los modelos supervisados entrenados en datos específicos, su capacidad para rendir razonablemente bien con cero o un ejemplo los convierte en una solución práctica y escalable para las humanidades digitales.