Transferring Natural Language Datasets Between Languages Using Large Language Models for Modern Decision Support and Sci-Tech Analytical Systems

Resumen Técnico: Transferencia de Conjuntos de Datos de Lenguaje Natural entre Idiomas utilizando Grandes Modelos de Lenguaje

Planteamiento del Problema
El artículo aborda la escasez de corpus rusos a gran escala y anotados para tareas de Procesamiento de Lenguaje Natural (NLP), específicamente en lo que respecta a la extracción de términos y sus definiciones. Mientras que el corpus inglés DEFT (Definition Extraction from Texts) proporciona una rica estructura de anotación de tres capas para la minería de pares término-definición, no existen recursos equivalentes para el ruso. La creación manual de tales conjuntos de datos desde cero es laboriosa y costosa. Los autores investigan si los Grandes Modelos de Lengño (LLM) pueden transferir eficazmente los conjuntos de datos ingleses existentes y sus anotaciones de Reconocimiento de Entidades Nombradas (NER) al ruso, proporcionando así una base de calidad "plateada" (silver) para entrenar modelos en lenguas con menos recursos.

Metodología
Los autores proponen un flujo de trabajo compuesto por tres etapas principales: preparación de un conjunto de oro (gold set), traducción de texto y transferencia de anotaciones NER.

1. Preparación de Datos: El estudio utiliza el corpus DEFT (textos en inglés de libros electrónicos gratuitos) y la parte de Wikipedia del conjunto de datos WCL. El formato original similar a CoNLL fue convertido a una estructura de Hugging Face Datasets. Se creó un "conjunto de oro" traduciendo manualmente un subconjunto de los datos en inglés (conjunto de desarrollo y una muestra aleatoria del conjunto de entrenamiento) al ruso utilizando Google Translate, seguido de una verificación manual y transferencia de anotación NER mediante Label Studio. Esto resultó en 1,070 oraciones verificadas manualmente (870 con NER, 200 sin él).
2. Estrategia de Transferencia de Anotación: Inicialmente, los autores probaron un prompt que requería que los LLM generaran tripletas de índices (inicio, fin, etiqueta) basadas en los índices en inglés. Este enfoque falló debido a la incapacidad de los modelos para mapear con precisión los índices entre idiomas. Reformularon la tarea: se le pide al LLM que identifique directamente la subcadena rusa correspondiente para un segmento NER inglés dado.
3. Evaluación de Modelos (Benchmarking): Se evaluó un conjunto diverso de LLM a través del proxy bothub.chat, incluyendo modelos de OpenAI (gpt-3.5-turbo, gpt-4o-mini, gpt-4.1-nano, gpt-4.1-mini), Llama3.1-8B, variantes de DeepSeek (chat-v3-0324, r1) y Qwen-2.5-72B.
4. Métricas de Evaluación:
   • Transferencia de Anotación: Medida mediante coincidencias exactas, coincidencias parciales más amplias/estrechas y discrepancias entre la salida del LLM y el estándar de oro. Se aplicó un emparejamiento difuso (fuzzy matching) como paso de post-procesamiento para mitigar las discrepancias morfológicas.
   • Calidad de la Traducción: Evaluada mediante puntuaciones BLEU y métricas basadas en embeddings (LaBSE), incluyendo "Comparación Paralela" (distancia semántica entre la fuente y la traducción) y "tipo BLEU" (distancia semántica entre el estándar de oro y la traducción automática).
5. Entrenamiento Downstream: El flujo de trabajo con mejor rendimiento (usando DeepSeek-chat-v3-0324) se aplicó a la totalidad de los conjuntos de datos DEFT y WCL para generar un corpus ruso traducido (ruDEFT y WCL_Wiki_Ru). Se entrenaron modelos basados en BERT (multilingual BERT, RuBERT y RoBERTa) con estos conjuntos de datos para establecer bases para la detección de definiciones y el reconocimiento de términos/definiciones.

Resultos Clave

• Transferencia de Anotación: Reformular la tarea para extraer subcadenas en lugar de índices mejoró significamente el rendimiento. El modelo DeepSeek-chat-v3-0324 logró el mayor rendimiento con una tasa de coincidencia exacta del 94.21% y solo un 0.84% de segmentos erróneos (con post-procesamiento de búsqueda difusa). GPT-4.1-mini y GPT-3.5-turbo también funcionaron bien, mientras que Llama3.1-8B tuvo más dificultades con las variaciones morfológicas, requiriendo emparejamiento difuso para reducir las discrepancias.
• Calidad de la Traducción: El rendimiento de la traducción fue generalmente alto, con gpt-4o-mini y DeepSeek-chat-v3-0324 logrando los mejores puntajes BLEU (~0.52) y métricas favorables basadas en embeddings.
• Rendimiento de Modelos Downstream:
  • Detección de Definiciones (Tarea 1): Los modelos entrenados con los datos transferidos lograron resultados sólidos (F1 ~0.85 en conjuntos de prueba), aunque existía una brecha de rendimiento entre el conjunto de oro y el conjunto de prueba transferido, lo que sugiere sesgos inducidos por el LLM en el texto.
  • NER (Tarea 2): El rendimiento fue notablemente más débil (F1 ~0.58 para ruDEFT), lo que indica que la calidad "plateada" de las anotaciones transferidas limita la capacidad del modelo para generalizar perfectamente. Sin embargo, los modelos funcionaron mejor en el conjunto de oro que en el conjunto de prueba transferido, y multilingual BERT mostró una robustez ligeramente superior ante errores de anotación en comparación con RuBERT en este contexto específico.
  • Conjunto de Datos WCL: Los modelos alcanzaron resultados excelentes (F1 ~0.96) en el conjunto de datos basado en Wikipedia, probablemente debido a la naturaleza estructurada de las definiciones de Wikipedia y la tarea más simple de identificar únicamente entidades de términos.

Significancia y Reivindicaciones
Los autores afirman que los LLM pueden servir como "traductores inteligentes" eficaces para transferir anotaciones NER complejas entre idiomas, reduciendo significativamente el esfuerzo requerido para crear puntos de partida para el NLP en lenguas con menos recursos. Si bien los conjuntos de datos resultantes son de calidad "plateada" y requieren verificación humana para aplicaciones de alto riesgo, el estudio demuestra que son suficientes para entrenar modelos base para el análisis de tendencias científicas y sistemas de apoyo a la decisión (p. ej., iFORA, SciApp).

El artículo concluye modestamente que, si bien los datos transferidos permiten la creación de herramientas funcionales, los modelos NER entrenados con estos datos aún no son perfectos, lo que requiere una verificación cuidadosa de las anotaciones. El trabajo destaca que la complejidad cognitiva de la tarea (p. ej., mapear índices frente a extraer subcadenas) impacta significativamente el rendimiento de los LLM. Los autores han liberado de forma abierta los conjuntos de datos rusos generados (ruDEFT, WCL_Wiki_Ru) y el código asociado para facilitar futuras investigaciones.