TRNEWS-2025: A Large-Scale, Manually Annotated Turkish News Dataset for Text Classification and NLP Research

Resumen Técnico: TRNEWS-2025

Planteamiento del Problema
El campo del Procesamiento de Lenguaje Natural (PLN) en turco enfrenta una escasez de conjuntos de datos etiquetados de alta calidad, actualizados y con diversidad de dominios, necesarios para una clasificación de texto y una investigación de aprendizaje automático efectivas. Si bien existen recursos existentes como TTC-4900 y TTC-3600, estos suelen sufrir de una diversidad de categorías limitada, contenido desactualizado, cobertura temática estrecha o acceso restringido. Además, muchos conjuntos de datos actuales se centran en textos cortos (por ejemplo, comentarios de redes sociales) o tareas específicas como el análisis de sentimiento, fallando en capturar las estructuras contextuales largas y la diversidad lingüística inherentes a los artículos de noticias. Existe una necesidad específica de un conjunto de datos de noticias exhaustivo y multiclase que refleje el uso del lenguaje actual y los problemas sociales hasta 2025 para apoyar la investigación reproducible en el PLN turco.

Metodología
El estudio introduce TRNEWS-2025, un conjunto de datos de noticias en turco a gran escala y anotado manualmente. La metodología abarca la recopilación de datos, la anotación, el preprocesamiento y la evaluación experimental:

• Recopilación de Datos: Los textos de noticias se recolectaron mediante web scraping de periódicos en línea y portales de medios de acceso abierto en turco entre 2023 y 2025. La recopilación se adhirió a estrictos criterios de inclusión: los textos deben estar en turco, contener el contenido completo, coincidir con una categoría específica y no ser duplicados. Los criterios de exclusión eliminaron anuncios, artículos de opinión, comentarios de usuarios, textos incompletos y contenido generado automáticamente.
• Esquema de Etiquetado: El conjunto de datos está estructurado en torno a nueve categorías distintas: Revista (Magazine), Política, Deportes, Arte–Cultura, Salud, Finanzas–Economía, Ciencia–Tecnología, Turismo y Medio Ambiente.
• Proceso de Anotación: Se empleó un enfoque de múltiples etiquetadores donde cada texto fue revisado por al menos dos anotadores. Los desacuerdos se resolvieron bajo supervisión académica. Se estableció una guía de anotación para manejar casos límite (por ejemplo, intersecciones entre economía y política). La confiabilidad inter-anotador se midió utilizando el Kappa de Cohen, arrojando un coeficiente superior a 0.60, lo que indica un buen acuerdo.
• Preprocesamiento: Los pasos básicos de limpieza incluyeron codificación UTF-8, eliminación de etiquetas HTML, normalización de puntuación, conversión a minúsculas y eliminación de duplicados. Notablemente, el procesamiento lingüístico avanzado (por ejemplo, lematización) se omitió intencionalmente para permitir a los investigadores la flexibilidad de aplicar sus propias estrategias de preprocesamiento.
• Evaluación Experimental: Para evaluar la utilidad y distintividad del conjunto de datos, se entrenaron y evaluaron dos paradigmas de modelos distintos:
  1. BERT: Un modelo moderno basado en transformadores que utiliza mecanismos de autoatención.
  2. BiLSTM+GloVe: Una arquitectura clásica de aprendizaje profundo que combina redes de Memoria a Corto y Largo Plazo Bidireccionales con incrustaciones de coocurrencia global de palabras.
     Los modelos fueron evaluados utilizando métricas estándar incluyendo precisión (accuracy), precisión (precision), exhaustividad (recall) y puntuación F1.

Resultos Clave

• Estadísticas del Conjunto de Datos: El conjunto de datos contiene un total de aproximadamente 555,000 artículos de noticias. La distribución es multiclase, siendo "Revista" la categoría más grande (315,917 muestras) y "Medio Ambiente" la más pequeña (15,610 muestras). Las longitudes de texto varían significamente, soportando tanto enfoques tradicionales como de aprendizaje profundo.
• Rendimiento de los Modelos:
  • BERT: Logró una precisión de validación de aproximadamente el 86%. El modelo demostró un fuerte desempeño en clases como Revista, Deportes, Salud y Política. Sin embargo, el estudio señaló que las curvas de precisión de entrenamiento no siguieron patrones de convergencia típicos basados en épocas, lo que llevó a los autores a confiar en el rendimiento de validación para la evaluación.
  • BiLSTM+GloVe: Mostró un proceso de aprendizaje más estable con descensos consistentes tanto en las pérdidas de entrenamiento como de validación, indicando una buena generalización sin sobreajuste. Alcanzó una precisión de prueba del 91.6% con un tiempo computacional significativamente menor en comparación con BERT.
• Análisis de Confusión: Ambos modelos exhibieron confusión entre categorías semánticamente superpuestas, específicamente entre Arte–Cultura y Revista, y entre Medio Ambiente y Política/Finanzas–Economía. Los autores interpretan esto no como un fallo del conjunto de datos, sino como un reflejo de los solapamientos semánticos naturales encontrados en el lenguaje de las noticias del mundo real.

Significancia y Reivindicaciones
El artículo posiciona a TRNEWS-2025 como una contribución significativa al PLN turco al proporcionar una fuente confiable, actualizada y exhaustiva para la clasificación de noticias multiclase. Su principal significancia radica en:

1. Recencia y Diversidad: A diferencia de los conjuntos de datos más antiguos, captura el uso del lenguaje y los problemas sociales hasta 2025 en nueve dominios diversos.
2. Reproducibilidad: El conjunto de datos es de acceso abierto y ha sido anotado manualmente con un alto acuerdo inter-anotador, facilitando la investigación reproducible.
3. Versatilidad: El estudio demuestra que el conjunto de datos es compatible tanto con modelos modernos basados en transformadores (BERT) como con arquitecturas clásicas de aprendizaje profundo (BiLSTM), convirtiéndolo en un benchmark adecuado para evaluaciones comparativas de rendimiento de modelos.
4. Representación del Mundo Real: Las confusiones de clasificación observadas entre categorías relacionadas sugieren que el conjunto de datos refleja la complejidad del lenguaje de noticias real en lugar de una estructura artificialmente rígida.

Los autores concluyen que TRNEWS-2025 sirve como una infraestructura robusta para diversas áreas de investigación, incluyendo la clasificación de textos en turco, la identificación de temas, estudios de IA explicable (XAI) y evaluaciones de modelos de lenguaje.