100,000+ Movie Reviews from Kazakhstan: Russian, Kazakh, and Code-Switched Texts

Resumen Técnico: Más de 100,000 Reseñas de Películas de Kazajistán

Enunciado del Problema
Los conjuntos de datos disponibles públicamente para el análisis de sentimientos en kazajo siguen siendo escasos, lo que limita la investigación reproducible en este idioma con recursos insuficientes. Además, Kazajistán presenta un desafío multilingüe único donde el contenido generado por usuarios está predominantemente en ruso, pero incluye kazajo y cambios de código frecuentes (kazajo-ruso). Los puntos de referencia existentes a menudo carecen de grandes span temporales o no capturan los matices sociolingüísticos específicos de las variedades regionales (por ejemplo, el ruso de Kazajistán). Además, la predicción de sentimientos detallada se ve comprometida con frecuencia por la filtración de etiquetas, donde los usuarios declaran explícitamente las calificaciones dentro del texto de la reseña, permitiendo que los modelos eludan la inferencia genuina de sentimientos.

Metodología
Los autores construyeron un nuevo corpus de 100,502 reseñas de películas recopiladas de kino.kz, que abarcan 25 años (2001–2025) y cubren 4,943 títulos únicos. El conjunto de datos incluye textos en ruso, kazajo y con cambios de código.

• Anotación: Las reseñas fueron anotadas manualmente para identificar el idioma y la polaridad del sentimiento (Negativo, Neutral, Positivo). Se extrajo y normalizó un subconjunto de 11,309 reseñas que contenían calificaciones explícitas de los usuarios (escala de 0 a 10). Para garantizar la fiabilidad de la anotación con un solo anotador, se utilizó GPT-4.1 como medida compensatoria, logrando una precisión del 89,54% y un acuerdo sustancial (κ de Cohen = 0,78) frente a las etiquetas humanas.
• Tareas: Se definieron dos tareas de clasificación supervisada:
  1. Clasificación de Polaridad (CP): Clasificación de tres vías (Negativo/Neutral/Positivo).
  2. Clasificación de Puntuación (CP): Clasificación de cinco clases basada en las calificaciones de los usuarios, agrupadas en intervalos (0–2, 3–4, 5–6, 7–8, 9–10) para abordar el desequilibrio severo de clases.
• Control de Filtración de Datos: Para la tarea de CP, las menciones explícitas de calificaciones (por ejemplo, "9 de 10") fueron reemplazadas por un token marcador (scoretoken) para evitar que los modelos dependan de pistas léxicas directas en lugar de inferir el sentimiento a partir del contexto.
• Modelos: El estudio evaluó líneas base clásicas (SVM lineal, Regresión Logística, Naive Bayes usando BoW/TF-IDF) frente a modelos transformadores multilingües (mBERT, XLM-RoBERTa, RemBERT).
• Evaluación: Los datos se dividieron a nivel de película (80/10/10) para evitar la filtración temática. El rendimiento se midió utilizando Precisión, Recall, F1 promediado macro y κ de Cohen, priorizando el F1 promediado macro debido al desequilibrio de clases.

Resultados Clave

• Clasificación de Polaridad: Los modelos transformadores superaron consistentemente a las líneas base clásicas. RemBERT logró el mejor rendimiento con un F1 promediado macro en el conjunto de prueba de 0,82 (κ = 0,88), seguido por XLM-RoBERTa (0,81) y mBERT (0,74). El SVM clásico alcanzó un F1 de 0,73.
  • Rendimiento por Clase: Los modelos tuvieron un rendimiento sólido en las clases Positivo (F1=0,97) y Negativo (F1=0,94), pero lucharon con la clase Neutral (F1=0,56), que es rara (aproximadamente el 4–5% de los datos) y a menudo se expresa de forma implícita.
  • Rendimiento por Idioma: El rendimiento se correlacionó con el volumen de datos. Las reseñas en ruso arrojaron el F1 más alto (0,81), mientras que las reseñas en kazajo (0,77) y con cambios de código (0,76) mostraron resultados ligeramente inferiores pero respetables.
• Clasificación de Puntuación: Bajo la evaluación controlada contra filtraciones, el rendimiento disminuyó significativamente en todos los modelos, con puntuaciones F1 promediadas macro que oscilaron entre 0,50 y 0,55.
  • RemBERT y SVM lograron el F1 más alto (0,54–0,55).
  • La brecha entre los transformadores y las líneas base clásicas se estrechó, lo que sugiere que, una vez enmascaradas las pistas explícitas de calificación, la predicción de puntuaciones detallada depende de características sutiles en las que los modelos profundos no superan drásticamente a los modelos lineales en este escenario específico.
  • Los modelos tuvieron un buen rendimiento en el intervalo de puntuación alta más frecuente (Puntuación 5, F1=0,88), pero fallaron en los intervalos intermedios (por ejemplo, Puntuación 2, F1=0,09) debido a la escasez de datos.

Importancia y Afirmaciones
El artículo afirma que el conjunto de datos es un recurso significativo para la comunidad de PLN por tres razones principales:

1. Profundidad Temporal: El lapso de 25 años permite rastrear los cambios en las actitudes de la audiencia hacia los fenómenos sociales y el papel evolutivo del idioma kazajo en el discurso digital (por ejemplo, el cambio de solicitudes para hablar kazajo a un uso seguro).
2. Diversidad Multilingüe: Captura los cambios de código naturales entre kazajo y ruso y las variedades del "ruso de Kazajistán", incluidas entidades culturalmente específicas y construcciones calco, proporcionando un campo de pruebas realista para la variación lingüística regional.
3. Punto de Referencia Diagnóstico: Los experimentos destacan dificultades específicas del conjunto de datos que a menudo se pasan por alto en puntos de referencia más limpios: la rareza y la ambigüedad de la polaridad neutral, y la susceptibilidad de la predicción de puntuaciones detalladas a la filtración de etiquetas.

Los autores posicionan este trabajo no como una solución definitiva a todos los desafíos de sentimientos, sino como una línea base reproducible y una herramienta de diagnóstico para futuras investigaciones sobre modelado multilingüe, cambios de código e inferencia de sentimientos robusta en texto del mundo real, culturalmente fundamentado, de Kazajistán. El conjunto de datos, las directrices de anotación y los modelos entrenados se han publicado públicamente para apoyar estos esfuerzos.