100,000+ Movie Reviews from Kazakhstan: Russian, Kazakh, and Code-Switched Texts

Resumo Técnico: Mais de 100.000 Resenhas de Filmes do Cazaquistão

Declaração do Problema
Conjuntos de dados publicamente disponíveis para análise de sentimentos em cazaque permanecem escassos, limitando pesquisas reprodutíveis nesta língua sub-recursos. Além disso, o Cazaquistão apresenta um desafio multilíngue único, onde o conteúdo gerado por usuários é predominantemente em russo, mas inclui cazaque e frequente alternância de código (cazaque-russo). Benchmarks existentes frequentemente carecem de longos períodos temporais ou falham em capturar as nuances sociolinguísticas específicas das variedades regionais (por exemplo, o russo do Cazaquistão). Adicionalmente, a previsão de sentimentos granulares é frequentemente comprometida por vazamento de rótulos, onde os usuários explicitamente declaram classificações dentro do texto da resenha, permitindo que os modelos contornem a inferência genuína de sentimentos.

Metodologia
Os autores construíram um novo corpus de 100.502 resenhas de filmes coletadas do kino.kz, abrangendo 25 anos (2001–2025) e cobrindo 4.943 títulos únicos. O conjunto de dados inclui textos em russo, cazaque e com alternância de código.

• Anotação: As resenhas foram anotadas manualmente quanto ao idioma e polaridade de sentimento (Negativo, Neutro, Positivo). Um subconjunto de 11.309 resenhas contendo classificações explícitas de usuários (escala de 0 a 10) foi extraído e normalizado. Para garantir a confiabilidade da anotação com um único anotador, o GPT-4.1 foi utilizado como medida compensatória, alcançando 89,54% de precisão e concordância substancial (κ de Cohen = 0,78) em comparação com rótulos humanos.
• Tarefas: Duas tarefas de classificação supervisionada foram definidas:
  1. Classificação de Polaridade (CP): Classificação de três vias (Negativo/Neutro/Positivo).
  2. Classificação de Pontuação (CPt): Classificação de cinco classes baseada nas classificações dos usuários, agrupadas em intervalos (0–2, 3–4, 5–6, 7–8, 9–10) para abordar o desequilíbrio severo de classes.
• Controle de Vazamento de Dados: Para a tarefa de CPt, menções explícitas de pontuação (por exemplo, "9 de 10") foram substituídas por um token de espaço reservado (scoretoken) para impedir que os modelos dependam de pistas lexicais diretas em vez de inferir sentimentos a partir do contexto.
• Modelos: O estudo avaliou bases clássicas (SVM Linear, Regressão Logística, Naive Bayes usando BoW/TF-IDF) contra modelos transformadores multilíngues (mBERT, XLM-RoBERTa, RemBERT).
• Avaliação: Os dados foram divididos ao nível do filme (80/10/10) para prevenir vazamento temático. O desempenho foi medido usando Precisão, Revocação, F1-macro e κ de Cohen, com F1-macro priorizado devido ao desequilíbrio de classes.

Principais Resultados

• Classificação de Polaridade: Modelos transformadores superaram consistentemente as bases clássicas. O RemBERT alcançou o melhor desempenho com um F1-macro no conjunto de teste de 0,82 (κ = 0,88), seguido pelo XLM-RoBERTa (0,81) e mBERT (0,74). O SVM clássico atingiu um F1 de 0,73.
  • Desempenho por Classe: Os modelos apresentaram forte desempenho nas classes Positiva (F1=0,97) e Negativa (F1=0,94), mas lutaram com a classe Neutra (F1=0,56), que é rara (aproximadamente 4–5% dos dados) e frequentemente expressa implicitamente.
  • Desempenho por Idioma: O desempenho correlacionou-se com o volume de dados. Resenhas em russo renderam o maior F1 (0,81), enquanto resenhas em cazaque (0,77) e com alternância de código (0,76) mostraram resultados ligeiramente inferiores, mas respeitáveis.
• Classificação de Pontuação: Sob avaliação controlada quanto ao vazamento, o desempenho caiu significativamente em todos os modelos, com pontuações F1-macro variando entre 0,50 e 0,55.
  • RemBERT e SVM alcançaram o maior F1 (0,54–0,55).
  • A lacuna entre transformadores e bases clássicas estreitou-se, sugerindo que, uma vez que pistas explícitas de classificação são mascaradas, a previsão de pontuação granular depende de características sutis nas quais modelos profundos não superam drasticamente modelos lineares neste cenário específico.
  • Os modelos apresentaram bom desempenho no intervalo de pontuação mais frequente (Pontuação 5, F1=0,88), mas falharam em intervalos intermediários (por exemplo, Pontuação 2, F1=0,09) devido à esparsidade de dados.

Significado e Afirmações
O artigo afirma que o conjunto de dados é um recurso significativo para a comunidade de PLN por três razões principais:

1. Profundidade Temporal: O período de 25 anos permite rastrear mudanças nas atitudes do público em relação a fenômenos sociais e o papel evolutivo da língua cazaque no discurso digital (por exemplo, a transição de pedidos para falar cazaque para o uso confiante).
2. Diversidade Multilíngue: Captura a alternância de código cazaque-russo que ocorre naturalmente e variedades do "russo do Cazaquistão", incluindo entidades culturalmente específicas e construções calqueadas, fornecendo um campo de teste realista para variação linguística regional.
3. Benchmark Diagnóstico: Os experimentos destacam dificuldades específicas do conjunto de dados frequentemente ignoradas em benchmarks mais limpos: a raridade e ambiguidade da polaridade neutra, e a suscetibilidade da previsão de pontuação granular ao vazamento de rótulos.

Os autores posicionam este trabalho não como uma solução definitiva para todos os desafios de sentimentos, mas como uma base reprodutível e ferramenta diagnóstica para pesquisas futuras sobre modelagem multilíngue, alternância de código e inferência robusta de sentimentos em texto do mundo real, culturalmente fundamentado, do Cazaquistão. O conjunto de dados, as diretrizes de anotação e os modelos treinados são disponibilizados publicamente para apoiar esses esforços.