Multiclass Sentiment Analysis for Identifying Political Viewpoints

Resumo Técnico: Análise de Sentimento Multiclasse para Identificação de Pontos de Vista Políticos em Tâmil

Definição do Problema
A rápida expansão das redes sociais, particularmente plataformas como o X (antigo Twitter), gerou vastas quantidades de discurso político em tempo real. Embora a análise de sentimento (SA) seja uma tarefa bem estabelecida no Processamento de Linguagem Natural (NLP) para extrair a opinião pública, aplicá-la a pontos de vista políticos permanece desafiador devido à complexidade e à dependência de contexto da linguagem. Este artigo aborda o problema específico da análise de sentimento multiclasse para o discurso político na língua tâmil, uma língua drávida com recursos linguísticos limitados. O objetivo é discriminar automaticamente entre sete classes distintas de sentimentos em relação a questões e figuras políticas: Substanciado (Substantiated), Sarcástico (Sarcastic), Opinativo (Opinionated), Positivo (Positive), Negativo (Negative), Neutro (Neutral) e Nenhum dos anteriores (None of the above).

Metodologia
O estudo utiliza um conjunto de dados fornecido para a tarefa compartilhada DravidianLangTech@NAACL 2025, compreendendo 4.352 amostras de treinamento, 544 amostras de desenvolvimento e 544 amostras de teste não rotuladas. Os autores empregaram um pipeline de pré-processamento padronizado para garantir a consistência dos dados, que envolveu a remoção de pontuação, emojis e menções de usuários para minimizar o ruído e o viés do autor.

Dois métodos distintos de aprendizado de máquina foram projetados e avaliados:

1. Abordagem XGBoost:

   • Extração de Características: Os dados de texto foram convertidos em representações numéricas usando TF-IDF (Term Frequency-Inverse Document Frequency).
   • Modelo: Um XGBClassifier foi treinado sobre as características TF-IDF.
   • Justificativa: O XGBoost foi selecionado como um algoritmo de aprendizado de máquina tradicional robusto, conhecido pelo forte desempenho em tarefas de classificação.

2. Abordagem BERT:

   • Extração de Características: O modelo transformer bert-base-uncased foi utilizado com seu BertTokenizer nativo para lidar com a tokenização e conversão numérica.
   • Configuração do Modelo: O modelo foi ajustado (fine-tuned) com uma taxa de aprendizado de 1e-5, um tamanho de lote (batch size) de 32, e treinado por 5 épocas utilizando uma função de ativação softmax no nível de saída.

Principais Contribuições
O artigo apresenta três contribuições primárias para o campo do NLP de baixos recursos e análise de discurso político:

• Revisão de Literatura: Um exame abrangente da literatura existente de análise de sentimento no domínio político, destacando sua aplicação no monitoramento do discurso e na identificação de vieses.
• Engenharia de Características: A investigação e seleção de métodos apropriados de extração de características (TF-IDF e tokenização BERT) adaptados às restrições específicas do conjunto de dados políticos em tâmil.
• Avaliação Empírica: A seleção, ajuste fino e avaliação rigorosa de modelos de última geração (XGBoost e BERT) em um conjunto de teste reservado usando métricas de classificação padrão, fornecendo uma linha de base (baseline) para pesquisas futuras em análise de sentimento político multiclasse para línguas drávidas.

Resultados Experimentais
Os modelos foram avaliados no conjunto de teste usando Precisão, Recall, F1-score e Acurácia. Os resultados indicam que classificar o complexo discurso político em tâmil é uma tarefa difícil, produzindo F1-scores macro relativamente baixos para ambas as abordagens:

• Modelo XGBoost: Alcançou um F1-score Macro de 0,2835 e uma acurácia de 0,3309.
• Modelo BERT: Alcançou um F1-score Macro de 0,2806 e uma acurácia de 0,3327.

Análise de Desempenho:

• Desempenho por Classe: Ambos os modelos tiveram melhor desempenho nas classes "Neutro" e "Positivo". Por exemplo, o modelo XGBoost alcançou um F1-score de 0,7347 para "Neutro" e 0,4622 para "Positivo".
• Desafios: Os modelos tiveram dificuldades significativas com as classes "Sarcástico", "Opinativo" e "Nenhum dos anteriores", que apresentaram F1-scores muito baixos (ex: o F1 de "Nenhum dos anteriores" foi de 0,0606 para o XGBoost).
• Padrões de Classificação Incorreta: A análise da matriz de confusão revelou que os sentimentos "Negativo", "Substanciado" e "Sarcástico" foram frequentemente classificados incorretamente como "Positivo". Inversamente, a classe "Opinativo" foi superpredita pelo modelo XGBoost (305 previsões contra 46 instâncias reais), provavelmente devido a vieses de distribuição de classe nos dados de treinamento.
• Comparação: Surpreendentemente, o modelo tradicional XGBoost superou ligeiramente o transformer baseado em BERT neste caso de uso específico, sugerindo que, para este tamanho de conjunto de dados e idioma, a complexidade do transformer não gerou uma vantagem de desempenho sobre a abordagem de árvore de gradiente impulsionado.

Significância e Alegações
Os autores enquadram modestamente a significância deste trabalho como o estabelecimento de uma linha de base (baseline) para pesquisas futuras, em vez de reivindicar um problema resolvido. Os baixos F1-scores demonstram a dificuldade inerente de classificar o sentimento político matizado em uma língua de baixos recursos como o tâmil. O artigo afirma que estes resultados fornecem um ponto de referência fundamental para a comunidade DravidianTech e para futuros pesquisadores que visam melhorar a análise de opinião política.

Os autores reconhecem limitações, observando que o pequeno tamanho do conjunto de dados pode dificultar a generalização para dados não vistos. Eles propõem que trabalhos futuros devem focar na expansão do tamanho e diversidade do conjunto de dados, explorar idiomas adicionais e testar outros algoritmos de aprendizado de máquina e aprendizado profundo para desenvolver modelos mais robustos e generalizáveis para a análise de discurso político.