Sentiment Analysis of AI Adoption in Indonesian Higher Education Using Machine Learning and Transformer-Based Models

1. Declaração do Problema

A rápida adoção da Inteligência Artificial (IA) no ensino superior indonésio gerou uma mistura complexa de opiniões dos estudantes, variando do apoio à eficiência de aprendizado a preocupações sobre integridade acadêmica, dependência excessiva e a erosão de habilidades de pensamento crítico.

• A Lacuna: Embora a análise de sentimento seja uma ferramenta padrão para medir a opinião pública, há uma falta de estudos comparativos que avaliem a eficácia do aprendizado de máquina (ML) clássico versus aprendizado profundo baseado em Transformer especificamente para texto em língua indonésia no contexto da adoção de IA na educação.
• O Objetivo: Analisar sistematicamente as opiniões dos estudantes indonésios sobre a IA e determinar qual abordagem de modelagem (ML baseado em TF-IDF vs. DL baseado em Transformer) oferece desempenho superior para classificação binária de sentimento (Positivo vs. Negativo) neste domínio específico.

2. Metodologia

A. Construção do Conjunto de Dados

• Fonte: O estudo utilizou um conjunto de dados híbrido combinando 1.154 opiniões brutas de estudantes sobre IA no ensino superior com 1.141 amostras de um dicionário léxico positivo/negativo.
• Tamanho Total: 2.295 amostras rotuladas.
• Distribuição de Classes: O conjunto de dados está quase equilibrado:
  • Negativo: 1.158 amostras (50,46%)
  • Positivo: 1.137 amostras (49,54%)
• Pré-processamento: A limpeza de texto envolveu conversão para minúsculas, remoção de URLs/menções/hashtags/pontuação, normalização de palavras não padrão e tratamento de caracteres repetidos.

B. Fluxo de Trabalho Experimental

Os dados foram divididos na proporção 80:10:10 para os conjuntos de Treinamento, Validação e Teste. Dois fluxos distintos foram implementados:

1. Fluxo de Aprendizado de Máquina (Linha de Base)

• Extração de Recursos: O texto foi convertido em vetores TF-IDF usando unigramas e bigramas.
• Modelos Avaliados:
  • LightGBM: Um ensemble de boosting (configurado com n_estimators=100, max_depth=10).
  • Random Forest: Um ensemble paralelo (configurado com n_estimators=100, max_depth=20).
  • Máquina de Vetores de Suporte (SVM): Um classificador baseado em kernel usando um kernel RBF (C=1.0).
• Seleção: Os modelos foram selecionados com base na precisão de validação, com o SVM escolhido como o melhor representante de ML para comparação final.

2. Fluxo de Aprendizado Profundo (Transformer)

• Modelo: DistilBERT (distilbert-base-uncased), uma versão leve e destilada do BERT projetada para reter o desempenho enquanto reduz o custo computacional.
• Arquitetura: Codificador de seis camadas com mecanismos de autoatenção.
• Configuração:
  • Comprimento máximo da sequência: 128 tokens.
  • Tamanho do lote: 64.
  • Otimizador: AdamW com uma taxa de aprendizado de $1 \times 10^{-6}$.
  • Regularização: Dropout (0,5), Decaimento de Peso (0,001).
  • Treinamento: 100 épocas com Parada Antecipada (patience=5) baseada na Pontuação F1 de Validação.

C. Métricas de Avaliação

O desempenho foi avaliado usando Precisão, Acurácia, Revocação e Pontuação F1.

3. Resultados Principais

A. Desempenho do Aprendizado de Máquina

• LightGBM: Desempenho pobre (Acurácia no Teste: 49,67%, F1: 48,46%), indicando dificuldade com recursos TF-IDF esparsos e de alta dimensão neste contexto.
• Random Forest: Mostrou melhoria moderada (Acurácia no Teste: 58,61%, F1: 56,48%), mas permaneceu inferior ao SVM.
• SVM: Emergiu como o melhor modelo clássico de ML.
  • Acurácia de Validação: 87,25%
  • Acurácia no Teste: 82,14%
  • Pontuação F1 no Teste: 82,14%
  • Observação: O SVM demonstrou robustez ao lidar com dados de texto de alta dimensão, classificando corretamente 377 de 459 amostras de teste.

B. Desempenho do Transformer (DistilBERT)

• Acurácia no Teste: 84,78%
• Pontuação F1 no Teste: 84,75% (Ponderada)
• Detalhamento por Classe:
  • F1 da Classe Negativa: 0,8548
  • F1 da Classe Positiva: 0,8402
• Observação: O DistilBERT mostrou um leve viés para maior revocação em amostras negativas, mas manteve precisão equilibrada entre as classes. A perda de treinamento (0,28) e a perda de validação (0,36) indicaram boa generalização sem superajuste severo.

C. Análise Comparativa

• Diferença de Desempenho: O DistilBERT superou o melhor modelo de ML (SVM) em 2,64% na acurácia e 2,61% na pontuação F1.
• Compromisso de Eficiência:
  • SVM: Tempo de treinamento extremamente rápido (0,210s).
  • DistilBERT: Tempo de treinamento significativamente mais longo (22,8 minutos) devido ao processamento intensivo em GPU.
• Conclusão sobre Modelos: Embora os Transformers capturem contexto semântico mais rico, levando a maior acurácia, o SVM permanece uma alternativa altamente competitiva e de baixo custo para classificação eficiente de sentimentos.

4. Contribuições Principais

1. Análise Específica de Contexto: Fornece evidências empíricas sobre como os estudantes universitários indonésios percebem a adoção de IA, abordando uma lacuna na literatura local de PNL.
2. Comparação Metodológica: Oferece um benchmark rigoroso comparando abordagens tradicionais TF-IDF/SVM com modelos modernos baseados em Transformer (DistilBERT) para texto educacional indonésio.
3. Criação de Conjunto de Dados: Curadoria e processamento de um conjunto de dados equilibrado de 2.295 amostras indonésias focadas especificamente em IA no ensino superior.
4. Implantação Prática: O modelo de melhor desempenho (DistilBERT) foi implantado como um aplicativo web interativo usando Gradio e Hugging Face Spaces, permitindo previsão de sentimento em tempo real com pontuações de confiança.

5. Significado e Trabalho Futuro

• Significado: O estudo valida que, embora modelos de aprendizado profundo (Transformers) ofereçam acurácia superior ao entender o contexto, modelos clássicos como o SVM ainda são viáveis para ambientes com recursos limitados. Isso ajuda as instituições de ensino a escolher ferramentas apropriadas para formulação de políticas com base no feedback dos estudantes.
• Direções Futuras:
  • Expandir o tamanho do conjunto de dados.
  • Introduzir uma classe neutra para classificação de três vias.
  • Utilizar modelos pré-treinados específicos para indonésio (por exemplo, IndoBERT) em vez do distilbert-base-uncased centrado em inglês.
  • Realizar análise de sentimento baseada em aspectos para identificar preocupações específicas (por exemplo, integridade vs. eficiência de aprendizado) em vez de apenas polaridade geral.