Benchmarking PyCaret AutoML Against IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian IKN Twitter Data

1. Declaração do Problema

A relocação da capital da Indonésia para Ibu Kota Nusantara (IKN) gerou um discurso público significativo nas redes sociais, particularmente no Twitter/X. Compreender o sentimento público em relação a essa política é crucial para formuladores de políticas e pesquisadores. No entanto, analisar esses dados apresenta desafios específicos:

• Complexidade Linguística: Os dados consistem em texto indonésio informal contendo gírias, abreviações e estruturas de frases variadas.
• Restrições de Recursos: Abordagens tradicionais de Aprendizado de Máquina (ML) frequentemente lutam com nuances contextuais em idiomas de baixos recursos em comparação com modelos de Aprendizado Profundo (DL).
• Lacuna Metodológica: Há necessidade de comparar empiricamente a eficiência e a eficácia de frameworks de ML automatizado (AutoML) contra modelos Transformer de última geração especificamente para o sentimento em redes sociais indonésias.

2. Conjunto de Dados

• Fonte: Comentários no Twitter/X em língua indonésia relacionados à IKN.
• Tamanho: 1.472 amostras rotuladas manualmente.
• Classes: Classificação binária (Positivo: 692 amostras, 47%; Negativo: 780 amostras, 53%).
• Características: O texto é curto (comprimento médio ~50 caracteres) e informal.
• Pré-processamento: Envolveu minúsculas, remoção de valores ausentes (NaN) e cálculo de recursos de comprimento de texto. Os dados foram divididos em conjuntos de Treinamento (70%), Validação (15%) e Teste (15%) usando amostragem estratificada.

3. Metodologia

O estudo empregou uma abordagem de dupla pipeline para avaliar o desempenho:

A. Pipeline de Aprendizado de Máquina (AutoML)

• Framework: PyCaret (v3.x), uma biblioteca AutoML de código aberto.
• Extração de Recursos: Vetorização TF-IDF automática da coluna de texto.
• Algoritmos Avaliados:
  1. Regressão Logística (LR)
  2. Naive Bayes (NB)
  3. Máquina de Vetores de Suporte (SVM) com kernel linear.
• Processo:
  • Validação cruzada estratificada de 10 dobras para avaliação inicial.
  • Ajuste de hiperparâmetros usando Optuna (10 candidatos) no modelo de melhor desempenho.
  • Finalização do modelo.
• Hardware: CPU Intel Core i5 (Python 3.9).

B. Pipeline de Aprendizado Profundo (Ajuste Fino do IndoBERT)

• Modelo: indobenchmark/indobert-base-p1 (111M parâmetros, 12 camadas Transformer).
• Framework: PyTorch com Hugging Face Transformers.
• Arquitetura: Cabeça de classificação BERT padrão adicionada ao token [CLS].
• Hiperparâmetros:
  • Comprimento Máximo: 128 tokens.
  • Tamanho do Lote: 16.
  • Épocas: 5.
  • Otimizador: AdamW (LR: $2 \times 10^{-5}$, decaimento de peso: 0,01).
  • Agendador: Aquecimento linear (10%) seguido de decaimento linear.
  • Limitação de Gradiente: Norma máxima 1,0.
• Hardware: Mesma CPU Intel Core i5 (sem aceleração de GPU utilizada).

4. Principais Contribuições

1. Criação de Conjunto de Dados: Um conjunto de dados curado e rotulado manualmente de 1.472 tweets indonésios sobre o sentimento da IKN.
2. Benchmarking de AutoML: Uma avaliação abrangente de três algoritmos clássicos de ML (LR, NB, SVM) usando a pipeline automatizada do PyCaret.
3. Implementação de Transformer: Uma implementação completa de ajuste fino do IndoBERT para análise de sentimento binária neste domínio específico.
4. Análise Comparativa: Uma comparação direta de desempenho respondendo se o DL baseado em Transformer supera o ML clássico para texto indonésio informal, destacando as compensações entre precisão e custo computacional.
5. Reprodutibilidade: O estudo utilizou codificação assistida por IA (Claude) para gerar notebooks reproduzíveis para pipelines de EDA, PyCaret e PyTorch.

5. Resultados

Desempenho de Aprendizado de Máquina (PyCaret)

• Melhor Modelo: Regressão Logística.
• Métricas (Validação Cruzada de 10 Dobras):
  • Precisão: 77,57%
  • Pontuação F1: 77,17%
  • AUC: 0,8563
• Outros Modelos: O Naive Bayes alcançou ~70,6% de precisão. O SVM Linear inicial teve desempenho ruim (52,72%) devido à alta variação lexical no texto informal, embora o ajuste o tenha melhorado para ~71,2%.

Desempenho de Aprendizado Profundo (IndoBERT)

• Melhor Modelo: IndoBERT (Ajustado).
• Métricas (Conjunto de Teste):
  • Precisão: 89,59%
  • Pontuação F1 (Macro): 89,37%
  • Precisão/Revocação: Alta revocação para as classes Negativa (96%) e Positiva (83%).
• Observações: O modelo apresentou sinais de sobreajuste após a primeira época (a perda de validação aumentou enquanto a perda de treinamento diminuiu), um problema comum ao ajustar grandes modelos em conjuntos de dados de tamanho médio sem GPU.

Benchmark Comparativo

• Diferença de Desempenho: O IndoBERT superou o melhor modelo de ML (Regressão Logística) em 12,02 pontos percentuais de precisão.
• Compensação de Eficiência: Embora o IndoBERT oferecesse precisão superior, exigiu significativamente mais recursos computacionais e tempo de treinamento em comparação com os modelos de ML leves.

6. Significado e Conclusão

• Superioridade do Contexto: O estudo confirma que modelos baseados em Transformer (IndoBERT) são significativamente superiores ao ML clássico para análise de sentimento indonésia. Isso é atribuído à capacidade do IndoBERT de capturar contexto bidirecional, lidar com gírias/abreviações via pré-treinamento e gerenciar palavras Fora do Vocabulário (OOV) melhor do que abordagens de saco de palavras TF-IDF.
• Implicações Práticas:
  • Cenários de Alto Risco: Para aplicações que exigem precisão máxima (por exemplo, monitoramento de políticas), o IndoBERT é a escolha recomendada, apesar dos custos de recursos mais altos.
  • Cenários com Recursos Limitados: A Regressão Logística via PyCaret permanece uma alternativa viável e pragmática para prototipagem rápida ou ambientes com poder computacional limitado, oferecendo uma precisão respeitável de ~77%.
• Direções Futuras: Os autores sugerem explorar aumento de dados para mitigar o sobreajuste em modelos de DL e comparar o IndoBERT com arquiteturas mais leves como DistilBERT ou LSTM para encontrar um equilíbrio entre desempenho e eficiência.

Veredito Final: Para análise de sentimento de texto indonésio informal, Aprendizado Profundo (IndoBERT) é o claro vencedor em termos de precisão, mas AutoML (PyCaret/Regressão Logística) oferece uma base forte e eficiente para cenários onde os recursos computacionais são limitados.