💬 NLP

From TF-IDF to Transformers: A Comparative and Ensemble Approach to Sentiment Classification

Este artigo avalia vários modelos de aprendizado de máquina e PLN para classificação de sentimentos no conjunto de dados IMDb, constatando que o RoBERTa alcança a maior precisão de 93,02%, enquanto um ensemble de votação suave de todos os modelos aprimora ainda mais o desempenho geral.

Autores originais: Dip Biswas Shanto, Mitali Yadav, Prajwal Panth, Suresh Chandra Satapathy

Publicado 2026-05-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Dip Biswas Shanto, Mitali Yadav, Prajwal Panth, Suresh Chandra Satapathy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando adivinhar como uma plateia de cinema se sente apenas lendo suas resenhas. Algumas pessoas escrevem: "Este foi o melhor filme de todos os tempos!", enquanto outras dizem: "Eu odeiei cada minuto disso." Mas, às vezes, a verdade está escondida em frases complicadas como: "Não foi o pior filme que já vi", ou comentários sarcásticos como: "Ah, ótimo, mais um filme de super-herói que não fez nenhum sentido."

Este artigo é como uma competição de culinária onde diferentes chefs (modelos computacionais) tentam provar essas resenhas e adivinhar corretamente se o cliente está feliz (positivo) ou infeliz (negativo). Os autores usaram um livro de receitas massivo com 50.000 resenhas de filmes do IMDb para treinar seus chefs.

Veja como eles testaram suas receitas:

1. Os Chefs Antigos (Modelos Tradicionais)

Primeiro, eles tentaram os métodos "clássicos". Esses modelos são como chefs que apenas olham para uma lista de ingredientes (palavras) e contam quantas vezes cada um aparece.

O Método: Eles usaram uma técnica chamada TF-IDF, que é como uma caneta marca-texto. Ela destaca palavras que são importantes e únicas para uma resenha específica, ignorando palavras comuns como "o" ou "e".
Os Chefs: Eles usaram Naïve Bayes, Regressão Logística, SVM e LightGBM.
O Resultado: Esses chefs foram decentes. Eles conseguiam identificar palavras óbvias como "bom" ou "ruim". No entanto, às vezes ficavam confusos com frases complexas ou sarcasmo, porque não entendiam realmente a história por trás das palavras, apenas os ingredientes.

2. Os Chefs Inteligentes (Aprendizado Profundo e Transformers)

Em seguida, eles trouxeram os chefs "modernos". Esses modelos são como chefs que não apenas leem os ingredientes, mas também entendem o contexto e o fluxo da receita.

O Método: Eles usaram Transformers (especificamente RoBERTa e DistilBERT). Pense neles como leitores superinteligentes que entendem como as palavras se relacionam entre si em uma frase. Eles sabem que "não bom" significa algo muito diferente de apenas "bom".
O Resultado: Esses chefs foram muito melhores. RoBERTa foi a estrela do show, acertando cerca de 93% das vezes. Ele entendeu as nuances e metáforas que os chefs antigos perderam. DistilBERT ficou logo atrás; era como uma versão leve do chef estrela — quase tão inteligente, mas mais rápida e fácil de executar.

3. A Estratégia "Todos a Bordo" (Aprendizado de Conjunto)

Os autores perceberam que até o melhor chef individual pode cometer um erro. Então, eles tentaram um Ensemble de Votação Suave.

A Analogia: Imagine um painel de juízes. Em vez de um único juiz decidir o vencedor, você pede que todos os chefs (os antigos e os novos) votem. Mas, em vez de apenas gritar "Sim" ou "Não", cada um dá um percentual de confiança (por exemplo: "Tenho 80% de certeza de que isso é positivo").
A Magia: O sistema pega todas essas porcentagens, faz a média delas e toma uma decisão final.
O Resultado: Essa abordagem em equipe funcionou ainda melhor do que o único melhor chef. Ao combinar seus pontos fortes, o grupo corrigiu os erros uns dos outros, especialmente nessas resenhas complicadas e sarcásticas. Foi como ter uma rede de segurança que capturou erros que nenhum modelo individual conseguiria ver.

O Que Eles Aprenderam?

As Resenhas "Complicadas": Os modelos ainda tiveram dificuldades com sarcasmo (como dizer "Bom trabalho" quando queriam dizer o oposto) e duplas negações (como "não ruim"). Esses foram os pratos mais difíceis de provar.
Transparência: Os autores usaram uma ferramenta chamada SHAP para espiar dentro da caixa preta. É como colocar um holofote nas palavras específicas que fizeram o modelo mudar de ideia. Por exemplo, mostrou que a palavra "chato" puxava o voto para "negativo", enquanto "excelente" puxava para "positivo".
O Vencedor: Embora o modelo RoBERTa sofisticado fosse o mais preciso, o artigo observa que os modelos mais simples e antigos (como SVM) ainda são muito úteis se você não tiver um supercomputador para executar os sofisticados.

A Conclusão

O artigo conclui que, se você quer a melhor precisão absoluta para entender os sentimentos sobre filmes, deve usar o modelo Transformer mais inteligente (RoBERTa) e combiná-lo com uma estratégia de votação em equipe. No entanto, se você precisa de algo rápido e simples, os métodos antigos ainda são surpreendentemente bons no básico.

Em resumo: Um chef inteligente é ótimo, mas uma equipe inteira de chefs trabalhando juntos é ainda melhor para adivinhar como as pessoas se sentem sobre um filme.

Resumo Técnico: De TF-IDF a Transformers: Uma Abordagem Comparativa e de Ensemble para Classificação de Sentimento

Declaração do Problema
A análise de sentimento, ou mineração de opiniões, visa extrair opiniões subjetivas de dados textuais, como resenhas de filmes, para classificá-las como positivas ou negativas. Embora os modelos de aprendizado de máquina (ML) sejam eficazes, eles frequentemente lutam para interpretar com precisão contexto, metáforas, sarcasmo e negações complexas, pois dependem fortemente de representações estatísticas de palavras em vez de uma compreensão semântica profunda. Este artigo aborda o desafio de classificar resenhas de filmes do IMDb, comparando métodos estatísticos tradicionais, arquiteturas de aprendizado profundo e modelos modernos baseados em transformers para determinar a abordagem mais eficiente para classificação de sentimento resiliente.

Metodologia
O estudo utiliza o conjunto de dados IMDb, composto por 50.000 resenhas de filmes balanceadas (25.000 positivas e 25.000 negativas). A metodologia segue um pipeline estruturado:

Pré-processamento: O texto bruto passa por normalização, tokenização e stemming/lematização. O conjunto de dados é dividido em conjuntos de treinamento e teste.
Engenharia de Recursos:
- Modelos Tradicionais: O texto é convertido em recursos numéricos usando vetorização TF-IDF, limitada às 10.000 palavras mais informativas com um intervalo de n-gramas de 1–3. Isso previne vazamento de dados ao ajustar o vetorizador exclusivamente no corpus de treinamento.
- Modelos Transformer: Estes utilizam tokenização de subpalavras e embeddings contextuais diretamente de modelos pré-treinados, oferecendo representações semânticas dinâmicas em comparação com recursos TF-IDF estáticos.
Treinamento do Modelo: Sete classificadores distintos foram avaliados:
- ML Tradicional: Regressão Logística, Naive Bayes Multinomial, SVM Linear e LightGBM.
- Aprendizado Profundo: LSTM Bidirecional (64 unidades, otimizador Adam).
- Transformers: DistilBERT e RoBERTa, ajustados finamente usando o framework Hugging Face com hiperparâmetros específicos (por exemplo, comprimento de sequência de 128, decaimento de peso de 0,01).
Abordagem de Ensemble: Um ensemble de votação suave foi construído para combinar as probabilidades previstas de todos os sete modelos. Cada modelo recebeu peso igual ( $w_i = 1/N$ ), e a previsão final foi determinada pela classe com a maior pontuação de probabilidade média.
Explicabilidade: SHapley Additive exPlanations (SHAP) foram empregados para fornecer transparência do modelo. Para SVM, os valores SHAP correspondiam ao produto dos pesos TF-IDF e coeficientes. Para transformers, técnicas baseadas em perturbação foram usadas para calcular atribuições em nível de token.

Principais Contribuições e Resultados
O artigo apresenta uma análise comparativa do desempenho do modelo baseada em precisão, pontuação F1 e ROC-AUC:

Hierarquia de Desempenho: Modelos baseados em transformers superaram todas as outras abordagens. RoBERTa alcançou o melhor desempenho com 93,02% de precisão e uma pontuação F1 de 0,9302. DistilBERT seguiu de perto (92,59% de precisão). Modelos tradicionais como SVM (89,61%) e Regressão Logística (88,91%) serviram como bases fortes e interpretáveis, mas ficaram atrás dos modelos contextuais.
Eficácia do Ensemble: O ensemble de votação suave, que agregou previsões de todos os modelos, demonstrou que combinar arquiteturas diversas melhora a precisão da classificação. O ensemble reduziu a variância e lidou melhor com casos ambíguos (como sarcasmo e negações complexas) do que modelos individuais, resultando em uma melhora de 1–3% em todas as métricas em comparação com o único melhor modelo (RoBERTa).
Análise de Erros: O estudo identificou modos de falha específicos, incluindo negações complexas (por exemplo, "não sem sua vantagem") e sarcasmo, que resultaram em taxas de erro mais altas (até 18,9% para sarcasmo). A abordagem de ensemble reduziu notavelmente as taxas de classificação incorreta para resenhas sarcásticas em aproximadamente 23%.
Insights de Ablação: O estudo quantificou o impacto de componentes específicos, descobrindo que o tratamento de negação melhorou as pontuações F1 em 3,2–4,1% para modelos tradicionais, e a máscara dinâmica durante o ajuste fino do RoBERTa contribuiu com um ganho adicional de 2,1% na precisão.

Significado e Alegações
O artigo conclui que, embora modelos baseados em transformers (especificamente RoBERTa e DistilBERT) sejam superiores para capturar dependências contextuais e nuances semânticas sutis em tarefas complexas de análise de sentimento, métodos tradicionais permanecem valiosos. SVM com recursos TF-IDF é destacado como uma base computacionalmente eficiente e interpretável, e DistilBERT é apresentado como uma alternativa viável quando os recursos computacionais são limitados.

O principal significado deste trabalho reside em demonstrar que o ensemble de modelos aproveita efetivamente as forças complementares de arquiteturas diversas (léxicas, sequenciais e contextuais) para mitigar vieses de modelos individuais e melhorar a robustez geral. Os autores afirmam que, embora os transformers sejam mais adequados para tarefas complexas, uma abordagem híbrida que combina eficiência tradicional com poder de aprendizado profundo oferece uma solução abrangente para classificação de sentimento.

1. Os Chefs Antigos (Modelos Tradicionais)

2. Os Chefs Inteligentes (Aprendizado Profundo e Transformers)

3. A Estratégia "Todos a Bordo" (Aprendizado de Conjunto)

O Que Eles Aprenderam?

A Conclusão

Mais como este