💬 NLP

IndoBERT-Sentiment: Context-Conditioned Sentiment Classification for Indonesian Text

O artigo apresenta o IndoBERT-Sentiment, um classificador de sentimentos em indonésio que, ao incorporar o contexto temático como entrada, supera significativamente os modelos existentes ao resolver ambiguidades que levam a erros de classificação em abordagens sem contexto.

Autores originais: Muhammad Apriandito Arya Saputra, Andry Alamsyah, Dian Puteri Ramadhani, Thomhert Suprapto Siadari, Hanif Fakhrurroja

Publicado 2026-04-09

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Muhammad Apriandito Arya Saputra, Andry Alamsyah, Dian Puteri Ramadhani, Thomhert Suprapto Siadari, Hanif Fakhrurroja

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender o humor de alguém que está falando sobre "números subindo".

Se essa pessoa estiver falando sobre inflação (o preço das coisas), o fato de os números subirem é uma notícia ruim (negativo).
Mas, se ela estiver falando sobre o crescimento do PIB (a economia do país), os mesmos números subindo são uma notícia excelente (positivo).

O problema é que a maioria dos "robôs" (modelos de inteligência artificial) que analisam sentimentos hoje em dia são como pessoas que leem apenas uma frase isolada, sem saber o assunto da conversa. Eles veem "números subindo" e pensam: "Hmm, não sei, talvez seja neutro". Eles perdem o contexto.

Este artigo apresenta uma solução brilhante chamada IndoBERT-Sentiment. Vamos explicar como ele funciona usando algumas analogias simples:

1. O Problema: O Detetive Cego

Os modelos antigos de análise de sentimentos para o idioma indonésio são como detetives que analisam um crime sem saber onde ele aconteceu.

A frase: "O KPK prendeu o prefeito que desviou dinheiro."
O robô antigo: Vê palavras como "preso" e "desvio" e pensa: "Isso parece ruim, mas não tenho certeza. Vou classificar como Neutro."
A realidade: Para quem luta contra a corrupção, prender um corrupto é uma vitória enorme (Positivo).

Sem saber o tema (neste caso, "Combate à Corrupção"), o robô não consegue entender a emoção real por trás das palavras.

2. A Solução: O Detetive com o Mapa

O novo modelo, IndoBERT-Sentiment, é como um detetive que sempre tem um mapa do caso na mão antes de ler a frase.

Entrada do Robô: Ele recebe duas coisas:
1. O Tópico (o mapa): "Combate à Corrupção".
2. A Frase (o caso): "O KPK prendeu o prefeito..."
O Resultado: Com o mapa em mãos, o robô entende imediatamente: "Ah, no contexto de combater a corrupção, prender alguém é uma coisa boa!" -> Positivo.

3. Como eles ensinaram o robô?

Os autores pegaram um modelo de linguagem gigante e inteligente (chamado IndoBERT) e o treinaram de um jeito diferente.

Eles não deram apenas frases soltas.
Eles deram pares de "Tópico + Frase".
Imagine que eles mostraram para o robô 31.000 exemplos onde diziam: "No tema 'Economia', a frase X é ruim. No tema 'Saúde', a mesma frase X pode ser boa".
O robô aprendeu que o significado das palavras muda dependendo de sobre o que estamos falando.

4. O Resultado: Uma Revolução

Quando testaram esse novo robô contra os três modelos mais famosos e usados atualmente, a diferença foi absurda:

Os modelos antigos: Acertaram cerca de 50% das vezes (como jogar cara ou coroa). Eles falharam miseravelmente em detectar sentimentos positivos, confundindo-os com neutros.
O novo modelo (IndoBERT-Sentiment): Acertou 88% das vezes.
O milagre: Para sentimentos positivos, os modelos antigos acertavam apenas 1 em cada 5 vezes (F1 de 0,21). O novo modelo acertou quase 4 em cada 5 (F1 de 0,79).

Por que essa diferença?
Porque na vida real (notícias, redes sociais), as coisas "boas" não são sempre ditas com palavras como "maravilhoso" ou "adoro". Às vezes, são ditas com fatos: "A economia cresceu 5,2%", "O incêndio diminuiu 80%".

Sem o contexto, "cresceu" é apenas um fato.
Com o contexto de "Economia", "cresceu" é uma alegria.

5. A Versão "Simples" (Binária)

Os autores também criaram uma versão mais simples do robô. Em vez de perguntar "É positivo, negativo ou neutro?", ela só pergunta: "É bom ou é ruim?".

Essa versão é ainda mais precisa (96% de acerto), ideal para quem só quer saber se a opinião sobre um tema é favorável ou não, sem se preocupar com a "nebulosidade" do neutro.

Resumo Final

Este artigo mostra que, para entender o sentimento das pessoas (especialmente em notícias e redes sociais), não basta ler o que foi dito; é preciso saber sobre o que se está falando.

O IndoBERT-Sentiment é como dar óculos de realidade aumentada para a inteligência artificial: ele vê a frase e, ao mesmo tempo, vê o contexto ao redor, permitindo que ele entenda a emoção real por trás das palavras. Isso transforma a análise de sentimentos de um jogo de adivinhação em uma ferramenta precisa e confiável.

Visão Geral

O artigo apresenta o IndoBERT-Sentiment, um novo modelo de classificação de sentimentos para o idioma indonésio (Bahasa Indonesia). A principal inovação é a introdução de condicionamento de contexto tópico, onde o modelo recebe não apenas o texto a ser analisado, mas também uma descrição do tópico em discussão. Isso visa resolver a limitação fundamental dos modelos atuais, que tratam o sentimento como uma propriedade intrínseca do texto, ignorando que o significado emocional depende frequentemente do contexto (ex: "os números estão subindo" é negativo para inflação, mas positivo para crescimento econômico).

1. O Problema

Limitação dos Modelos Atuais: Os classificadores de sentimento indonésios existentes (como os baseados em BERT, RoBERTa e IndoBERT fine-tunados no conjunto de dados SmSA do IndoNLU) operam de forma isolada. Eles recebem apenas um texto e tentam prever se é positivo, negativo ou neutro.
Falha de Domínio: Esses modelos foram treinados principalmente em resenhas de produtos, onde o vocabulário de sentimento é explícito (ex: "bom", "ruim"). No entanto, em notícias e mídias sociais sobre questões públicas, o sentimento é frequentemente implícito e dependente do tópico.
- Exemplo: A frase "KPK prende o regente que desviou fundos" contém palavras como "presos" e "corrupção" (geralmente negativas), mas o sentimento geral é positivo no contexto de combate à corrupção. Modelos sem contexto tendem a classificar isso erroneamente como neutro ou negativo.

2. Metodologia

Arquitetura

Base: O modelo utiliza o IndoBERT Large (335 milhões de parâmetros) com uma camada de classificação no topo.
Formato de Entrada: O modelo segue a mesma arquitetura usada anteriormente para classificação de relevância: [CLS] contexto [SEP] texto [SEP].
- O contexto é uma breve descrição do tópico (ex: "Crescimento econômico da Indonésia").
- O texto é a frase ou notícia a ser analisada.
Saída: O vetor de representação [CLS] é mapeado para três classes: Negativo, Neutro e Positivo.

Conjunto de Dados (Dataset)

Reutilização e Reetiquetagem: Os autores reutilizaram o conjunto de dados de 31.360 pares (contexto-texto) criado para o modelo IndoBERT-Relevancy.
Escala: O dataset abrange 188 tópicos em 12 domínios temáticos, incluindo manchetes de notícias formais, postagens informais de redes sociais e referências implícitas geradas por LLMs.
Processo de Rótulo: Os pares foram reetiquetados para sentimento usando o GPT-4o-mini com temperatura 0.0.
- Distribuição: Neutro (55,2%), Negativo (33,0%) e Positivo (11,8%). A classe "Positivo" é minoritária, refletindo a realidade de textos factuais vs. opinativos.
Tratamento de Desequilíbrio: Foi utilizada ponderação de classe inversa à frequência durante o treinamento para mitigar o viés contra a classe minoritária (Positivo).

Treinamento

Configuração: 5 épocas, taxa de aprendizado de $2 \times 10^{-5}$ , tamanho de lote 16, sequência máxima de 256 tokens.
Hardware: Treinado em uma única GPU NVIDIA RTX 3090 em cerca de 30 minutos.
Validação: Uso de validação estratificada (15%) com early stopping baseado no F1 macro.

3. Contribuições Principais

Transferência de Tarefa: Demonstra que a abordagem de classificação condicionada ao contexto, originalmente desenvolvida para relevância, transfere-se eficazmente para análise de sentimento usando a mesma arquitetura e dataset reetiquetado.
Benchmark Comparativo: Realizou uma avaliação direta ("head-to-head") contra os três modelos indonésios de propósito geral mais baixados no HuggingFace, provando a superioridade do condicionamento de contexto.
Disponibilidade Pública: Lançamento de modelos públicos para classificação de sentimento indonésio condicionada ao contexto, disponíveis em duas variantes:
- Três classes: Negativo/Neutro/Positivo.
- Binária: Negativo/Positivo (focada em detecção de polaridade).

4. Resultados

Desempenho Geral

Em um conjunto de teste de 4.704 amostras, o IndoBERT-Sentiment superou significativamente os modelos de base (baselines):

Acurácia: 88,1% (vs. ~62% dos baselines).
F1 Macro: 0,856 (vs. 0,487–0,501 dos baselines).
Melhoria: O modelo superou o melhor baseline em 35,6 pontos no F1 macro.

Desempenho por Classe (O "Gap" Positivo)

A melhoria mais dramática ocorreu na classe Positiva:

Baselines: F1 entre 0,135 e 0,211 (falham em identificar corretamente menos de 1 em 5 textos positivos).
IndoBERT-Sentiment: F1 de 0,791.
Análise: Os modelos baselines falham porque não reconhecem que palavras factuais (ex: "cresceu 5,2%", "conseguiu", "inaugurado") são positivas apenas dentro de um contexto específico. Sem o contexto, eles as tratam como neutras.

Versão Binária

Para casos de uso que exigem apenas detecção de polaridade (sem a classe neutra), a variante binária alcançou:

Acurácia: 96,06%
F1 Macro: 0,949

5. Significado e Conclusão

O artigo conclui que o condicionamento de contexto não é apenas uma melhoria marginal, mas uma mudança qualitativa na capacidade de análise de sentimento para textos complexos (notícias e redes sociais).

Mudança de Paradigma: O sentimento não é uma propriedade do texto, mas uma relação entre o texto e o tópico.
Eficiência: A mesma arquitetura e conjunto de dados podem servir a múltiplas tarefas (relevância, sentimento, detecção de toxicidade dependente de contexto) apenas alterando os rótulos de treinamento.
Aplicabilidade: O modelo é particularmente útil para monitoramento de mídia social e análise de opinião pública, onde a interpretação correta depende inteiramente de saber "sobre o que" se está falando.

Em resumo, o IndoBERT-Sentiment estabelece um novo estado da arte para análise de sentimento em indonésio ao demonstrar que fornecer o contexto tópico ao modelo é essencial para superar as limitações dos modelos de propósito geral treinados apenas em resenhas de produtos.