Language-Specific Sentiment Polarity Biases in Encoder and Large Language Model Classification of Product Reviews

Resumo Técnico: Viés de Polaridade Linguística Específica em Classificação de Avaliações de Produtos por Codificadores e Grandes Modelos de Linguagem

Definição do Problema
Embora os sistemas de análise de sentimento sejam amplamente implantados para mineração de opinião multilíngue, assume-se frequentemente que sua confiabilidade é consistente entre as classes de sentimento (positivo vs. negativo). No entanto, pesquisas anteriores sugerem que os modelos podem exibir vieses de polaridade — diferenças sistemáticas na precisão entre classificações positivas e negativas. A natureza específica desses vieses permanece incerta no que diz respeito à sua interação com diferentes arquiteturas de modelos (apenas codificador vs. Grandes Modelos de Linguagem baseados em decodificador) e contextos linguísticos/culturais distintos. Este estudo investiga se a precisão da classificação de sentimento difere significativamente entre avaliações positivas e negativas, e se esses vieses são específicos tanto da arquitetura do modelo quanto da língua alvo, particularmente em línguas tipologicamente distintas como o francês e o japonês.

Metodologia
O estudo utilizou o Amazon Multilingual Reviews Corpus, extraindo um conjunto de dados equilibrado de 500 avaliações por idioma (250 positivas, 250 negativas) para o francês e o japonês. As avaliações positivas foram definidas como classificações de 4 a 5 estrelas, e as negativas como 1 a 2 estrelas.

Quatro modelos foram avaliados:

1. Modelo de Codificador: mDeBERTa-v3 (um codificador multilíngue ajustado em MultiNLI e XNLI), utilizando uma abordagem de Inferência de Linguagem Natural (NLI) zero-shot, onde as avaliações eram avaliadas contra templates de hipótese ("O sentimento é positivo/negativo").
2. Grandes Modelos de Linguagem (LLMs): Claude Opus 4.6, GPT-5.4 e Gemini 3.1 Pro, instigados (prompted) a classificar o sentimento com uma resposta de uma única palavra.

Análise e Métricas:

• Teste Estatístico: Testes de Qui-quadrado de independência (com correção de continuidade de Yates) foram usados para determinar se as diferenças de precisão entre as classes positiva e negativa eram estatisticamente significativas dentro de cada par modelo-idioma.
• Tamanho do Efeito: O V de Cramér foi calculado para medir a magnitude da associação.
• Análise de Erro: Matrizes de confusão foram analisadas para distinguir entre Falsos Negativos (avaliações positivas classificadas incorretamente como negativas) e Falsos Positivos (avaliações negativas classificadas incorretamente como positivas).
• Revisão Qualitativa: As avaliações classificadas incorretamente foram analisadas manualmente para identificar características linguísticas (ex: crítica indireta, marcadores de sentimento misto) que contribuíram para os erros.
• Potencial de Ensemble: A concordância inter-modelo e a sobreposição de erros foram calculadas para avaliar a viabilidade de combinar arquiteturas.

Principais Resultados
O estudo confirmou que os vieses de polaridade de sentimento são tanto específicos de arquitetura quanto de idioma:

• Resultados em Francês (Viés Negativo em LLMs):

  • Todos os três LLMs exibiram um viés negativo estatisticamente significativo, classificando avaliações negativas com maior precisão (99,2%) do que as positivas (91,6%–94,4%).
  • A análise de erro revelou que os LLMs eram 7 a 10 vezes mais propensos a classificar incorretamente avaliações positivas como negativas (Falsos Negativos), muitas vezes devido ao peso excessivo dado a marcadores negativos explícitos (ex: "mais", "problème") em avaliações de sentimento misto.
  • O mDeBERTa não apresentou viés significativo em francês, performando igualmente bem em ambas as classes (~92%).

• Resultados em Japonês (Viés Positivo no Codificador):

  • O mDeBERTa exibiu um viés positivo estatisticamente significativo, alcançando 92,4% de precisão em avaliações positivas versus 84,4% em negativas.
  • O modelo codificador teve dificuldades com a crítica indireta comum na comunicação de alto contexto japonesa (ex: suavização de feedback negativo com enquadramento positivo), levando a uma alta taxa de Falsos Positivos (39 contra 19).
  • Por outro outro lado, os LLMs não mostraram viés significativo em japonês, mantendo uma precisão equilibrada (~95–97%) entre ambas as classes. Eles conseguiram processar o sentimento negativo implícito que o codificador perdeu.

• Descobertas de Ensemble:

  • Os LLMs mostraram alta concordância (98,2%–98,5%) em classificações corretas, mas baixa sobreposição de erros com o mDeBERTa (23,7%–24,7%).
  • Isso sugere que as arquiteturas falham em tipos diferentes de avaliações, implicando que uma abordagem de ensemble (ex: stacking ou roteamento) poderia alcançar uma precisão maior (98,0%) do que qualquer modelo individual.

Significância e Alegações
O artigo afirma que confiar apenas na precisão global é insuficiente para implantar sistemas de análise de sentimento multilíngues. As descobertas demonstram que:

1. O Viés é Dependente de Contexto: Os vieses de polaridade não são inerentes apenas à arquitetura do modelo, mas emergem da interação entre a arquitetura e os estilos de comunicação específicos de cada idioma (ex: a direta do francês vs. a indireta do japonês).
2. Compensações Arquiteturais: Modelos codificadores (mDeBERTa) podem ter dificuldade com expressões negativas de alto contexto e indiretas, enquanto LLMs podem reagir excessivamente a marcadores negativos explícitos em contextos de sentimento misto.
3. Implicações Práticas: Implantar um único tipo de modelo globalmente pode introduzir erros sistemáticos. Por exemplo, usar apenas LLMs para análise em francês poderia subestimar o sentimento positivo em 5 a 8 pontos percentuais, enquanto usar apenas mDeBERTa para o japonês poderia perder uma parte significativa das reclamações dos clientes.
4. Recomendação: Os autores defendem a avaliação de sistemas de sentimento com base em cada classe de sentimento individualmente, em vez de precisão agregada, e sugerem que métodos de ensemble que aproveitem os padrões de erro complementares de codificadores e LLMs podem mitigar esses vieses.

Limitações Reconhecidas
Os autores observam que o estudo é limitado a dois idiomas (francês e japonês) e ao domínio de avaliações de produtos. Eles alertam que os padrões podem diferir em outros idiomas (particularmente outros idiomas asiáticos de alto contexto) ou domínios (redes sociais, notícias). Além disso, a análise de erro qualitativa foi exploratória e careceu de uma avaliação formal de confiabilidade inter-avaliador.