Resumo Técnico: Fault of Our Stars – Drivers Comportamentais da Incongruência entre Avaliação e Sentimento

Declaração do Problema

No domínio do Processamento de Linguagem Natural (PLN) e da análise de turismo, as avaliações por estrelas são frequentemente utilizadas como convenientes "rótulos fracos" (weak labels) para representar o sentimento do texto da avaliação acompanhante. Este estudo desafia a premissa de que as classificações numéricas e as avaliações escritas se alinham consistentemente. O problema central abordado é a incongruência entre sentimento e classificação, onde a polaridade do sentimento inferida do texto da avaliação difere do sentimento implícito na classificação de estrelas atribuída. Tratar as classificações como rótulos de verdade absoluta (ground-truth) sem validação introduz dados ruidosos ou enviesados pelo contexto nos pipelines de análise de sentimento, podendo fazer com que os modelos aprendam padrões distorcidos em vez de um sentimento linguístico real. Esta questão é particularmente crítica em contextos turísticos sub-representados, como atrações do Sri Lanka, onde as expectativas culturais e os tipos de locais podem influenciar o comportamento de avaliação de forma diferente do que em setores estabelecidos de hotéis ou restaurantes.

Metodologia

O estudo emprega uma estrutura de múltiplos estágios combinando inferência de PLN baseada em transformers com análise estatística e de aprendizado de máquina para investigar a divergência entre classificação e texto.

1. Conjunto de Dados e Pré-processamento:

   • Fonte: Um conjunto de dados de 15.156 avaliações de atrações turísticas do Sri Lanka (2010–2023) cobrindo 11 tipos de atrações.
   • Estratégia de Rotulagem: As classificações por estrelas foram agrupadas em três classes: Negativa (1–2 estrelas), Neutra (3 estrelas) e Positiva (4–5 estrelas).
   • Engenharia de Atributos: As variáveis incluíram o comprimento da avaliação, o atraso da avaliação (review delay – tempo entre a visita e a postagem), o ano da viagem, o tipo de local e o nível do revisor (categorizado pelo número de contribuições: Novato, Casual, Ativo, Especialista).

2. Seleção do Modelo de Sentimento:

   • Para derivar o sentimento textual independentemente das classificações, quatro modelos baseados em transformers foram avaliados em um subconjunto rotulado manualmente de 1.000 avaliações.
   • Critérios de Seleção: O desempenho foi avaliado usando Macro F1, Acurácia e Weighted F1.
   • Resultado: O modelo pré-treinado cardiffnlp/twitter-roberta-base-sentiment foi selecionado por apresentar o melhor equilíbrio entre desempenho de classificação e generalização (Macro F1: 0,692), evitando riscos de overfitting associados ao ajuste fino (fine-tuning) em conjuntos de dados pequenos.

3. Tipologia de Incongruência:

   • As discrepâncias entre o sentimento do texto inferido pelo modelo e a classe de classificação agrupada foram categorizadas em seis padrões direcionais:
     • Conservative Rater (Avaliador Conservador): Texto positivo, classificação moderada.
     • Obligatory 5-Star (5 Estrelas Obrigatório): Texto negativo/neutro, classificação de 5 estrelas.
     • Harsh Deflator (Deflator Severo): Texto positivo, classificação baixa.
     • Polite Inflator (Inflador Polido): Texto negativo, classificação alta.
     • Frustrated Neutral (Neutro Frustrado): Texto negativo, classificação neutra.
     • Punitive Rater (Avaliador Punitivo): Texto positivo, classificação de 1 estrela.

4. Modelagem Estatística e Preditiva:

   • Análise Bivariada: Testes de Qui-quadrado e Mann–Whitney U com correção de Benjamini–Hochberg identificaram preditores significativos.
   • Modelos Preditivos: Regressão Logística (linha de base linear) e Floresta Aleatória (Random Forest - estrutura não linear) foram utilizados para modelar a probabilidade de incongruência.
   • Interpretação: Valores SHAP (SHapley Additive exPlanations) foram aplicados post-hoc ao modelo de Floresta Aleatória para interpretar a importância dos atributos.

Principais Resultados

• Prevalência: A incongruência ocorre em 18,6% das avaliações analisadas (3.005 instâncias), indicando que aproximadamente uma em cada cinco avaliações contém uma incompatibilidade entre o texto e a classificação.
• Padrões Direcionais: As discrepâncias não são ruído aleatório, mas seguem uma tipologia estruturada. Os padrões Conservative Rater (38,4%) e Obligatory 5-Star (28,3%) representam quase dois terços (66,7%) de todos os casos de incongruência.
• Variância por Tipo de Local: As taxas de incongruência variam significamente por tipo de atração. Museus exibem a maior taxa de incongruência (26,3%), enquanto Parques Nacionais apresentam a menor (12,8%). Museus são mais que duas vezes mais propensos à incongruência em comparação aos Parques Nacionais.
• Expertise do Revisor: Revisores especialistas (101+ contribuições) têm 1,97 vezes mais probabilidade de produzir avaliações incongruentes do que novatos. Especificamente, o padrão "Conservative Rater" aumenta de 27,4% entre novatos para 40,4% entre especialistas, sugerindo que usuários experientes calibram suas pontuações numéricas de forma mais rigorosa do que seus elogios escritos.
• Tendências Temporais: Há um declínio linear modesto, mas consistente, na incongruência ao longo do tempo, sugerindo que avaliações recentes mostram maior alinhamento entre o sentimento do texto e as classificações por estrelas.
• Desempenho do Modelo: Tanto a Regressão Logística (AUC ≈ 0,584) quanto a Floresta Aleatória (AUC ≈ 0,609) demonstraram um desempenho preditivo modesto, indicando que, embora fatores como tipo de local e expertise sejam significativos, uma parte substancial da incongruência é impulsionada por fatores comportamentais ou contextuais latentes e não mensurados.

Significância e Alegações

O artigo argumenta que a incongruência entre sentimento e classificação é um sinal sistemático e dependente de contexto, e não um ruído aleatório. Suas principais contribuições e implicações são:

1. Reavaliação de Rótulos Fracos: O estudo demonstra que as classificações por estrelas não são intercambiáveis com o sentimento textual. O uso de classificações como rótulos de verdade absoluta para treinar modelos de análise de sentimento sem validação introduz ruído de rótulo sistemático, particularmente em contextos turísticos diversos.
2. Análise Sensível ao Contexto: Os achados destacam que a confiabilidade da classificação não é uniforme; ela é fortemente influenciada pelo tipo de local (ex: museus vs. parques) e pela expertise do revisor. Isso exige abordagens de análise de sentimento sensíveis ao contexto que validem a confiabilidade do rótulo fraco antes do treinamento do modelo.
3. Insights Comportamentais: A identificação de padrões direcionais específicos (ex: "Conservative Rater") fornece uma estrutura para entender como e por que ocorrem as incompatibilidades, indo além das simples classificações binárias de correspondência/não correspondência.
4. Rigor Metodológico: Ao utilizar inferência baseada em transformers independente das classificações, o estudo oferece um método robusto para detectar incongruência em cenários de baixos recursos, desafiando suposições anteriores na literatura de análise de sentimento de baixos recursos que dependem fortemente de rótulos derivados de classificações.

Os autores concluem que, tanto para a pesquisa em PLN quanto para a análise de turismo, tratar o sentimento e a classificação como sinais distintos e complementares é essencial para uma análise precisa, e que os rótulos baseados em classificações devem ser escrutinados quanto ao viés específico do domínio antes de serem utilizados como verdade absoluta (ground truth).