Beyond the Star Rating: A Scalable Framework for Aspect-Based Sentiment Analysis Using LLMs and Text Classification

Resumo Técnico: Um Framework Escalável para Análise de Sentimento Baseada em Aspectos (ABSA) usando LLMs e Classificação de Texto

1. Problema e Motivação

As plataformas de avaliações online (como o Yelp) tornaram-se fontes cruciais para a tomada de decisões de consumidores e gestores de negócios, especialmente no setor de hospitalidade. No entanto, analisar milhões de avaliações não estruturadas manualmente é inviável.

• Desafio Principal: Embora os Grandes Modelos de Linguagem (LLMs) demonstrem grande potencial para a compreensão de linguagem natural, sua aplicação direta em escala massiva (milhões de avaliações) é limitada por custos computacionais elevados e preocupações de escalabilidade.
• Objetivo: Desenvolver uma abordagem híbrida que utilize LLMs para a identificação de aspectos (temas) e métodos clássicos de aprendizado de máquina para a classificação de sentimentos em larga escala, permitindo uma Análise de Sentimento Baseada em Aspectos (ABSA) automatizada, econômica e escalável.

2. Metodologia

O estudo propõe um pipeline híbrido dividido em três fases principais:

A. Descoberta de Aspectos e Consistência (Uso de LLMs)

• Amostragem: Foram selecionadas 600 avaliações de restaurantes (30 restaurantes × 20 avaliações cada).
• Identificação: Dois modelos de LLM (ChatGPT-4o e ChatGPT-4o mini) foram usados para identificar aspectos-chave da experiência gastronômica.
• Resultados da Identificação: Os modelos concordaram consistentemente em seis aspectos principais: Serviço, Qualidade da Comida, Ambiente/Ambiente, Tempo de Espera, Preço e Variedade do Cardápio.
• Validação: Uma análise comparativa com modelagem de tópicos (LDA) foi realizada, mas o LDA mostrou-se menos específico para aspectos concretos, validando a escolha dos aspectos extraídos pelo LLM.

B. Criação de Dados Rotulados e Treinamento

• Dataset de Treino: 5.000 avaliações foram amostradas e rotuladas manualmente por cinco anotadores para os seis aspectos identificados.
• Esquema de Sentimento: As avaliações foram classificadas como Positivas (+1), Neutras (0) ou Negativas (-1). Avaliações que não mencionavam um aspecto específico foram marcadas como "Irrelevantes" (N/A).
• Confiabilidade: Foi medida a concordância inter-avaliadores (Fleiss' Kappa), mostrando concordância substancial a quase perfeita na maioria dos aspectos (ex: Preço κ=0.943, Qualidade da Comida κ=0.774).

C. Arquitetura de Classificação e Escala

• Pré-processamento: Vetorização de texto usando TF-IDF e fastText (com embeddings treinados em todo o corpus de 4,7 milhões de avaliações).
• Arquiteturas Comparadas:
  1. Classificador de Uma Etapa (One-Stage): Trata a irrelevância como uma classe "Neutra" e classifica diretamente em 3 classes (-1, 0, 1).
  2. Classificador de Duas Etapas (Two-Stage):
     • Etapa 1: Classifica se o aspecto é relevante ou irrelevante.
     • Etapa 2: Classifica o sentimento (Negativo, Neutro, Positivo) apenas para as avaliações relevantes.
• Modelos Testados: Naive Bayes, Regressão Logística, Random Forest e SVM.
• Seleção Final: A Regressão Logística com fastText foi selecionada como o modelo final devido ao equilíbrio entre precisão, robustez e eficiência computacional (o SVM foi muito lento para o dataset completo).

D. Análise de Regressão

• As previsões de sentimento foram agregadas no nível do restaurante para criar médias por aspecto.
• Um modelo de regressão linear foi ajustado para explicar a variância das classificações gerais (1-5 estrelas) dos restaurantes, controlando por tipo de culinária e estado geográfico.

3. Resultados Principais

• Desempenho de Classificação:

  • O classificador de uma etapa superou consistentemente o de duas etapas em termos de precisão geral e capacidade de detectar a classe neutra/irrelevante.
  • O classificador de duas etapas melhorou a detecção de sentimentos negativos, mas sofreu uma queda significativa na detecção de classes neutras.
  • Testes de McNemar confirmaram que o classificador de uma etapa é estatisticamente superior para a maioria dos aspectos.

• Impacto nas Classificações Gerais (Regressão):

  • O modelo explicou mais de 81% da variância nas classificações gerais dos restaurantes ($R^2 \approx 0.819$).
  • Fatores Determinantes:
    1. Qualidade da Comida: O preditor mais forte (coeficiente $\approx 1.58$).
    2. Serviço: Segundo fator mais importante (coeficiente $\approx 0.75$).
    3. Variedade do Cardápio: Relação positiva significativa.
    4. Tempo de Espera: Relação positiva pequena (sugerindo que longas esperas podem indicar alta demanda/prova social, e não necessariamente insatisfação).
    5. Ambiente: Surpreendentemente, mostrou uma relação negativa com a classificação geral (coeficiente $\approx -0.30$), possivelmente devido à variabilidade na percepção humana desse aspecto ou à correlação com outros fatores não capturados.
    6. Preço: Não mostrou significância estatística direta na maioria dos modelos.

• Variáveis de Controle:

  • Culinária: Restaurantes italianos e chineses tiveram associações positivas significativas com classificações mais altas em comparação com a culinária americana (referência).
  • Geografia: Houve variações regionais significativas, com estados como Montana e Nova Jersey mostrando efeitos positivos nas classificações.

4. Contribuições Chave

1. Framework Híbrido Escalável: Propõe uma arquitetura que combina a capacidade de descoberta de temas de LLMs (para definir o esquema de aspectos) com a eficiência de custo de classificadores de aprendizado de máquina tradicionais (para processar milhões de dados).
2. Validação em Larga Escala: Demonstra empiricamente que aspectos e sentimentos extraídos automaticamente de 4,7 milhões de avaliações podem explicar a maior parte da variância nas classificações gerais, validando a utilidade prática da ABSA automatizada.
3. Insights Quantitativos: Fornece uma hierarquia quantitativa da importância dos aspectos (Comida > Serviço > Variedade > Tempo > Ambiente) para a satisfação do cliente em restaurantes, desafiando algumas intuições anteriores (como o impacto negativo do ambiente neste dataset específico).

5. Significado e Implicações

• Para a Indústria de Hospitalidade: Oferece uma ferramenta prática para gestores entenderem quais aspectos específicos estão impulsionando ou prejudicando suas classificações, permitindo intervenções mais direcionadas do que apenas olhar para a "estrela" média.
• Para Pesquisadores: Demonstra que não é necessário usar LLMs caros para classificar cada texto individualmente em grandes volumes; uma abordagem de "LLM para definição de esquema + ML para execução" é mais eficiente.
• Aplicabilidade: O framework pode ser adaptado para outros setores de serviços (varejo, saúde), onde o feedback do cliente é abundante e não estruturado.

Limitações e Trabalhos Futuros

• O estudo focou em apenas seis aspectos identificados, podendo ignorar outras dimensões da experiência.
• Viés potencial na rotulagem manual e na cobertura geográfica dos dados do Yelp.
• Futuras pesquisas podem explorar modelos híbridos que combinam as melhores características dos classificadores de uma e duas etapas, ou aplicar o framework a outras plataformas (Google, TripAdvisor) e analisar tendências temporais (ex: impacto da pandemia).