XAI-enhanced Comparative Opinion Mining via Aspect-based Scoring and Semantic Reasoning

1. Problema e Motivação

O artigo aborda o desafio da Mineração de Opinião Comparativa, especificamente a tarefa de comparar produtos com base em avaliações de usuários. Existem dois principais obstáculos identificados pelos autores:

• Comparações Implícitas e Ruído: Muitas vezes, as comparações não são explícitas (ex: "O produto A é melhor que o B"), mas sim implícitas, distribuídas entre múltiplas avaliações de um mesmo usuário. Comparar avaliações de usuários diferentes é problemático devido a variações subjetivas (estilo linguístico, rigor na pontuação), o que gera ruído. O foco do trabalho é a configuração de mesmo usuário para isolar preferências em uma base personalizada estável.
• Falta de Transparência (Caixa Preta): Modelos baseados em Transformers e Deep Learning atuais alcançam alto desempenho, mas operam como "caixas pretas". Eles fornecem conclusões comparativas sem explicar o raciocínio subjacente, o que reduz a confiança do usuário, especialmente em decisões de compra baseadas em atributos específicos do produto.

2. Metodologia: O Modelo XCom

Os autores propõem o XCom, um modelo baseado em Transformers que integra mineração de opiniões comparativas com Inteligibilidade Explicável (XAI). A arquitetura é dividida em três fases principais:

A. Pré-processamento Baseado em Aspectos

• O par de avaliações de um mesmo usuário é convertido em pares de frases estruturadas por aspecto (ex: aparência, aroma, paladar, sabor).
• Utilizam-se classificadores BERT treinados especificamente para cada aspecto para extrair e agrupar as frases relevantes de cada avaliação, criando tuplas estruturadas para comparação.

B. Classificação de Opinião Comparativa

O núcleo do modelo utiliza dois classificadores paralelos que processam os pares de frases:

1. Classificador Baseado em Pontuação (Score-based):
   • Calcula uma pontuação de rating para cada frase. Se a frase contiver adjetivos, a pontuação é a média dos sentimentos desses adjetivos.
   • Se não houver adjetivos, utiliza vetores TF-IDF alimentados em um regressor XGBoost para prever a pontuação.
   • A pontuação final do aspecto para uma avaliação é determinada pela menor pontuação entre suas frases (abordagem conservadora).
   • Essas pontuações são concatenadas e processadas por um Encoder Transformer para gerar embeddings de classificação.
2. Classificador Baseado em Semântica (Semantic-based):
   • Processa diretamente os pares de frases brutas para capturar relações semânticas profundas usando um Encoder Transformer.

Fusão e Predição: As distribuições de probabilidade de ambos os classificadores (baseado em pontuação e semântico) são somadas para gerar a distribuição final, prevendo se o primeiro produto é "melhor", "pior" ou "similar" ao segundo.

C. Explicação Baseada em SHAP (XAI)

• Para resolver o problema da falta de transparência, o XCom integra o SHAP (SHapley Additive exPlanations).
• O SHAP atribui valores de importância a cada token (palavra) na entrada, quantificando sua contribuição para a decisão final do modelo.
• Isso transforma o sistema de uma "caixa preta" para uma "caixa branca", permitindo visualizar quais palavras (ex: "wonderful", "balanced") impulsionaram a decisão de que um produto é superior ao outro em um aspecto específico.

3. Contribuições Principais

1. Arquitetura Híbrida XCom: Integração de previsão de rating baseada em aspectos com análise semântica profunda para lidar com comparações implícitas no mesmo usuário.
2. Interpretabilidade via SHAP: Implementação de uma fase de explicação que destaca os fatores-chave (tokens) que influenciam a decisão comparativa, aumentando a confiança do usuário.
3. Abordagem de Mesmo Usuário: Foco estratégico em mitigar o ruído de variações comportamentais entre diferentes usuários, isolando preferências em uma linha de base personalizada.
4. Eficiência Computacional: O modelo é significativamente mais leve e rápido de treinar (aprox. 10 horas) em comparação com Grandes Modelos de Linguagem (LLMs) genéricos, que exigem 40-80 horas e recursos massivos.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados SUDO (focado em avaliações de cerveja), que contém pares de avaliações do mesmo usuário anotados em quatro aspectos.

• Desempenho Geral: O XCom alcançou o melhor desempenho entre todas as baselines (incluindo SVM, XGBoost, BART, T5 e LLMs como Llama-3 e ChatGPT).
  • F1 Macro: ~58.56% (superando o segundo melhor, T5, em quase 3 pontos).
  • F1 Micro: ~58.38%.
• Comparação com LLMs: Modelos de propósito geral (LLMs) tiveram desempenho significativamente inferior (F1 Micro entre 28% e 49%), demonstrando que a mineração comparativa de granularidade fina requer entendimento estrutural que prompts zero-shot não fornecem.
• Análise de Componentes:
  • O módulo de classificação de aspectos teve alta precisão (>90%).
  • A extração da opinião comparativa foi o gargalo (~60%), indicando que a propagação de erros entre módulos afeta o resultado final.
• Validação da Explicabilidade:
  • A análise SHAP mostrou que remover os tokens mais importantes (top-k) causou uma queda imediata no desempenho, provando que o modelo está focando nas palavras corretas.
  • O modelo demonstrou capacidade de entender o contexto: a palavra "beautiful" (bonito) teve impacto negativo na avaliação de "sabor" (pois não é um descritor comum de sabor), mas impacto positivo na avaliação de "aparência".

5. Significado e Limitações

Significado:
O trabalho demonstra que é possível construir sistemas de mineração de opinião comparativa que não apenas são precisos, mas também explicáveis e eficientes. A capacidade de justificar por que um produto foi classificado como superior em um aspecto específico torna a ferramenta mais confiável para tomada de decisão no varejo e recomendação.

Limitações e Trabalhos Futuros:

• Propagação de Erros: A arquitetura modular pode propagar erros de um estágio para outro (ex: classificação errada de aspecto leva a comparação errada). Futuras versões podem explorar aprendizado conjunto (joint learning).
• Interpretabilidade para Não-Especialistas: As explicações SHAP ainda podem ser complexas para usuários leigos; busca-se melhorar a usabilidade visual.
• Alinhamento Estruturado: O SHAP atual destaca termos importantes, mas não cria um alinhamento direto e estruturado entre termos opostos de duas avaliações diferentes.
• Generalização de Domínio: O modelo foi testado principalmente em dados de cerveja; a generalização para outros domínios de produtos precisa de validação.
• Linguagem Informal: O modelo ainda luta com gírias e estilos informais que não estão no dicionário de pontuação.

Em resumo, o XCom representa um avanço significativo ao combinar a precisão dos modelos Transformers com a transparência necessária para aplicações do mundo real, oferecendo uma alternativa viável e eficiente aos grandes modelos de linguagem para tarefas de comparação de produtos.