XAI-enhanced Comparative Opinion Mining via Aspect-based Scoring and Semantic Reasoning

Resumen Técnico: XCom

1. Problema Definido

La minería de opiniones comparativas busca extraer preferencias entre productos a partir de reseñas de usuarios. Sin embargo, existen dos desafíos principales que limitan la efectividad de los modelos actuales:

• Opiniones Implícitas y Ruido: A diferencia de las comparaciones explícitas (ej. "El producto A es mejor que el B"), las opiniones implícitas están dispersas en múltiples reseñas y requieren razonamiento contextual. Además, comparar reseñas de diferentes usuarios introduce ruido debido a variaciones en el estilo lingüístico, la severidad en la calificación (usuarios estrictos vs. permisivos) y la ponderación personalizada de aspectos.
• Falta de Transparencia (Caja Negra): Los modelos basados en transformadores (Transformers) y Grandes Modelos de Lenguaje (LLMs) logran buen rendimiento pero operan como "cajas negras". La falta de explicabilidad sobre por qué el modelo toma una decisión comparativa reduce la confianza del usuario, especialmente en decisiones de compra finas basadas en atributos específicos.

2. Metodología Propuesta: XCom

Los autores proponen XCom, un modelo basado en arquitecturas Transformer que integra la predicción de calificaciones por aspecto y el análisis semántico, potenciado por una fase de explicabilidad mediante SHAP (SHapley Additive exPlanations).

El modelo se estructura en tres fases principales:

• A. Pre-procesamiento Basado en Aspectos:

  • Se toman pares de reseñas del mismo usuario para eliminar sesgos interpersonales.
  • Se utilizan clasificadores BERT entrenados específicamente para cada aspecto (Apariencia, Aroma, Paladar, Sabor) para segmentar las reseñas en oraciones relevantes.
  • El resultado es un conjunto estructurado de pares de oraciones $(s^1_a, s^2_a)$ para cada aspecto $a$.

• B. Clasificación de Opiniones Comparativas (Dos Vías):

  1. Clasificador Basado en Puntuación (Score-based):
     • Calcula una puntuación de calificación para cada oración promediando los scores de sentimiento de los adjetivos.
     • Si no hay adjetivos, utiliza vectores TF-IDF alimentados a un regresor XGBoost para predecir la puntuación.
     • La puntuación final del aspecto es el mínimo de las puntuaciones de las oraciones (enfoque conservador).
     • Estas puntuaciones se concatenan y se pasan a un codificador Transformer para obtener embeddings de calificación.
  2. Clasificador Basado en Semántica (Semantic-based):
     • Procesa directamente los pares de oraciones extraídas mediante un codificador Transformer para capturar relaciones semánticas profundas.
  • Fusión: Se combinan las distribuciones de probabilidad de ambos clasificadores (suma de probabilidades) para obtener la predicción final de la clase comparativa: Mejor, Peor o Similar.

• C. Explicabilidad con SHAP:

  • Se integra un módulo SHAP para atribuir la importancia de cada token (palabra) en la decisión del modelo.
  • Esto transforma el sistema de "caja negra" a "caja blanca", identificando qué palabras específicas (ej. "wonderful", "balanced") impulsaron la predicción de que un producto es superior en un aspecto concreto.

3. Contribuciones Clave

• Enfoque de Mismo Usuario: Mitiga el ruido de las variaciones individuales al comparar solo reseñas del mismo autor, estableciendo una línea base personalizada y estable.
• Arquitectura Híbrida: Combina la precisión de la puntuación basada en reglas léxicas (adjetivos/XGBoost) con la capacidad de generalización semántica de los Transformers.
• Explicabilidad Integrada (XAI): No solo predice, sino que justifica la decisión comparativa mediante valores de Shapley, mostrando qué tokens influyeron positivamente o negativamente en el resultado.
• Eficiencia Computacional: A diferencia de los LLMs masivos, XCom utiliza codificadores BERT (~110M parámetros), logrando un rendimiento superior con un costo de entrenamiento y inferencia significativamente menor.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos SUDO (reseñas de cerveza), que contiene pares de reseñas implícitas.

• Rendimiento General: XCom superó a todos los baselines (incluyendo SVM, XGBoost, BART, T5 y LLMs como Llama-3 y ChatGPT).
  • Logró un F1 Macro promedio de 58.56%, superando al segundo mejor modelo (T5 ajustado) en casi 3 puntos.
  • Los LLMs de propósito general mostraron un rendimiento muy inferior (F1 Micro entre 28% y 49%), demostrando que la comparación fina requiere comprensión estructural que los prompts zero-shot no pueden ofrecer.
• Desempeño por Aspecto:
  • Los aspectos "Sabor" (Taste) y "Apariencia" (Appearance) obtuvieron los mejores resultados (>60% F1).
  • "Paladar" (Palate) tuvo el rendimiento más bajo debido a la ambigüedad y superposición de expresiones.
• Validación de Explicabilidad:
  • Se demostró que SHAP identifica correctamente las palabras clave. Al eliminar los top-k tokens más importantes según SHAP, el rendimiento del modelo cae drásticamente, mientras que eliminar los menos importantes tiene poco efecto.
  • El modelo mostró capacidad para distinguir el contexto: la palabra "beautiful" (hermoso) tuvo un impacto negativo en la evaluación de "Sabor" (porque no es un adjetivo típico de sabor) pero positivo en "Apariencia".

5. Significado e Impacto

• Confianza del Usuario: Al proporcionar explicaciones basadas en tokens específicos, XCom permite a los usuarios entender la lógica detrás de una recomendación comparativa, fomentando la adopción en sistemas de recomendación y análisis de mercado.
• Viabilidad Práctica: Demuestra que no es necesario utilizar modelos masivos y costosos para tareas de minería de opiniones complejas; una arquitectura especializada y eficiente puede superar a los LLMs generales.
• Limitaciones y Futuro: El modelo aún sufre de errores en cascada (si la clasificación de aspecto falla, la comparación falla) y dificultades con la ambigüedad léxica o estilos informales. Los autores proponen futuras mejoras mediante aprendizaje conjunto (end-to-end), gráficos de explicación para alinear términos entre reseñas y la normalización de lenguaje informal.

En conclusión, XCom representa un avance significativo al equilibrar el rendimiento de alto nivel en la minería de opiniones comparativas implícitas con la necesidad crítica de transparencia y explicabilidad en la Inteligencia Artificial.