Learning Human-Aligned Explanations: AMeta-Model Approach to Combining XAIMethods for Arabic Sentiment Analysis

Planteamiento del Problema

La Inteligencia Artificial Explicable (XAI) tiene como objetivo hacer que los modelos complejos de "caja negra", como los Transformers, sean transparentes. Sin embargo, los métodos de XAI post-hoc existentes (por ejemplo, LIME, SHAP, Integrated Gradients, DeepLIFT) suelen arrojar resultados inconsistentes porque capturan diferentes aspectos del comportamiento del modelo. Los enfoques de ensamble previos, incluyendo el trabajo anterior de los autores, intentaron combinar estos métodos utilizando estrategias de agregación fijas (por ejemplo, promedios simples o promedios ponderados). Estas estrategias fijas sufren de dos limitaciones principales:

1. Dependen de pesos definidos manualmente que no reflejan las preferencias humanas.
2. No logran capturar las interacciones no lineales entre diferentes métodos de XAI.

Además, existe una escasez de investigación con respecto a la agregación de XAI específicamente para la lengua árabe, la cual presenta desafíos únicos debido a su complejidad morfológica y variación dialectal. El problema central abordado es la falta de un mecanismo dinámico y basado en datos para aprender cómo combinar las salidas de XAI para maximizar la alineación con el juicio humano (plausibilidad) mientras se reconoce el compromiso inherente con la consistencia del modelo (fidelidad).

Metodología

Los autores proponen un marco de meta-modelo supervisado diseñado para aprender explicaciones a nivel de token alineadas con humanos para el análisis de sentimiento en árabe. El flujo de trabajo consta de cuatro etapas:

1. Preparación y Anotación de Datos:

   • Conjunto de Datos: Un subconjunto de 303 reseñas de hoteles de TripAdvisor en árabe (160 positivas, 102 negativas, 41 neutrales) fue anotado manualmente a nivel de token.
   • Verdad Fundamental (Ground Truth): Los anotadores humanos utilizaron la plataforma XS2A para asignar etiquetas binarias (1 = importante, 0 = no importante) a los tokens que consideraban influyentes para el sentimiento. Esto resultó en 16,925 instancias a nivel de token.

2. Construcción de Características:
   El meta-modelo toma un vector de características rico para cada token, integrando:

   • Puntuaciones de XAI: Puntuaciones de importancia bruta y racionalidades binarias (tokens del top 25%) de LIME, SHAP, Integrated Gradients (IG), DeepLIFT y un baseline previo de Ensemble XAI.
   • Estados Internos del Transformer: Pesos de atención (promediados a través de todas las capas/cabezales y específicamente desde el token [CLS] de la última capa) y embeddings contextuales del modelo base (CAMeLBERT-MSA). Los embeddings fueron reducidos de 768 a 10 dimensiones mediante PCA y UMAP.
   • Características Lingüísticas y Estructurales: Etiquetas de categorías gramaticales (POS), frecuencia del token, posición del token, longitud del token, estado de subpalabra, puntuación y características a nivel de comentario (polaridad de sentimiento, confianza del modelo).

3. Entrenamiento del Meta-Modelo:
   Se entrenaron tres modelos de aprendizaje automático supervisados para predecir la etiqueta de importancia humana binaria basada en las características anteriores:

   • Regresión Logística: Un baseline lineal.
   • XGBoost: Un árbol de decisión potenciado por gradiente capaz de capturar interacciones no lineales.
   • CatBoost: Un algoritmo optimizado para características categóricas y robusto contra el sobreajuste.
     El conjunto de datos se dividió en 90/10 a nivel de reseña para evitar la fuga de datos (data leakage), utilizándose validación cruzada de 5 pliegues para el ajuste de hiperparámetros.

4. Evaluación:
   El rendimiento se midió a lo largo de dos dimensiones:

   • Plausibilidad (Alineación Humana): Precisión, Recall, F1-score e Índice de Jaccard frente a las anotaciones humanas.
   • Fidelidad (Consistencia del Modelo): Comprensividad, Suficiencia, Correlación con Leave-One-Out (LOO), AUC de Inserción/Eliminación y un métrica de Fidelidad Combinada propuesta previamente.

Contribuciones Clave

• Primera Agregación de XAI Supervisada por Humanos en Árabe: Este estudio presenta la primera investigación de un marco de meta-modelo supervisado para aprender explicaciones a nivel de token alineadas con humanos combinando múltiples métodos de XAI post-hoc específicamente para el PLN en árabe.
• Arquitectura de Meta-Modelo Novedosa: A diferencia de los métodos de ensamble previos que utilizan heurísticas fijas, este enfoque entrena un modelo supervisado para aprender dinámicamente la combinación óptima de puntuaciones de XAI, pesos de atención, embeddings y características lingüísticas.
• Caracterización Empírica del Compromiso (Trade-off): El trabajo proporciona un análisis empírico principista de la tensión entre plausibilidad y fidelidad, cuantificando las ganancias en alineación humana frente a los costos en la fidelidad del modelo.

Resultados Experimentales

Plausibilidad (Alineación Humana):
Los meta-modelos superaron significativamente a los métodos de XAI individuales y al enfoque previo de ensamble ponderado.

• CatBoost y XGBoost alcanzaron el mayor rendimiento, con un F1-score de 0.84 y un índice de Jaccard de 0.74.
• Esto representa una mejora sustancial sobre los métodos individuales (LIME, SHAP, IG, DeepLIFT), que oscilaron entre 0.64 y 0.70 en F1-score.
• Análisis de Características: Los estudios de ablación revelaron que los embeddings contextuales (reducidos vía UMAP) proporcionaron la señal individual más fuerte para predecir la racionalidad humana. Sin embargo, los mejores resultados se lograron fusionando los embeddings con las puntuaciones de XAI, los pesos de atención y las características lingüísticas.

Fidelidad (Consistencia del Modelo):
Mientras que la plausibilidad mejoró, la fidelidad disminuyó, confirmando un compromiso fundamental.

• La métrica de Fidelidad Combinada para los meta-modelos osciló entre 0.54 y 0.61 (CatBoost: 0.60, XGBoost: 0.61).
• En contraste, el Ensemble XAI (ponderado) y LIME lograron puntuaciones de fidelidad más altas de 0.76.
• El análisis cualitativo mostró que, si bien los meta-modelos identificaron con éxito palabras con carga de sentimiento (ej. "hermoso", "malo"), a veces divergieron de los tokens específicos en los que el clasificador CAMeLBERT subyacente dependía más fuertemente (ej. partículas de negación), lo que llevó a puntuaciones de fidelidad más bajas.

Significado y Reivindicaciones

El artículo afirma ofrecer la primera investigación de la agregación de XAI supervisada por humanos en el dominio del árabe. Su principal significancia radica en demostrar que aprender a combinar métodos de XAI bajo supervisión humana produce explicaciones que son significativamente más plausibles para los humanos que los ensambles estáticos o los métodos individuales.

Sin embargo, los autores concluyen modestamente que esta ganancia en plausibilidad viene acompañada de un costo mensurable en la fidelidad. Argumentan que este compromiso es teóricamente coherente: los anotadores humanos priorizan términos semánticamente salientes y pragmáticamente interpretables, mientras que los clasificadores Transformer dependen de patrones estadísticos complejos y, a menudo, no intuitivos. El estudio no pretende haber resuelto la tensión entre la alineación humana y la fidelidad del modelo, sino que ofrece una nueva metodología para navegarla y proporciona una comprensión fundamentada de los desafíos esenciales en la explicabilidad del PLN.

Limitaciones Reconocidas:

• Escalabilidad: El meta-modelo es específico para el modelo CAMeLBERT, el conjunto de datos de TripAdvisor y la tarea de análisis de sentimiento; requiere reentrenamiento para diferentes modelos o dominios.
• Independencia de Tokens: El diseño actual trata los tokens como instancias independientes, fallando en capturar las dependencias entre tokens (ej. el alcance de la negación o conectores discursivos como "pero").
• Sobrecarga Computacional: El flujo de trabajo es más lento, ya que requiere ejecutar múltiples métodos de XAI y luego una inferencia del meta-modelo para cada token.
• Restricciones de Datos: El esfuerzo de anotación se limitó a 303 reseñas por parte de dos anotadores, lo que limita el poder estadístico y la generalizabilidad a dialectos poco comunes.