Learning Human-Aligned Explanations: AMeta-Model Approach to Combining XAIMethods for Arabic Sentiment Analysis

Problema

A Inteligência Artificial Explicável (XAI) visa tornar modelos complexos de "caixa preta", como os Transformers, transparentes. No entanto, os métodos de XAI post-hoc existentes (por exemplo, LIME, SHAP, Integrated Gradients, DeepLIFT) frequentemente produzem resultados inconsistentes porque capturam diferentes aspectos do comportamento do modelo. Abordagens de ensemble anteriores, incluindo o trabalho anterior dos autores, tentaram combinar esses métodos usando estratégias de agregação fixas (por exemplo, média simples ou médias ponderadas). Essas estratégias fixas sofrem de duas limitações principais:

1. Elas dependem de pesos definidos manualmente que não refletem as preferências humanas.
2. Elas falham em capturar interações não lineares entre diferentes métodos de XAI.

Além disso, há uma escassez de pesquisa sobre a agregação de XAI especificamente para a língua árabe, que apresenta desafios únicos devido à complexidade morfológica e variação dialetal. O problema central abordado é a falta de um mecanismo dinâmico e orientado por dados para aprender como combinar saídas de XAI para maximizar o alinhamento com o julgamento humano (plausibilidade), ao mesmo tempo em que reconhece o compromisso inerente com a consistência do modelo (fidelidade).

Metodologia

Os autores propõem um framework de meta-modelo supervisionado projetado para aprender explicações de nível de token alinhadas ao humano para análise de sentimento em árabe. O pipeline consiste em quatro estágios:

1. Preparação e Anotação de Dados:

   • Dataset: Um subconjunto de 303 avaliações de hotéis do TripAdvisor em árabe (160 positivas, 102 negativas, 41 neutras) foi anotado manualmente ao nível de token.
   • Ground Truth (Verdade Fundamental): Os anotadores humanos usaram a plataforma XS2A para atribuir rótulos binários (1 = importante, 0 = não importante) aos tokens que consideraram influentes para o sentimento. Isso resultou em 16.925 instâncias ao nível de token.

2. Construção de Características (Features):
   O meta-modelo recebe um vetor de características rico para cada token, integrando:

   • Scores de XAI: Scores de importância brutos e racionalidades binárias (tokens dos top 25%) do LIME, SHAP, Integrated Gradients (IG), DeepLIFT e um baseline anterior de Ensemble XAI.
   • Estados Internos do Transformer: Pesos de atenção (calculados pela média de todas as camadas/cabeças e especificamente da última camada do token [CLS]) e embeddings contextuais do modelo base (CAMeLBERT-MSA). Os embeddings foram reduzidos de 768 para 10 dimensões usando PCA e UMAP.
   • Características Linguísticas e Estruturais: Tags de parte do discurso (POS), frequência do token, posição do token, comprimento do token, status de subpalavra, pontuação e características ao nível do comentário (polaridade do sentimento, confiança do modelo).

3. Treinamento do Meta-Modelo:
   Três modelos de aprendizado de máquina supervisionados foram treinados para prever o rótulo binário de importância humana com base nas características acima:

   • Regressão Logística: Um baseline linear.
   • XGBoost: Uma árvore de decisão baseada em gradiente boosting capaz de capturar interações não lineares.
   • CatBoost: Um algoritmo otimizado para características categóricas e robusto contra overfitting.
     O dataset foi dividido em 90/10 ao nível de review para evitar vazamento de dados (data leakage), com validação cruzada de 5 dobras (5-fold cross-validation) sendo usada para o ajuste de hiperparâmetros.

4. Avaliação:
   O desempenho foi medido ao longo de duas dimensões:

   • Plausibilidade (Alinhamento Humano): Precisão, Recall, F1-score e Índice de Jaccard contra as anotações humanas.
   • Fidelidade (Consistência do Modelo): Abrangência (Comprehensiveness), Suficiência (Sufficiency), Correlação com Leave-One-Out (LOO), AUC de Inserção/Deleção e uma métrica de Fidelidade Combinada proposta anteriormente.

Principais Contribuições

• Primeira Agregação de XAI Supervisionada pelo Humano em Árabe: Este estudo apresenta a primeira investigação de um framework de meta-modelo supervisionado para aprender explicações de nível de token alentes ao humano, combinando múltiplos métodos de XAI post-hoc especificamente para o PLN (Processamento de Linguagem Natural) em árabe.
• Arquitetura de Meta-Modelo Inovadora: Ao contrário de métodos de ensemble anteriores que utilizam heurísticas fixas, esta abordagem treina um modelo supervisionado para aprender dinamicamente a combinação ideal de scores de XAI, pesos de atenção, embeddings e características linguísticas.
• Caracterização Empírica do Trade-off: O trabalho fornece uma análise empírica fundamentada da tensão entre plausibilidade e fidelidade, quantificando os ganhos em alinhamento humano contra os custos na fidelidade do modelo.

Resultados Experimentais

Plausibilidade (Alinhamento Humano):
Os meta-modelos superaram significativamente os métodos individuais de XAI e a abordagem anterior de ensemble ponderado.

• CatBoost e XGBoost alcançaram o maior desempenho, com um F1-score de 0,84 e um índice de Jaccard de 0,74.
• Isso representa uma melhoria substancial sobre os métodos individuais (LIME, SHAH, IG, DeepLIFT), que variaram entre 0,64 e 0,70 de F1-score.
• Análise de Características: Estudos de ablação revelaram que os embeddings contextuais (reduzidos via UMAP) forneceram o sinal individual mais forte para prever a racionalidade humana. No entanto, os melhores resultados foram alcançados pela fusão de embeddings com scores de XAI, pesos de atenção e características linguísticas.

Fidelidade (Consistência do Modelo):
Embora a plausibilidade tenha melhorado, a fidelidade diminuiu, confirmando um trade-off fundamental.

• A métrica de Fidelidade Combinada para os meta-modelos variou entre 0,54 e 0,61 (CatBoost: 0,60, XGBoost: 0,61).
• Em contraste, o Ensemble XAI (ponderado) e o LIME alcançaram scores de fidelidade mais altos de 0,76.
• A análise qualitativa mostrou que, embora os meta-modelos identifiquem com sucesso palavras que carregam sentimento (ex: "bonito", "mau"), eles às vezes divergem dos tokens específicos nos quais o classificador CAMeLBERT subjacente dependeu mais fortemente (ex: partículas de negação), levando a scores de fidelidade mais baixos.

Significância e Alegações

O artigo afirma oferecer a primeira investigação de agregação de XAI supervisionada pelo humano no domínio do árabe. Sua principal significância reside em demonstrar que aprender a combinar métodos de XAI sob supervisão humana gera explicações que são significativamente mais plausíveis para humanos do que ensembles estáticos ou métodos individuais.

No entanto, os autores concluem modestamente que esse ganho em plausibilidade vem com um custo mensurável de fidelidade. Eles argumentam que esse trade-off é teoricamente coerente: anotadores humanos priorizam termos semanticamente salientes e pragmaticamente interpretáveis, enquanto classificadores Transformer dependem de padrões estatísticos complexos e muitas vezes não intuitivos. O estudo não afirma ter resolvido a tensão entre o alinhamento humano e a fidelidade do modelo, mas sim oferece uma nova metodologia para navegar nela e fornece uma compreensão fundamentada dos desafios fundamentais em XAI para PLN.

Limitações Reconhecidas:

• Escalabilidade: O meta-modelo é específico para o modelo CAMeLBERT, o dataset do TripAdvisor e a tarefa de análise de sentimento; requer retreinamento para diferentes modelos ou domínios.
• Independência de Token: O design atual trata os tokens como instâncias independentes, falhando em capturar dependências entre tokens (ex: escopo de negação ou conectivos de discurso como "mas").
• Sobrecarga Computacional: O pipeline é mais lento, pois exige a execução de múltiplos métodos de XAI e, em seguida, a inferência do meta-modelo para cada token.
• Restrições de Dados: O esforço de anotação foi limitado a 303 reviews por dois anotadores, limitando o poder estatístico e a generalização para dialetos raros.