On the Importance and Evaluation of Narrativity in Natural Language AI Explanations

Resumo Técnico: A Importância e Avaliação da Narratividade em Explicações de IA em Linguagem Natural

1. O Problema

O campo da IA Explicável (XAI) visa tornar os processos de decisão de modelos de aprendizado de máquina transparentes. No entanto, a maioria dos métodos atuais gera explicações técnicas que são inacessíveis a não especialistas. A integração da Geração de Linguagem Natural (NLG) na XAI promete resolver isso, mas as abordagens atuais falham em um ponto crucial: elas produzem explicações descritivas (listas estáticas de importância de características) em vez de explicações narrativas.

• Limitação Atual: As explicações atuais respondem ao "o que" (quais características influenciaram a previsão), mas falham em explicar o "porquê" (a causalidade e a relação entre os fatores).
• Consequência Cognitiva: Ao forçar o usuário a reconstruir mentalmente a "história" a partir de fatos desconexos, esses sistemas minam a transparência e a confiança, ignorando que a narrativa é o mecanismo primário de raciocínio humano.
• Falha de Avaliação: As métricas padrão de Processamento de Linguagem Natural (NLP), como perplexidade e estatísticas de frequência de palavras, são insuficientes. Elas podem ser "enganadas" por textos tautológicos (sem sentido) que possuem baixa perplexidade e alta diversidade lexical, mas zero valor explicativo.

2. Metodologia

Os autores propõem uma mudança de paradigma baseada em insights das ciências sociais e da linguística, definindo quatro propriedades fundamentais que distinguem uma narrativa de uma descrição:

1. Estrutura Contínua: Conexão lógica entre eventos (começo, meio e fim).
2. Mecanismos de Causa-Efeito: Explicação explícita de por que algo aconteceu.
3. Fluência Linguística: Evitar estruturas repetitivas e de lista.
4. Diversidade Lexical: Uso variado de vocabulário, com ênfase em verbos ativos.

Proposta de Métricas Automáticas:
Para quantificar essas propriedades, o artigo introduz sete novas métricas automáticas que superam as limitações das métricas NLP tradicionais:

• Taxa de Estrutura Contínua (CSR): Mede a sensibilidade da perplexidade à reordenação das frases. Narrativas têm maior aumento de perplexidade ao serem embaralhadas.
• Taxa de Progressão de Contexto Ajustada à Diversidade (DCPR): Analisa a taxa de decaimento da perplexidade ao longo do texto, penalizando repetições degeneradas.
• Taxa de Progressão de Contexto Ajustada a Conectivos (CCPR): Pesa a progressão do contexto pela densidade de conectivos discursivos.
• Taxa de Causa-Efeito Ajustada (CECPR): Pesa a progressão do contexto pela presença de marcadores causais explícitos (ex: "como resultado", "devido a").
• Taxa de Fluência-Diversidade (FDR): Combina perplexidade com a diversidade de bigramas distintos, penalizando textos repetitivos.
• Taxa de Progressão de Contexto Ajustada a Tipo-Token (TTCPR): Pesa a progressão pela diversidade de vocabulário (TTR).
• Taxa de Progressão de Contexto Ajustada a Verbos (VCPR): Pesa a progressão pela frequência de verbos.

Configuração Experimental:

• Datasets: 6 conjuntos de dados tabulares (Compas, German Credit, Stroke, Diabetes, Fifa, Student).
• Métodos Comparados: TalkToModel (baseado em templates), Explingo (LLM com few-shot), XAIstories (LLM zero-shot) e suas variações (incluindo versões com as novas "Regras de Geração de Narrativa").
• Modelo Base: Random Forest com atribuições SHAP, gerando explicações via LLMs (GPT-4.1).

3. Contribuições Principais

1. Definição Conceitual: Estabelece a distinção formal entre "XAI Descriptions" (listas de fatos) e "XAI Narratives" (histórias estruturadas com causalidade).
2. Novas Métricas de Avaliação: Desenvolve um conjunto de 7 métricas automáticas projetadas especificamente para capturar a qualidade narrativa, superando a incapacidade da perplexidade e métricas de similaridade de detectar a estrutura explicativa.
3. Regras de Geração de Narrativa XAI: Propõe um conjunto de regras agnósticas ao problema para orientar a geração de LLMs, garantindo que as explicações sigam uma estrutura narrativa contínua, com causalidade e fluência.
4. Benchmarking Rigoroso: Avalia o estado da arte em 6 datasets, demonstrando que as métricas propostas conseguem separar métodos descritivos de narrativos de forma mais confiável do que as métricas NLP padrão.

4. Resultados

• Ineficácia das Métricas Padrão: As métricas tradicionais (Perplexidade, BLEU, ROUGE, etc.) falharam em distinguir consistentemente entre descrições e narrativas. Textos tautológicos sem sentido obtiveram pontuações altas em diversidade lexical e baixa perplexidade, enganando as métricas.
• Eficácia das Métricas de Narratividade: As 7 novas métricas mostraram uma separação clara. Métodos baseados em templates (TalkToModel) obtiveram os piores resultados nas métricas de narratividade, enquanto métodos baseados em LLMs (especialmente com as regras de narrativa aplicadas) obtiveram os melhores.
• Impacto das Regras de Geração: A aplicação das regras de narrativa melhorou significativamente a qualidade narrativa do método Explingo (que originalmente produzia descrições). Para o XAIstories, que já tinha instruções de narrativa no prompt, as regras trouxeram mudanças marginais, confirmando que o prompt original já era eficaz.
• Validação Estatística: Testes não paramétricos (Friedman e Nemenyi) confirmaram que a hierarquia de desempenho dos métodos baseada nas novas métricas é estatisticamente significativa e consistente entre os datasets.

5. Significância e Conclusão

O trabalho demonstra que a simples tradução de atribuições de características para texto não garante compreensão. Para que a XAI seja verdadeiramente centrada no ser humano, as explicações devem adotar a forma de narrativas.

• Avanço Teórico: O estudo conecta a XAI a teorias de ciências sociais e linguística, validando que a estrutura narrativa é essencial para a cognição humana.
• Avanço Prático: Oferece ferramentas (métricas e regras de prompt) para desenvolvedores de IA avaliarem e melhorarem a qualidade explicativa de seus modelos, movendo-se além de listas estáticas para explicações causais e coerentes.
• Futuro: Os autores sugerem que futuras pesquisas devem estender essas métricas para dados não tabulares (imagens, grafos) e realizar estudos com usuários humanos para correlacionar as métricas automáticas com a compreensão real e a tomada de decisão.

Em suma, o artigo fornece um framework robusto para transformar a XAI de uma mera listagem de dados em uma ferramenta de comunicação eficaz e compreensível.