Resumo Técnico: XstrAI – Um Sistema Multiagente para Narrativas de XAI Sensíveis ao Público

1. Definição do Problema

Métodos de atribuição de características locais, como o SHAP, fornecem evidências essenciais de nível de instância para previsões de modelos, mas frequentemente falham em servir diversos públicos de forma eficaz. Em domínios de alto risco, como a IA médica, a mesma explicação técnica deve ser comunicada a clínicos, pacientes e cientistas de dados, cada um com diferentes níveis de especialização, objetivos e riscos de interpretação equivocada.

As abordagens atuais para gerar explicações em linguagem natural a partir dessas atribuições sofrem de várias limitações:

• Agnosticismo de Público: Métodos de atribuição de características são projetados para serem agnósticos ao público, deixando a adaptação da evidência para o consumidor.
• Fundamentação Fraca: A verbalização direta via Grandes Modelos de Linguagem (LLMs) ou condicionamento de papel por prompt único frequentemente resulta em saídas que são persuasivas, mas infiéis à evidência do modelo subjacente.
• Conflito Causal: LLMs frequentemente confundem atribuição de características com linguagem causal, produzindo alucinações ou afirmações não sustentadas.
• Geração Monolítica: Sistemas existentes de Narrative-XAI frequentemente tratam a geração como uma etapa única e não estruturada, entrelaçando seleção de evidências, adaptação de público e validação, o que limita a inspetabilidade e o controle.

O desafio central é gerar narrativas que sejam não apenas fluentes, mas também estritamente fundamentadas em evidências de atribuição fixas, sendo simultaneamente semântica e estilisticamente apropriadas para grupos de partes interessadas específicos.

2. Metodologia: O Framework XstrAI

Os autores propõem o XstrAI, um framework multiagente que desacopla a representação da evidência de sua comunicação. O sistema trata as explicações locais como fatos imutáveis e estrutura sua transformação em narrativas específicas para stakeholders através de um pipeline controlado.

2.1 Arquitetura Central

O framework opera sobre três perfis de stakeholders: Clínico, Paciente e Cientista de Dados. A arquitetura consiste nos seguintes componentes:

1. ExplanationCard (Representação de Entrada):

   • Um artefato estruturado e legível por máquina que serve como a "fonte da verdade" para cada caso de previsão.
   • Contém informações do caso, saída do modelo, atribuições SHAP, metadados de características, restrições de geração e o perfil do stakeholder alvo.
   • Este cartão garante que a evidência subjacente permaneça fixa e idêntica em todas as vias de audiência; as diferenças no output derivam exclusivamente de escolhas comunicativas, não de alteração da evidência.

2. Pipeline Multiagente:
   Para cada via de stakeholder, três agentes especializados de LLM operam sequencialmente:

   • Agente de Enquadramento/Framer (Planejamento): Recebe o ExplanationCard e gera um FramingTrace. Este artefato define a estratégia narrativa, incluindo organização, ordem de apresentação de características, tom, cautelas necessárias e instruções operacionais. Ele adapta a evidência ao stakeholder (ex: priorizando legibilidade e linguagem não alarmante para pacientes; retendo direções explícitas de atribuição para cientistas de dados).
   • Agente Narrador/Narrator (Geração): Recebe o ExplanationCard e o FramingTrace. Ele gera a narrativa candidata, sendo restringido pela evidência factual no cartão e pela estratégia comunicativa no trace. Deve preservar o significado da atribuição e evitar alegações causais ou diagnósticas, a menos que permitido.
   • Agente Revisor/Reviewer (Validação): Atua como um módulo interno de controle de qualidade. Ele avalia a narrativa candidata em cinco dimensões:
     1. Fundamentação no Cartão (Card Grounding): Ancorado à evidência; sem fabricação.
     2. Fidelidade ao SHAP (SHAP Faithfulness): Direção e magnitude relativa das contribuições são preservadas.
     3. Enquadramento Epistêmico (Epistemic Framing): Descreve o comportamento do modelo, não diagnóstico ou causalidade.
     4. Segurança de Comunicação (Communication Safety): Sem tratamento, prognóstico ou conselhos de estilo de vida (a menos que explicitamente permitido).
     5. Adequação ao Público (Audience Fit): O registro combina com o stakeholder alvo.
   • Loop de Revisão Limitado: Se o Revisor detectar inconsistências, ele aciona uma revisão. O loop roteia a tarefa de volta ao Framer, ao Narrator ou a ambos. O sistema permite um máximo de duas rodadas de revisão (resultando em até três tentativas por caso).

2.2 Configuração Experimental

• Datasets: Datasets de Diabetes e Predição de AVC.
• Modelos: Classificadores Random Forest com SHAP (TreeExplizer) para atribuições locais.
• Baselines: O sistema foi avaliado contra 11 configurações, incluindo:
  • Explingo: Uma reimplementação de um narrador baseado em loop de estado da arte.
  • Baselines Incrementais (B1–B4): Variantes do XstrAI que ablacionam componentes específicos (ex: geração de disparo único, prompting de papel, loops de revisão, verificação baseada em regras).
• LLMs: Qwen3.6:35B e Gemma4:31B foram usados para geração e revisão, com pareamento de famílias cruzadas para evitar viés.

3. Protocolo de Avaliação

A avaliação utiliza uma abordagem de regime duplo para medir tanto a fidelidade do texto em relação à evidência quanto sua adequação ao público.

3.1 Avaliação Intra-Narrativa

Mede as propriedades do próprio texto gerado:

• Forma: Legibilidade (Flesch–Kincaid), riqueza lexical (MATTR), verbosidade e padrões de repetição.
• Conteúdo: Concordância com o ExplanationCard em valores de características (Acordo de Valor), direção de contribuição (Acordo de Sinal) e ordenação de características (Acordo de Ranking).
• Semântica: Precisão semântica medida pela projeção de sentenças da narrativa em corpora de referência específicos para cada stakeholder (artigos médicos para clínicos/cientistas de dados, artigos de divulgação para pacientes) usando embeddings Sentence-BERT.

3. 2 Avaliação Extra-Narrativa

Mede como o texto é recebido por avaliadores externos:

• LLM-as-a-Judge (LLM como Juiz): Três juízes de LLM independentes (Claude, GPT, Gemini) realizaram:
  • Análise de Reidentificação: Atribuição de narrativas anonimizadas aos seus públicos pretendidos.
  • Ranking Competitivo: Ranking de todos os 14 outputs do sistema para cada público alvo, agregados via pontuações Bradley-Terry/Elo.
• Avaliação Humana: Pesquisas com 15 participantes (5 por grupo: clínicos, cientistas de dados, pacientes) avaliando narrativas em Compreensibilidade, Clareza, Utilidade, Confiança e Carga Cognitiva.

4. Principais Resultados

• Adaptação de Público: As narrativas do XstrAI foram consistentemente atribuídas ao seu público pretendido por juízes independentes (100% de precisão na reidentificação), superando significativamente os baselines.
• Desempenho vs. Baselines:
  • Clínico e Paciente: O XstrAI foi preferido em relação a todos os baselines em rankings de LLM.
  • Cientista de Dados: O XstrAI performou competitivamente, mas ficou ligeiramente atrás dos baselines de prompt único (B2) que maximizam a densidade bruta do SHAP.
• Fidelidade e Estrutura:
  • O XstrAI manteve um alto Acordo de Sinal (preservando a direção do SHAP) enquanto permitiu que o Acordo de Ranking mudasse para narrativas de pacientes. Especificamente, as narrativas de pacientes promoveram sistematicamente características "acionáveis" (ex: IMC) sobre não acionáveis (ex: idade), priorizando a comunicação orientada à intervenção sobre o ranking estrito do SHAP.
  • O XstrAI alcançou menores taxas de repetição e maior diversidade lexical em comparação com os baselines, evitando a geração baseada em templates vista em sistemas com loops de revisão mas sem agente de planejamento.
• Feedback Humano: Clínicos avaliaram as narrativas do XstrAI com as maiores notas em Compreensibilidade (4.7/5) e Confiança (4.1/5). Pacientes as acharam altamente compreensíveis (4.2/5) com baixa carga cognitiva (2.2/5), embora as pontuações de Confiança tenham sido mais moderadas (3.0/5).

5. Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Arquitetura Inovadora: Um framework multiagente que desacopla a representação da evidência, o planejamento específico para o stakeholder, a realização linguística e a validação em estágios inspetáveis, tratando as explicações locais como evidência fixa.
2. Protocolo de Avaliação Duplo: Uma metodologia que desvincula a fidelidade intra-narrativa (verdade em relação à evidência) da adequação extra-narrativa (ajuste ao público), avaliada contra corpora de referência, juízes de LLM de múltiplas famílias e sujeitos humanos.
3. Validação Empírica: Evidência de que a geração condicionada ao público requer mais do que simples prompting de papel; um pipeline estruturado com planejamento e validação é necessário para produzir narrativas que sejam tanto fiéis ao modelo quanto semanticamente alinhadas com diversos stakeholders.

Os autores enfatizam que o XstrAI demonstra que a adaptação de stakeholders pode legitimamente remodelar a estrutura da explicação (ex: reordenar características para pacientes) sem comprometer a evidência central, desde que essa transformação seja controlada e validada. O trabalho sugere que o implantação segura e eficaz de XAI exige ir além da geração monolítica em direção a pipelines de comunicação estruturados e verificáveis.