ConceptSMILE: Auditing the Trustworthiness of Concept-Based Explainable AI

Resumo Técnico: ConceptSMILE – Auditando a Confiabilidade de XAI Baseada em Conceitos

Declaração do Problema
Embora a IA Explicável Baseada em Conceitos (C-XAI) vise tornar o raciocínio do modelo mais compreensível para humanos ao expressar previsões por meio de conceitos de alto nível (ex.: biomarcadores clínicos, objetos ou atributos semânticos), a presença de tais conceitos não garante automaticamente explicações confiáveis. Os modelos podem produzir saídas em nível de conceito que parecem plausíveis, mas que dependem de correlações espúrias, características instáveis, vazamento de rótulos (label leakage) ou atalhos não causais. Em domínios de alto risco, como o diagnóstico por imagem médica, uma explicação de conceito pode ser legível por humanos, mas não ser fiel ao comportamento real do modelo. As práticas de avaliação existentes carecem de um framework unificado para auditar independentemente se as explicações baseadas em conceitos permanecem precisas, fiéis, estáveis e consistentes sob perturbações controladas.

Metodologia: O Framework ConceptSMILE
O artigo apresenta o ConceptSMILE (Concept-level Statistical Model-agnostic Interpretability with Local Explanations), um framework de auditoria baseado em perturbação e agnóstico ao modelo, projetado para avaliar a confiabilidade de explicações baseadas em conceitos. Em vez de substituir métodos de explicação existentes, o ConceptSMILE estende a lógica de perturbação do SMILE (Statistical Model-agnostic Interpretability with Local Explanations) do nível de atribuição de características ou regiões para a auditoria de explicações de conceitos compreensíveis por humanos.

O framework opera através de um pipeline:

1. Extração de Conceitos: Extrai saídas em nível de conceito de um modelo alvo ou via de explicação. No estudo, duas vias distintas foram auditadas:
   • Via Visual Baseada em MedSAM: Utiliza o Medical Segment Anything Model para gerar conceitos visuais guiados por segmentação (lesões, vasos sanguíneos, disco óptico).
   • Via Semântica Baseada em VLM: Utiliza um Modelo de Linguagem-Visão (Qwen2.5-VL) com prompts estruturados para gerar respostas de conceitos semânticos para os mesmos conceitos de retina.
2. Perturbação Controlada: A imagem de entrada é dividida em superpixels. Perturbações controladas são geradas mascarando regiões específicas de superpixels (definindo-as como preto), criando um vizinhança local de amostras perturbadas.
3. Medição de Deslocamento de Resposta: O framework mede o deslocamento nas respostas dos conceitos ($\Delta y$) entre a entrada original e as entradas perturbadas.
4. Ponderação de Localidade: Amostras perturbadas recebem pesos de localidade baseados na sua distância (Cosseno ou Wasserstein) da entrada original em um espaço de incorporação (embedding space) usando DINOv2. Perturbações mais próximas recebem pesos maiores.
5. Modelagem Substituta (Surrogate Modeling): Um modelo substituto local XGBoost é ajustado para aproximar a relação entre padrões de perturbação e deslocamentos de resposta de conceito. Este modelo substituto captura relações não lineares entre modificações de entrada e confiança do conceito.
6. Avaliação de Confiabilidade Multidimensional: O framework avalia a confiabilidade em cinco dimensões:
   • Precisão de Atribuição: Se as regiões identificadas como importantes alinham-se com evidências clinicamente significativas (medido via ACC, F1, AUROC).
   • Fidelidade: O quão bem o modelo substituto aproxima os deslocamentos observados de resposta de conceito (medido via WMSE, WMAE, $R^2$, $R^2_w$).
   • Fidelidade (Faithfulness): Se as respostas dos conceitos mudam significativamente quando regiões relevantes ao conceito são perturbadas (medido via correlação de Pearson).
   • Estabilidade: Robustez a artefatos não clínicos (ex.: datas ou logotipos adicionados) medida via sobreposição do índice de Jaccard.
   • Consistência: Reprodutibilidade das explicações em execuções repetidas sob configurações idênticas (medido via variância e desvio padrão).

Principais Contribuições

• Auditoria em Nível de Conceito: Introdução do ConceptSMILE como um framework baseado em perturbação especificamente projetado para auditar a confiabilidade de explicações baseadas em conceitos, indo além da plausibilidade visual para a confiabilidade mensurável.
• Extensão do SMILE: Reformulação da lógica do SMILE da atribuição de nível de superpixel para o teste de confiabilidade de nível de conceito usando perturbações controladas, ponderação de localidade e modelagem substituta.
• Validação Agnóstica ao Modelo: Demonstração do framework em imagens de fundo de olho retiniano usando duas vias distintas de extração de conceito (MedSAM e VLM), fornecendo uma análise comparativa da confiabilidade de conceitos visuais versus semânticos.

Resultos Experimentais
O framework foi avaliado em imagens de fundo de olho retiniano de quatro conjuntos de dados públicos (HRF, APTOS, ODIR, IDRiD) focando em três conceitos: lesões, vasos sanguíneos e o disco óptico.

• Fidelidade do Modelo Substituto: A via MedSAM alcançou uma fidelidade de substituto significativamente mais forte ($R^2 = 0,8503$, $R^2_w = 0,8465$ com XGBoost ponderado por Wasserstein) em comparação com a via VLM. Isso sugere que conceitos visuais guiados por segmentação fornecem respostas localmente mais previsíveis sob perturbação de superpixel.
• Precisão de Atribuição: O MedSAM demonstrou maior precisão de atribuição espacial para estruturas bem definidas como vasos sanguíneos e o disco óptico. As explicações conceituais semânticas baseadas em VLM foram mais variáveis e menos precisas espacialmente.
• Fidelidade (Faithfulness): A via VLM mostrou uma fidelidade mais forte e estatisticamente mais significativa para conceitos de vasos sanguíneos em todos os conjuntos de dados ($r \approx 0,58-0,71$), enquanto o MedSAM mostrou maior fidelidade para conceitos de lesões em vários conjuntos de dados. Isso indica que a confiabilidade é dependente do conceito, e não apenas da via.
• Estabilidade: A estabilidade variou conforme o conceito e o tipo de artefato. As explicações do disco óptico do MedSAM foram altamente estáveis contra artefatos de adição de data ($J_D \approx 0,96-0,98$), enquanto as explicações de lesões do VLM mostraram alta estabilidade sob artefatos de data e logotipo.
• Consistência: A reprodutibilidade não foi uniforme entre as vias. As explicações do disco óptico do MedSAM foram altamente consistentes no HRF e ODIR, enquanto as explicações de lesões do VLM foram mais consistentes no ODIR e IDRiD.
• Robustez: Sob artefatos de aquisição (variação de contraste e oclusão de piscar simulada), as explicações de vasos sanguíneos e lesões geralmente mantiveram fidelidade de substituto positiva, enquanto as explicações do disco óptico mostraram maior variabilidade e valores de $R^2$ de teste ocasionalmente negativos.

Significância e Alegações
O artigo alega que o ConceptSMILE fornece uma camada de auditoria independente para avaliar a confiabilidade de XAI baseada em conceitos. Sua principal significância reside em demonstrar que:

1. Interpretabilidade $\neq$ Confiabilidade: Conceitos compreensíveis por humanos não são inerentemente confiáveis; eles devem ser auditados para precisão, fidelidade, estabilidade e consistência.
2. A Confiabilidade é Dependente de Contexto: Nenhuma via ou conceito é universalmente superior. O MedSAM destaca-se na atribuição espacial e fidelidade de substituto para anatomia estruturada, enquanto os VLMs podem exibir forte fidelidade para conceitos semânticos específicos (como vasos) e estabilidade contra certos artefatos.
3. Necessidade de Auditoria: Em ambientes de alto risco, as explicações baseadas em conceitos devem ser tratadas como afirmações testáveis. O ConceptSMILE oferece um protocolo para identificar explicações frágeis, mal fundamentadas ou inconsistentes antes que sejam utilizadas em tomadas de decisão críticas.

Os autores declaram explicitamente que o ConceptSMILE não fornece certificação clínica ou prova causal, mas sim evidência de auditoria quantitativa para ajudar pesquisadores e clínicos a distinguir entre interpretabilidade aparente e confiabilidade fundamentada.