Resumo Técnico: SketchXplain

Declaração do Problema

Os métodos atuais de IA Explicável (XAI) para classificação de imagens, particularmente os mapas de saliência, sofrem de um "gap de interpretabilidade". Embora os mapas de saliência destaquem fielmente pixels ou neurônios relevantes, eles frequentemente carecem de contexto semântico, aparecendo como "manchas nebulosas" não intuitivas que falham em transmitir o porquê de uma região ser relevante. Isso força os usuários a despender um esforço cognitivo significativo para interpretar o comportamento do modelo, dificultando a tomada de decisão rápida e precisa. Os métodos existentes baseados em conceitos melhoram o alinhamento semântico, mas frequentemente carecem de coerência visual com a instância de imagem específica, enquanto desenhos de linha simples ou detecção de bordas falham em capturar as pistas explicativas necessárias. Os autores argumentem que as explicações de IA devem ser intuitivas, definidas por três desideratos: Simplicidade (clara e concisa), Coerência (alinhada com o conhecimento e evidência do usuário) e Interpretação Rápida (permitindo a assimilação rápida).

Metodologia: SketchXplain

Os autores propõem o SketchXplain, um framework de rede neural profunda que gera explicações visuais baseadas em esboços (sketches). Diferente de métodos que simplesmente convertem fotos em esboços ou destacam pixels, o SketchXplain integra saliência, gargalos de conceito (concept bottlenecks) e otimização de esboço para produzir desenhos abstratos e conscientes de pistas (cue-aware).

A arquitetura consiste em três módulos principais:

1. Predição Base: Um codificador de imagem ($M$) prediz o rótulo da classe ($\hat{y}$) a partir da imagem de entrada ($x$).
2. Explicações de Conceito:
   • Gargalo de Conceito (Concept Bottleneck): O modelo prediz conceitos intermediários, interpretáveis por humanos ($\hat{\gamma}$) (ex: Unidades de Ação facial ou critérios ABCD de lesões cutâneas) via classificação binária multirrótulo. Esses conceitos são então usados para predizer o rótulo da classe final.
   • Localização de Pistas (Cue Localization): Usando Grad-CAM adaptado para transformers, o sistema gera mapas de saliência para cada conceito previsto. Esses mapas são ponderados pela importância de cada conceito para a predição final ($\hat{w}_\gamma$) para criar um mapa de saliência unificado e ponderado por conceito ($\hat{\epsilon}$).
3. Racionalização de Esboço (Sketch Rationalization): Este módulo gera o esboço final através de duas etapas:
   • Inicialização de Traço: Um gerador imagem-para-imagem pré-treinado extrai linhas detalhadas (bordas, rugas, texturas) da foto. Essas linhas são mascaradas pelo mapa de saliência ponderado pelo conceito para reter apenas os traços mais explicativos.
   • Otimização de Traço: O sistema inicializa um conjunto de traços paramétricos (curvas de Bézier quadráticas) baseados nas linhas mascaradas. Esses traços são iterativamente otimizados via gradiente descendente para minimizar uma função de perda composta ($L$):
     $$L = -\cos(\hat{z}_s, \hat{z}_x) - \lambda_t \cos(\hat{z}_s, \hat{z}_y) + \lambda_\kappa \kappa(\hat{s}_x)$$
     Onde:
     • $\hat{z}_s, \hat{z}_x, \hat{z}_y$ são embeddings CLIP do esboço, da foto de entrada e do rótulo previsto, respectivamente.
     • O primeiro termo garante Alinhamento com a Foto (fidelidade à imagem).
     • O segundo termo garante Alinhamento Semântico (fidelidade ao rótulo da predição).
     • O terceiro termo ($\kappa$) impõe Suavidade (simplicidade) ao penalizar alta curvatura.

Principais Contribuições

1. Nova Modalidade: Este é o primeiro trabalho a utilizar esboços como uma modalidade explicativa intuitiva para XAI visual, indo além de simples mapas de atribuição ou descrições verbais de conceitos.
2. Framework SketchXplain: Um método técnico que satisfaz os desideratos de simplicidade, coerência e interpretação rápida ao combinar gargalos de conceito, localização de saliência e renderização de esboço diferenciável.
3. Validação Empírica: Avaliação abrangente em dois domínios distintos:
   • Reconhecimento de Expressão Facial: Usando Unidades de Ação (AUs) como conceitos.
   • Diagnóstico de Lesão Cutânea: Usando critérios ABCD (Assimetria, Borda, Cor, Diâmetro) como conceitos.

Resultados

Modelagem e Métricas de Proximidade (Proxy Metrics)

• Simplicidade: Os esboços do SketchXplain demonstraram complexidade visual significativamente menor (medida por entropia local e tamanho de arquivo JPEG XL) em comparação com mapas de saliência e "Fotos Salientes", enquanto retêm mais informação do que contornos simples.
• Coerência: O SketchXplain alcançou o maior alinhamento tanto com os rótulos de predição da IA quanto com os conceitos explicativos (AUs/ABCDs) em comparação com baselines como CLIPasso e mapas de saliência. Ele preservou com sucesso as pistas relevantes para a tarefa enquanto reduzia o ruído.

Estudos com Usuários (Expressões Faciais)

• Qualitativo: Os participantes consideraram o SketchXplain mais intuitivo do que os mapas de saliência (que careciam de semântica) e contornos simples (que careciam de detalhes). Os usuários relataram que o SketchXplain efetivamente destaca "linhas salientes" (como a Saliência) enquanto mantém características faciais reconhecíveis (como Outlines) e pistas expressivas (como CLIPasso).
• Quantitativo (Tempo Restrito): Em testes de percepção rápida (durações de exibição de 33,3ms – 500ms), o SketchXplain permitiu significativamente maior Alinhamento com a IA (identificação correta da emoção prevista) e Recuperação de Conceito (identificação de AUs específicas) em comparação com mapas de saliência, CLIPasso e até mesmo a foto original em durações muito curtas. Os mapas de saliência tiveram o pior desempenho, provavelmente devido à falta de contexto de características.

Estudos com Usuários (Lesões Cutâneas)

• Qualitativo: Em um estudo com participantes não clínicos, o SketchXplain superou outras visualizações ao ajudar os usuários a identificar os critérios ABCD e diagnosticar o risco de melanoma. Os participantes notaram que as "linhas desconectadas" e os "rabiscos enfatizados" no SketchXplain ajudaram a confirmar a irregularidade da borda e a assimetria de forma mais eficaz do que contornos suaves ou máscaras de saliência borradas.
• Trade-offs: Embora o SketchXplain tenha melhorado a interpretabilidade, ele introduziu um custo cognitivo ligeiramente superior aos contornos simples, embora os usuários tenham considerado a troca válida pelo aumento da coerência com os conceitos clínicos.

Significância e Alegações

O artigo afirma que o SketchXplain aborda o gap de interpretabilidade ao mudar a XAI de uma auditoria puramente analítica para uma interpretação intuitiva. Ao alavancar a habilidade humana de processar rapidamente esboços abstratos (pensamento de Sistema 1), o método suporta:

• Interpretação Mais Rápida: Usuários podem assimilar pistas relevantes e inferir predições mais rápido do que com mapas de saliência tradicionais.
• Coerência Aprimorada: Os esboços fazem a ponte entre a geometria espacial e os conceitos semânticos, alinhando a lógica da IA com a observação humana.
• Preservação de Privacidade: Como subproduto, a abstração inerente aos esboços pode proteger informações identificáveis (ex: identidade, gênero) enquanto mantém a utilidade diagnóstica.

Os autores posicionam o SketchXplain não como um substituto para todos os métodos de XAI, mas como uma abordagem complementar que utiliza a abstração visual para tornar as decisões da IA mais acessíveis a usuários leigos, particularmente em domínios onde a compreensão rápida e intuitiva é crítica.