Non-identifiability of Explanations from Model Behavior in Deep Networks of Image Authenticity Judgments

1. O Problema

O artigo aborda uma lacuna crítica na interseção entre Visão Computacional e Neurociência Cognitiva. Embora Redes Neurais Profundas (DNNs) consigam prever com alta precisão julgamentos humanos (neste caso, sobre a autenticidade de imagens geradas por IA), a capacidade preditiva não garante que o modelo utilize as mesmas informações ou mecanismos que os humanos.
O problema central é a não identificabilidade das explicações: mesmo que um modelo preveja bem o comportamento humano, as "explicações" geradas por métodos de IA explicável (XAI), como mapas de calor de atribuição, podem não ser robustas. Se diferentes arquiteturas (ou mesmo a mesma arquitetura treinada com sementes aleatórias diferentes) produzirem explicações divergentes para a mesma imagem, é impossível inferir com segurança quais pistas visuais realmente impulsionam o julgamento humano. O estudo questiona se explicações post hoc de modelos comportamentais bem-sucedidos constituem evidência válida para mecanismos cognitivos.

2. Metodologia

Os autores utilizaram o conjunto de dados AIGCIQA2023, que contém 2.400 imagens geradas por IA com avaliações humanas de Qualidade, Autenticidade e Correspondência. Para o estudo, foram selecionadas 1.367 imagens após exclusão de categorias não realistas por definição.

Abordagem Experimental:

• Arquiteturas: Foram testadas várias arquiteturas de visão pré-treinadas (VGG-16/19, ResNet-152, DenseNet-161, EfficientNetB3 e Barlow Twins).
• Treinamento: As backbones foram mantidas congeladas (frozen) e adaptadas através de cabeças de regressão leves para prever as notas de autenticidade humanas (escala 0-100).
• Variabilidade: Para cada arquitetura, foram treinados 10 variantes independentes (com diferentes sementes aleatórias e divisões de dados) para avaliar a consistência interna.
• Métodos de Explicação (XAI): Três técnicas foram empregadas para gerar mapas de atribuição:
  1. Grad-CAM: Baseado em gradientes.
  2. MPM (Multi-scale Pixel Masking): Baseado em perturbação/mascaramento de pixels.
  3. LIME: Baseado em modelos substitutos (surrogate) sobre superpixels.
• Análise de Consistência:
  • Intra-arquitetura: Comparação de mapas de calor entre os 10 variantes de uma mesma arquitetura.
  • Inter-arquitetura: Comparação de mapas entre diferentes arquiteturas.
• Análise de Variância: Uso de correlação parcial para distinguir se os modelos aprendem pistas específicas de "autenticidade" ou apenas variância correlacionada de "qualidade" da imagem.
• Ensembles: Criação de modelos de Bagging e Stacking para agregar previsões e gerar atribuições em nível de conjunto.

3. Principais Contribuições

1. Desacoplamento entre Desempenho e Explicação: Demonstra que alto desempenho preditivo não implica em explicações consistentes ou psicologicamente relevantes.
2. Evidência de Efeito Rashomon: Confirma que modelos com desempenho similar podem produzir explicações radicalmente diferentes (o "Efeito Rashomon"), tornando difícil atribuir um mecanismo cognitivo único a qualquer modelo individual.
3. Distinção entre Qualidade e Autenticidade: Identifica que certas arquiteturas (especificamente VGG) preveem a autenticidade humana baseando-se quase exclusivamente em métricas de qualidade da imagem (focando em artefatos, nitidez, etc.), e não em pistas semânticas de autenticidade.
4. Validação de Ensembles: Propõe que, na ausência de consenso entre arquiteturas individuais, o uso de ensembles (agregação de múltiplos modelos) melhora a precisão preditiva e permite a geração de mapas de atribuição mais robustos em nível de imagem.

4. Resultados Chave

• Desempenho Preditivo: Várias arquiteturas atingiram cerca de 80% do "teto de ruído" (noise ceiling) humano (correlação PLCC ~0.62-0.63). O modelo Barlow Twins teve o melhor desempenho.
• Dependência da Qualidade: As arquiteturas VGG-16 e VGG-19 alcançaram bom desempenho preditivo, mas ao remover a variância de "qualidade" da análise, sua capacidade de prever "autenticidade" caiu para zero. Elas estão rastreando qualidade, não autenticidade específica.
• Consistência Intra-arquitetura:
  • Modelos como Barlow Twins e ResNet-152 mostraram alta consistência nos mapas de Grad-CAM entre diferentes sementes.
  • Modelos como DenseNet-161 e EfficientNetB3 mostraram consistência menor, especialmente em métricas de Interseção sobre União (IoU).
  • Curiosamente, imagens julgadas como mais autênticas pelos humanos tendiam a gerar mapas de explicação mais consistentes dentro da mesma arquitetura.
• Consistência Inter-arquitetura (O Resultado Crítico): A concordância entre diferentes arquiteturas foi geralmente fraca, mesmo quando elas tinham desempenho preditivo similar. Por exemplo, os mapas de calor do Barlow Twins e do VGG-19 para a mesma imagem eram frequentemente incompatíveis.
• Ensembles: Os modelos de Bagging e Stacking superaram todos os modelos individuais em precisão (RMSE mais baixo, PLCC ~0.73). Além disso, permitiram a criação de mapas de atribuição agregados que isolavam melhor elementos visuais associados à autenticidade percebida.

5. Significado e Conclusões

O estudo conclui que, no estado atual da arte, o sucesso preditivo de um modelo de Deep Learning não é suficiente para considerá-lo um modelo explicativo válido de mecanismos cognitivos humanos.

• Implicação para Ciência Cognitiva: Explicações geradas post hoc por modelos que preveem bem o comportamento humano devem ser tratadas com extrema cautela. A diversidade de explicações entre arquiteturas sugere que não há uma "verdadeira" pista visual única que o modelo tenha aprendido, mas sim múltiplas soluções matemáticas para o mesmo problema.
• Implicação para IA Explicável: A consistência da explicação é uma condição necessária (embora não suficiente) para a relevância psicológica. A falta de consenso entre arquiteturas diferentes invalida a confiança em explicações de um único modelo.
• Solução Proposta: A abordagem de ensemble (agregação de modelos) surge como uma solução promissora para superar a variabilidade individual dos modelos, oferecendo tanto maior precisão preditiva quanto explicações mais estáveis e agregadas.

Em suma, o trabalho alerta que, embora as DNNs sejam excelentes em prever o que os humanos julgam, elas ainda não fornecem explicações identificáveis e robustas sobre por que os humanos fazem esses julgamentos, devido à não identificabilidade das pistas utilizadas pelos modelos.