Resumo Técnico: OCCAM – Explicação de Conceitos Causais em Conjunto Aberto e Indução de Ontologia para Modelos de Visão de Caixa Preta

Declaração do Problema

Os classificadores de imagens profundos alcançaram desempenho próximo ao humano, no entanto, seus processos de tomada de decisão permanecem opacos, particularmente em configurações de caixa preta, onde gradientes internos, ativações e detalhes arquitetônicos são inacessíveis (por exemplo, sistemas implantados e APIs de terceiros). Os métodos existentes de explicação enfrentam duas limitações primárias neste regime:

1. Métodos baseados em atribuição (por exemplo, mapas de saliência, LIME, SHAP) operam em unidades espaciais (pixels/patches) em vez de conceitos semânticos, produzindo mapas de relevância contínuos que carecem de estrutura semântica explícita e requerem interpretação manual.
2. Métodos baseados em conceitos geralmente dependem de vocabulários pré-definidos de conjunto fechado ou bancos de conceitos curados, limitando sua capacidade de explicar entidades novas ou de granularidade fina encontradas em cenários de conjunto aberto do mundo real. Além disso, a maioria das técnicas opera localmente, explicando previsões individuais sem fornecer um mecanismo principiado para derivar insights globais consistentes ou descobrir vieses sistemáticos do modelo.

Há uma necessidade crítica de frameworks de explicação que sejam simultaneamente de caixa preta, de conjunto aberto e causais.

Metodologia

OCCAM (Explicação de Conceitos Causais em Conjunto Aberto e Indução de Ontologia para Modelos de Visão de Caixa Preta) reformula a interpretação do modelo como um processo de poda intervencionista estruturada. O framework opera estritamente sob acesso apenas por consulta, não exigindo pesos internos do modelo. Consiste em três etapas principais:

1. Análise de Conceito Intervencionista Local

Para uma imagem de entrada $x$ e um classificador pré-treinado $f$:

• Proposta de Conceito em Conjunto Aberto ($\Phi$): Um Modelo de Linguagem Grande Multimodal (MLLM) propõe um conjunto de conceitos semânticos específicos da instância $\{k_1, ..., k_N\}$ a partir de um universo aberto, em vez de um vocabulário fixo.
• Ancoragem de Conceito ($\Psi$): Um modelo de segmentação condicionado a texto (por exemplo, SAM) mapeia cada conceito proposto para uma máscara de segmentação binária $m_i$, identificando seu suporte espacial. Conceitos que falham em produzir máscaras válidas são descartados.
• Poda Causal ($R$): Um modelo de inpainting (por exemplo, LaMa) remove o suporte visual de cada conceito ancorado independentemente, criando uma imagem intervencionada $\tilde{x}_i$.
• Estimativa de Contribuição Causal: O framework mede a mudança na confiança do classificador para a classe originalmente prevista $\hat{y}$:
  $$s_{x, k_i} = f_{\hat{y}}(x) - f_{\hat{y}}(\tilde{x}_i)$$
  Uma pontuação maior indica que o conceito fornece suporte causal positivo mais forte para a decisão.

2. Indução de Ontologia Global

Além das explicações locais, o OCCAM agrega evidências intervencionistas em todo o conjunto de dados para induzir uma ontologia conceitual estruturada.

• Estrutura: A ontologia é formalizada como um grafo de conhecimento (RDF/OWL) onde os nós representam classes, imagens, conceitos e entidades de evidência causal (contendo pontuações e artefatos).
• Emergência: Dependências globais entre conceito-classe e inter-conceito não são impostas de cima para baixo, mas emergem da agregação dos atributos intervencionistas armazenados.
• Raciocínio: Esta ontologia permite consultas estruturadas e raciocínio sobre o comportamento global do modelo, revelando dependências estáveis, padrões composicionais e relações causais latentes que explicações isoladas por imagem poderiam perder.

3. Métricas de Avaliação

O framework é avaliado usando:

• Métricas de Poda Causal: Porcentagem Média de Queda (ADP), Porcentagem Máxima de Queda (MDP) e Queda Máxima Absoluta de Logit (MAD) para quantificar o impacto da remoção de conceitos na confiança do modelo.
• Métricas de Ancoragem: Jogo de Apontamento Baseado em Energia (EPG), Precisão de Região Normalizada (NRA) e Taxa de Acerto para avaliar o alinhamento espacial com máscaras de verdade fundamental.
• Qualidade de Raciocínio: Relatórios gerados por LLMs usando resumos não estruturados, JSON plano e raciocínio ancorado em ontologia são classificados por LLMs independentes e avaliadores humanos quanto à coerência e fidelidade.

Contribuições Principais

1. Framework OCCAM: Um framework estritamente de caixa preta para explicação causal em conjunto aberto via intervenções estruturadas em nível de objeto, exigindo apenas acesso por consulta ao classificador visual.
2. Construção Principiada de Ontologia: Um procedimento que agrega efeitos causais em nível de conceito entre imagens para construir uma ontologia conceitual global emergente sem depender de vocabulários pré-definidos ou representações internas.
3. Raciocínio Orientado a Ontologia: Demonstração de que o raciocínio sobre a ontologia induzida permite explicações mais profundas, descobrindo dependências conceituais estáveis e relações causais latentes não detectadas por análises isoladas por imagem.
4. Desempenho State-of-the-Art: Alcançamento de resultados competitivos ou superiores nos conjuntos de dados Broden e ImageNet-S sob condições estritas de conjunto aberto e caixa preta, superando concorrentes de caixa branca e conjunto fechado na eficácia da poda causal.
5. Extensibilidade Multimodal: Validação de que o framework se estende naturalmente a classificadores visão-linguagem (por exemplo, CLIP, SigLIP), fornecendo um mecanismo de explicação unificado entre arquiteturas unimodais e multimodais.

Resultados Experimentais

Os experimentos foram conduzidos em ResNet18, ResNet50, ViT-B/16 e várias variantes CLIP/SigLIP usando os conjuntos de dados Broden e ImageNet-S.

• Poda Causal: O OCCAM induziu consistentemente reduções de confiança mais fortes do que o método de conjunto fechado state-of-the-art CE-FAM. Por exemplo, no ResNet50, o OCCAM alcançou uma Porcentagem Média de Queda (ADP) de 47,19% em comparação com 44,18% do CE-FAM, e uma Porcentagem Máxima de Queda (MDP) de 93,89% versus 84,14%. Isso indica que o OCCAM identifica evidências mais críticas para a decisão.
• Validade da Ancoragem: Apesar de operar em um regime de caixa preta e conjunto aberto, o OCCAM alcançou pontuações de localização competitivas (por exemplo, EPG de 0,65 no ResNet50 para ImageNet-S) contra métodos de caixa branca, demonstrando que a ancoragem intervencionista em nível de objeto produz regiões espacialmente alinhadas e semanticamente significativas.
• Raciocínio de Ontologia: Nas avaliações de explicação global, o raciocínio ancorado em ontologia alcançou as pontuações mais altas (média 4,78/5) em comparação com resumos não estruturados (4,31) e JSON plano (4,23). Isso sugere que estruturar formalmente evidências causais melhora significativamente a coerência e a fidelidade das explicações globais do modelo.
• Robustez Multimodal: Quando aplicado ao CLIP e SigLIP, a remoção progressiva dos 3 conceitos mais influentes causou uma diminuição monótona na precisão zero-shot. Notavelmente, o SigLIP provou ser mais robusto do que as variantes do CLIP, sugerindo que suas decisões dependem de evidências mais distribuídas em vez de um pequeno conjunto de regiões de alto impacto.

Significado e Alegações

O artigo afirma que o OCCAM oferece uma mudança de paradigma na interpretação de modelos ao reformulá-lo como poda intervencionista estruturada. Seu significado primário reside em:

• Preenchendo a Lacuna: Ele aborda com sucesso o trilema "caixa preta, conjunto aberto, causal", um regime onde os métodos existentes lutam.
• Insight Global: Ao ir além da atribuição por imagem, fornece um mecanismo para derivar insights globais consistentes e descobrir vieses sistemáticos do modelo através de uma ontologia emergente.
• Conhecimento Ancorado no Comportamento: A ontologia induzida não é imposta externamente, mas derivada diretamente de efeitos causais medidos, oferecendo uma representação interrogável de como os classificadores organizam evidências visuais.
• Mecanismo Unificado: Demonstra que intervenções em nível de entrada fornecem um mecanismo de explicação unificado aplicável tanto a modelos de visão tradicionais quanto a arquiteturas multimodais modernas, sem exigir acesso a representações internas.

Os autores concluem que esta perspectiva incentiva trabalhos futuros sobre indução de conhecimento ancorada no comportamento e raciocínio estruturado para IA explicável.