Resumo Técnico: Sobre a Fidelidade de Modelos de Gargalo de Conceitos Post-Hoc

Declaração do Problema

Modelos de Gargalo de Conceitos post-hoc (post-hoc CBMs) visam preencher a lacuna entre representações de aprendizagem profunda opacas e a compreensão humana ao projetar características latentes em espaços de conceitos interpretáveis. Diferente dos CBMs padrão, as variantes post-hoc não exigem anotações densas de conceitos para a tarefa alvo; em vez disso, elas dependem de (1) conjuntos de dados de conceitos auxiliares (ex: Broden) ou (2) rótulos de conceitos substitutos gerados por Modelos de Visão-Linguagem (VLMs).

O problema central abordado é que as práticas atuais de avaliação dependem fortemente da acurácia da tarefa de jusante para julgar o sucesso desses modelos. Os autores argumentam que uma alta acurácia é uma métrica insuficiente para a fidelidade de conceito — o grau em que a projeção aprendida $\pi_\theta$ realmente extrai os conceitos semânticos pretendidos. Evidências empíricas sugerem que projeções aleatórias e semanticamente sem sentido podem alcançar acurácias competitivas na tarefa de jusante devido a propriedades de preservação de informação (relacionadas ao lema de Johnson-Lindenstrauss), ocultando assim se o modelo está realmente raciocinando via conceitos ou apenas explorando artefatos preditivos.

Metodologia

Estrutura Teórica

O artigo formaliza a fidelidade como a minimização do risco esperado sobre a verdadeira distribuição da tarefa $P_{task}(x, c)$, onde a projeção $\pi_\theta$ recupera conceitos de verdade fundamental $c$ a partir das ativações $f(x)$. Os autores identificam duas fontes primárias de infidelidade:

1. Deslocamento de Covariável em Conjuntos de Dados Auxiliares: Quando $\pi_\theta$ é treinado em um conjunto de dados auxiliar $X_{aux}$ distinto da tarefa alvo $X_{task}$, um deslocamento geométrico no espaço de características pode invalidar a projeção. Os autores derivam um limite superior para o erro de generalização da tarefa com base na teoria de adaptação de domínio [8]:
   $$J_{task}(\theta; L_1) \leq J_{aux}(\theta; L_1) + \frac{1}{2}\hat{d}_{\mathcal{H}\Delta\mathcal{H}}(\mathbb{X}_{task}, \mathbb{X}_{aux}) + \Omega + \lambda_{ideal}$$
   Eles propõem o uso da divergência empírica $\mathcal{H}\Delta\mathcal{H}$ (aproximada via um discriminador de domínio) como uma métrica prática para fidelidade, assumindo o deslocamento de covariável (onde $P(c|x)$ permanece constante, mas $P(x)$ muda).

2. Ruído de Rótulo Sistemático em Supervisão Substituta: Ao usar VLMs para gerar rótulos substitutos $\tilde{c}$, a infidelidade surge não apenas pela magnitude dos erros, mas de erros sistemáticos. Ao modelar a projeção como um Modelo Linear Generalizado Multivariado (GLM), os autores mostram que o gradiente do objetivo real no ótimo substituto é proporcional ao produto externo do erro substituto $\delta(x) = \tilde{c}(x) - c^*(x)$ e das ativações do backbone $f(x)$.

   • Condição de Fidelidade: O modelo permanece fiel se os erros substitutos forem precisos ($\delta \approx 0$) ou ortogonais ao espaço de ativação em expectativa ($\mathbb{E}[\delta(x) \otimes f(x)] = 0$).
   • Modo de Falha: Erros sistemáticos (ex: um VLM prevendo consistentemente "céu" sempre que "nuvens" estão presentes) criam componentes de erro não ortogonais, levando a projeções infiéis mesmo que os rótulos substitutos pareçam precisos em média.

Métricas Propostas

Para desacoplar a fidelidade da acurácia preditiva, os autores introduzem:

• Divergência $\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$: Um proxy para o erro introduzido por deslocamentos de covariável ao usar conjuntos de dados auxiliares.
• Ortogonalidade do Erro Substituto: A correlação de Pearson absoluta $|\rho|$ entre os erros de rótulo substituto e as ativações do backbone. Uma alta correlação indica falha sistemática.

Configuração Experimental

Os autores validam essas descobertas em:

• Benchmarks do Mundo Real: CUB-200 (pássaros) e CIFAR-10/100.
• Dataset Sintético: Elements [48], que fornece anotações de conceitos de verdade fundamental (forma, cor, textura) para medir o alinhamento diretamente.
• Modelos: Diversas implementações de CBM post-hoc, incluindo PCBM (dados auxiliares), LFCBM (embeddings de texto de VLM) e VLG-CBM (detecção de objetos fundamentada).

Resultados Principais

1. A Acurácia é Enganosa: Experimentos confirmam que projeções de conceitos aleatórias podem alcançar acurácia de jusante comparável a modelos treinados em fontes de conceitos significativas (ex: Broden, CLIP). À medida que a dimensão do gargalo $K$ aumenta, as projeções aleatórias preservam informação geométrica suficiente para permitir que o classificador de jusante reconstrua as ativações originais, tornando a acurácia um proxy não confiável.
2. Impacto do Deslocamento de Covariável: Modelos treinados em dados auxiliares fora da distribuição (ex: padrões abstratos) exibem significativamente menor fidelidade de conceito (medida pela similaridade de cosseno com a verdade fundamental) em comparação com o treinamento dentro da distribuição, apesar de manterem alta acurácia de jusante. A métrica proposta $\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$ correlaciona-se fortemente com essa queda na fidelidade.
3. Ruído Sistemático vs. Aleatório:
   • Ruído Aleatório: Adicionar 25% de ruído de rótulo aleatório aos dados de verdade fundamental resulta em projeções fiéis porque os erros se anulam (a ortogonalidade se mantém).
   • Ruído Sistemático: VLMs (CLIP, DINOv3, Grounding DINO) introduzem erros sistemáticos correlacionados com características específicas. Por exemplo, o Grounding DINO tem dificuldade com formas geométricas em fundos brancos, criando erros correlacionados que levam a projeções infiéis. A métrica de correlação proposta identifica com sucesso essas falhas onde as métricas de acurácia padrão falham.

Significância e Alegações

O artigo afirma fornecer o primeiro framework teórico e empírico rigoroso para avaliar a fidelidade de CBMs post-hoc independentemente do desempenho preditivo.

• Contribuição Teórica: Formaliza as condições sob as quais projeções aleatórias podem mimetizar o raciocínio semântico (via lema de Johnson-Lindenstrauss de variedades) e deriva as condições específicas (ortogonalidade do erro) sob as quais a supervisão substituta falha.
• Contribuição Prática: Introduz métricas inovadoras que permitem aos praticantes detectar comportamentos infiéis — especificamente deslocamentos de covariável e vieses sistemáticos de VLM — que são invisíveis para a avaliação padrão baseada em acurácia.
• Implicação: Os autores argumentam que confiar apenas na acurácia de jusante cria uma "ilusão" de interpretabilidade. A verdadeira interpretabilidade requer a inspeção direta da projeção de conceito $\pi_\theta$ para garantir que ela se alinhe com a semântica humana, necessitando do uso das métricas de fidelidade propostas.

O trabalho não propõe novos algoritmos de treinamento, mas sim um framework de avaliação crítica para garantir que o "gargalo" nos Modelos de Gargalo de Conceitos seja verdadeiramente um gargalo de conceitos compreensíveis por humanos, e não uma representação comprimida de características brutas.