Weight Space Correlation Analysis: Quantifying Feature Utilization in Deep Learning Models

Resumo Técnico: Análise de Correlação no Espaço de Pesos para Quantificar a Utilização de Características

Definição do Problema
Modelos de aprendizado profundo em imagens médicas são suscetíveis ao "aprendizado de atalhos" (shortcut learning), onde os modelos dependem de metadados de confusão (ex: modelo do scanner, protocolo de aquisição) em vez de sinais clínicos genuínos. Embora pesquisas anteriores tenham demonstrado que tais informações de confusão são frequentemente codificadas dentro dos embeddings de imagem (ex: Gichoya et al., 2022; Glocker et al., 2023), uma lacuna crítica permanece: a mera presença de uma característica no espaço de embedding não prova que o modelo a utiliza ativamente para predições finais. Métodos existentes, como a análise de distribuições de embeddings ou a geração de conjuntos de teste contrafatuais, não abordam diretamente se a cabeça de classificação aproveita esses confundidores. Este artigo aborda a questão fundamental: o limite de decisão do modelo se alinha ativamente com fatores clinicamente irrelevantes?

Metodologia: Análise de Correlação no Espaço de Pesos (WSC)
Os autores propõem a análise de Correlação no Espaço de Pesos (WSC), uma metodologia interpretável para quantificar a utilização de características, medindo o alinhamento entre as cabeças de classificação da tarefa clínica primária e das tarefas auxiliares de metadados. O método procede em três etapas:

1. Representação Linear: O método trata os pesos da cabeça de classificação linear ($W$) como "vetores de atenção" atuando sobre o espaço de embedding latente. Para uma tarefa com $C$ classes, a matriz de pesos $W \in \mathbb{R}^{C \times d}$ define as direções de decisão para cada classe.
2. Projeção no Manifold de Dados: Para garantir que as comparações sejam feitas em dimensões significativas, os pesos do classificador são projetados no manifold intrínseco dos dados usando Análise de Componentes Principais (PCA). Os autores extraem os $k$ principais componentes (impondo um mínimo de 50 e capturando 99% da variância) para formar uma matriz de projeção $P$. Os pesos são transformados como $W' = W P^\top$. Esta etapa filtra dimensões ortogonais e não informativas.
3. Quantificação do Alinhamento: O método calcula a similaridade de cosseno entre os vetores de peso projetados da tarefa primária ($W'_A$) e das tarefas de metadados auxiliares ($W'_m$). Uma alta correlação entre as fronteiras de decisão de uma tarefa clínica e uma tarefa de metadados (ex: tipo de scanner) serve como um proxy quantitativo para o aprendizado de atalho, indicando que o modelo depende das mesmas características latentes para ambas as predições.

Principais Contribuições

• Métrica Inovadora: Introdução da análise WSC para distinguir entre a codificação de metadados e sua utilização ativa na inferência.
• Validação via Viés Induzido: Os autores validaram o método criando um "Dataset de Viés Induzido" controlado, onde uma forte correlação foi artificialmente introduzida entre classes de planos fetais e modelos de scanner. A análise WSC detectou com sucesso o alto alinhamento resultante nos vetores de peso, enquanto o "Dataset Balanceado" (sem correlação) mostrou baixo alinhamento, confirmando a sensibilidade do método ao aprendizado de atalho.
• Aplicação em Modelos Clínicos: A metodologia foi aplicada ao modelo SA-SonoNet para predição de Parto Prematuro Espontâneo (sPTB), um modelo de ponta em ultrassonografia obstétrica.

Resultados Experimentais
O estudo utilizou dois conjuntos de dados clínicos privados de ultrassonografia: um conjunto de classificação anatômica fetal e um conjunto de colo do útero para predição de sPTB.

• Codificabilidade vs. Utilização: No dataset fetal, modelos de base confirmaram que os metadados (scanner, ID do hospital) eram altamente codificáveis nos embeddings da imagem (alto AUROC ao realizar o probing). No entanto, a análise WSC revelou que os vetores de peso para a tarefa primária de classificação de planos eram amplamente ortogonais (baixa correlação) aos da tarefa de classificação de scanner. Isso se manteve mesmo para modelos multitarefa treinados explicitamente para codificar metadados, sugerindo que a tarefa primária não dependia de atalhos de scanner.
• Detecção de Atalho Induzido: Quando o dataset foi enviesado para correlacionar planos específicos com scanners específicos, os valores de WSC entre os planos e os scanners aumentaram significativamente. Isso confirmou que a WSC pode detectar quando um modelo é forçado a adotar uma estratégia de atalho.
• Análise do SA-SonoNet: Aplicada ao modelo de predição de sPTB, a análise mostrou:
  • Relevância Clínica: Os pesos do classificador de sPTB apresentaram correlação moderada com fatores clinicamente relevantes, como comprimento cervical e espaçamento de pixels.
  • Desacoplamento de Confundidores: Os pesos foram desacoplados de fatores de aquisição clinicamente irrelevantes, especificamente o tipo de scanner.
  • Ressalva: Embora o peso ao nascer tenha mostrado alta WSC com sPTB, os autores observam que isso foi funcionalmente sem sentido porque a cabeça de probing falhou em prever o peso ao nascer de forma eficaz, indicando que a informação não estava robustamente codificada.

Significância e Alegações
O artigo afirma que a análise WSC fornece uma ferramenta necessária para verificar a confiabilidade de modelos em imagens médicas. Ao inspecionar se um classificador utiliza características não relacionadas ao sinal clínico genuíno, pesquisadores podem ir além de métricas simples de desempenho para entender a lógica de decisão interna. Os autores concluem que, embora fatores de confusão estejam frequentemente presentes nos embeddings de imagens médicas, modelos como o SA-SonoNet podem ser projetados ou treinados de modo que suas fronteiras de decisão permaneçam alinhadas com sinais clinicamente significativos e desacopladas de correlações espúrias, como modelos de scanner. Isso oferece um método para confirmar que um modelo está aprendendo a patologia pretendida em vez de explorar artefatos do dataset.

Limitações
Os autores reconhecem que o método assume uma relação linear entre o espaço de embedding e as predições de classe, o que se alinha às convenções padrão de aprendizado profundo, mas pode não capturar interações não lineares complexas. Além disso, o método atualmente analisa atributos de metadados individuais; atalhos do mundo real podem envolver combinações não lineares de múltiplos confundidores, o que investigações futuras visam abordar. O artigo também observa que uma baixa WSC não garante robustez a mudanças de domínio causadas por outros fatores, como mudanças na qualidade da imagem ou mudanças de características, mas descarta o aprendizado de atalho como a causa de tais falhas.