Resumo Técnico: ShortKit-ML

Definição do Problema

Modelos de aprendizagem profunda em imagens médicas frequentemente alcançam alta precisão ao depender de "atalhos" (shortcuts) — sinais que predizem o rótulo da tarefa nos dados de treinamento, mas que não fazem parte do mecanismo clínico subjacente. Esses atalhos podem levar à falha do modelo sob mudanças de distribuição e exacerbar problemas de equidade, como lacunas de desempenho entre grupos demográficos.

Existe uma distinção crítica entre codificação (um embedding $E$ contendo informação sobre um atributo sensível $A$), uso (um classificador treinado em $E$ que depende dessa informação) e dano (a lacuna de desempenho resultante). Embora codificadores de uso geral sejam esperados que codifiquem atributos demográficos devido a correlações com características visíveis, a presença de tal informação não garante que ela será utilizada por um classificador a jusante (downstream).

O artigo aborda duas questões específicas:

1. O potencial de atalho — definido como a dependência condicional $I(E; A | Y) > 0$ (informação sobre $A$ em $E$ além do que o rótulo da tarefa $Y$ explica) — pode ser medido em um embedding congelado isoladamente com uma taxa de falso positivo conhecida?
2. Esse potencial medido prevê o quão fortemente um classificador treinado em dados confundidos depende do atributo?

Metodologia: ShortKit-ML

Os autores introduzem o ShortKit-ML, um kit de ferramentas Python aberto projetado para auditar o potencial de atalho em embeddings congelados sem exigir acesso ao processo de treinamento ou aos gradientes do codificador.

Mecanismo Central: Teste de Permutação Condicional

A principal inovação é uma sonda condicional calibrada via permutação.

• Hipótese Nula ($H_0$): $E \perp A \mid Y$. O embedding não contém informação sobre o atributo $A$ além do que já é explicado pelo rótulo da tarefa $Y$.
• Calibração: Para estabelecer uma distribuição nula com uma taxa de falso positivo conhecida, o atributo $A$ é permutado dentro de estratos do rótulo da tarefa $Y$. Crucialmente, quando múltiplas imagens pertencem a um único paciente, a permutação ocorre entre pacientes (mantendo todas as imagens de um paciente juntas) para evitar vazamento de dados (data leakage).
• Teste Primário: Uma regressão logística prediz $A$ a partir da concatenação do embedding padronizado $E$ e do rótulo da tarefa $Y$. O escore é a AUROC out-of-fold de uma validação cruzada de 5 dobras. O valor-$p$ da permutação é calculado comparando o escore observado contra a distribuição de escores de conjuntos de dados permutados.

Detectores Secundários

Cinco detectores secundários são fornecidos para oferecer insights descritivos, todos calibrados pela mesma permutação nula condicional:

1. Estatístico: Fração de dimensões do embedding que mostram diferenças significativas entre grupos (Mann-Whitney/Kruskal-Wallis) após correção de Benjamini-Hochberg.
2. Geométrico: Distância entre centroides de grupo em relação à dispersão agrupada dentro dos grupos.
3. PCA de Direção de Viés: Desvio padronizado das médias de grupo projetado no primeiro componente principal das diferenças de médias de grupo.
4. HBAC: Informação mútua normalizada entre clusters de $k$-means e o atributo.
5. Frequência: AUROC da sonda condicional restrita ao top 5% das dimensões classificadas por diferença de grupo.

Configuração Experimental

O kit de ferramentas foi avaliado em:

• Benchmarks Sintéticos: Dados com verdade fundamental (ground truth) conhecida, incluindo desvios de média linear, sinais XOR não lineares e desvios de variância, com correlações controladas entre $A$ e $Y$.
• Cohortes Clínicas:
  • CheXpert: 2.000 imagens de 477 pacientes (7 codificadores congelados).
  • MIMIC-CXR: 1.491 indivíduos (4 codificadores congelados).
  • Atributos: Sexo, Idade (binária e multi-bin) e Raça.
• Experimento de Cabeça de Classificação: Cabeças de regressão logística e MLP foram treinadas em divisões confundidas do CheXpert (onde $P(Y=1|A=1) = 0.9$) para medir a dependência real (lacunas de Taxa de Verdadeiros Positivos, queda de AUROC) e comparar contra o escore de auditoria.
• Mitigação: Quatro métodos (debiasing adversarial, debiasing contrastivo, mascaramento de atalho e retreinamento da última camada/DFR) foram testados para ver se a redução do escore de auditoria reduzia a dependência.

Principais Resultados

1. Validade e Poder em Dados Sintéticos

• Taxa de Falso Positivo: A sonda condicional manteve sua taxa de erro nominal (rejeitando $H_0$ em 0,02 dos conjuntos de dados nulos), enquanto a sonda incondicional falhou (taxa de rejeição de 0,95) quando $A$ e $Y$ estavam fortemente correlacionados.
• Detecção de Sinal: Os detectores identificaram com sucesso sinais de desvio de média linear. No entanto, nenhum detector (incluindo a sonda primária) conseguiu detectar sinais de XOR não linear ou sinais de desvio de variância que deixaram as médias de grupo inalteradas. Essa limitação é inerente às estatísticas lineares utilizadas.

2. Achados de Auditoria Clínica

• Ubiquidade da Codificação: A auditoria detectou informação de atributo em 21 de 21 células do CheXpert e 12 de 12 células do MIMIC-CXR em todos os codificadores e atributos (Sexo, Idade, Raça).
• Magnitude: O Sexo apresentou o maior potencial de atalho (AUROC 0,84–1,00), seguido por Idade (0,67–0,89) e Raça (0,57–0,76).
• Análise de Cluster: Os clusters do embedding estavam mais fortemente associados a fatores de aquisição de imagem (visão, projeção) do que a atributos demográficos, sugerindo que as demografias são codificadas em direções que não dominam a estrutura geral do embedding.

3. Correlação com a Dependência do Modelo

• Predição de Uso: No CheXpert, o escore da sonda condicional correlacionou-se com a lacuna de Taxa de Verdadeiros Positivos (TPR) das cabeças treinadas em dados confundidos (Spearman $\rho = 0,60$, IC 95% 0,31–0,80).
• Especificidade do Atributo: A correlação foi forte para Sexo ($\rho = 0,74$), mas não foi estatisticamente significativa para Idade ($\rho = 0,19$), provavelmente devido à restrição de intervalo nas lacras de idade. Para Raça, o sinal era fraco demais para estabelecer uma correlação.
• Conclusão: Um escore de auditoria mais alto prevê uma maior probabilidade de dependência para cabeças lineares em dados confundidos, particularmente para sexo.

4. Limitações de Mitigação

• Métodos ao Nível do Embedding: O debiasing adversarial, o debiasing contrastivo e o mascaramento de atalho reduziram o escore de auditoria, mas falharam em reduzir a dependência (lacuna de TPR) da cabeça a jusante além de seus respectivos controles (mudanças $\le 0,01$).
• Método ao Nível da Cabeça: O retreinamento da cabeça em um subconjunto balanceado por grupo (DFR) conseguiu fechar a lacuna de TPR (de 0,18 para 0,01), mas não alterou o escore de auditoria (pois o embedding permaneceu inalterado) e reduziu a AUROC da tarefa devido ao tamanho pequeno do subconjunto balanceado.

Significância e Alegações

O artigo afirma que o ShortKit-ML fornece um teste linear calibrado para medir o potencial de atalho em embeddings congelados com uma taxa de falso positivo conhecida, servindo como um "primeiro passo" para casos onde o atributo é conhecido e a entrada é um embedding congelado.

• Valor Diagnóstico: A auditoria serve como uma "primeira verificação" para determinar se um embedding poderia ser explorado para atalhos. Ela identificou com sucesso um marcador de imagem plantado em todos os testes, provando sua sensibilidade a atalhos artificiais.
• Valor Preditivo: O escore de auditoria correlaciona-se com a dependência de classificadores treinados em dados confundidos, oferecendo uma métrica quantitativa para avaliação de risco antes do treinamento de um modelo completo.
• Limitações e Modéstia: Os autores afirmam explicitamente que um alerta positivo na auditoria não prova que uma cabeça específica irá usar o atributo, e que um alerta negativo não descarta atalhos (especificamente os não lineares. Além disso, reduzir o escore de auditoria via mitigação no nível do embedding não necessariamente reduz o dano; a decisão de se um atalho é usado é frequentemente tomada na cabeça de classificação.
• Impacto Prático: O kit de ferramentas destaca que codificadores de uso geral inevitavelmente codificam atributos demográficos. Os autores argumentam que as estratégias de mitigação devem visar a cabeça (ex: retreinar em dados balanceados) em vez de apenas o embedding, e que a auditoria deve fazer parte de um pipeline de avaliação mais amplo (ex: DOJO) em vez de ser uma solução isolada.

O artigo conclui que, embora o potencial de atalho possa ser medido em embeddings, o "dano" é determinado pela interação entre o embedding, os dados de treinamento e a cabeça do classificador. Portanto, auditar o embedding é um passo necessário, mas insuficiente; a cabeça treinada também deve ser testada.