Transformation Behavior of Images in Latent Space

Resumo Técnico: Comportamento de Transformação de Imagens no Espaço Latente

Declaração do Problema
O treinamento de redes neurais para classificação de histopatologia frequentemente depende da codificação de dados em um espaço latente para reduzir a complexidade e melhorar o desempenho. Embora as transformações de dados (ex: inversão, recorte, aumento de cor) sejam práticas padrão para ampliar artificialmente os conjuntos de dados, e redes de "embedder" não supervisionadas sejam cada vez mais utilizadas para criar representações compactas e informativas, o comportamento específico desses espaços latentes sob transformação permanece pouco investigado.

Idealmente, uma rede embedder perfeita treinada com dados infinitos tornaria o espaço latente invariante a transformações irrelevantes para o rótulo, o que significa que o vetor latente para uma imagem e sua versão transformada seriam idênticos. No entanto, dados os recursos finitos, tais redes perfeitas não existem. A questão central de pesquisa é: Como as redes embedder não supervisionadas se comportam sob transformações de dados comumente aplicadas? Especificamente, os autores buscam quantificar a variância dos embeddings resultantes de transformações padrão e avaliar se essas redes alcançam verdadeira invariância ou apenas robustez.

Metodologia
O estudo conduziu uma análise sistemática de 392 experimentos envolvendo oito redes distintas de datasets, sete redes embedder diferentes e sete transformações de imagem específicas.

• Datasets: Dois datasets de Imagem de Lâmina Inteira (WSI) foram utilizados:

  1. TCGA: A coleção aberta de Adenocarcinoma de Cólon (1.330 WSIs).
  2. CAD: Um dataset não público de adenomas de cólon do Hospital Universitário de Heidelberg e do Hospital Universitário de Bonn (520 WSIs).
  • As imagens foram processadas em tiles de 256x256 pixels em resoluções de 0,25, 0,5, 1,0 e 2,0 mícrons por pixel (mpp). Tiles de fundo foram excluídos usando Detecção de Borda Canny.

• Redes: Sete modelos pré-treinados não supervisionados foram avaliados, representando diferentes arquiteturas e metodologias de treinamento:

  • Baseados em ResNet50: Meta SwAV (200 épocas, baseline ImageNet), Lunit Barlow Twin, Lunit MoCoV2 e Lunit SwAV (treinado em dados de patologia).
  • Baseados em Vision Transformer (ViT): Lunit DINO (08 e 16) e o grande H-Optimus-0 (H0) da Bioptimus (1,1 bilhão de parâmetros, treinado em 500 mil lâminas de patologia usando DINOv2).
  • Métodos de Treinamento: Barlow Twin (BT), Momentum Contrast v2 (MoCoV2), Swapping Assignment between Views (SwAV) e Self-Distillation with NO labels (DINO).

• Transformações: O estudo aplicou sete transformações aos tiles de imagem: inversão horizontal, inversão vertical, recorte aleatório, jitter de cor, conversão para escala de cinza, normalização de cor e uma "imagem de comparação aleatória" (servindo como um baseline para embeddings não relacionados).

• Métricas e Análise:

  1. Distância da Norma L2: A distância euclidiana entre o vetor original e o transformado foi calculada. Essas distâncias foram normalizadas contra a distância média entre embeddings aleatórios e não relacionados (Average Random Distance, ARD) para permitir a comparação entre redes.
  2. Distribuição Dimensional: O estudo analisou quais dimensões específicas no espaço latente contribuíram mais para as mudanças de distância, ordenando as dimensões da mais afetada para a menos afetada.
  3. Índice de Jaccard Generalizado (GJI): Para quantificar a sobreposição das dimensões mais afetadas entre diferentes transformações, os autores desenvolveram uma métrica GJI. Esta mede a similaridade dos conjuntos de dimensões mais alteradas, avaliando o grau de desentrelaçamento de características (ou seja, se diferentes transformações afetam as mesmas ou distintas dimensões).

Principais Resultados

• Robustez vs. Invariância: Os embeddings das imagens originais e transformadas foram consistentemente mais próximos entre si do que em relação a embeddings aleatórios, indicando um grau de robustez. No entanto, as distâncias não foram zero, provando que as redes não são totalmente invariantes às transformações. Isso apoia a utilidade do aumento de dados mediado por transformação, pois as redes não neutralizam completamente os efeitos da transformação.
• Impacto da Transformação: Transformações baseadas em cor (ex: jitter de cor, escala de cinza) induziram deslocamentos maiores no espaço latente em comparação com transformações espaciais (ex: inversão, recorte). Isso sugere que variações de cor, que frequentemente derivam de diferenças de scanner, impactam significativamente a representação latente.
• Comparação de Redes:
  • Geral vs. Específico de Patologia: Redes treinadas especificamente em imagens de histopatologia (modelos Lunit e Bioptimus) exibiram, em geral, maior invariância a transformações espaciais (como inversões verticais) comparadas ao baseline da Meta treinado em ImageNet. A rede Meta mostrou maiores deslocamentos para inversões verticais, provavelmente porque a orientação vertical carrega significado semântico em imagens naturais, mas não em histopatologia.
  • Desentrelaçamento: A rede H-Optimus-0 (H0) demonstrou o melhor desentrelaçamento de características, evidenciado pelo menor Índice de Jaccard Generalizado (0,091). Isso indica que diferentes transformações afetaram conjuntos distintos de dimensões na rede H0. Por outro lado, as redes Lunit SwAV e Meta SwAV mostraram maior sobreposição (GJI > 0,39), sugerindo um desentrelaçamento menos eficaz.
• Comportamento Dimensional: Nenhuma dimensão única foi inteiramente invariante. Embora algumas poucas dimensões tenham contribuído mais para a mudança de qualquer dada transformação, os deslocamentos foram distribuídos pelo espaço latente em vez de localizados em características específicas.

Significância e Alegações
O artigo afirma que medir a invariância fornece um método direto e interpretável para avaliar a qualidade dos espaços latentes e comparar diferentes redes embedder sem depender exclusivamente do desempenho em tarefas downstream.

• Implicações Práticas: Os achados reforçam a importância contínada das aumentações de imagem clássicas nos pipelines de pré-processamento, particularmente a normalização de cor, para mitigar o impacto significativo das variações de cor induzidas por scanners nas representações latentes.
• Insight Teórico: O estudo revela que redes não supervisionadas de última geração não alcançam o desentrelaçamento ou a invariância perfeitos. A observação de que diferentes transformações frequentemente afetam as mesmas dimensões latentes sugere que as redes não separam totalmente as características subjacentes da imagem.
• Perspectiva Futura: Os autores postulam que, embora esses desvios da invariância ideal sejam esperados dado os recursos de treinamento finitos, permanece uma questão em aberto se a alta sensibilidade às transformações impacta negativamente o desempenho de classificação downstream. A metodologia proposta oferece uma ferramenta para a comparação sistemática de estruturas de espaço latente, auxiliando na busca por espaços latentes melhor estruturados no aprendizado de representação.