Transformation Behavior of Images in Latent Space

Technische Samenvatting: Transformatiegedrag van Afbeeldingen in de Latente Ruimte

Probleemstelling
Het trainen van neurale netwerken voor histopathologische classificatie leunt vaak op het coderen van gegevens in een latente ruimte om complexiteit te verminderen en prestaties te verbeteren. Hoewel datatransformaties (bijv. flippen, croppen, kleuraugmentatie) standaardpraktijk zijn om datasets kunstmatig te vergroten, en ongecontroleerde "embedder"-netwerken steeds vaker worden gebruikt om compacte, informatieve representaties te creëren, blijft het specifieke gedrag van deze latente ruimtes onder transformatie onderbelicht.

Ideaal gezien zou een perfect embedder-netwerk, getraind op oneindige hoeveelheden data, de latente ruimte invariant maken voor label-irrelevante transformaties, wat betekent dat de latente vector voor een afbeelding en de getransformeerde versie van die afbeelding identiek zouden zijn. Gezien de beperkte middelen bestaan dergelijke perfecte netwerken echter niet. De centrale onderzoeksvraag is: Hoe gedragen ongecontroleerde embedder-netwerken zich onder veelvoorkomende datatransformaties? Specifiek zoeken de auteurs naar een manier om de variantie van embeddings die voortkomen uit standaardtransformaties te kwantificeren en te beoordelen of deze netwerken werkelijke invariantie bereiken of slechts robuustheid.

Methodologie
De studie voerde een systematische analyse uit van 3aden experimenten met acht verschillende datasets, zeven verschillende embedder-netwerken en zeven specifieke beeldtransformaties.

• Datasets: Er werden twee Whole Slide Image (WSI) datasets gebruikt:

  1. TCGA: De open-source Colon Adenocarcinoma collectie (1.330 WSIs).
  2. CAD: Een niet-publieke dataset van colon adenomen van het Universiteitsziekenhuis Heidelberg en het Universiteitsziekenhuis Bonn (520 WSIs).
  • Afbeeldingen werden verwerkt in tegels van 256x256 pixels op resoluties van 0,25, 0,5, 1,0 en 2,0 microns per pixel (mpp). Achtergrondtegels werden uitgesloten met behulp van Canny Edge Detection.

• Netwerken: Zeven vooraf getrainde ongecontroleerde modellen werden geëvalueerd, die verschillende architecturen en trainingsmethodologieën vertegenwoordigen:

  • ResNet50-gebaseerd: Meta SwAV (200 epochs, ImageNet baseline), Lunit Barlow Twin, Lunit MoCoV2 en Lunit SwAV (getraind op pathologiedata).
  • Vision Transformer (ViT)-gebaseerd: Lunit DINO (08 en 16), en de grootschalige H-Optimus-0 (H0) door Bioptimus (1,1 miljard parameters, getraind op 500k pathologie-slides met DINOv2).
  • Trainingsmethoden: Barlow Twin (BT), Momentum Contrast v2 (MoCoV2), Swapping Assignment between Views (SwAV) en self-Distillation met NO labels (DINO).

• Transformaties: De studie paste zeven transformaties toe op de afbeeldingstegels: horizontale flip, verticale flip, random crop, kleurjitter, conversie naar grijswaarden, kleurnormalisatie en een "random comparison image" (die dient als baseline voor ongerelateerde embeddings).

• Metrieken en Analyse:

  1. L2-Norm Afstand: De Euclidische afstand tussen de originele en de getransformeerde latente vectoren werd berekend. Deze afstanden werden genormaliseerd ten opzichte van de gemiddelde afstand tussen willekeurige, ongerelateerde embeddings (Average Random Distance, ARD) om vergelijking tussen netwerken mogelijk te maken.
  2. Dimensieverdeling: De studie analyseerde welke specifieke dimensies in de latente ruimte het meest bijdroegen aan de afstandveranderingen, waarbij dimensies werden gesorteerd van meest naar minst beïnvloed.
  3. Generalized Jaccard Index (GJI): Om de overlap van de meest beïnvloede dimensies over verschillende transformaties heen te kwantificeren, hebben de auteurs een GJI-metriek ontwikkeld. Deze meet de gelijkenis tussen de sets van de meest veranderende dimensies, waarmee de mate van feature-ontvlechting (disentanglement) wordt beoordeeld (bijv. of verschillende transformaties dezelfde of verschillende dimensies beïnvloeden).

Belangrijkste Resultaten

• Robuustheid vs. Invariantie: Embeddings van originele en getransformeerde afbeeldingen waren consistent dichter bij elkaar dan bij willekeurige embeddings, wat wijst op een mate van robuustheid. Echter, de afstanden waren niet nul, wat bewijst dat de netwerken niet volledig invariant zijn voor transformaties. Dit ondersteunt het nut van transformatie-gestuurde data-augmentatie, aangezien de netwerken de effecten van transformaties niet volledig neutraliseren.
• Impact van Transformaties: Kleurgebaseerde transformaties (bijv. kleurjitter, grijswaarden) veroorzaakten grotere verschuivingen in de latente ruimte vergeleken met ruimtelijke transformaties (bijv. flipping, cropping). Dit suggereert dat kleurvariaties, die vaak voortkomen uit verschillen tussen scanners, de latente representatie aanzienlijk beïnvloeden.
• Vergelijking van Netwerken:
  • Algemeen vs. Pathologie-specifiek: Netwerken die specifiek op histopathologische beelden zijn getraind (Lunit en Bioptimus modellen) vertoonden over het algemeen een grotere invariantie voor ruimtelijke transformaties (zoals verticale flips) vergeleken met de Meta baseline getraind op ImageNet. Het Meta-netwerk vertoonde grotere verschuivingen voor verticale flips, waarschijnlijk omdat verticale oriëntatie semantische betekenis draagt in natuurlijke afbeeldingen maar niet in histopathologie.
  • Ontvlechting (Disentanglement): Het H-Optimus-0 (H0) netwerk vertoonde de beste feature-ontvlechting, bewezen door de laagste Generalized Jaccard Index (0,091). Dit geeft aan dat verschillende transformaties verschillende sets dimensies beïnvloedden in het H0-netwerk. Daarentegen vertoonden de Lunit SwAV en Meta SwAV netwerken een hogere overlap (GJI > 0,39), wat duidt op minder effectieve ontvlechting.
• Dimensioneel Gedrag: Geen enkele dimensie was volledig invariant. Hoewel enkele dimensies het meest bijdroegen aan de verandering voor een gegeven transformatie, waren de verschuivingen verdeeld over de latente ruimte in plaats van gelokaliseerd tot specifieke kenmerken.

Betekenis en Claims
Het artikel claimt dat het meten van invariantie een directe, interpreteerbare methode biedt om de kwaliteit van latente ruimtes te beoordelen en verschillende embedder-netwerken te vergelijken zonder uitsluitend te vertrouwen op prestaties bij downstream taken.

• Praktische Implicaties: De bevindingen onderstrepen het voortdurende belang van klassieke beeldaugmentaties in preprocessing-pipelines, met name kleurnormalisatie, om de significante impact van scanner-geïnduceerde kleurvariaties op latente embeddings te mitigeren.
• Theoretisch Inzicht: De studie onthult dat huidige state-of-the-art ongecontroleerde netwerken geen perfecte ontvlechting of invariantie bereiken. De observatie dat verschillende transformaties vaak dezelfde latente dimensies beïnvloeden, suggereert dat de netwerken de onderliggende beeldkenmerken niet volledig scheiden.
• Toekomstperspectief: De auteurs stellen dat hoewel deze afwijkingen van ideale invariantie te verwachten zijn gezien de beperkte trainingsmiddelen, het een open vraag blijft of een hoge gevoeligheid voor transformaties de prestaties bij downstream classificatie negatief beïnvloedt. De voorgestelde methodologie biedt een instrument voor een systematische vergelijking van de structuren van latente ruimtes, wat bijdraagt aan het streven naar beter gestructureerde latente ruimtes in representation learning.