Transformation Behavior of Images in Latent Space

기술 요약: 잠재 공간(Latent Space) 내 이미지의 변환 동작

문제 정의
조직 병리 분류를 위한 신경망 학습은 복잡성을 줄이고 성능을 향ify하기 위해 데이터를 잠재 공간으로 인코딩하는 방식에 의존하는 경우가 많습니다. 데이터 변환(예: 뒤집기, 크롭, 색상 증강)은 데이터셋을 인위적으로 확장하기 위한 표준적인 관행이며, 비지도 학습 기반의 "임베더(embedder)" 네트워크는 점차 압축적이고 정보가 풍부한 표현을 생성하는 데 사용되고 있지만, 이러한 잠재 공간이 변환에 대해 보이는 구체적인 동작은 여전히 연구가 미진한 상태입니다.

이상적인 경우, 무한한 데이터로 학습된 완벽한 임베더 네트워크는 레이블과 무관한 변환에 대해 잠재 공간을 불변(invariant)하게 만들 것입니다. 즉, 원본 이미지와 그 변환된 버전의 잠재 벡터가 동일해야 합니다. 그러나 유한한 자원을 고려할 때, 그러한 완벽한 네트워크는 존재하지 않습니다. 핵심 연구 질문은 다음과 같습니다: 비지도 임베더 네트워크는 일반적으로 적용되는 데이터 변환 하에서 어떻게 동작하는가? 구체적으로, 저자들은 표준 변환에 따른 임베딩의 분산을 정량화하고, 이러한 네트워크가 진정한 불변성(invariance)을 달取得했는지 아니면 단순히 강건성(robustness)만을 갖추었는지 평가하고자 합니다.

연구 방법론
본 연구는 8개의 서로 다른 데이터셋, 7개의 서로 다른 임베더 네트워크, 7개의 특정 이미지 변환을 포함하는 392개의 실험을 체계적으로 분석했습니다.

• 데이터셋: 두 종류의 전체 슬라이드 이미지(WSI) 데이터셋이 활용되었습니다:

  1. TCGA: 오픈 소스 대장 선암종 컬렉션 (1,330개 WSI).
  2. CAD: 하이델베르크 대학교 병원 및 본 대학교 병원에서 제공한 비공개 대장 선종 데이터셋 (520개 WSI).
  • 이미지는 0.25, 0.5, 1.0, 2.0 microns per pixel (mpp) 해상도의 256x256 픽셀 타일로 처리되었습니다. 배경 타일은 Canny Edge Detection을 사용하여 제외되었습니다.

• 네트워크: 다양한 아키텍처와 학습 방법론을 대표하는 7개의 사전 학습된 비지도 모델이 평가되었습니다:

  • ResNet50 기반: Meta SwAV (200 에포크, ImageNet 베이스라인), Lunit Barlow Twin, Lunit MoCoV2, Lunit SwAV (병리 데이터로 학습됨).
  • Vision Transformer (ViT) 기반: Lunit DINO (08 및 16), 그리고 Bioptimus의 대규모 H-Optimus-0 (H0) (11억 개의 파라미터, DINOv2를 사용하여 50만 개의 병리 슬라이드로 학습됨).
  • 학습 방법: Barlow Twin (BT), Momentum Contrast v2 (MoCoV2), Swapping Assignment between Views (SwAV), 그리고 레이블이 없는 자기 증류(self-Distillation with NO labels, DINO).

• 변환: 연구에서는 7가지 이미지 타일 변환을 적용했습니다: 수평 뒤집기(horizontal flip), 수직 뒤집기(vertical flip), 랜덤 크롭(random crop), 색상 지터(color jitter), 그레이스케일 변환, 색상 정규화(color normalization), 그리고 "랜덤 비교 이미지"(관련 없는 임베딩을 위한 베이스라인 역할).

• 지표 및 분석:

  1. L2-Norm 거리: 원본과 변환된 잠재 벡터 사이의 유클리드 거리를 계산했습니다. 이 거리는 네트워크 간 비교를 가능하게 하기 위해 평균 랜덤 거리(Average Random Distance, ARD)에 대해 정규화되었습니다.
  2. 차원 분포: 잠재 공간의 어떤 특정 차원이 거리 변화에 가장 많이 기여했는지 분석하여, 영향을 가장 많이 받는 차원부터 가장 적게 받는 차원 순으로 정렬했습니다.
  3. 일반화된 자카드 지수 (Generalized Jaccard Index, GJI): 가장 많이 변화하는 차원들의 집합 간 중첩을 정량화하기 위해 저자들은 GJI 지표를 개발했습니다. 이는 가장 많이 변화하는 차원 세트의 유사성을 측정하여 특징의 엉킴 해제(feature disentanglement) 정도(즉, 서로 다른 변환이 동일하거나 별개의 차원에 영향을 미치는지 여부)를 평가합니다.

주요 결과

• 강건성 vs. 불변성: 원본과 변환된 이미지의 임베딩은 랜덤 임베딩보다는 일관되게 서로 가까웠으며, 이는 어느 정도의 강건성을 나타냅니다. 그러나 거리는 0이 아니었으며, 이는 네트워크가 변환에 대해 완전히 불변하지 않음을 입증합니다. 이는 변환 매개 데이터 증강의 유용성을 뒷받침하며, 네트워크가 변환 효과를 완전히 상쇄하지 못함을 의미합니다.
• 변환의 영향: 색상 기반 변환(예: 색상 지터, 그레이스케일)은 공간적 변환(예: 뒤집기, 크롭)보다 잠재 공간에 더 큰 이동을 유발했습니다. 이는 스캐너 차이에서 기인하는 색상 변화가 잠재 표현에 상당한 영향을 미친다는 것을 시사합니다.
• 네트워크 비교:
  • 일반 모델 vs. 병리 특화 모델: 병리 이미지를 위해 특별히 학습된 네트워크(Lunit 및 Bioptimus 모델)는 ImageNet으로 학습된 Meta 베이스라인에 비해 공간적 변환(수직 뒤집기 등)에 대해 일반적으로 더 높은 불변성을 보였습니다. Meta 네트워크는 수직 뒤집기에 대해 더 큰 이동을 보였는데, 이는 자연 이미지에서는 수직 방향이 의미를 갖지만 병리 이미지에서는 그렇지 않기 때문인 것으로 보입니다.
  • 엉킴 해제 (Disentanglement): H-Optimus-0 (H0) 네트워크는 가장 낮은 일반화된 자카드 지수(0.091)를 보여 최상의 특징 엉킹 해제 성능을 입증했습니다. 이는 서로 다른 변환이 H0 네트워크에서 서로 다른 차원 세트에 영향을 미쳤음을 나타냅니다. 반대로, Lunit SwAV 및 Meta SwAV 네트워크는 더 높은 중첩(GJI > 0.39)을 보여 엉킹 해제가 덜 효과적임을 시사했습니다.
• 차원 동작: 단일 차원이 완전히 불변하는 경우는 없었습니다. 특정 변환에 대해 몇몇 차원이 가장 많이 기여하긴 했으나, 변화는 특정 특징에 국한되지 않고 잠재 공간 전반에 걸쳐 분포되어 있었습니다.

의의 및 주장
본 논문은 불변성을 측정하는 것이 다운스트림 태스크의 성능에만 의존하지 않고도 잠재 공간의 품질을 평가하고 서로 다른 임베더 네트워크를 비교할 수 있는 직접적이고 해석 가능한 방법을 제공한다고 주장합니다.

• 실질적 시사점: 연구 결과는 스캐너로 인한 색상 변화가 잠재 임베딩에 미치는 상당한 영향을 완화하기 위해 전처리 파이프라인에서 클래식한 이미지 증강, 특히 색상 정규화의 지속적인 중요성을 강조합니다.
• 이론적 통찰: 본 연구는 현재의 최첨단 비지도 학습 네트워크가 완벽한 엉킹 해제나 불변성을 달성하지 못하고 있음을 밝혀냈습니다. 서로 다른 변환이 종종 동일한 잠재 차원에 영향을 미친다는 관찰은 네트워크가 기저의 이미지 특징을 완전히 분리하지 못하고 있음을 시사합니다.
• 향-후 전망: 저자들은 이러한 이상적인 불변성으로부터의 이탈이 유한한 학습 자원으로 인해 예상되는 바이지만, 변환에 대한 높은 민감도가 다운스트림 분류 성능에 부정적인 영향을 미치는지 여부는 여전히 미해결 과제로 남아 있다고 보고 있습니다. 제안된 방법론은 표현 학습에서 더 구조화된 잠재 공간을 추구하는 데 있어 체계적인 비교 도구로서 잠재 공간 구조를 비교하는 데 도움을 줍니다.