기술 요약: 대규모 인공 생성 볼륨 데이터셋에 대한 스티칭 및 차원 효과

문제 정의

딥러닝 기반 이미지 생성, 특히 스타일 변환(style-transfer) 작업은 대규모 과학적 데이터셋(예: 저온 전자 현미경 볼륨)을 처리할 때 고유한 계산적 제약에 직면합니다. 현재의 하드웨어는 단일 순전파(forward pass) 과정에서 처리할 수 있는 데이터 크기에 제한이 있으므로, 대규모 볼륨을 더 작은 패치로 나누어 개별적으로 처리한 후 다시 재조립하는 과정, 즉 "스티칭(stitching)"이 필요합니다.

이 조립 과정은 **스티칭 아티팩트(stitching artifacts)**를 유발합니다. 이는 인접한 패치들이 독립적인 처리, 정규화 또는 비본질적인 픽셀 정보를 도입하는 패딩된 컨볼루션(padded convolutions)의 사용으로 인해 경계면에서 완벽하게 정렬되지 못하기 때문에 발생합니다. 이러한 아티팩트는 세그멘테이션(segmentation) 작업에 영향을 미치는 것으로 알려져 있으나, 스타일 변환을 위한 생성 모델 및 다운스트림 과학 분석에 미치는 구체적인 영향은 여전히 잘 알려져 있지 않습니다. 또한, 연구자들은 **패치 차원(patch dimensionality)**에 관한 중요한 결정에 직면합니다. 즉, 볼륨을 2D 슬라이스(슬라이스 단위)로 조립할 것인지, 아니면 3D 패치로 조립할 것인지의 문제입니다. 3D 방식은 증가된 문맥 정보(contextual information)를 제공하지만, 상당한 계산 비용과 메모리 제한을 초발하며, 이로 인해 훈련을 불안정하게 만들 수 있는 작은 배치 크기를 강요받게 됩니다.

방법론

저자들은 CycleGAN 모델을 사용하여 저온 전자 현미경(cryo-EM) 데이터셋(쥐와 인간의 미토콘드리아 볼륨 간의 변환을 위한 MitoEM 데이터셋)을 통해 이 문제들을 조사하고, openorganelle 데이터셋으로 검증하였습니다.

실험 설계

연구는 다음 세 가지 주요 변수를 체계적으로 평가했습니다:

1. 스티칭 전략:
   • 타일 앤 스티치(Tile-and-Stitch): 훈련 및 추론 시 유효한 컨볼루션(valid convolutions, 패딩 없음)을 사용합니다. 출력 패치는 다운샘플링 계수에 따라 크롭(crop)하여 경계 아티팩트를 제거하며, 인접한 패치들은 크롭된 크기에 맞게 이동시켜 겹침(overlap)이 없도록 합니다.
   • 평균 오버랩을 이용한 패딩된 컨볼루션(Padded Convolutions with Averaged Overlap): 추론 시 제로 패딩(zero-padding)과 반사 패딩(reflective padding)의 "헤일로(halo)"를 사용합니다. 패치는 중첩되어 조립되며, 중첩된 영역은 경계선(seams)을 완화하기 위해 평균화됩니다.
   • 중첩 없는 유효 컨볼루션(Valid Convolutions without Overlap): 유효한 컨볼루션을 사용하지만 원래의 입력 패치 크기를 스텝 사이즈로 유지하여, 겹침 없이 크롭도 수행하지 않습니다.
2. 패치 차원: 2D 모델(슬라이스 단위 처리)과 3D 모델(볼륨 패치 처리)의 비교. 세 번째 접근법으로 **오쏘슬라이스(Orthoslice)**를 테스트했습니다(세 개의 직교하는 2D 방향으로부터 예측값을 앙상블함).
3. 평가 지표:
   • 지각적 품질(Perceptual Quality): 생성된 볼륨과 타겟 도메인 사이의 프레셰 인셉션 거리(Fréchet Inception Distance, FID)를 사용하여 측정합니다.
   • 다운스트림 성능: 생성된 볼륨을 사용하여 3D U-Net으로 학습된 세맨틱 세그멘테이션 작업(미토콘드리아 세그멘테이션)의 IoU(Intersection-over-Union)를 통해 측정합니다.

모델 아키텍처 및 훈련

• 생성기(Generators): 스트라이드 컨볼루션(strided convolutions)을 사용하는 5단계 다운샘플링 구조의 UNet 기반 아키텍처입니다.
• 훈련 조정: 패치별 정규화 아티팩트를 방지하기 위해 추론 시 인스턴스 정규화(instance normalization) 통계치를 고정했습니다. 구조적 특징을 보존하기 위해 추가적인 SSIM 손실을 통합했습니다.
• 데이터 처리: 낮은 분산(대부분 배경인 경우)을 가진 패치는 훈련에서 제외되었습니다. 일관성을 보장하기 위해 훈련 중에 전역 정규화 통계(global normalization statistics)를 수집하고 추론 시 이를 고정했습니다.

주요 결과

1. 지각적 지표(FID)의 한계

연구 결과, FID 점수는 다운스트림 작업의 관점에서 생성된 과학적 볼륨의 품질를 평가하는 데 불충분함이 밝혀졌습니다.

• FID는 다운스트림 세그멘테이션 성능에 상당한 영향을 미치는 미세한 스티칭 아티팩트를 감지하지 못했습니다.
• 지각적으로 타겟 도메인에 가장 가까운(최고의 FID 점수를 가진) 볼륨이 반드시 최고의 세그멘테이션 결과를 내는 것은 아니었습니다. 반대로, FID 점수가 낮은 볼륨이 때때로 낮은 세그멘테이션 성능과 상관관계를 보이기도 했으나, 이 지표는 작업 특화된 유용성을 예측하는 신뢰할 만한 지표가 되지 못했습니다.

2. 스티칭이 다운스트림 작업에 미치는 영향

• 아티팩트 전파: 육안으로는 확률 맵(probability maps)에서 보이지 않는 미세한 스티칭 아티팩트조차 최종 세그멘테이션 마스크로 전파되어 패치 경계에서의 오류를 유발했습니다.
• 최적의 스티칭: 타일 앤 스티치(Tile-and-Stitch) 방식(유효 컨볼루션과 크롭 사용)이 오버랩 평균화 및 노 오버랩 방식보다 일관되게 더 견고한 다운스트림 세그멘테이션 결과를 생성했습니다.
• 3D vs 2D 스티칭: 스티칭 아티팩트의 부정적 영향(예: 오버랩 평균화 방식에서)은 2D 모델보다 3D 모델에서 더 두드러지게 나타났습니다.

3. 차원과 훈련 안정성

• 훈련 안정성: 더 큰 배치 크기로 훈련된 2D 모델은 메모리 제한으로 인해 배치 크기가 1로 제한되는 경우가 많은 3D 모델보다 훨씬 더 안정적이었습니다. 이러한 안정성은 2D 훈련에서 더 일관된 FID 점수와 극단적인 이상치(outliers)가 적게 나타나는 결과로 이어졌습니다.
• 성능 트레이드오프: 아티팩트가 없는 스티칭(Tile-and-Stitch)을 적용한 3D 모델이 다운스트림 세그멘테이션 작업에서 2D 모델보다 미세하게 우수한 성능을 보였으나, 그 차이는 IoU의 소수점 3~4째 자리 수준에 불과했습니다. 저자들은 이러한 미미한 이득이 3D 모델의 훈련 및 저장에 드는 추가적인 계산 비용을 정당화하기에는 부족하다고 결론지었습니다.
• 앙상블(Orthoslice): 세 개의 직교하는 방향으로부터 예측을 앙상블하는 것은 품질이 낮은 볼륨(초기 아티팩트가 있는 볼륨)의 품질을 개선했지만, 이미 높은 품질을 가진 출력물에는 이점이 없었습니다.

의의 및 주장

본 논문은 대규모 3D 생물 의학 데이터셋의 스타일 변환에 있어 스티칭 전략, 패치 차원, 그리고 이들의 결합이 지각적 지표 및 다운스트림 과학 작업에 미치는 상호작용을 체계적으로 조사한 첫 번째 연구라고 주장합니다.

저자들은 세 가지 주요 기여를 강조합니다:

1. 지표의 타당성: 지각적 지표인 FID가 궁극적인 목표가 다운스트림 분석 작업인 생물 의학 영상의 도메인 적응을 평가하는 데 부적절함을 입증했습니다. 평가는 반드시 다운스트림 성능 지표를 포함해야 합니다.
2. 최선의 실무(Best Practices): 시각적 아티팩트가 눈에 보이지 않더라도, 다운스트림 성능을 극대화하기 위해서는 아티팩트가 없는 스티칭(유효 컨볼루션 및 크롭을 통한)이 필수적임을 확립했습니다. 또한 패치별 아티팩트를 방지하기 위해 전역 정규화 통계 사용을 권장합니다.
3. 실무적 가이드라인: 연구는 3D 모델이 증가된 문맥을 통해 이론적인 이점을 제공하지만, 작은 배치 크스로 인한 훈련 불안정성 때문에 그 이점이 종종 상쇄된다는 점을 시사합니다. 대부분의 응용 분야에서는 엄격한 스티칭 프로토콜을 갖춘 안정적인 2D 모델이 더 효율적인 선택이 될 수 있습니다.

마지막으로, 저자들은 임의의 대규모 데이터셋을 Zarr 포맷을 통해 처리할 수 있는 메모리 효율적인 수정된 CycleGAN 코드베이스를 공개하였으며, 이는 생물 영상 커뮤니티를 위해 투명하고 아티팩트가 없는 스티칭을 용이하게 하도록 설계되었습니다.