Stylistic-STORM (ST-STORM) : Perceiving the Semantic Nature of Appearance

1. 연구 배경 및 문제 제기 (Problem)

• 기존 SSL 의 한계: MoCo 나 DINO 와 같은 기존의 자기지도 학습 (Self-Supervised Learning, SSL) 패러다임은 조명, 반사, 기하학적 변화 등 특정 이미지 변환에 민감하지 않은 강건한 표현 (Robust Representations) 을 학습하는 데 중점을 둡니다. 이는 객체 인식 (예: 털 색이나 조명과 관계없이 '고양이'로 인식) 에는 효과적입니다.
• 중요한 정보의 손실: 그러나 외관 (Appearance) 그 자체가 판별 신호 (Discriminative Signal) 인 경우, 이러한 불변성 (Invariance) 학습 전략은 역효과를 냅니다.
  • 기상 분석: 빗방울, 눈의 입자, 대기 산란, 반사 등은 '노이즈'가 아니라 필수적인 정보입니다.
  • 의료 영상 (흑색종): 미세 구조, 질감, 색조 변화 등은 진단의 핵심 요소입니다.
  • 자율주행: 노면 상태와 대기 조건은 안전에 직결됩니다.
• 핵심 문제: 기존 예측 기반 (I-JEPA) 이나 대비 기반 (MoCo) 방법론은 외관 정보를 '불필요한 노이즈'로 간주하여 필터링하거나, 픽셀 단위 재구성을 통해 우연한 세부 사항 (Contingent Details) 을 과도하게 학습하는 경향이 있어, 외관 정보를 의미 있는 시맨틱 모달리티로 활용하지 못합니다.

2. 제안 방법론: ST-STORM (Methodology)

저자들은 ST-STORM을 제안하며, 외관 (Style) 을 내용 (Content) 과 분리된 독립적인 시맨틱 모달리티로 취급합니다. 이 프레임워크는 두 개의 잠재 스트림 (Latent Streams) 을 명시적으로 분리하고 게이트 메커니즘으로 조절합니다.

A. 아키텍처 및 분해 (Disentanglement)

• 이중 경로 구조:
  1. Content Branch (내용): JEPA(Joint Embedding Predictive Architecture) 와 대비 학습 (Contrastive Objective) 을 결합하여 외관 변화에 불변인 안정적인 시맨틱 표현을 학습합니다.
  2. Style Branch (외관): 질감, 대비, 산란 등 외관 서명을 포착하도록 설계되었습니다.
• U-Net + SPADE:
  • Content Path: U-Net 인코더를 사용하여 장면의 구조 (기하학, 객체 위치) 를 추출합니다.
  • Style Path: 피라미드 인코더를 사용하여 다중 스케일의 외관 맵 (Maps) 과 토큰 (Tokens) 을 추출합니다.
  • SPADE (Spatially-Adaptive Denormalization): 스타일 정보를 새로운 기하학을 생성하는 것이 아니라, 디코더의 활성화 값을 변조 (Modulation) 하는 방식으로 주입하여 구조와 외관의 분리를 강화합니다.

B. 학습 전략 및 손실 함수

• 의사 도메인 (Pseudo-domains) 분할: 레이블 없는 데이터를 무작위 분할하여 '소스 이미지 (구조)'와 '타겟 이미지 (스타일)'를 생성합니다. 이를 통해 제어된 방식으로 외관을 교란시키며 학습합니다.
• Style-JEPA (핵심 기여):
  • 기존 픽셀 단위 재구성은 우연한 세부 사항을 학습하게 만듭니다. 이를 방지하기 위해 잠재 공간 (Latent Space) 에서의 예측을 수행합니다.
  • 마스킹된 스타일 토큰을 문맥으로부터 예측하도록 하여, 우연적이고 예측 불가능한 세부 사항은 걸러내고 안정적이고 재사용 가능한 외관 패턴만 학습하게 합니다.
• Content-JEPA & Contrastive Loss:
  • MoCo 스타일의 대비 학습을 통해 외관 변화 (스타일 교란) 에도 동일한 콘텐츠 표현을 유지하도록 강요합니다.
  • Stylized Positives: 외관이 변형된 이미지들을 양의 쌍 (Positive Pair) 으로 사용하여 콘텐츠 표현의 강건성을 높입니다.
• 기타 제약:
  • Adversarial Constraint (PatchGAN): 생성된 이미지의 현실성을 보장합니다.
  • Guided Reconstruction: 외관이 변형되더라도 구조가 복구 가능하도록 하여 구조적 누출 (Leakage) 을 방지합니다.
  • Frequency Constraints (FFT, SWD): (선택적) 주파수 및 텍스처 정렬을 위해 사용되지만, 실험 결과 핵심 요소는 아님.

C. 하류 작업 (Downstream Tasks) 적용

• Style Token 활용: 학습된 스타일 토큰 (다중 스케일 및 글로벌) 은 분류 헤드로 직접 입력되거나, 콘텐츠 표현과 적응형 퓨전 (Adaptive Fusion) 을 통해 결합됩니다.
• 적응형 퓨전: 게이트 메커니즘을 통해 작업의 특성에 따라 시맨틱 정보와 스타일 정보의 가중치를 동적으로 조절합니다.

3. 주요 기여 (Key Contributions)

1. 외관의 시맨틱화: 외관 (스타일) 을 단순한 노이즈가 아닌, 분리되어 학습되고 재사용 가능한 시맨틱 모달리티로 재정의했습니다.
2. 하이브리드 SSL 프레임워크: 불변성 (Content) 과 예측 가능성 (Style) 을 동시에 학습하는 이중 스트림 아키텍처를 제안했습니다.
3. Style-JEPA: 픽셀 재구성이 아닌 잠재 공간 예측을 통해 우연한 세부 사항을 필터링하고, 안정적인 외관 서명을 학습하는 새로운 메커니즘을 도입했습니다.
4. 명시적 분해: U-Net 과 SPADE 를 활용한 구조적 분해로 콘텐츠와 스타일의 누출을 효과적으로 방지했습니다.

4. 실험 결과 (Results)

실험은 Weather-MultiTask-Datasets(기상 분석), ISIC 2024(흑색종 검출), ImageNet-1K(객체 인식) 에서 수행되었습니다.

• 외관 중심 작업 (Weather & Melanoma):
  • 기상 분류: ST-STORM 의 Style Branch 는 MoCo-v3 와 I-JEPA 를 크게 앞섰습니다. (10% 레이블 데이터 기준 평균 F1 점: 97% vs MoCo 91%, I-JEPA 87%). 특히 강수 강도, 가시도, 노면 상태 등 외관 의존도가 높은 속성에서 압도적인 성능을 보였습니다.
  • 흑색종 검출: Style Branch 가 **F1 94%**를 기록하여 MoCo-v3(92.6%) 와 I-JEPA(92.0%) 보다 우수한 성능을 보였습니다.
  • 전이 학습 (Transfer): 외부 데이터셋 (MWI, WEAPD 등) 에서도 ST-STORM 이 가장 높은 일반화 성능을 보여주었습니다.
• 콘텐츠 중심 작업 (ImageNet-1K):
  • 객체 인식: Content Branch 는 MoCo-v3(100% 레이블 기준 73.8% vs ST-C 75.4%) 보다 우수한 성능을 보여주어, 스타일 모델링이 콘텐츠 표현의 질을 저하시키지 않음을 입증했습니다.
  • 적응형 퓨전: Style 과 Content 를 융합한 모델 (ST-S+C) 은 ImageNet 에서 추가적인 성능 향상 (78.4%) 을 보였으며, Oxford Flowers/Pets 등 다른 데이터셋에서도 전이 성능이 개선되었습니다. 이는 외관 정보가 콘텐츠 작업에서도 보완적 역할을 할 수 있음을 시사합니다.
• Ablation Study:
  • Style-JEPA 의 중요성: Style-JEPA 를 제거할 경우 성능이 급격히 하락 (F1 -5.45 포인트) 하여, 예측 가능성 제약이 외관 표현 학습의 핵심 요소임을 입증했습니다. 반면 주파수 제약 (FFT, SWD) 은 성능에 미미한 영향만 미쳤습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: 기존 SSL 이 추구하던 "외관 불변성"의 한계를 극복하고, 외관 자체가 중요한 정보인 상황 (기상, 의료, 자율주행 등) 에서 효과적으로 작동하는 새로운 접근법을 제시했습니다.
• 양립 가능성: "불변성 (Invariance)"과 "민감도 (Sensitivity)"는 상충되는 것이 아니라, 명시적인 분해 (Disentanglement) 를 통해 동시에 달성할 수 있음을 증명했습니다.
• 실용적 가치: 레이블 데이터가 부족한 상황 (1% ~10% 레이블) 에서도 뛰어난 성능을 발휘하여, 의료 및 자율주행과 같은 고위험 분야에서 레이블 비용 절감과 안전성 향상에 기여할 수 있습니다.
• 미래 방향: 생성/예측 모델의 통합, 더 복잡한 구조적 작업 (세그멘테이션 등) 으로의 확장, 그리고 다양한 의료 모달리티로의 일반화 가능성을 제시했습니다.

요약하자면, ST-STORM은 외관 정보를 노이즈가 아닌 의미 있는 시맨틱 신호로 취급하여, 콘텐츠와 스타일을 분리 학습함으로써 다양한 컴퓨터 비전 작업에서 기존 최첨단 모델들을 능가하는 성능을 달성한 획기적인 자기지도 학습 프레임워크입니다.