HamVision: 의료 영상 분석을 위한 해밀토니안 역학의 유도 편향 (Inductive Bias)

이 논문은 의료 영상 분석 (분할 및 분류) 을 위해 **감쇠 조화 진동자 (Damped Harmonic Oscillator)**를 구조화된 유도 편향 (Structured Inductive Bias) 으로 활용하는 새로운 프레임워크인 HamVision을 제안합니다. 저자들은 신호 처리의 기본 구성 요소인 진동자의 위상 공간 (Phase-space) 분해가 위치 (Position), 운동량 (Momentum), 에너지 (Energy) 라는 세 가지 기능적으로 구별되는 표현을 생성하며, 이는 지도 학습 없이 역학으로부터 자연스럽게 도출된다고 주장합니다.

1. 문제 정의 및 배경

의료 영상 분석은 해부학적 구조의 픽셀 단위 분할 (Segmentation) 과 병리학적 상태의 이미지 단위 분류 (Classification) 등 다양한 작업을 포함합니다. 기존 접근법 (U-Net, ResNet, Vision Transformer, MedMamba 등) 은 데이터로부터 일반적인 특징 변환을 학습하는 데 의존하며, 모델의 용량 (Capacity) 에 의존하여 유용한 계산을 발견합니다. 그러나 의료 영상에서는 조직 경계의 미묘한 기울기, 질병을 나타내는 질감 패턴, 강도의 공간적 분포 등 중요한 정보가 종종 미세한 신호로 존재합니다. 이러한 복잡한 노이즈가 있는 이미지에서 **구조적 사전 지식 (Structural Priors)**을 명시적으로 도입하여 모델의 효율성과 해석 가능성을 높일 필요가 있습니다.

2. 방법론 (Methodology)

2.1 해밀토니안 병목 (Hamiltonian Bottleneck)

HamVision 의 핵심은 공유된 **해밀토니안 병목 (Hamiltonian Bottleneck)**입니다. 이는 입력 특징 맵의 행 또는 열을 공간적으로 변하는 신호로 간주하여 감쇠 조화 진동자에 입력합니다.

• 물리적 모델: 질량 $m=1$, 강성 $k$, 감쇠 계수 $\nu$인 진동자를 외부 힘 $u(t)$로 구동합니다.
• 상태 공간 표현: 위치 $q$ (필터링된 특징 내용), 운동량 $p = \dot{q}$ (공간 변화율, 경계 및 질감 정보), 에너지 $H = \frac{1}{2}(q^2 + p^2)$ (무모수 주석도 맵) 로 분해됩니다.
• 복소수 대각화: 연립 미분 방정식을 복소수 상태 $z = q + ip$로 변환하여 병렬 스캔 (Parallel Scan) 을 통한 효율적인 계산을 가능하게 합니다.
• 구조적 안정성: 물리 법칙에 기반한 감쇠 ($\nu > 0$) 로 인해 시스템은 BIBO(입력 유계 - 출력 유계) 안정성을 가지며, 메모리 소거 메커니즘이 내재되어 있습니다.

2.2 공유 인코더 및 특징 추출

HamVision 은 분할 (HamSeg) 과 분류 (HamCls) 작업 모두에서 동일한 인코더를 사용합니다.

• 아키텍처: 2 층 합성곱 스템 (Stem) 과 3 단계의 ConvNeXt 블록을 가진 인코더.
• 병목 처리: 가장 깊은 레벨 (384 채널, 28x28) 에서 ConvNeXt 블록과 진동자 뱅크 (Oscillator Bank) 를 병렬로 실행합니다.
• 게이트 퓨전: 학습된 게이트 $g$가 두 경로의 출력을 융합합니다. 초기 학습 시 ConvNeXt 경로를 우세하게 하여 안정성을 확보하고, 학습이 진행됨에 따라 진동자 경로의 기여도를 조절합니다.
• 출력: 병목은 3 가지 구조화된 출력을 생성합니다.
  1. Fused Features ($f$): 작업별 처리를 위한 특징.
  2. Momentum Tensor ($p$): 공간 기울기 및 경계 정보.
  3. Energy Map ($H_{map}$): 공간 주석도 (Saliency) 맵.

2.3 작업별 헤드 (Task-Specific Heads)

A. HamSeg (분할 헤드)

U-Net 디코더 구조를 따르며, 진동자의 출력을 활용하여 Skip Connection 을 변조합니다.

• 에너지 게이팅 (Energy Gating): 에너지 맵을 공간 평균으로 중심화 (Centering) 한 후 시그모이드 함수를 적용하여 인코더 특징을 게이트합니다. 이는 중요한 영역 (경계, 주석도 높은 구조) 을 강조하고 배경을 억제합니다.
• 운동량 주입 (Momentum Injection): 모든 디코더 레벨에서 운동량 텐서를 1x1 컨볼루션으로 투영하여 디코더 특징과 연결합니다. 이는 경계 정보를 다중 스케일로 주입하여 분할 정확도를 높입니다.
• 위상 공간 주의 (Phase-space Attention): 가장 거친 레벨에서 에너지 기반 주의 가중치를 계산하여 운동량 정보를 공간적으로 선택적으로 주입합니다.

B. HamCls (분류 헤드)

디코더를 제거하고 위상 공간 풀링 (Phase-space Pooling) 헤드를 사용합니다.

• 전역 풀링:
  • 특징 ($f$) $\rightarrow$ 전역 평균 풀링 (GAP) $\rightarrow$ 내용 요약.
  • 운동량 ($|p|$) $\rightarrow$ 전역 평균 풀링 $\rightarrow$ 공간 활동성 및 질감 복잡도 요약.
  • 에너지 ($H_{map}$) $\rightarrow$ GAP 후 MLP 통과 $\rightarrow$ 전체 자극 수준 요약.
• 분류: 이 세 가지 벡터를 연결 (Concatenate) 하여 784 차원의 위상 공간 특징 벡터를 만든 후, MLP 를 통해 분류합니다.

3. 주요 기여 (Key Contributions)

1. 구조화된 해밀토니안 병목: 단일 동적 과정으로부터 위치, 운동량, 에너지를 생성하는 구조화된 중간 표현을 도입했습니다.
2. 작업 특화 헤드 설계: 분할을 위한 에너지 게이팅 및 운동량 주입, 분류를 위한 위상 공간 풀링을 통해 동일한 백본으로 두 가지 다른 작업을 수행합니다.
3. State-of-the-Art 성능: 5 가지 영상 모달리티 (초음파, MRI, 피부경 등) 에 걸친 10 개 벤치마크에서 7~9M 파라미터로 최첨단 (SOTA) 또는 경쟁력 있는 결과를 달성했습니다.
4. 해석 가능성 (Interpretability): 진동자의 출력 (운동량, 에너지) 이 명시적인 지도 없이도 물리적 의미를 가지며, 분할에서는 경계/주석도 정보를, 분류에서는 질감/자극 정보를 인코딩함을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

4.1 분할 (Segmentation)

• 데이터셋: ISIC 2018, ISIC 2017, TN3K (갑상선 초음파), ACDC (심장 MRI).
• 성능: HamSeg 은 8.57M 파라미터로 모든 벤치마크에서 최고 Dice 점수를 기록했습니다.
  • ISIC 2018: 89.38% (기존 SOTA 대비 향상).
  • ACDC: 92.40% (FreqConvMamba 대비 +2.61% 향상).
• 특징: 파라미터 수는 경쟁 모델 (U-Net, TransUNet, VM-UNet 등) 보다 2~12 배 적으면서도 성능이 우수했습니다. 특히 ACDC 에서 다양한 크기의 심장 구조를 분할할 때 다중 스케일 경계 정보의 중요성이 입증되었습니다.

4.2 분류 (Classification)

• 데이터셋: MedMNIST (BloodMNIST, PathMNIST, DermaMNIST 등 6 개).
• 성능:
  • BloodMNIST: 98.85% 정확도 (MedMamba-S 대비 +0.45% 향상).
  • PathMNIST: 96.65% 정확도 (MedMamba-B 대비 +0.25% 향상).
  • DermaMNIST: AUC 93.66% (MedViT-S 와 유사).
• 의미: 운동량 풀링이 복잡한 질감 (예: 혈액 세포의 핵 형태) 을 포착하는 데 효과적임을 보여주었습니다.

4.3 해석성 분석

• 운동량의 경계 인코딩: 운동량 크기가 병변 내부 > 경계 > 외부 순으로 감소하는 경향을 보였습니다. 이는 진동자가 내부의 일관된 신호에 공명하여 운동량을 축적하기 때문으로 해석됩니다.
• 에너지의 주석도: 에너지 맵이 경계와 중요한 구조에서 높게 나타나 Skip Connection 게이트가 효과적으로 작동함을 확인했습니다.
• 게이트 동역학: 학습된 게이트가 진동자 경로를 약 46% 정도 활용하며, 초기에는 ConvNeXt 에 의존하다가 학습이 진행됨에 따라 진동자의 기여도가 증가함을 확인했습니다.

5. 의의 및 결론

HamVision 은 의료 영상 분석에 **물리 기반의 유도 편향 (Physics-based Inductive Bias)**을 성공적으로 도입했습니다.

• 효율성: 물리 법칙 (해밀토니안 역학) 이 제공하는 구조적 제약이 추가 파라미터 없이도 경계 감지, 주석도 추출, 질감 분석을 동시에 수행하게 하여 파라미터 효율성을 극대화했습니다.
• 일반화: 피부경, 초음파, MRI, CT 등 다양한 모달리티와 분할/분류라는 서로 다른 작업에서 일관된 성능을 보였습니다. 이는 진동자 역학이 의료 영상 분석의 근본적인 요구사항 (경계 감지, 주파수 선택성, 에너지 보존) 을 잘 포착하고 있음을 시사합니다.
• 이론적 확장: Mamba-3 와 같은 최신 시계열 모델에서 복소수 상태 전이의 필요성을 확인한 연구와 맥을 같이하며, 이를 시각 작업에 적용하여 위상 공간 분해의 실용적 가치를 입증했습니다.

결론적으로, HamVision 은 단순히 성능을 높이는 것을 넘어, 동적 시스템의 선택이 네트워크가 무엇을 쉽게 학습할 수 있는지를 결정한다는 깊은 통찰을 제공하며, 의료 영상 분석을 위한 해석 가능하고 효율적인 새로운 패러다임을 제시합니다.