AdaLoRA-QAT: Adaptive Low-Rank and Quantization-Aware Segmentation

1. 문제 정의 (Problem)

• 배경: 흉부 X 선 (CXR) 분할은 폐렴, 결핵, COVID-19 등 폐 질환을 진단하는 컴퓨터 지원 진단 (CAD) 시스템의 핵심 단계입니다.
• 도전 과제:
  • 기존 딥러닝 모델 (nnU-Net, DeepLabV3+ 등) 은 성능이 우수하지만, 해부학적 변이, 병리학적 왜곡, 이미징 아티팩트 등으로 인해 임상 환경에서의 일반화 및 배포가 어렵습니다.
  • 대규모 기반 모델 (Foundation Models, 예: SAM) 을 임상 환경에 배포하려면 높은 계산 비용, 메모리 footprint, 추론 효율성에 대한 제약이 존재합니다.
  • 기존 파라미터 효율적 미세 조정 (PEFT) 및 양자화 기법만으로는 분할 정확도와 구조적 충실도 (Structural Fidelity) 를 동시에 유지하며 모델을 압축하는 데 한계가 있었습니다.

2. 제안 방법론 (Methodology: AdaLoRA-QAT)

저자들은 AdaLoRA-QAT라는 2 단계 미세 조정 프레임워크를 제안했습니다. 이는 적응형 저랭크 (Low-Rank) 인코더 적응과 전체 모델 양자화 인식 학습 (QAT) 을 결합한 것입니다.

2.1. 핵심 구성 요소

• AdaLoRA (Adaptive Low-Rank Adaptation):
  • LoRA 패러다임을 기반으로 하되, 작업 민감도 (Task Sensitivity) 에 따라 각 레이어에 동적으로 랭크 (Rank) 용량을 할당합니다.
  • 수식: $\Delta W_{AdaLoRA} = P \text{diag}(\Lambda \odot m) Q$
  • 중요도 ($I_i = |\lambda_i| \cdot |\partial L/\partial \lambda_i|$) 를 기반으로 불필요한 성분을 가지치기 (Pruning) 하여 효율적인 파라미터 공간을 확보합니다.
  • 직교 정규화 (Orthogonal Regularization) 를 통해 서브스페이스 학습을 안정화하고 랭크 붕괴를 방지합니다.

2.2. 2 단계 학습 파이프라인

1. 1 단계: 정밀도 (FP32) AdaLoRA 학습

   • 인코더와 디코더를 FP32 정밀도로 학습합니다.
   • 하이브리드 손실 함수 ($L_{BCE} + L_{Dice} + \lambda_{ortho}L_{ortho}$) 를 사용하여 작업 특이적 저랭크 서브스페이스를 적응적으로 학습하고 가지치기합니다.
   • 인코더 랭크는 중요도 기반 가지치기를 통해 48 에서 32 로 축소됩니다.

2. 2 단계: 양자화 인식 미세 조정 (QAT)

   • 혼합 정밀도 (Mixed-Precision) 전략:
     • INT8 양자화: 인코더의 피드포워드 레이어, 디코더, 프롬프트 인코더를 대칭적 텐서 단위 양자화 (Symmetric Per-tensor Quantization) 로 INT8 로 변환합니다.
     • FP32 유지: 주의 메커니즘의 QKV 프로젝션과 AdaLoRA 파라미터 ($P, Q, \Lambda$) 는 FP32 로 유지합니다. 이는 SVD 기반 레이어에서의 랭크 붕괴를 방지하고 직교성을 보존하기 위함입니다.
   • 학습 과정: 랭크 마스크 ($m$) 는 고정하고, 양자화로 인한 오차를 보상하기 위해 특이값 ($\Lambda$) 만 미세 조정합니다.

3. 주요 기여 (Key Contributions)

1. 통합 2 단계 프레임워크: 적응형 저랭크 인코더 튜닝과 전체 모델 양자화 인식 미세 조정을 결합한 AdaLoRA-QAT 를 제안했습니다.
2. 고효율 혼합 정밀도 전략: 인코더/디코더의 대부분을 INT8 로 양자화하면서도, 중요한 어텐션 QKV 및 AdaLoRA 파라미터는 FP32 로 유지하여 구조적 충실도와 랭크 안정성을 동시에 확보했습니다.
3. 성능과 효율성의 균형: 기존 SAM 파인튜닝 대비 파라미터를 16.6 배 줄이고 모델 크기를 2.24 배 압축하면서도, 분할 정확도 (Dice Score) 는 거의 손실 없이 유지했습니다.

4. 실험 결과 (Results)

• 데이터셋: JSRT, QaTa-COV19, COVID-19 Radiography 등 총 64,590 개의 다양한 흉부 X 선 이미지를 사용했습니다.
• 성능 지표:
  • Dice Score: 95.59% (SAM 디코더 전체 파인튜닝 기준 95.55% 와 유사).
  • 파라미터 효율성: 학습 가능한 파라미터가 5.4M으로, 베이스 SAM 파인튜닝 대비 16.6 배 감소.
  • 모델 압축: 2.24 배 압축 달성.
• 통계적 검증:
  • Wilcoxon 부호 순위 검정: 양자화 적용 모델과 베이스라인 (SAM Decoder) 간의 성능 차이는 통계적으로 유의미하지 않음 ($p > 0.05$). 이는 양자화가 분할 정확도를 저하시키지 않음을 입증합니다.
  • 오차 분석: FP32 와 INT8 간의 양자화 오차는 평균이 0 인 가우시안 분포를 따르며, 무편향적인 반올림 행동을 보입니다.
• 구조적 유사성 (SSIM): 폐 경계 및 혈관 영역에서 기존 모델보다 높은 구조적 일치도를 보였으며, 저대비 영역에서도 국소적인 개선을 확인했습니다.

5. 의의 및 결론 (Significance)

• 임상 배포 가능성: AdaLoRA-QAT 는 제한된 컴퓨팅 자원을 가진 임상 환경 (예: 모바일 기기, 엣지 디바이스) 에서 대규모 기반 모델을 효율적으로 배포할 수 있는 가능성을 입증했습니다.
• 신뢰성: 양자화 과정에서 중요한 해부학적 구조의 충실도가 유지되어, 의료 AI 의 신뢰성과 안전성을 보장합니다.
• 확장성: 이 프레임워크는 흉부 X 선 분할에 국한되지 않고, 다른 의료 영상 도메인 및 작업에도 적용 가능한 범용적인 접근법으로 평가됩니다.

요약하자면, AdaLoRA-QAT 는 의료 영상 분할 분야에서 '정확도'와 '효율성'이라는 상충되는 목표를 동시에 달성하기 위해, 적응형 저랭크 기법과 정밀한 혼합 정밀도 양자화 전략을 결합한 획기적인 솔루션입니다.