기술 요약: ParaX - 동적 파라미터 라우팅을 통한 비전 모델 적응

1. 문제 제기

파라미터 효율적 미세 조정 (PEFT) 은 전이 학습된 비전 모델을 다운스트림 작업에 적응시킬 때, 전체 미세 조정과 비교할 수 있는 성능을 유지하면서 학습 가능한 파라미터의 수를 최소화하는 것을 목표로 합니다. 분류 작업에서는 성공적이었음에도 불구하고, 기존 PEFT 방법들은 객체 감지, 의미론적 분할과 같은 복잡한 밀집 예측 작업에서는 어려움을 겪습니다. 본 논문은 기존 어댑터 기반 접근법 (예: AdaptFormer, Mona) 의 두 가지 주요 한계를 지적합니다:

1. 표현 부족: 기존 어댑터들은 종종 입력과 무관한 저랭크 (low-rank) 모델링을 사용합니다. 이들은 모든 입력에 대해 보편적으로 작동해야 하는 정적 변환을 학습하여, 밀집 예측에서 복잡한 공간적 의존성을 포착하는 데 필요한 입력 의존적 적응을 지원하지 못합니다. 그 결과 전체 미세 조정 (full fine-tuning) 에 비해 유효 수용 영역 (Effective Receptive Field, ERF) 이 작아집니다.
2. 특징 중복: 서로 다른 네트워크 계층에 임베딩된 어댑터들은 일반적으로 격리되어 있어, 계층 간 상호작용이 부족합니다. 이는 기존 방법에서 계층 간 높은 Centered Kernel Alignment (CKA) 유사성으로 입증되듯, 서로 다른 계층이 유사한 정보를 포착하는 중복된 표현을 초래합니다.

2. 방법론: ParaX

저자들은 간단한 전문가 혼합 (Mixture-of-Experts, MoE) 아키텍처를 기반으로 한 새로운 어댑터 스타일의 PEFT 방법인 ParaX를 제안합니다. 각 계층마다 격리된 어댑터 가중치를 학습하는 대신, ParaX 는 **공유 전문가 센터 (Shared Expert Center)**와 동적 파라미터 라우팅 (Dynamic Parameter Routing) 메커니즘을 도입합니다.

2.1 공유 전문가 센터

ParaX 는 계층적 비전 네트워크의 각 단계마다 학습 가능한 파라미터 행렬 (전문가) 의 대규모 공유 저장소를 구성합니다.

• 채널 변환: 센터는 다운-프로젝션과 업-프로젝션을 위한 행렬 쌍 ($E_A, E_B$) 을 포함합니다.
• 공간 변환: 공간 모델링을 강화하기 위해, 센터는 다중 커널 심층 컨볼루션 커널을 생성하도록 설계된 행렬 집합 ($S_A, S_B, S_C$) 을 포함합니다.
• 용량: 전문가 센터의 크기 ($M$) 와 잠재 차원 ($\hat{C}$) 은 총 파라미터 수를 제어하는 하이퍼파라미터입니다.

2.2 동적 파라미터 라우팅

순전파 (forward pass) 동안 각 ParaX 모듈은 현재 입력과 모듈 위치에 맞춰 가중치 행렬을 동적으로 생성합니다:

1. 라우팅 메커니즘: 경량 라우터 네트워크가 입력 특징 (전체 평균 풀링 및 선형 계층을 통해) 을 처리하여 동적 게이팅 벡터 ($G$) 를 생성합니다.
2. 동적 가중치 생성: 이러한 게이팅 벡터는 공유 전문가 센터의 파라미터 행렬을 선택적으로 집계합니다.
   • 채널 프로젝션의 경우: $W_1 = G_1 \times E_A$ 및 $W_2 = G_2 \times E_B$.
   • 공간 혼합의 경우: 라우터는 전문가 행렬을 동적 심층 컨볼루션 커널 ($D2Convs$) 로 결합하기 위한 동적 게이팅 벡터를 생성합니다.
3. 입력 의존성: 정적 어댑터와 달리, 결과 가중치 행렬은 입력에 의존적이므로 모델이 특정 입력 변이에 기반하여 특징 표현을 맞춤화할 수 있습니다.

2.3 동적 멀티스케일 공간 혼합

ParaX 는 커널 크기가 증가하는 (예: 3, 5, 7) 동적 심층 컨볼루션을 순차적으로 적층하여 멀티스케일 공간 모델링을 통합합니다. 이러한 출력들은 공간적 가변 집계 (Spatially-varying Aggregation, SA) 모듈을 통해 집계되는데, 이 모듈은 공간적 어텐션을 사용하여 스케일 간 특징을 동적으로 재보정합니다. 이 설계는 명시적으로 입력에 의존적이며, Mona 와 같은 방법에서 사용되는 고정된 입력 독립적 가중치와 대조됩니다.

3. 주요 기여

• 동적 파라미터 라우팅: 논문은 학습 가능한 파라미터 행렬이 게이팅 벡터를 통해 동적으로 집계되는 "전문가"로 작용하는 메커니즘을 도입합니다. 이는 입력 의존적인 방식으로 저랭크 적응을 용이하게 하여, 더 강력하고 맞춤화된 특징 표현을 생성합니다.
• 공유 전문가 센터: 여러 네트워크 계층에 걸쳐 동일한 전문가 센터를 공유함으로써, ParaX 는 암시적 계층 간 특징 상호작용을 촉진합니다. 이는 명시적인 계층 간 연결 없이도 정보 흐름을 다양화하고 특징 중복을 줄입니다.
• 입력 의존적 공간 모델링: 이 방법은 동적 라우팅을 공간 변환으로 확장하여 입력별 멀티스케일 컨볼루션 커널을 생성함으로써, 밀집 예측 작업에서 정적 어댑터의 표현 부족 문제를 해결합니다.

4. 실험 결과

저자들은 Swin 과 ConvNeXt 백본을 사용하여 다양한 시각 인식 작업에서 ParaX 를 평가하였으며, 전체 미세 조정 및 최첨단 PEFT 방법 (VPT, LoRA, AdaptFormer, Mona 등) 과 비교했습니다.

• 의미론적 분할 (ADE20K): Swin-L 을 사용하여 ParaX 는 학습 가능한 파라미터의 4% 미만을 사용하면서 전체 미세 조정 (51.2%) 보다 0.8% 높은 52.0% mIoU를 달성했습니다. 또한 강력한 베이스라인인 Mona 보다 0.4% 더 우수한 성능을 보였습니다.
• 객체 감지 및 인스턴스 분할 (COCO2017): ConvNeXt-L 을 사용하여 ParaX 는 전체 미세 조정 대비 APb/APm 을 1.4%/1.6% 개선했으며, Mona 대비 0.6%/0.4% 개선했습니다.
• 팬옵틱 분할 (COCO2017): ParaX 는 Swin-B 와 ConvNeXt-B 와 통합되었을 때 각각 AdaptFormer 대비 PQ 를 1.7% 와 2.0% 개선했습니다.
• 이미지 분류: 도메인 시프트가 큰 데이터셋인 ImageNet-R 에서 ParaX 는 최상위 1 정확도 (top-1 accuracy) 에서 Mona 보다 1.6% 더 높은 성능을 보여 도메인 시프트에 대한 강건성을 입증했습니다.
• 일반화: 이 방법은 ViT 아키텍처, Mamba 기반 모델 (VMamba), 인간 포즈 추정, 원격 감지 분할 등에서 우수한 성능을 보였습니다.

5. 중요성 및 주장

본 논문은 ParaX 가 현재 PEFT 방법들의 입력 무관 모델링 및 특징 중복이라는 근본적인 한계를 해결한다고 주장합니다. 공유 전문가 센터와 동적 라우팅을 활용함으로써 ParaX 는 다음과 같은 성과를 달성합니다:

1. 우수한 표현 능력: 가중치의 입력 의존적 특성으로 인해 모델은 전체 미세 조정과 비교할 수 있는 더 큰 ERF 를 증명하며, 장거리 의존성과 복잡한 공간적 맥락을 더 효과적으로 포착할 수 있습니다.
2. 향상된 특징 다양성: 공유 전문가 센터는 암시적 계층 간 상호작용을 촉진하여 중복을 줄이고 계층들이 더 대표적인 특징을 추출할 수 있게 합니다.
3. 효율성: 동적 라우팅과 멀티스케일 컨볼루션에도 불구하고, ParaX 는 경쟁력 있는 계산 효율성을 유지하며 여러 작업에 대한 전체 미세 조정 모델을 유지하는 데 비해 저장 비용을 크게 줄입니다 (학습 가능한 파라미터의 4% 미만 필요).

저자들은 ParaX 가 밀집 예측 작업에서 파라미터 효율적 적응을 위한 새로운 최첨단 (state-of-the-art) 을 설정하며, 동적이고 입력 의존적인 파라미터 생성이 PEFT 와 전체 미세 조정 간의 성능 격차를 해소하는 데 필수적임을 입증했다고 결론지었습니다.