기술 요약: 스케일링에 민감한 손실 지형을 통한 모델 병합 불가능화

1. 문제 정의

공개 모델 허브(예: Hugging Face, GitHub)의 확산은 전체 체크포인트부터 저계수 적응(LoRA)과 같은 경량 어댑터에 이르기까지 광범위한 미세 조정 업데이트의 공유를 용이하게 했습니다. 이러한 모듈성은 여러 태스크 특화 업데이트를 추가 학습 없이 하나의 모델로 결합하는 효율적인 모델 병합을 가능하게 하지만, 동시에 심각한 거버넌스 공백을 초칭합니다. 일단 공개된 가중치는 안전 정렬, 라이선스 조건 또는 태스크별 제약을 우회하는 승인되지 않은 혼합물로 재조합될 수 있습니다.

기존의 무단 병합 방어 기법은 주로 **사후적(post-hoc)**이며 **아키텍처 특정적(architecture-specific)**입니다. PaRaMS 및 MergeLock과 같은 방법들은 트랜스포머(Transformer)에 내재된 아키텍처 대칭성(예: 어텐션 프로젝션의 결합된 재매개변수화)에 의존하여, 가중치 공간에서의 직접적인 병합은 방해하면서도 단독 사용 시의 유용성은 유지합니다. 그러나 이러한 접근 방식은 두 가지 결정적인 한계에 직면합니다:

1. 어댑터 전용 배포와의 불호환성: 이들은 쌍을 이루는 변환을 적용하기 위해 전체 모델 가중치에 대한 접근을 요구하는 경우가 많아, 업데이트 $\Delta W$만 공유되고 베이스 가중치 $W_0$는 동결되거나 사용할 수 없는 LoRA 어댑터에는 효과적이지 않습니다.
2. 아키텍처 범용성 부족: 트랜스포머 특유의 대칭성에 의존하기 때문에 ResNet, ConvNeXt와 같은 비-트랜스포머 백본에 적용할 수 없습니다.

핵심 과제는 모델이 단독 설정($s=1$)에서는 완전한 유용성을 유지하되, 다운스트림 병합 파이프라인에서 전형적으로 발생하는 재스케일링 및 집계 연산($s \neq 1$)이 수행될 때 현저히 성능이 저하되도록 **병합 불가능성(unmergeability)**을 공개되는 업데이트 자체에 직접 내장하는 것입니다.

2. 방법론: TRAP2

저자들은 태스크 강건한 적대적 섭동(Task-Robust Adversarial Perturbation)을 통한 훈련 시 보호 기법인 TRAP2를 제안합니다. 이는 아키텍처에 구애받지 않는 보호 프레임워크로, 미세 조정 과정 자체에 병합 불가능성을 통합합니다.

핵심 직관

병합 파이프라인은 종종 구성 요소 업데이트의 재스케일링(예: $N$개의 어댑터 스케일을 각각 $1/N$으로 평균화)을 포함합니다. TRAP2는 이를 이용해 손실 지형(loss landscape)을 비정상적 스케일링에 민감하도록 형성합니다. 즉, 명목 스케일(nominal scale)에서는 성능을 유지하면서, 비명목 스케일링 하에서는 파멸적인 성능 저하를 유도하는 적대적 목적 함수를 최적화합니다.

목적 함수

베이스 모델 $W_0$와 학습 가능한 업데이트 $\Delta W$가 주어졌을 때, 스케일링 인자 $s$에 대한 손실은 다음과 같이 정의됩니다:
$$L_{scaled}(\Delta W; s) = \mathbb{E}_{\xi \sim D}[\ell(W_0 + s \cdot \Delta W; \xi)]$$

훈련 목적 함수 $J(\Delta W)$는 명목 손실을 최소화하는 동시에 비명목 스케일링 하에서의 손실을 최대화합니다:
$$J(\Delta W) = L_{nominal}(\Delta W) - \lambda \cdot L_{off}(\Delta W)$$

여기서:

• $L_{nominal}(\Delta W) = L_{scaled}(\Delta W; 1)$입니다.
• $L_{off}(\Delta W) = \mathbb{E}_{s \sim S}[w(s) \cdot L_{scaled}(\Delta W; s)]$입니다.
• $S$는 비명목 스케일($s=1$ 주변의 마진 $\delta$를 제외함)에 대한 분포입니다.
• $w(s)$는 다운스케일링된 업데이트에 대한 그래디언트를 안정화하기 위한 가중치 함수(기본값 $1/s$)입니다.
• $\lambda$는 단독 유용성과 재스케일링에 대한 민감도 사이의 트레이드오프를 조절합니다.

최적화

이 방법은 확률적 1차 최적화(예: SGD)를 채택합니다. 각 반복 단계에서 비명목 분포 $S$로부터 단일 샘플 $s$를 추출하여 기댓값을 근사함으로써 편향되지 않은 그래디언트 추정치를 제공합니다. 이 절차는 다음 모두에 적용됩니다:

• 어댑터 전용 배포: LoRA 행렬 $A$와 $B$를 최적화합니다.
• 전체 미세 조정: 각 훈련 단계에서 전체 파라미터 차이 $\Delta W_t = W_t - W_0$를 최적화합니다.

3. 주요 기여

1. 문제 공식화: 저자들은 어댑터와 전체 체크포인트를 모두 수용하는 다양한 아키텍처 및 릴리스 형식을 수용하는 사후 릴리스 보호 설정을 공식화하고, 단독 유용성과 병합 저하에 대한 통합된 평가 프로토콜을 구축했습니다.
2. 아키텍처 불가지론적 보호: 기존 연구와 달리 TRAP2는 아키텍처 대칭성이나 전체 가중치 접근을 요구하지 않습니다. 이는 업데이트 내에 보호 기능을 직접 내장하여 LoRA, 전체 체크포인트 및 비-트랜스포머 백본에 적용 가능하게 만듭니다.
3. 이론적 및 경험적 분석: 저자들은 확률적 최적화 하에서의 수렴에 대한 이론적 보증을 제공하고, 다운스케일링 하에서의 저하 특성을 규명합니다. 경험적으로, TRAP2가 단독 정확도는 보존하면서 병합 시에는 신뢰할 수 있는 성능 붕괴를 유도함을 입증합니다.

4. 실험 결과

저자들은 CLIP 모델(ViT-B/32, ViT-L/14 및 ConvNeXt 백본)을 사용하여 8개의 비전 분류 벤치마크(Cars, DTD, EuroSAT, GTSRB, MNIST, RESISC, Aircraft, SVGN)에 대해 TR2를 평가했습니다.

단독 유용성

• 성능 보존: TRAP2는 모든 아키텍처와 데이터셋에 대해 보호되지 않은 미세 조정과 유사한 수준의 단독 정확도를 유지합니다.
• 베이스라인과의 비교: MergeLock과 같은 사후 방어 기법은 어댑터 전용 설정에서 단독 유용성을 유지하는 데 실패했습니다(종종 무작위 수준으로 붕괴됨). PaRaMS는 유용성을 유지했으나 병합을 방지하는 데는 실패했습니다. TRAP2는 두 가지 모두 성공했습니다.

병합 불가능성 (병합 저하)

• 선형 병합: 표준 연산자(Task Arithmetic, TIES, DARE, TSV, CART)를 사용하여 Full, KnOTS, 또는 Core 공간에서 다른 어댑터와 병합할 때, TRAP2로 보호된 모델은 상당한 정확도 하락을 겪었으며, 종종 제로샷 베이스라인 미만으로 떨어졌습니다.
• 병합 전략에 대한 강건성: 병합자가 최적의 성능을 찾기 위해 그리드 서치를 통해 병합 계수를 최적화하더라도 성능 저하는 지속되었습니다.
• 데이터 의존적 병합: TRAP2는 추가적인 데이터 신호를 활용하여 유용성을 회복하려는 RegMean 및 Chain-of-Merges(CoM)와 같은 데이터 의존적 병합 연산자에 대해서도 효과적이었습니다.
• 쌍별 및 N-way 병합: 이 방법은 쌍별 병합에서 "자기 붕괴(self-collapse)"를 일으켰으며, N-way 균등 평균(N $\ge$ 2)에서도 일관된 저하를 일으켰습니다.
• 부수적 피해: TRAP2 어댑터를 보호되지 않은 어댑터와 병합하면 보호되지 않은 태스크의 성능까지 저하시키는 경우가 발생하여, 보호의 파괴적인 성격을 보여주었습니다.

일반화

• 아키텍처: TRAP2는 트랜스포머 특화 방어가 적용 불가능한 ConvNeXt에서도 효과적으로 작동했습니다.
• 규모: 결과는 ViT-B/32 및 ViT-L/14 백본 모두에서 일관되었습니다.
• 전체 미세 조정: 이 방법은 어댑터 병합뿐만 아니라 전체 모델 병합에도 성공적으로 확장되었습니다.

5. 의의 및 주장

본 논문은 TRAP2가 보호 패러다임을 **사후적(post-hoc)**에서 **훈련 시(training-time)**로 전환함으로써 오픈 모델 생태계의 거버넌스 공백에 대한 실질적인 해결책을 제공한다고 주장합니다.

• 방어 전략의 전환: 업데이트 자체에 병합 불가능성을 내장함으로써, TRAP2는 전체 모델 접근이나 특정 아키텍처 대칭성을 요구하는 사후 방식의 한계를 극복합니다.
• 신뢰성: 이 방법은 승인되지 않은 재구성을 신뢰할 수 없게 만들어, 안전성이나 라이선스 제약을 우회하는 승인되지 않은 혼합물 생성을 효과적으로 억제합니다.
• 한계에 대한 겸허함: 저자들은 자신들의 평가가 플러그 앤 플레이 재사용에서 흔히 볼 가능한 계수 기반 병합에 집중되어 있음을 인정합니다. 또한, 데이터 기반 회복(병합된 모델의 유용성을 복구하기 위해 추가적인 태스크 관련 데이터로 재학습하거나 미세 조정하는 경우)에 대한 보호를 확장하는 것은 향후 연구 과제로 남겨두었습니다.

저자들은 이 방법이 훈련 중에 적대적 섭동을 사용하지만, 이는 공격을 가능하게 하기 위함이 아니라 업로더의 권리와 모델의 무결성을 보호하기 위한 방어 도구로 의도되었음을 강조합니다. 또한, 보호된 모델이 병합 시 신뢰할 수 없게 동작할 수 있음을 알리기 위해 명확한 라벨링과 같은 책임 있는 공개 관행을 권고합니다.