기술 요약: 파라미터에서 특징 공간으로: 모델 병합을 위한 모델 백도어 완화를 위한 태스크 산술(Task Arithmetic)

1. 문제 정의

모델 병합(Model Merging, MM)은 여러 개의 태스크별 미세 조정된 모델들을 하나의 통합된 모델로 통합하여 저장 용량의 중복성과 계산 오버헤드를 줄이는 비용 효율적인 전략으로 부상했습니다. 그러나 최근 연구들은 MM이 심각한 보안 취약점인 **백도어 공격(backdoor attacks)**을 유발할 수 있음을 밝혀냈습니다. 이 설정에서 공격자는 전체 병합 과정에 접근하지 않고도 단일 태스크별 구성 요소(예: 태스크 벡터)를 침해하여 최종 병합된 모델에 백도어를 주입할 수 있습니다.

태스크 산술(예: 벡터 뺄셈)에 기반한 기존 방어 기제들은 직접 **파라미터 공간(parameter space)**에서 작동합니다. 이러한 방식들은 백도어를 제거하는 것과 클린 태스크(clean-task) 성능을 보존하는 것 사이에서 유리한 트레이드오프를 달 achieve하는 데 어려움을 겪습니다. 핵심적인 난제는 깨끗한 기능에 필수적인 파라미터와 악의적인 백도어 동작을 인코딩하는 파라미터를 분리하는 것이며, 직접적인 파라미터 편집은 종종 모델의 유용성을 저하시킵니다.

2. 방법론: 선형 특징 경로 최소화 (Linear Feature Path Minimization, LFPM)

파라미터 공간 편집의 한계를 해결하기 위해, 저자들은 **선형 특징 경로 최소화(LFPM)**를 제안합니다. 이 프레임워크는 백도어 완화의 관점을 파라미터 공간에서 **특징 공간(feature space)**으로 전환하며, 교차 태스크 선형성(Cross-Task Linearity, CTL) 현상을 활용합니다.

이론적 기초: 교차 태스크 선형성 (CTL)

CTL은 동일한 사전 학습된 체크포인트에서 초기화되어 서로 다른 태스크에 대해 미세 조정된 모델들이 그들의 특징 표현(feature representations)에서 근사 선형적 행동을 보인다는 가설입니다. 구체적으로, 가중치 보간 모델의 특징은 개별 모델들의 특징의 선형 보간에 가깝게 근사됩니다. 저자들은 CTL에 대한 **편차 경계(deviation bound)**를 도출하여, 보간 경로를 따른 특징 편차가 파라미터 거리와 손실 지형(loss landscape)의 곡률(Hessian)에 의해 결정됨을 보여줍니다.

핵심 프레임워크

LFPM은 백도어가 포함된 모델과 병합할 **안티-백도어 태스크 벡터(anti-backdoor task vector)**를 구축하여 정화된 모델을 생성합니다. 직접 파라미터를 편집하는 기존 방식과 달리, LFPM은 통합된 특징 공간 관점에서 이 안티-백도어 태스크를 최적화합니다. 이 방법은 두 가지 주요 단계로 구성됩니다.

1단계: 부분 공간 분할을 통한 적대적 특징 추출

입력 공간의 적대적 섭동(perturbation)이나 역공학된 트리거를 생성하는 대신, LFPM은 특징 공간을 분할함으로써 적대적 특징을 추출합니다.

• 부분 공간 분할(Subspace Partitioning): 특징 공간은 **적대적 부분 공간($S$)**과 **클린 시맨틱 부분 공간($T$)**이라는 두 개의 직교하는 부분 공간으로 분해됩니다. 학습 가능한 투영 행렬 $P_s$가 적대적 성분을 격리하도록 훈련됩니다.
• 프롬프트 기반 마이닝(Prompt-Based Mining): 적대적 섭동은 입력 픽셀을 수정하는 대신 **학습 가능한 시각적 프롬프트($P$)**를 통해 인코딩됩니다. 이는 원래 샘플의 시맨틱 무결성을 보존합니다. 최적화 목표는 프롬프트가 증강된 입력이 백도어 모델 내의 백도어 관련 특징을 활성화하면서도, 정화된 모델에서는 클린 시맨틱 특징을 보존하도록 보장합니다.

2단계: 안티-백도어 태스크 벡터 최적화

이 단계는 CTL 프레임워크 내에서 **샤프니스 인식 최소화(Sharpness-Aware Minimization, SAM)**와 유사한 최적화 문제로 완화 문제를 정식화합니다.

• 특징 공간 재정식화(Feature-Space Reformulation): 백도어 모델과 안티-백도어 모델 사이의 특징 보간 경로를 따라 손실 샤프니스(곡률)를 최소화하는 것을 목표로 합니다.
• 프롬프트 공간 섭동(Prompt Space Perturbation): CTL에 의해 유도된 특징 편차는 고차원 파라미터 공간이 아닌 저차원 프롬프트 공간에서의 최악의 경우 섭동으로 매핑됩니다.
• 그래디언트 누적 및 손실 경로 적분(Gradient Accumulation & Loss Path-Integral): 전체 보간 경로(단일 지점이 아닌)에 대해 견고성을 확보하기 위해, 이 방법은 보간된 모델의 그래디언트를 근사하는 그래디언트 누적 메커니즘을 사용합니다. 또한 일관된 백도어 억제를 보장하기 위해 보간 궤적에 대해 손실을 평균화하는 손실 경로 적분(loss path-integral) 절차를 활용합니다.

3. 주요 기여

1. 특징 공간 안티-백도어 프레임워크: 본 논문은 CTL 프레임워크 하에서 백도어 완화를 위한 새로운 통합 특징 공간 관점을 제안하며, 이는 이론적 분석(편차 경계)과 실증적 검증에 의해 뒷받침됩니다. 이 접근법은 직접적인 파라미터 공간 개입의 한계를 극복합니다.
2. 선형 특징 경로 최소화 (LFPM): 클린 태스크 성능을 보존하면서 백도어 효과를 효과적으로 완화하는 2단계 방어 메커니즘입니다. 이는 입력 공간의 트리거 합성을 제거하고, 훈련 중 명시적인 파라미터 공간 보간을 피하는 대신 손실 경로 적분 메커니즘을 사용합니다.
3. 광범위한 실증적 검증: 저자들은 전체 미세 조정(Full Fine-Tuning) 및 파라미터 효율적 미세 조정(PEFT/LoRA) 설정 모두에서 LFPM이 백도어 공격에 대해 일관되게 강력한 견고성을 달성함을 입증했습니다.

4. 실험 결과

저자들은 CLIP-ViT-B/32 백본을 사용하여 11개의 데이터셋에 대해 LFPM을 평가하였으며, 이를 IBVS (Task Arithmetic), SAU (Adversarial Unlearning), SAM, PAM과 같은 베이스라인과 비교하였습니다.

• 방어 성능: BadMerging (전체 미세 조정) 공격 하에서, LFPM은 모든 태스크에서 가장 낮은 공격 성공률(ASR)을 달성하는 동시에(예: IBVS의 평균 ASR(T) 64.18% 대비 LFPM 0.49%) 가장 높은 클린 정확도(CA)를 유지했습니다. LoBAM (PEFT/LoRA) 공격 하에서도 LFPM은 SAM 및 PAM보다 낮은 ASR과 높은 CA를 달성하며 베이스라인보다 우수한 성능을 보였습니다.
• 보간 경로상의 견고성: 특정 병합 계수에서만 견고성을 평가하는 방법들과 달리, LFPM은 가장 낮은 경로-ASR(Path-ASR) (누적 백도어 취약성)을 통해 전체 파라미터 보간 경로에 걸쳐 일관된 견고성을 입증했습니다.
• 적응형 공격(Adaptive Attacks): 클린 특징과 백도어 특징을 결합하거나 보간 일관성을 강제하려는 적응형 공격자들에 대해서도, LFPM은 낮은 ASR(0.49%에서 2.38%로 증가)을 유지하며 다른 방어 기제들을 크게 앞질렀습니다.
• 확장성 및 일반성: LFPM은 다양한 모델 병합 알고리즘(Simple Average, Ties-Merging, Della-Merging)과 더 큰 아키텍처(Vi-L/14)에 대해 일관된 성능을 보여주었습니다.

5. 의의 및 주장

본 논문은 특징의 **교차 태스크 선형성(Cross-Task Linearity)**을 활용함으로써 모델 병합의 백도어 취약성에 대한 원칙적인 솔루션을 제공한다고 주장합니다. 최적화를 파라미터 공간에서 특징 공간으로 이동함으로써, 이 방법은 기존 방어 기제에서 나타나는 심각한 성능 저하 없이 백도어 동작을 클린 태스크 기능으로부터 성공적으로 분리해 냅니다.

저자들은 LFPM이 다양한 미세 조정 설정(전체 및 PEFT) 전반에서 클린 태스크 성능을 보존하면서 백도어 공격을 완화하는 일반적인 프레임워크를 제공한다고 강조합니다. 또한, 이 방법이 경량 SAM 기반 방법들에 비해 계산 오버헤드를 발생시키지만, 모델 병합 시나리오에서의 견고성을 위해 필요한 트레이드오프라고 언급합니다. 이 연구는 다중 태스크 배포를 위한 비용 효율적인 솔루션으로 점점 더 채택되고 있는 모델 병합의 신뢰성을 높이는 것을 목표로 합니다.

한계 및 향 향후 과제:
저자들은 대부분의 방어 방법과 마찬가지로 LFPM이 미래의 적응형 공격에 직면할 수 있음을 인정합니다. 그들은 더 큰 규모와 더 다양한 실제 시나리오에서 효과를 평가하기 위한 추가 연구가 필요하다고 명시했습니다. 향-후 연구는 일반성을 높이기 위해 다양한 태스크와 시나리오에 걸쳐 LFPM을 확장하고 검증하는 데 중점을 둘 것입니다.