💻 computer science

PACT: Preserving Anchored Cores in Task-vectors for Model Merging

이 논문은 기존의 태스크 벡터 기반 병합 방식의 성능 저하를 방지하기 위해, 태스크 벡터가 아닌 사전 학습된 가중치에 내재된 핵심적인 태스크 특화 지식인 '내력벽(Load-Bearing Wall)' 차원을 식별하고 보존하는 모델 병합 프레임워크인 PACT를 소개한다.

원저자: Ningyuan Shi, Zhipeng Zhou, Hao Wang, Chunyan Miao, Peilin Zhao

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ningyuan Shi, Zhipeng Zhou, Hao Wang, Chunyan Miao, Peilin Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 모델을 망가뜨리지 않고 AI 모델을 병합하기

상상해 보세요. 당신에게는 이미 다양한 요리를 전문으로 하는 마스터 셰프(사전 학습된 모델, Pre-trained Model)가 있습니다. 그 후 당신은 이 셰프를 고용하여 이탈리아, 일본, 멕시코 요리라는 세 가지 특정 요리에 특화하도록 훈련시킵니다. 당신은 이들을 각각 별도로 훈련시켰고, 그들은 각 분야의 전문가가 되었습니다.

이제 당신은 이 세 명의 특화된 셰프를 한 명의 "슈퍼 셰프"로 결합하여, 처음부터 다시 훈련시키지 않고도 세 가지 요리를 모두 완벽하게 할 수 있도록 만들고 싶습니다. 이 과정을 **모델 병합(Model Merging)**이라고 부릅니다.

오랫동안 과학자들은 이 작업을 수행하는 가장 좋은 방법이 셰프가 각 요리를 배우기 위해 만든 '변화'만을 살펴보는 것이라고 생각했습니다. 그들은 이러한 변화를 **"태스크 벡터(Task Vectors)"**라고 불렀습니다. 기존 방식은 다음과 같았습니다. "셰프가 이탈리아 요리를 위해 적은 메모, 일본 요리를 위해 적은 메모, 그리고 멕시코 요리를 위해 적은 메모를 그냥 다 가져와서 섞은 다음, 원래의 레시피 북에 더해주자."

문제점: 이 논문은 기존 방식이 결함이 있다고 주장합니다. 기존 방식은 셰프가 오직 '메모를 작성함으로써' 모든 것을 새로 배웠다고 가정합니다. 하지만 실제로 셰프의 원래 깊은 요리 이해도(사전 학습된 모델)에는 훈련 과정 중 크게 변하지 않은 몇 가지 중요한 비밀 지식이 담겨 있습니다. 만약 이 메모들을 부주의하게 섞는다면, 원래의 필수적인 토대를 실수로 덮어쓰거나 손상시킬 수 있습니다.

발견: "하중을 견디는 벽 (Load-Bearing Walls)"

저자들은 하중을 견디는 벽(LBW) 차원이라고 부르는 것을 발견했습니다.

비유:
셰프의 원래 레시피 북을 하나의 '집'이라고 상상해 보세요.

**태스크 벡터(Task Vectors)**는 셰프가 집을 이탈리아식, 일본식, 또는 멕시코식 집처럼 보이게 만들기 위해 추가한 새로운 가구와 장식들입니다.
LBW 차원은 집을 지탱하는 실제 벽과 기초입니다.

셰프가 이탈리아 음식을 전문으로 배울 때, 그들은 벽을 허물지 않았습니다. 단지 가구를 옮겼을 뿐입니다. 하지만 그 벽들은 집이 무너지지 않고 서 있기 위해 반드시 필요한 핵심적인 부분입니다.

기존의 병합 방식은 오직 가구(태스크 벡터)만을 보았습니다. 그들이 이탈리아식 가구와 일본식 가구를 합치려고 시도할 때, 이탈리아 집이 서 있기 위해 꼭 필요한 벽을 실수로 무너뜨리고 말았습니다. 그 결과, "슈퍼 셰프"는 기초가 파괴되었기 때문에 더 이상 이탈리아 음식을 잘 요리할 수 없게 되었습니다.

해결책: PACT (Anchored Cores 보존)

이를 해결하기 위해 저자들은 PACT라는 새로운 방법을 만들었습니다.

PACT의 작동 방식 (비유):
단순히 가구를 섞는 대신, PACT는 보호막 역할을 합니다.

벽 식별: 섞기 전에, PACT는 원래의 집을 살펴보고 어떤 벽(LBW 차원)이 이탈리아 집을 위해, 어떤 벽이 일본 집을 위해, 그리고 다른 집들을 위해 중요한지를 정확히 식별합니다.
방어막 구축: 각 요리에 대한 특정 벽 주변에 "포스 필드(Force Field)"를 만듭니다.
혼합 필터링: 일본식 가구를 이탈리아식 집에 추가하려고 할 때, PACT는 확인합니다: "이 새로운 가구가 이탈리아 벽에 부딪히는가?" 만약 그렇다면, PACT는 그 특정 가구를 추가하기 전에 제거합니다.
안전한 병합: 결과적으로, 병합된 집은 새로운 가구가 추가되면서도 모든 요리에 필요한 핵심적인 벽들은 건드리지 않고 튼튼하게 유지됩니다.

이것이 왜 중요한가

이 논문은 PACT를 사용함으로써 이전보다 훨씬 더 잘 모델을 병합할 수 있음을 증명합니다.

PACT 없이: 병합된 모델은 기초에 금이 간 집과 같습니다. 너무 많은 과업의 무게를 견디지 못하고 무너집니다.
PACT와 함께: 병합된 모델은 각 과업의 기초를 온전히 유지하면서도 새로운 기술들을 성공적으로 결합합니다.

저자들은 이를 다양한 컴퓨터 비전 작업(자동차, 교통 표지판, 꽃 인식 등)에 테스트했습니다. 그 결과 PACT가 기존의 모델 병합 방식들의 성능을 일관되게 향상시켜, 최종적인 "슈퍼 셰프"가 이전의 어떤 방식보다도 모든 분야에서 더 뛰어난 성과를 낼 수 있음을 발견했습니다.

빠른 속도에 관한 짧은 노트

이 "벽 식별" 과정은 계산 비용이 많이 들 수 있습니다(마치 모든 벽돌을 검사하기 위해 건축가 팀을 고용하는 것과 같습니다). 저자들은 또한 수학적 지름길인 "Randomized SVD"를 사용하는 PACT의 "빠른 버전"을 개발했습니다. 이 지름길은 집의 모든 방을 직접 걷는 대신 드론을 사용하여 집을 스캔하는 것과 같으며, 훨씬 빠르면서도 높은 정확도로 중요한 벽을 찾아냅니다.

요약

기존 방식: 변화(태스크 벡터)를 섞고 원래 모델이 망가지지 않기를 바란다. (결과: 자주 망가짐).
새로운 방식 (PACT): 원래 모델에서 변하지 않은 보이지 않는 핵심 부분(하중을 견디는 벽)을 식별하고, 이를 보호한 뒤, 그 주변으로 변화를 조심스럽게 섞는다. (결과: 더 강력하고 안정적인 모델).

기술 요약: PACT – 태스크 벡터 내 앵커드 코어(Anchored Cores) 보존을 통한 모델 병합

문제 정의

모델 병합은 여러 개의 태스크별 미세 조정(fine-tuned) 모델을 하나의 멀티태스크 모델로 결합하는 것을 목표로 하는, 학습이 필요 없는(training-free) 멀티태스크 학습의 대안으로 부상했습니다. 지배적인 패러다임인 **태스크 산술(Task Arithmetic)**은 미세 조정된 가중치를 사전 학습된 파라미터( $\theta_0$ )와 태스크 벡터( $\Delta_t = \theta_t - \theta_0$ )로 분해하며, 오직 태스크 벡터 공간 내에서만 병합을 수행합니다. 이 접근 방식은 모든 태스크 특화 지식이 태스크 벡터 내에 인코딩되어 있으며, 사전 학습된 모델은 단지 공유된 초기화 지점 역할을 할 뿐이라는 가정을 암묵적으로 전제합니다.

저자들은 이러한 가정이 사전 학습된 모델의 본질적인 태스크 선호도(intrinsic task preferences)로 인해 성립하지 않는다고 주장하며 이에 이의를 제 제기합니다. 그들은 태스크에 결정적인 지식이 태스크 벡터로 완전히 전이되지 않고 사전 학습된 가중치에 "고정(anchored)"되어 있는 현상을 식별했습니다. 하중 지지 벽(Load-Bearing Wall, LBW) 차원이라 명명된 이 차원들은 미세 조정 과정에서 변화가 매우 적지만( $|\Delta_t|$ 가 작음), 태스크 성능을 유지하는 데 필수적입니다. 기존의 병합 방법들은 태스크 벡터만을 대상으로 작동하기 때문에, 여러 태스크를 집계하는 과정에서 이러한 LBW 차원을 의도치 않게 덮어쓰거나 왜곡하여 성능 저하를 초래합니다.

방법론: PACT (Preserve Anchored Cores)

LBW 차원의 취약성을 해결하기 위해, 저자들은 병합 과정 중 사전 학습된 모델에 고정된 태스크 특화 지식을 보호하도록 설계된 데이터 프리(data-free) 프레임워크인 PACT를 제안합니다.

1. LBW 차원 식별

논문은 두 가지 관점에서 LBW 차원을 규정합니다:

스칼라 가중치 관점(Scalar-Weight Perspective): 피셔 정보(Fisher Information)와 인리치먼트 점수(enrichment scores)를 사용하여, 태스크 벡터에서의 크기는 작지만 태스크 손실(loss)에 대한 민감도는 높은 특정 파라미터를 식별합니다.
서브스페이스 관점(Subspace Perspective): 특이값 분해(SVD)를 사용하여 태스크 $t$ 에 대한 LBW 서브스페이스( $V_{t,LBW}$ )를 정의합니다. 이는 사전 학습된 가중치의 주성분 서브스페이스( $V_{0,K}$ )를 태스크의 활성 업데이트 서브스페이스( $V_{t,k}$ )의 직교 보공간(orthogonal complement) 위로 투영하여 도출됩니다. 형식적으로는 다음과 같습니다:
$V_{t,LBW} = \text{orth}\left((I - V_{t,k}V_{t,k}^\top)V_{0,K}\right)$
이 서브스페이스는 미세 조정 중에는 변하지 않은 채, 태스크에 결정적인 역할을 하는 사전 학습된 특징 방향들을 포착합니다.

2. PACT 알고리즘

PACT는 표준 병합 알고리즘(예: Task Arithmetic, TSV-M, Iso-C)을 적용하기 전에 태스크 벡터를 필터링함으로써 작동합니다. 핵심 메커니즘은 각 태스크에 대해 **전역 직교 실드(Global Orthogonal Shield)**를 구축하여, 해당 태스크의 업데이트가 다른 태스크의 LBW 서브스페이스를 방해하지 않도록 하는 것입니다.

실드 구축(Shield Construction): 특정 태스크 $t$ 에 대해, 알고리즘은 다른 모든 태스크( $j \neq t$ 인 $V_{j,LBW}$ )의 LBW 서브스페이스를 집계하고, QR 분해를 사용하여 통일된 정규 직교 기저(orthonormal basis) $V_{t}^{protect}$ 를 구축합니다. 이 실드는 다른 모든 태스크가 요구하는 결정적인 사전 학습 의존성들의 합집합을 나타냅니다.
필터링(Filtering): 태스크 벡터 $\Delta_t$ 를 이 실드의 직교 보공간 위로 투영하여, 다른 태스크의 "신성한 영역(sacred spaces)"을 덮어쓸 수 있는 성분을 제거합니다:
$\tilde{\Delta}_t = \Delta_t - \Delta_t V_{t}^{protect}(V_{t}^{protect})^\top$
병합(Merging): 필터링된 벡터 $\{\tilde{\Delta}_t\}$ 들은 기존 알고리즘을 사용하여 병합됩니다.

3. 효율적인 변형 (Randomized SVD)

확장성을 개선하기 위해, 저자들은 **Randomized SVD (RSVD)**를 사용하는 효율적인 변형을 제안합니다. PACT는 주로 상위 $k$ 개의 특이 벡터를 추출하는 것을 필요로 하므로, RSVD는 계산 복잡도( $O(mn^2)$ 또는 $O(n^3)$ 대비 $O(mnk)$)와 메모리 사용량을 크게 줄이면서도, 고주파 노이즈를 매끄럽게 만드는 암시적 정규화제(regularizer) 역할을 하며 이 구성 요소들을 근사합니다.

주요 기여

태스크 산술 가정의 재검토: 본 논문은 태스크 벡터가 태스크 특화 지식을 완전히 포착하지 못한다는 것을 경험적으로 입증합니다. 또한, 변화량은 미미하지만 성능에 결정적인 영향을 미치는 파라미터인 LBW 차원의 존재를 식별하고 인과적으로 검증합니다.
인과적 검증: 통제된 섭동 실험(스칼라 및 서브스페이스 수준)을 통해 저자들은 다음을 보여줍니다:
- LBW 차원을 수정하면(작은 크기임에도 불구하고) 치명적인 성능 저하가 발생합니다.
- 표준 병합은 이러한 차원을 덮어쓰며, 이를 복구하면 성능이 회복됩니다.
- LBW 구성 요소에 대한 서브스페이스 절제(ablation)는 무작위 서브스페이스 절제보다 수십 배 더 큰 성능 저하를 유발합니다.
PACT 프레임워크: 간섭하는 업데이트를 필터링하기 위해 직교 실드를 구축하는 데이터 프리, 기하학적 프레임워크를 제안하며, 이는 기존의 스칼라 가중치 및 서브스스페이스 기반 병합 방법들과 원활하게 통합됩니다.
이론적 분석: 저자들은 PACT의 필터링에 의한 성능 저하가 태스크 그래디언트와 업데이트의 보호 공간(protection space)에 대한 투영에 의해 제어된다는 이론적 경계를 제공하며, 이를 통해 태스크 업데이트가 활성 서브스페이스에 집중되어 있다면 자기 자신의 성능이 보존됨을 보장합니다.

실험 결과

Vision 벤치마크(ViT-B/32, ViT-B/16, ViT-L/14)에서 8, 14, 20개의 태스크를 대상으로 전체 미세 조정(full fine-tuning) 및 LoRA 미세 조정 설정을 모두 포함하여 광범리한 실험이 수행되었습니다.

성능 향상: PACT는 주요 병합 방법들(Task Arithmetic, TSV-M, Iso-C)의 성능을 일관되게 향상시킵니다.
- PACT-Iso-C는 평가된 9가지 시나리오(3개 백본 $\times$ 3개 태스크 수) 전체에서 최첨단(SOTA) 성능을 달성했습니다.
- ViT-L/14를 사용한 20개 태스크 설정에서 PACT-Iso-C는 95.1%의 절대 정확도와 98.3%의 정규화 정확도에 도달하여, 이전 최고 모델인 Iso-CTS를 상당한 차이로 앞질렀습니다.
LoRA 적응성: PACT는 LoRA로 미세 조정된 모델의 병합 성능도 개선하며, 이는 미세 조정 중 사전 학습된 파라미터가 동결되더라도 LBW 효과가 지속됨(LBW 지식이 베이스 모델에 존재하기 때문)을 입증합니다.
효율성: RSVD 변형은 계산 복잡도를 획기적으로 줄이면서도(암시적 디노이징 덕분에 때로는 더 우수한 성능을 보이며) 전체 SVD와 대등한 성능을 달성합니다.
절제 연구(Ablation Studies):
- 정적 vs 동적: 다른 태스크의 LBW 서브스페이스를 고려하지 않고 사전 학습된 코어에 대해서만 필터링하는 정적 베이스라인(S-PACT)은 제한적인 이득만을 보여, 상호 간의 동적인 보호가 필요함을 강조합니다.
- 계층별 깊이: 침입 에너지(intrusion energy)가 가장 높은 기초적인 초기 계층을 필터링할 때 가장 큰 개선을 보였으나, 높은 태스크 부하를 처리하기 위해서는 전역 필터링이 필요합니다.

의의 및 주장

본 논문은 모델 병합이 단순히 태스크 업데이트 간의 충돌을 해결하는 것뿐만 아니라, 결정적인 사전 학습된 토대를 능동적으로 존중하고 보호하는 것이라고 주장합니다. "하중 지지 벽" 차원을 식별함으로써, 저자들은 기존의 태스크 벡터 기반 방법들이 가진 근본적인 사각지대를 드러냅니다. 즉, 이 방법들은 태스크 벡터에 명시적으로 인코딩된 것만을 조작할 뿐, 사전 학습된 모델에 암시적으로 저장된 지식은 간과한다는 것입니다.

PACT의 의의는 다음과 같습니다:

기존의 대수적 접근법을 보완하는 모델 병합에 대한 기하학적 관점을 제공합니다.
원래의 훈련 데이터에 접근할 필요 없이 기존의 모든 태스크 벡터 병합 파이프라인에 통합할 수 있는 모듈형, 데이터 프리 솔루션을 제공합니다.
다양한 비전 태스크와 모델 규모에서 새로운 SOTA 성능을 확립하여, 앵커드 코어를 보호하는 것이 견고한 멀티태스크 합성에 필수적임을 증명합니다.

저자들은 PACT가 약간의 계산 오버헤드를 발생시키지만(RSVD 변형으로 완화 가능), 병합 과정에서 발생하는 구조적 의존성을 다루기 위해 필요한 패러다임의 전환을 제공한다고 결론짓습니다. 향후 연구로는 이 프레임워크를 대규모 언어 모델(LLM)로 확장하고 보호 실드를 위한 적응형 차원성을 탐구하는 것이 제안되었습니다.