🤖 machine learning

Tunable MAGMAX: Preference-Aware Model Merging for Continual Learning

본 논문은 다양한 배포 환경에 대한 수동 지정 없이 병합된 모델의 효과적인 적응을 가능하게 하는 작업별 성능을 제어하기 위해 선호도 벡터를 자동으로 구성하는 선호도 인식 모델 병합 프레임워크인 Tunable MAGMAX 를 소개합니다.

원저자: Kei Hiroshima, Kento Uchida, Shinichi Shirakawa

게시일 2026-05-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kei Hiroshima, Kento Uchida, Shinichi Shirakawa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마스터 셰프가 이탈리아, 일본, 멕시코, 인도, 프랑스 등 다섯 가지 완전히 다른 요리를 배운다고 상상해 보세요. 인공지능 세계에서는 이 셰프가 '연속 학습' 모델에 해당합니다. 문제는 셰프가 완벽한 스시를 만드는 법을 배울 때, 완벽한 피자를 만드는 법을 잊기 시작한다는 점입니다. 이를 '파괴적 망각'이라고 부릅니다.

보통 이를 해결하기 위해 연구자들은 다섯 가지 요리 모두에서 '그럭저럭' 잘하는 하나의 '슈퍼 셰프'를 만들어 평균 점수를 최대한 높이려 합니다. 하지만 현실 세계에서는 이것이 항상 작동하지는 않습니다. 도쿄의 한 레스토랑은 스시만 중요하게 여기고 피자는 전혀 신경 쓰지 않을 수 있습니다. 멕시코의 레스토랑은 정반대의 필요가 있을 수 있습니다. 그들은 '슈퍼 셰프'를 원하지 않습니다. 그들은 다른 요리에서는 '그럭저럭' 잘하지만 스시 마스터인 셰프를 원합니다.

이 논문은 정확히 그 문제를 해결하기 위해 Tunable MAGMAX라는 새로운 도구를 소개합니다. 간단한 비유를 들어 작동 원리를 설명해 보겠습니다.

1. 기존 방식 (MAGMAX) 의 문제점

이전 방법인 MAGMAX는 '재능 쇼 심사위원'과 같았습니다. 이 방법은 셰프의 모든 요리 실력을 검토한 후, 요리 과정의 각 단계마다 단일 최선의 동작을 선택했습니다. 양파 다지기에 대한 셰프의 최선의 동작이 이탈리아 훈련에서 비롯되었다면 그것을 유지했습니다. 양념에 대한 최선의 동작이 일본 훈련에서 비롯되었다면 그것을 유지했습니다.

그 결과는 훌륭한 '평균' 셰프였습니다. 하지만 논문은 한 가지 결함을 지적합니다. 셰프가 마지막으로 배운 요리가 종종 최종 레시피를 지배한다는 것입니다. 셰프가 프랑스 요리를 마지막으로 배웠다면, 레스토랑이 이탈리아 요리를 원했더라도 최종 요리는 프랑스 음식처럼 너무 많이 느껴질 수 있습니다. 셰프에게 "이탈리아 스타일로 80%, 프랑스 스타일로 20%만 해줘"라고 쉽게 지시할 수 없었습니다.

2. 새로운 해결책: Tunable MAGMAX

저자들은 Tunable MAGMAX를 제안합니다. 이는 레스토랑 주인에게 각 요리별 슬라이더가 있는 리모컨을 주는 것과 같습니다.

선호도 벡터 (리모컨): 이는 시스템이 각 '요리 기술'을 얼마나 유지할지 알려주는 숫자 목록입니다. 스시에 중점을 둔 셰프를 원한다면 '일본' 슬라이더를 올리고 '이탈리아' 슬라이더를 내리면 됩니다.
병합 과정: 각 단계마다 단일 최선의 동작만 선택하는 대신, Tunable MAGMAX는 '기술 예산'을 고려합니다. 일본 슬라이더를 높게 설정하면 시스템이 셰프의 동작 중 상당 부분이 일본 훈련에서 비롯되도록 보장합니다. 이탈리아 슬라이더를 낮게 설정하면 이탈리아 동작을 소수만 유지합니다.

이를 통해 전체 셰프를 처음부터 다시 훈련시키지 않고도 특정 환경 (특정 도시나 병원 등) 에 맞는 맞춤형 모델을 구축할 수 있습니다.

3. 리모컨은 어떻게 설정할까요? (마법 같은 부분)

"슬라이더에 어떤 숫자를 넣어야 할지 어떻게 알 수 있나요? 추측해야 하나요?"라고 물을 수 있습니다.

논문은 아니라고 답합니다. 그들은 새로운 환경의 작은 샘플을 기반으로 리모컨을 자동으로 설정하는 방법을 고안했습니다.

비유: 비가 많이 오는 도시에서 새로운 레스토랑을 연다고 상상해 보세요. 전 세계를 위해 요리할 필요는 없습니다. 단지 현지인들이 무엇을 먹는지만 알면 됩니다.
방법: 시스템은 새로운 위치의 아주 작은 데이터 샘플 (메타 데이터셋) 을 가져옵니다. 그런 다음 이 샘플을 기존에 보유한 훈련 데이터와 비교합니다.
- 레이블 (요리 이름) 이 있는 경우: "새로운 레스토랑이 타코를 더 많이 내놓나요, 아니면 스시를 더 많이 내놓나요?"라고 확인합니다. 유사도를 계산하여 슬라이더를 그에 맞게 설정합니다.
- 레이블 (이름) 없이 이미지만 있는 경우: '최적 수송'이라는 수학적 도구를 사용하여 데이터의 '형태'를 살펴봅니다. "여기의 음식 사진들이 이탈리아 훈련 세트와 더 비슷합니까, 아니면 일본 훈련 세트와 더 비슷합니까?"라고 묻습니다.

유사도를 계산하면, 해당 특정 환경에 맞는 완벽한 '선호도 벡터' (리모컨 설정) 를 자동으로 구축합니다.

4. 결과

연구자들은 CIFAR-100 및 ImageNet-R 과 같은 표준 AI 벤치마크 (표준화된 요리 대회와 같음) 에서 이를 테스트했습니다.

제어: 슬라이더를 변경함으로써 다른 작업은 약간 떨어뜨리는 대신, 모델이 특정 작업 (배운 첫 번째 요리나 마지막 요리 등) 에서 놀라울 정도로 잘 수행하도록 만들 수 있음을 보여주었습니다.
적응성: 서로 다른 '목표 환경' (서로 다른 유형의 데이터 혼합) 을 시뮬레이션했을 때, 그들의 자동화 방식은 기존 방법보다 일관되게 더 나은 셰프를 만들어냈습니다. 해당 도시의 작은 데이터 샘플만 살펴보면 '비가 많은 도시'나 '햇살이 좋은 도시'에 완벽하게 조정된 모델을 구축할 수 있었습니다.

요약

간단히 말해, Tunable MAGMAX는 많은 것을 배운 일반 AI 모델을 특정 작업에 맞게 맞춤 제작하는 방법이며, 이를 위해 모델을 다시 훈련시킬 필요가 없습니다. 이는 '선호도 벡터'를 사용하여 배운 각 기술을 얼마나 유지할지 결정하며, 새로운 환경의 작은 샘플을 살펴봄으로써 올바른 설정을 자동으로 파악할 수 있습니다. 이는 마치 마스터 셰프가 새로운 동네를 개업할 때마다 그 동네의 특정 취향에 완벽하게 부합하도록 전체 메뉴를 즉시 조정할 수 있는 것과 같습니다.

기술 요약: Tunable MAGMAX

문제 정의

지속적 학습 (Continual Learning, CL) 은 여러 작업을 순차적으로 학습하면서 파국적 망각 (Catastrophic Forgetting, CF) 을 완화하는 것을 목표로 합니다. 최근 대규모 사전 학습 모델 (Large Pre-trained Models, LPMs) 과 MAGMAX(최대 크기 선택) 와 같은 모델 병합 기술의 발전은 효과적인 CL 성능을 보여주었으나, 기존 방법들은 주로 모든 작업에 걸친 평균 성능을 최적화하는 데 초점을 맞추고 있습니다. 이들은 다양한 배포 환경이나 특정 사용자 선호도를 수용하는 모델을 구축해야 하는 실질적 필요성을 해결하지 못합니다. 예를 들어, 한 병원의 의료 진단 시스템은 종양 검출을 우선시하는 반면, 다른 병원은 동일한 기본 LPM 에 의존함에도 심장 이상을 우선시할 수 있습니다. MAGMAX 를 포함한 현재의 CL 기술들은 작업별 성능 우선순위를 유연하게 조정할 수 있는 메커니즘을 충분히 제공하지 못합니다. 또한, MAGMAX 의 요소별 최대 크기 선택에 대한 의존성은 종종 마지막에 학습된 작업의 작업 벡터가 병합된 모델을 지배하게 만들어, 이전 작업들의 성능이 최적화되지 않을 수 있습니다.

방법론

본 논문은 CL 에서 작업별 성능을 제어하도록 설계된 선호도 인식 모델 병합 프레임워크인 Tunable MAGMAX를 제안합니다. 이 방법은 병합 과정에서 각 작업 벡터에서 선택되는 요소의 수를 지시하는 선호도 벡터를 도입하여 MAGMAX 를 확장합니다.

핵심 메커니즘: Tunable MAGMAX

기존 MAGMAX 에서는 병합된 작업 벡터가 각 매개변수 인덱스에 대해 모든 작업 벡터 간에 절대 크기가 가장 큰 요소를 선택함으로써 형성됩니다. Tunable MAGMAX 는 선호도 벡터 $\mathbf{n}_T = (n_1, \dots, n_T)$ 로 정의된 예산 제약 조건을 부과함으로써 이를 수정하며, 여기서 $\sum n_t = d$ (모델 매개변수의 총 수) 입니다.

선택 과정: 알고리즘은 작업을 역순으로 (마지막 작업 $T$ 에서 첫 번째 작업까지) 반복합니다. 각 작업 $t$ 에 대해, 나머지 작업들 중 해당 작업 $t$ 의 벡터가 가장 큰 크기를 갖는 선택되지 않은 매개변수를 식별합니다.
예산 강제: 자연스럽게 선택된 요소의 수가 예산 $n_t$ 를 초과하면, 할당량을 충족시키기 위해 초과분은 무작위로 폐기됩니다. 초기 통과 후 예산이 충족되지 않으면, 알고리즘은 아직 예산에 도달하지 않은 작업에 나머지 선택되지 않은 매개변수를 할당하기 위해 추가 정렬 반복 (실험에서는 $K=2$ 로 설정) 을 수행합니다.
결과: 이는 해당 작업 벡터에 더 많은 매개변수를 할당함으로써 병합된 모델이 특정 작업으로 편향되게 하여, 초기 작업과 후기 작업 간의 성능 균형을 제어할 수 있게 합니다.

자동 선호도 구성

선호도 벡터의 수동 지정을 제거하기 위해 저자들은 유사도 기반 메커니즘을 제안합니다. 이는 대상 배포 환경에서 소량의 메타데이터( $D_{meta}$ ) 를 활용하여 학습 데이터셋 ( $D_t$ ) 과의 유사도를 계산합니다.

특징 기반 (OT): 특징 집합을 사용할 수 있는 경우, 학습 작업의 임베딩 특징과 메타데이터 간의 최적 수송 (Optimal Transport, OT) 거리를 사용하여 유사도를 계산합니다.
레이블 기반: 레이블 집합만 사용할 수 있는 경우, 경험적 레이블 분포의 내적을 기반으로 유사도를 계산합니다.
그런 다음 선호도 벡터 $n_t$ 는 이러한 유사도 점수에 비례하여 매개변수를 할당함으로써 구성됩니다.

주요 기여

Tunable MAGMAX 프레임워크: 선호도 벡터를 통해 각 작업 벡터에서 선택되는 요소의 수를 규제하여 지속적 학습에서 작업별 성능에 대한 유연한 제어를 가능하게 하는 새로운 모델 병합 방법.
유사도 기반 자동화: 소량의 대상 메타데이터와 학습 데이터셋 간의 데이터셋 유사성 (OT 거리 또는 레이블 분포를 통해) 을 활용하여 대상 환경에 맞는 적절한 선호도 벡터를 자동으로 구성하는 방법.
실증적 검증: CIFAR-100 및 ImageNet-R CL 벤치마크를 통해 다양한 대상 환경에 적응하는 병합 모델을 성공적으로 구축하며, 특정 배포 시나리오에서 기존 방법 (baselines) 을 능가하거나 이에 필적하는 성능을 입증함.

실험 결과

저자들은 CIFAR-100 및 ImageNet-R 을 사용하여 다양한 수의 작업 ( $T \in \{5, 20, 50\}$ ) 으로 클래스 증분 학습 설정에서 Tunable MAGMAX 를 평가했습니다.

제어 가능성: 선호도 벡터의 스케일링 계수 $\alpha$ 를 변경함으로써, 이 방법은 성공적으로 성능 초점을 이동시켰습니다. 높은 $\alpha$ 값은 초기 작업을 우선시하는 반면, 낮은 $\alpha$ 값은 후기 작업을 우선시하여 작업 간 성능 균형을 조절할 수 있음을 보여주었습니다.
대상 환경 적응: 다양한 대상 환경 (균형 잡힌 작업 혼합 및 불균형 혼합) 을 시뮬레이션한 실험에서, 레이블 기반 유사도 제어를 사용한 Tunable MAGMAX 는 기존 방법 (MAGMAX, TIES-Merging, Model Soup, 무작위 혼합) 에 비해 더 높거나 동등한 평균 정확도를 일관되게 달성했습니다.
강건성: 레이블 기반 선호도 제어는 특히 대상 환경이 소수의 작업을 포함할 때, OT 기반 접근법보다 다양한 수의 작업에 걸쳐 더 우수한 강건성을 보여주었습니다.

의의 및 주장

본 논문은 Tunable MAGMAX 가 작업 우선순위가 애플리케이션이나 사용자마다 다른 시나리오에서 지속적 학습 모델을 배포하기 위한 실용적인 해결책을 제공한다고 주장합니다. 처음부터 재학습하는 계산 비용을 들이지 않고 선호도 인식 제어를 가능하게 함으로써, 이 방법은 제한된 자원을 가진 실무자들이 특정 배포 요구 사항에 맞춰 병합된 모델을 커스터마이징할 수 있게 합니다. 저자들은 이 방법이 유연한 작업 우선순위화 필요성을 효과적으로 해결하지만, 대상 환경을 근사화하기 위해 메타데이터의 가용성에 의존하며 현재 학습 작업 간의 의존성을 고려하지는 않는다고 지적합니다.