Modular Delta Merging with Orthogonal Constraints: A Scalable Framework for Continual and Reversible Model Composition

이 논문은 기존 모델 병합 및 지속적 학습의 한계를 극복하고, 작업 간 간섭을 제거하며 GDPR 등 규정 준수를 위한 모델의 가역적 구성을 가능하게 하는 '직교 제약이 적용된 모듈식 델타 병합 (MDM-OC)' 프레임워크를 제안합니다.

핵심

🎨 비유: "각자 다른 그림을 그리는 예술가들"

상상해 보세요. 한 스튜디오에 여러 명의 예술가 (AI 모델) 가 있습니다.

• 예술가 A는 '고양이' 그림을 잘 그립니다.
• 예술가 B는 '자동차' 그림을 잘 그립니다.
• 예술가 C는 '날씨' 그림을 잘 그립니다.

기존 방식의 문제점은 이들을 한 캔버스에 모두 그리려고 하면, A 가 그린 고양이 위에 B 가 자동차를 그릴 때 고양이의 귀가 찢어지거나 (상호 간섭), C 가 날씨가 그려지다 보니 A 의 그림이 사라져 버리는 (망각) 문제가 생깁니다.

이 논문이 제안하는 MDM-OC는 다음과 같은 마법 같은 해결책을 제시합니다.

1. "각자의 전용 공간 (직교하는 공간)"을 마련해 주세요

이 기술은 각 예술가가 그림을 그릴 때, 서로 다른 방향의 캔버스를 사용하게 합니다.

• 고양이 그림은 '세로' 방향으로만 그려집니다.
• 자동차 그림은 '가로' 방향으로만 그려집니다.
• 날씨 그림은 '대각선' 방향으로만 그려집니다.

이렇게 하면, 가로로 그리는 자동차가 세로로 그려진 고양이를 건드리지 않습니다. 서로의 영역이 완전히 겹치지 않기 (직교) 때문에, 한 사람이 그림을 그려도 다른 사람의 그림은 절대 망가지지 않습니다.

2. "원래대로 되돌리기 (되감기 기능)"

가장 멋진 점은 되돌릴 수 있다는 것입니다.
만약 '자동차' 그림을 그린 예술가 B 를 스튜디오에서 내보내야 한다면 (예: 개인정보 보호 규정 때문), 우리는 단순히 B 가 그린 '가로' 방향의 선만 지우면 됩니다.

• 기존 방식: B 를 지우면 A 의 고양이 그림도 같이 지워지거나 망가집니다.
• MDM-OC 방식: B 의 선만 깔끔하게 지워도, A 의 고양이와 C 의 날씨는 완벽하게 원래 모습으로 남아있습니다. 마치 레고 블록을 하나씩 빼내도 다른 블록이 무너지지 않는 것처럼요.

3. "최적의 배합 비율 찾기"

이제 이 세 가지 그림을 하나의 큰 작품으로 합치려면 어떻게 할까요? 단순히 다 합치는 게 아니라, 어떤 비율로 섞어야 가장 잘 보이는지를 컴퓨터가 자동으로 계산해 줍니다. (논문에서는 이를 '계수 최적화'라고 부릅니다.)

---

💡 왜 이 기술이 중요한가요?

1. 개인정보 보호 (GDPR 준수): 유럽의 GDPR 같은 법규는 "내 데이터를 지워달라"고 하면 AI 가 그 데이터를 배운 기억을 완전히 지워야 합니다. 기존 AI 는 한 번 배우면 지우기 어렵지만, 이 기술은 특정 데이터 (예술가) 만 깔끔하게 빼낼 수 있어 법적 문제를 해결해 줍니다.
2. 지속적인 학습: 새로운 AI 모델이 나올 때마다 처음부터 다시 배우지 않고, 기존 모델에 **새로운 '패치' (델타)**만 덧붙이면 됩니다.
3. 효율성: 메모리를 많이 차지하지 않으면서도, 여러 가지 일을 동시에 잘 해낼 수 있습니다.

🚀 요약

이 논문은 **"여러 AI 모델을 섞을 때 서로 간섭하지 않게 각자의 공간 (직교 공간) 을 만들어 주고, 필요하면 그 공간만 지워 원래 상태로 되돌릴 수 있는 시스템"**을 개발했습니다.

이는 마치 레고 블록처럼 AI 모델을 조립하고 분해할 수 있게 하여, 더 안전하고 유연하며 법규를 준수하는 AI 시스템을 만들 수 있게 해주는 획기적인 기술입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

현대 머신러닝 시스템, 특히 파운데이션 모델 (Transformers 등) 은 동적이고 프라이버시 민감한 환경에 적응해야 합니다. 여러 파인튜닝된 모델을 통합하여 단일 시스템으로 구성하는 과정에서 기존 방법론들은 다음과 같은 심각한 한계를 겪고 있습니다.

• 작업 간 간섭 (Task Interference): 여러 작업을 하나의 모델에 합칠 때, 한 작업의 학습이 다른 작업의 성능을 저하시키는 현상.
• 파괴적 망각 (Catastrophic Forgetting): 새로운 작업을 학습하거나 모델을 병합할 때 기존 작업의 지식이 손실됨.
• 가역성 (Reversibility) 부재: GDPR 과 같은 데이터 보호 규정을 준수하기 위해 특정 작업이나 데이터를 모델에서 제거 (Unlearning) 하려는 경우, 기존 병합 방법론은 재학습 없이는 개별 모델을 분리해 내는 것이 불가능하거나 매우 비효율적임.
• 확장성 부족: 기존 모델 병합 기법들은 정적인 모델 컬렉션을 가정하며, 지속적인 통합이나 구조화된 제거를 지원하지 못함.

2. 제안 방법론: MDM-OC (Methodology)

저자들은 모듈러 델타 병합 with 직교 제약 (Modular Delta Merging with Orthogonal Constraints, MDM-OC) 을 제안합니다. 이는 파인튜닝된 모델들을 확장 가능하고, 간섭이 없으며, 가역적으로 구성할 수 있는 프레임워크입니다.

핵심 원리

1. 델타 표현 (Delta Representation):

   • 각 작업별 모델 ($\theta_i$) 은 공유된 베이스 모델 ($\theta_{base}$) 과의 차이인 델타 ($\Delta\theta_i = \theta_i - \theta_{base}$) 로 표현됩니다.
   • 이는 모델의 변화를 컴팩트하고 해석 가능한 형태로 만듭니다.

2. 직교 서브스페이스 투영 (Orthogonal Subspace Projection):

   • 작업 간 간섭을 방지하기 위해 각 델타를 직교 (Orthogonal) 되는 서브스페이스로 투영합니다.
   • Gram-Schmidt 과정을 사용하여 이전 작업들의 델타와 직교하는 새로운 방향을 계산합니다:
     $$\Delta\theta^\perp_i = \Delta\theta_i - \sum_{j=1}^{i-1} \text{proj}_{\Delta\theta^\perp_j}(\Delta\theta_i)$$
   • 이를 통해 각 작업의 파라미터 업데이트 방향이 서로 겹치지 않도록 하여 간섭을 제거합니다.

3. 가중치 최적화 (Coefficient Optimization):

   • 투영된 델타들을 선형 결합하여 통합 모델을 만듭니다 ($\theta_{merged} = \theta_{base} + \sum \alpha_i \Delta\theta^\perp_i$).
   • 각 작업의 기여도를 균형 있게 조절하기 위해 CMA-ES와 같은 최적화 알고리즘을 사용하여 결합 계수 ($\alpha_i$) 를 학습합니다.

4. 지속적 통합 및 제거 (Continual Integration & Unmerging):

   • 통합: 새로운 모델이 들어오면 기존 델타들의 null 공간 (영공간) 으로 투영하여 점진적으로 추가합니다.
   • 제거 (Unmerging): 직교성 덕분에 특정 작업의 델타를 단순히 빼기 연산 ($\theta_{merged} - \alpha_k \Delta\theta^\perp_k$) 으로 제거할 수 있습니다. 이는 GDPR 준수 (데이터 삭제 요청) 에 필수적인 기능입니다.

5. 안정성 유지:

   • EWC (Elastic Weight Consolidation) 와 합성 리플레이 (Synthetic Replay) 를 결합하여 반복적인 병합/제거 과정에서도 모델의 강건성을 유지합니다.
   • PCA 기반 차원 축소를 통해 $O(N^2)$ 의 계산 복잡도를 $O(kN)$ 으로 줄여 확장성을 확보합니다.

3. 주요 기여 (Key Contributions)

• 수학적으로 정립된 가역 병합: 델타 공간에서의 직교 투영을 통해 모델 병합을 대수적으로 가역적으로 만들었습니다. 이는 기존 방법론들이 가지지 못한 '선택적 제거' 기능을 가능하게 합니다.
• 간섭 없는 구성: 직교 제약 조건을 통해 다중 작업 간 파라미터 간섭을 이론적으로 및 실험적으로 제거했습니다.
• 규제 준수 및 프라이버시: 데이터 삭제 요청 (Right to be Forgotten) 에 대응할 수 있는 모델 수준의 '언러닝' 메커니즘을 제공합니다.
• 효율성: LoRA 와 같은 저랭크 업데이트와 결합하여 메모리 효율성을 높이고, 대규모 모델 (Foundation Models) 에도 적용 가능한 확장성을 입증했습니다.

4. 실험 결과 (Experimental Results)

비전 (CIFAR-100, ImageNet-100) 과 NLP (AG News, DBpedia 등) 도메인에서 다양한 베이스라인 (Task Arithmetic, TIES-Merging, EWC, GEM 등) 과 비교 평가되었습니다.

• 성능 (Accuracy): MDM-OC 는 CIFAR-100 에서 78.4% 의 정확도를 기록하여 차기 최상위 기법 (TIES-Merging) 보다 6.3%p 높은 성능을 보였습니다.
• 가역성 (Unmerging Fidelity): 특정 작업을 제거했을 때의 정확도 하락 (UAD) 이 1.8% (비전) 및 2.3% (언어) 로, 기존 방법론들 (Task Arithmetic: 12.3%, TIES-Merging: 8.9%) 에 비해 압도적으로 낮았습니다. 이는 제거 후에도 나머지 작업의 성능이 거의 유지됨을 의미합니다.
• 확장성: 5 개에서 50 개의 모델을 병합할 때 선형적으로 확장되었으며, 피크 메모리 사용량은 GEM 대비 약 40% 이상 절감되었습니다.
• 이론적 검증: 직교 투영이 간섭을 이론적으로 제한하며, 유한 정밀도 연산에서도 간섭 에너지가 무시할 수 있을 정도로 작음을 증명했습니다.

5. 의의 및 결론 (Significance)

MDM-OC 는 지속적 학습 (Continual Learning) 과 구성 가능한 AI (Composable AI) 를 연결하는 획기적인 프레임워크입니다.

• 실무적 적용: 기업 및 연방 학습 환경에서 모델의 지속적인 업데이트와 동시에 규제 (GDPR 등) 를 준수하는 데이터 삭제가 가능한 시스템을 설계할 수 있는 토대를 제공합니다.
• 해석 가능성: 모델의 각 구성 요소가 직교하는 서브스페이스에 매핑되므로, 어떤 작업이 모델의 어떤 부분에 기여하는지 해석하기 용이합니다.
• 미래 지향성: 이 연구는 동적이고 분산된 지능형 시스템에서 모델의 투명성, 감사 가능성, 그리고 사용자 통제를 실현할 수 있는 새로운 패러다임을 제시합니다.

결론적으로, MDM-OC 는 모델 병합의 정확도, 안정성, 그리고 가역성을 동시에 달성하여 차세대 AI 시스템 관리의 표준이 될 수 있는 강력한 솔루션입니다.