Escaping Low-Dimensional Overlap: Multi-Task Model Merging via High-Dimensional Sparse Disentanglement

인공지능이 급격히 발전하는 세상에서, 연구자들은 끊임없이 여러 가지 일을 동시에 수행할 수 있는 기계를 만들기 위해 노력하고 있습니다. 수학을 수년간 마스터한 학생, 코딩의 마법사가 된 학생, 그리고 복잡한 지시 사항을 따르는 데 전문가가 된 학생을 상상해 보십시오. 과거에는 이 모든 기술을 사용하기 위해 컴퓨터가 각 주제에 전념하는 세 개의 별도 프로그램을 실행해야 했습니다. 이는 엄청난 양의 컴퓨터 메모리와 에너지를 소모하는 비효율적인 방식입니다. 더 우아한 해결책은 이 별개의 전문가들을 하나의 다재다능한 모델로 결합하는 것입니다. '모델 병합(model merging)'이라고 알려진 이 과정은 서로 다른 전문 프로그램들의 '지식'을 처음부터 다시 학습시키지 않고도 하나의 통합된 두뇌로 혼합하려고 시도합니다. 그러나 이 혼합 작업은 매우 까다롭습니다. 두 개의 서로 다른 지시 세트를 섞을 때, 그것들은 종종 충돌합니다. 컴퓨터는 혼란에 빠지고, 그 결과물인 모델은 마치 서로 다른 기술들이 기계의 메모리 내 동일한 공간을 차지하기 위해 싸우는 것처럼 모든 작업에서 성능이 저하됩니다.

이 문제의 핵심은 이러한 인공 두뇌가 정보를 저장하는 방식에 있습니다. 신경망 내부에서 서로 다른 기술들은 종종 동일한 물리적 경로를 공유하는데, 연구자들은 이를 '중첩(superposition)' 현상이라고 부릅니다. 이는 마치 여러 개의 서로 다른 아이디어들이 좁은 복도를 동시에 점유하려고 하는 것과 같습니다. 연구자들이 두 모델의 가중치를 단순히 더하려고 할 때, 이러한 겹쳐진 아이디어들은 서로 간섭하며 유용한 정보가 손실되는 엉망진 상태를 만들어냅니다. 이를 해결하기 위한 이전의 시도들은 원래의 혼잡한 공간 내에서 엉킨 부분을 잘라내거나 숫자를 재조정하는 등의 방식으로 엉킨 실타래를 풀려고 했습니다. 하지만 간섭이 심할 경우, 이러한 방법들은 마치 엉킨 매듭만을 보고 엉망이 된 전선 더미를 분류하려는 것과 같아서, 회로를 손상시키지 않고는 개별 가닥을 완전히 분리해낼 수 없습니다.

한 연구팀은 관점을 완전히 바꿈으로써 이를 해결할 새로운 방법을 제안했습니다. 연구자들은 좁은 복도에서 전선을 풀려고 하는 대신, 전선을 훨씬 더 넓고 비어 있는 방으로 옮길 것을 제안합니다. 그들은 이 접근 방식을 '고차원 희소 디엔탱글먼트 병합(High-Dimensional Sparse Disentanglement Merging)'이라고 부릅니다. 연구진은 '희소 오토인코더(Sparse Autoencoder)'라는 도구를 사용했는데, 이는 일종의 번역기 역할을 합니다. 이 도구는 특정 작업으로부터 온 엉킨 지시 사항을 받아 이를 길고 단순하며 뚜렷한 특징들의 목록으로 변환합니다. 이 새로운 목록은 원래의 지시 사항보다 훨씬 길기 때문에, 각 특징은 자신만의 전용 공간을 갖게 되며, 컴퓨터는 어떤 지식이 수학에 속하고, 어떤 것이 코딩에 속하며, 어떤 것이 지시 사항 준수에 속하는지를 정확히 볼 수 있습니다. 이 넓은 고차원의 방 안에서 정보가 분리되면, 연구자들은 서로 다른 기술들이 서로의 발을 밟지 않도록 관련 부분들을 신중하게 결합할 수 있습니다. 결합이 완료되면, 번역기는 깨끗하게 분리된 목록을 모델이 사용할 수 있도록 원래의 형식으로 다시 변환합니다.

하지만 거대한 모델의 모든 층을 이 새로운 형식으로 변환하는 것은 믿을 수 없을 정도로 느리고 비용이 많이 드는 일일 것입니다. 이를 해결하기 위해 연구진은 '그룹 순위 제로 차수 최적화 도구(Group-Ranked Zeroth-Order Optimizer)'라는 스마트한 선택 방법을 도입했습니다. 이 도구는 정찰병처럼 작동하여, 모델의 어느 부분이 특정 작업에 가장 중요한지를 빠르게 테스트합니다. 이는 복잡한 기울기(gradient)를 계산할 필요 없이, 모델의 서로 다른 섹션에 미세하고 무작위적인 조정을 가하고 성능이 얼마나 변하는지를 관찰함으로써 이루어집니다. 가장 중요한 층들을 식별함으로써, 시스템은 진정으로 필요한 곳에만 값비싼 변환 및 분리 과정을 적용하고, 나머지 부분은 더 단순하고 빠른 방법으로 병합되도록 둡니다. 이를 통해 시스템은 깊은 분리의 이점을 얻으면서도 효율성을 유지할 수 있습니다.

연구진은 이 새로운 프레임워크를 강력한 인공지능 시스템인 Qwen2.5 시리즈 모델을 사용하여 테스트했습니다. 그들은 수학적 추론, 코드 생성, 복잡한 지시 사항 준수와 같은 작업을 수행하는 전문가 모델들을 만들었습니다. 전통적인 방식으로 이 전문가들을 병합했을 때, 결과는 종-종 실망스러웠으며 어려운 작업에서 성능이 크게 떨어졌습니다. 반면, 그들의 새로운 방식은 기존 기술들을 지속적으로 능가했습니다. 70억 개의 파라미터를 가진 대규모 모델에서, 그들의 접근 방식은 수학, 코딩, 지시 사항 준수 작업 전반에 걸쳐 평균 68.49점을 기록하며 기존의 최고 방법을 명확한 차이로 앞질렀습니다. 개선 효과는 충돌이 심한 시나리오에서 더욱 극적으로 나타났습니다. 안전 정렬(safety alignment)을 포함한 네 가지 서로 다른 작업을 작은 15억 파라미터 모델에서 병합하려 했을 때, 전통적인 방식은 평균 점수가 15.45까지 급락했습니다. 새로운 방식은 36.48점을 유지하며, 모델이 수학과 코딩 능력을 유지하면서도 엄격한 안전 가이드라인을 준수하도록 효과적으로 보존했습니다.

이 연구는 성공적인 모델 병합의 핵심이 단순히 숫자를 어떻게 섞느냐가 아니라, '어디에서' 섞느냐에 달려 있음을 시사합니다. 연구진은 작업 정보를 특징들이 명확히 구별될 수 있는 고차원 공간으로 투영함으로써, 일반적으로 이러한 시스템을 괴롭히는 간섭을 줄일 수 있었습니다. 그들은 가장 중요한 특징들을 활성화된 상태로 유지하면서 나머지는 무시하는 특정 기술을 사용하는 개선된 오토인코더가 이러한 성공의 결정적 요인이었다는 것을 발견했습니다. 또한, 그들의 층 선택 도구는 모델의 모든 부분에 이 복잡한 분리를 적용할 필요가 없으며, 중요한 층들에 집중하는 것만으로도 그 이점을 포착하기에 충분하다는 것을 입증했습니다. 결과는 이 접근 방식이 추가적인 학습 데이터나 값비싼 재학습 없이도 여러 가지 상충하는 작업을 처리할 수 있는 범용 모델을 구축하는 견고한 방법을 제공한다는 것을 보여줍니다. 이 방법은 번역 도구를 설정하는 데 초기 계산 노력이 필요하지만, 그 대가로 기존 기술으로 만들어진 모델보다 훨씬 더 전문화된 기술을 잘 유지하는 모델을 얻을 수 있습니다. 이 연구는 여러 인간의 과업을 수행하는 복잡한 환경 속에서도 길을 잃지 않고 항해할 수 있는, 더 유능하고 다재다능한 인공지능 시스템을 만들기 위한 구체적인 경로를 제시합니다.