💻 computer science

Asymmetric Collapse in Model Merging: When Refusal Over- writes Recognition

이 논문은 표준적인 모델 병합 기법이 비대칭적 붕괴를 자주 유발하며, 이는 거절 파인튜닝이 벡터들이 거의 직교함에도 불구하고 병합 과정에서 지배적인 역할을 하는 현저히 큰 태스크 벡터 크기를 유도하기 때문에 안전 인식 능력은 상실되는 반면 광범위한 거절 행동은 유지된다는 것을 입증한다.

원저자: Aarnav Choudhary, Matheus Fonseca Rocha, Jiwon Seo, Vasu Sharma, Maheep Chaudhary

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aarnav Choudhary, Matheus Fonseca Rocha, Jiwon Seo, Vasu Sharma, Maheep Chaudhary

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 새로운 기술을 배울 수 있는 아주 똑똑한 로봇이 있다고 상상해 보세요. 때때로 당신은 로봇에게 가짜 뉴스 헤드라인을 찾아내는 법과 같은 특정한 한 가지 기술을 가르치고 싶을 수 있습니다. 또 다른 때는 위험한 요청에 대해 "아니오"라고 말하는 법과 같이 다른 기술을 가르치고 싶을 수도 있죠. 하지만 만약 당신이 로봇에게 이 두 가지를 동시에 하기를 원한다면 어떻게 될까요? 인공지능의 세계에는 '모델 병합(model merging)'이라는 영리한 지름길이 있습니다. 두 가지 기술을 처음부터 다시 학습시키는 대신, 과학자들은 기술 A를 위해 훈련된 버전과 기술 B를 위해 훈련된 두 가지 서로 다른 버전의 로봇을 가져와 수학적으로 그들의 뇌를 하나로 섞습니다. 이것은 마치 두 가지 맛의 아이스크림을 섞어 새로운 완벽한 소용돌이 맛을 만드는 것과 같습니다. 여기서 큰 질문은, 이 두 가지 '맛'의 안전 훈련을 섞었을 때, 두 가지 모두를 잘 수행하는 로봇이 탄생할 것인가, 아니면 한 가지 맛이 다른 맛을 완전히 집어삼켜 버릴 것인가 하는 점입니다. 이 미스터리를 해결하기 위해 한 새로운 연구는, 우리가 위험을 '이해'하는 능력과 그것을 '거절'하는 능력을 동시에 유지할 수 있는지에 주목했습니다.

COLM 2026 컨퍼런스에서 발표된 이 연구의 연구진은 이를 테스트하기 위해 Gemma-3-1B-IT라는 특정 로봇 모델을 사용하기로 결정했습니다. 그들은 이 로봇의 두 가지 특별한 버전을 만들었습니다. 첫 번째 버전은 '탐정(Detective)'이라고 부를 수 있는데, 이 버전은 방대한 의료 관련 질문 데이터셋을 학습하여 프롬프트가 얼마나 해로운지를 식별하는 전문가가 되도록 훈련되었습니다. 이 버전은 "이것은 약간 위험합니다" 또는 "이것은 매우 위험합니다"와 같이 등급을 매겨 답변하는 법을 배웠습니다. 두 번째 버전은 '수호자(Guardian)'로, 로봇의 규칙을 깨뜨리기 위해 설계된 까다롭고 적대적인 프롬프트의 거대한 컬렉션을 학습했습니다. 수호자는 하나의 단순하고 단호한 교훈을 배웠습니다. 만약 위험해 보인다면, 묻지도 따지지도 말고 그냥 "아니오"라고 말하며 답변을 거부하라는 것이었습니다.

연구팀은 이 두 명의 전문가를 가져와 네 가지 서로 다른 수학적 혼합 방법을 사용하여 하나의 로봇으로 병합하려고 시도했습니다. 그들은 결과물로 위험을 감지하면서 동시에 나쁜 것을 거절할 수 있는 로봇이 나오기를 기대했습니다. 하지만 대신, 그들은 이상하고 불균형한 결과를 발견했습니다. 모든 경우에 '수호자'의 행동이 완전히 장악했습니다. 병합된 로봇들은 나쁜 프롬프트를 거절하는 데 탁월해졌으며, 거절률을 81%에서 85% 사이로 높게 유지했습니다. 그러나 '탐정'의 기술은 거의 완전히 사라졌습니다. 로봇들은 해로움을 등급 매기는 법을 잊어버렸습니다. 프롬프트의 심각성을 분류하는 능력은 사용하는 방법에 따라 0.6%에서 12.9%까지 떨어지며 거의 제로에 가깝게 급락했습니다. 그것은 마치 로봇이 무엇이 실제로 있는지 확인하기 위해 외시경을 통해 들여다보는 법을 잊어버린 채, 문을 쾅 닫아버리는 법을 배운 것과 같았습니다.

왜 이런 일이 일랐을까요? 과학자들은 두 로봇의 'DNA'를 면밀히 조사하여 범인을 찾아냈습니다. 그들은 이것이 두 로봇이 서로 싸우거나 서로 반대 방향으로 가려고 했기 때문이 아니라는 것을 발견했습니다. 사실, 그들의 뇌는 거의 직각을 이루고 있었는데, 이는 그들이 충돌하지 않으면서도 완전히 다른 일을 하려 했다는 것을 의미합니다. 진짜 문제는 **볼륨(음량)**의 문제였습니다. '수호자' 로봇은 '탐정'의 데이터셋보다 약 29배 더 큰 데이터셋으로 훈련되었습니다. 이 때문에 수호자의 뇌에 가해진 변화는 훨씬 더 "크고" 강력했습니다. 과학자들이 뇌를 섞었을 때, 그들이 사용한 수학적 도구들은 더 큰 신호를 키우고 더 작은 신호를 줄이는 볼륨 조절기처럼 작동했습니다. 수호자의 크고 대담한 "아니오!"가 탐정의 미묘하고 정교한 "아마도"를 집어삼킨 것입니다.

연구진이 수호자의 훈련 데이터 크기를 탐정의 크기에 맞춰 줄임으로써 이를 해결하려고 노력했을 때도, 모든 병합 방법에서 문제가 완전히 사라지지는 않았습니다. 이는 데이터의 크기가 주요 요인이긴 하지만, 병합 알고리즘이 이러한 "큰" 업데이트와 "작은" 업데이트를 처리하는 방식이 실질적인 핵심임을 시사합니다. 이 연구는 표준 병합 도구들이 현재 크고 투박한 행동(예: 모든 것에 거절하기)을 유지하는 데 편향되어 있으며, 실수로 세밀하고 상세한 기술(예: 왜 나쁜지에 대한 이해)을 삭제한다는 것을 보여줍니다.

그렇다면 이것이 미래에 어떤 의미를 가질까요? 논문은 만약 우리가 나쁜 것을 거절할 수도 있고 안전의 미묘한 차이를 이해할 수도 있는 안전한 AI를 구축하고자 한다면, 현재의 표준 도구를 사용하여 모델을 단순히 섞고 맞추는 것만으로는 안 된다고 제안합니다. 우리는 '수호자' 안에 있는 '탐정'을 잃어버리고 있을지도 모릅니다. 연구진은 미래의 방법론이 이러한 서로 다른 '볼륨'의 균형을 맞추는 데 더 똑똑해져야 하며, 로봇이 단순히 모든 것에 "아니오"라고 말하는 법을 배우는 것이 아니라, 약간의 경고와 큰 위험의 차이를 이해하는 법을 배우도록 보장해야 한다고 결론지었습니다.

기술 요약: 모델 병합에서의 비대칭적 붕괴 (Asymmetric Collapse in Model Merging)

문제 정의
모델 병합은 추가적인 학습 없이 별도로 미세 조정된 모델들을 하나의 모델로 결합하는 방식이며, 이는 결과물이 소스 모델들의 역량을 균형 있게 합성할 것이라는 가정하에 작동한다. 그러나 표준적인 모델 병합 방법들이 서로 다른 다수의 안전 관련 행동들을 동시에 보존할 수 있는지 여부는 여전히 불분명하다. 특히, 본 논문은 미묘한 유해성 인식(harm recognition)을 위해 미세 조정된 모델과 광범위한 적대적 거부(adversarial refusal)를 위해 미세 조정된 모델을 병합했을 때, 균형 잡힌 역량이 나타나는지 아니면 한 행동이 다른 행동을 덮어쓰는 "붕괴"가 발생하는지를 조사한다.

연구 방법론
저자들은 Gemma-3-1B-IT를 베이스 모델로 사용하여 두 가지 서로 다른 지도 미세 조정(SFT) 변형 모델을 생성함으로써 통제된 사례 연구를 수행하였다:

FT CARES: 의료 프롬프트의 유해 수준(0–3단계)에 대한 구조화되고 등급화된 분류를 수행하기 위해 CARES 벤치마크(18,000개 이상의 프롬프트)로 미세 조정됨.
FT WJB: 적대적 탈옥(jailbreak) 시도에 대한 이진 거부 행동을 학습하기 위해 WildJailbreak 데이터셋(262k 예시)으로 미세 조정됨.

이 두 모델은 mergekit 라이브러리의 네 가지 표준 알고리즘인 Linear(균등 평균), SLERP(구형 선형 보간), TIES, DARE-TIES를 사용하여 병합되었다. 모든 병합에는 동일한 가중치( $\alpha = 0.5$ )가 사용되었다.

병합된 모델들은 세 가지 지표로 평가되었다:

CARES 정확도: 유해 수준에 대한 4등급 분류 정확도.
공격 저항성: 적대적 프롬프트(WildJailbreak)에 대한 거부율.
양호한 준수성(Benign Compliance): 양호한 프롬프트에 대한 비거부율.

관찰된 실패의 원인을 격리하기 위해 저자들은 다음과 같은 기계론적 분석을 수행하였다:

벡터 분석: 레이어별 L2 노름(L2 norms) 및 태스크 벡터(미세 조정된 가중치와 베이스 가중치의 차이) 간의 코사인 유사도 측정.
데이터 크기 정규화: 규모의 불균형을 줄이기 위해 FT WJB를 9k 서브샘플로 재학습시켜 CARES 데이터셋 크기와 일치시킴.
어텐션 헤드 절제(Attention Head Ablation): 각 태스크에 결정적인 역할을 하는 어텐션을 식별하기 위해 이진 필수 마스크(binary necessity masks)를 학습하고, 병합 후 해당 헤드들의 유지 또는 파괴 여부를 추적함.

주요 결과
실험 결과, 네 가지 병합 방법 모두에서 극명한 **비대칭적 붕괴(asymmetric collapse)**가 나타났다:

거부 전이, 인식 붕괴: 병합된 모델들은 FT WJB 베이스라인(88.0%)에 근접한 높은 공격 저항성(81.1%–85.3%)을 유지했다. 반면, 유해 인식 정확도는 급락했다. 가장 성능이 좋았던 병합 방식인 SLERP조차 CARES 정확도가 12.9%에 그쳤으며, TIES와 DARE-TIES는 각각 0.6%와 0.8%로 떨어져 사실상 베이스 모델의 성능 혹은 그 이하로 회귀했다.
직교성 대 크기(Orthogonality vs. Magnitude): 거부와 인식의 태스크 벡터는 거의 직교하는 것(코사인 유사도 0.011)으로 밝혀졌으며, 이로 인해 상충하는 방향이 주요 간섭 원인이 아님이 입증되었다. 대신, FT WJB 태스크 벡터는 FT CARES 벡터보다 레이어당 L2 크기가 4~5배 더 컸다.
크기 민감도: 크기에 민감한 방법들(TIES, DARE-TIES)은 체계적으로 더 큰 거부 업데이트를 선호했다. 규모 불균형을 줄이기 위해 데이터를 정규화한 실험(9k 서브샘플)에서도 Linear, SLERP, TIES의 분류 정확도는 완전히 회복되지 않았으나, DARE-TIES는 상당한 개선(정확도 20.0%)을 보여주어 크기가 근접한 원인이지만 유일한 동인은 아님을 시사했다.
구조적 vs. 기능적 보존: 어텐션 헤드 분석 결과, CARES에 필수적인 어텐션 헤드의 49~65%가 병합된 가중치 내에 구조적으로는 유지되었으나, 그 기능적 능력은 손상된 것으로 나타났다. 즉, 병합된 가중치 내의 해당 헤드들은 더 이상 분류를 지원하지 못했으며, 이는 총체적인 가중치 통계로는 포착할 수 없는 실패였다.

의의 및 주장
본 논문은 표준적인 모델 병합이 안전 관련 태스크 벡터의 규모가 크게 다를 경우, 미세한 안전 인식을 광범위하고 거친 거부 행동으로 의도치 않게 붕괴시킬 수 있다고 주장한다. 저자들은 이것이 상충하는 태스크 방향의 결과가 아니라, 더 큰 업데이트(거부)가 더 작고 분산된 업데이트(인식)를 가중치 공간에서 압도하는 크기 불균형(magnitude imbalance) 때문이라고 논증한다.

이 연구의 의의는 안전 정렬(safety-aligned) 모델 병합 시 발생하는 특정 실패 모드를 식별했다는 점에 있다. 즉, 미묘한 판단(예: 유해 수준 등급 부여)이 단순한 거부 행동에 의해 덮어씌워지는 현상을 지적한다. 저자들은 단계적인 판단(독성 점수 산출, 위험 분류 등)을 요구하는 모든 안전 역량이 표준적인 모델 병합 과정에서 이와 유사하게 취약할 수 있다고 경고한다. 결론적으로, 향후 안전 인지형 병합 방법은 태스크 벡터의 방향성과 희소성(sparsity)에만 집중할 것이 아니라, 행동적 역할, 규모 불균형, 그리고 거부와 함께 미세한 인식 능력을 보존하는 문제를 반드시 고려해야 한다고 강조한다.

유사한 논문