탐정의 딜레마: 왜 하나가 모든 것을 해결할 수 없는가

당신이 도둑을 잡으려고 노력하고 있다고 상상해 보세요. 당신은 빨간 모자를 쓴 도둑을 찾아내는 데 전문가인 아주 똑똑한 탐정을 고용했습니다. 그들은 업무에 매우 능숙하지만, 만약 도둑이 파란 모자를 쓰고 나타나면 완전히 혼란에 빠져 도둑을 놓치고 맙니다. 이제, 당신이 빨간 모자, 파란 모자, 초록 모자, 심지어 투명한 모자를 쓴 도둑들을 모두 잡아야 한다고 상상해 보세요. 각 모자 색깔마다 전문가를 한 명씩 고용할 수도 있겠지만, 그것은 비용이 많이 들고 관리하기가 번거롭습니다. 대안으로, 모든 종류의 모자 색깔을 한꺼번에 찾아낼 수 있는 하나의 "슈퍼 탐정"을 훈련시키려 할 수도 있습니다. 하지만 여기 함정이 있습니다. 한 사람에게 모든 것을 가르치려 하면, 그 사람은 종종 혼란을 겪게 되어 특정 모자 색깔을 찾아내는 능력 자체가 원래의 전문가들보다 오히려 떨어지게 됩니다.

이것은 바로 컴퓨터 과학자들이 **코드 클론 탐지(code clone detection)**에서 직면하는 문제입니다. 코드 클론은 복사해서 붙여넣거나 약간 변형된 버전의 컴퓨터 프로그램과 같습니다. 이들은 완전히 동일한 복사본일 수도 있고, 변수 이름만 바뀌었을 수도 있으며, 혹은 동일한 기능을 수행하지만 서로 다른 언어(예: Python vs Java)로 작성된 코드일 수도 있습니다. 최근에는 AI가 스스로 코드를 작성하면서, 인간의 코드와는 전혀 다르게 보이는 새로운 유형의 "클론"을 만들어내고 있습니다.

클론을 찾기 위해 연구자들은 유사성을 포착하도록 훈련된 '컴퓨터 뇌'인 딥러닝 모델을 구축합니다. 문제는 이 모델들이 우리의 빨간 모자 탐정처럼 '전문가'라는 점입니다. Java 코드를 찾도록 훈련된 모델은 Python 코드를 보여주면 형편없이 실패하며, 인간이 작성한 코드로 훈련된 모델은 AI가 생성한 코드를 보면 길을 잃습니다. 이는 팀이 모든 상황을 커버하기 위해 수십 개의 서로 다른 모델을 실행해야 하는 "파편화 위기(fragmentation crisis)"를 초래합니다. 큰 질문은 이것입니다: 우리는 처음부터 다시 학습시키지 않고도 이 전문 모델들을 하나의 슈퍼 모델로 결합할 수 있을까요?

"모델 병합(Model Merging)"의 마법

"A Unified Model for Cross-Domain Clone Detection via Model Merging"이라는 제목의 이 논문은 모델 병합이라는 영리한 기술을 탐구합니다. 모델을 다시 학습시키는 대신(이는 모든 원래 데이터와 긴 시간을 필요로 합니다), 연구자들은 이미 훈련된 두 개 이상의 전문 모델을 가져와 수학적으로 "꿰매어" 연결합니다. 이것은 마치 토마토 수프 레시피와 감자 수프 레시피 두 가지를 가지고, 새로운 배치를 처음부터 다시 요리하지 않고도 재료를 솥에 섞어 완벽한 "토마토-감자" 수프를 만들려고 노력하는 것과 같습니다.

연구자들은 이 아이디어를 코드 클론 탐지에 테스트했습니다. 그들은 동일 언어 클론을 찾는 데 전문가인 모델과 교차 언어 클론을 찾는 데 전문가인 모델을 가져왔습니다. 그리고 다음과 같은 다양한 방식으로 섞는 방법을 시도했습니다:

1. 단순 평균(Simple Averaging): 두 모델의 "두뇌"를 단순히 평균 내는 방식입니다.
2. TIES: 모델의 어떤 부분이 일치하고 어떤 부분이 충돌하는지 신중하게 결정하여, 좋은 부분은 유지하고 충돌하는 부분은 버리는 방법입니다.
3. WUDI: 두 모델 사이의 "노이즈"나 간섭을 최소화하려고 노력하는 방법입니다.
4. 레이어 스티칭(Layer Stitching): 뇌 전체를 섞는 대신, 특정 레이어를 교체하는 방식입니다(예를 들어, 한 모델의 "눈"을 다른 모델의 "귀"와 교체하는 것처럼). 이를 통해 더 나은 하이브리드를 구축할 수 있는지 확인합니다.

결정적인 발견: 동일한 "베이스"가 필요하다

이 연구의 가장 중요한 발견은 간단한 규칙입니다: 모델을 성공적으로 병합하려면 반드시 동일한 "베이스(base)"에서 시작해야 합니다.

두 명의 요리사가 있다고 상상해 보세요. 요리사 A는 특정 마스터 셰프(이름을 "Master UniX"라고 합시다)로부터 요리를 배웠습니다. 요리사 B는 완전히 다른 마스터 셰프("Master CodeBERT")로부터 배웠습니다. 만약 이들의 레시피를 섞으려 한다면, 맛이 충돌하여 수프 맛이 엉망이 될 것입니다. 하지만 요리사 A와 요리사 B가 모두 "Master UniX"로부터 배웠다면, 그들의 기술은 호환됩니다. 이들의 레시 recipe를 섞으면 아름답게 어우러집니다.

연구자들은 동일한 사전 학습된 베이스(예: UniXcoder 모델의 서로 다른 두 버전)를 공유하는 모델을 병합했을 때, 결과물이 강력한 교차 도메인 탐지기가 된다는 것을 발견했습니다. 이 병합된 모델은 동일 언어 및 교차 언어 시나리오 모두에서 거의 동시에 학습시킨 것만큼 잘 작동했으며, 이를 병합 단계에서 아무런 학습 데이터 없이 수행했습니다. 이는 단일 컴퓨터 프로세서에서 5분도 채 걸리지 않을 만큼 빨랐습니다.

그러나 서로 다른 베이스를 가진 모델을 병합하려고 했을 때(예: UniXcoder와 CodeBERT를 섞는 경우), 결과는 엉망이고 신뢰할 수 없었습니다. "맛"이 충돌했고, 병합된 모델은 성능이 저조했습니다. 이는 "베이스" 모델이 병합된 지식을 하나로 묶어주는 접착제 역할을 한다는 것을 시사합니다.

놀라운 승자: TIES vs. WUDI

연구자들은 또한 서로 다른 병합 방법들 사이의 트레이드오프(trade-off)를 발견했습니다.

• WUDI는 이전에 보았던 특정 유형의 코드(in-distribution)를 찾는 데 가장 뛰어났습니다. 가장 정확한 "전문가"였습니다.
• 그러나 TIES는 더 나은 "제너럴리스트(generalist)"였습니다. 연구자들이 병합된 모델을 보지 못한 AI 생성 클론(모델이 본 적 없는 AI가 작성한 코드)에 대해 테스트했을 때, TIES 병합 모델이 훨씬 더 나은 성능을 보였습니다.

이는 매우 중요한 통찰입니다. WUDI가 알려진 데이터에서는 약간 더 정확했지만, TIES는 미지의 영역에 직면했을 때 더 견고했습니다. 저자들은 실제 사용 환경에서 이상하고 새로운 유형의 AI 생성 코드를 마주할 가능성이 높다는 점을 고려할 때, TIES가 더 안전하고 실용적인 선택이라고 제안합니다.

거인들을 이기다

이 논문은 또한 병합된 모델을 다음 두 가지 접근 방식과 비교했습니다:

1. 멀티태스크 학습(Multi-task Training): 모든 데이터를 한꺼번에 학습시키는 전통적인 방식입니다. 이 방식은 알려진 데이터에서는 잘 작동했지만, AI 생성 클론을 마주했을 때 완전히 무너졌습니다. 모든 것을 한꺼번에 배우려고 하면 모델이 "과적합(overfit)"되어 예상치 못한 상황에 대처하는 법을 잊어버리는 것으로 보입니다.
2. 대규모 언어 모델(LLMs): 연구자들은 프롬프트를 읽는 것만으로 클론을 탐지하도록 요청받은 거대 AI 모델들(Qwen, DeepSeek 등)을 테스트했습니다(zero-shot). 이 거인들은 괜찮은 성능을 보였지만, 병합된 모델보다 훨씬 느리고 정확도가 낮았습니다. 병합된 모델은 이들보다 몇 자릿수(orders of magnitude) 더 빠르고 정밀했습니다.

핵심 요약

논문은 소프트웨어 엔지니어를 위한 실질적인 레시피를 제시하며 결론을 맺습니다:

1. 하나의 사전 학습된 모델(예: Uni-Xcoder)을 선택하십시오.
2. 관심 있는 각 특정 도메인(예: Java용 버전 하나, Python용 버전 하나)에 대해 이를 별도로 미세 조정(fine-tune)하십시오.
3. 이들을 병합하기 위해 TIES 방법을 사용하십시오.

이 접근 방식은 다시 학습시키거나 다양한 모델 군단을 관리하는 막대한 비용 없이도, 빠르고 정확하며, 놀랍게도 새로운 유형의 코드 클론을 잘 처리할 수 있는 통합된 탐지기를 만들어냅니다. 이는 AI의 세계에서 때로는 더 큰 뇌를 만드는 것보다, 이미 가지고 있는 뇌들을 똑똑하게 결합하는 것이 더 나은 전진 방법일 수 있음을 시사합니다.