💬 NLP

Llamion Technical Report

이 논문은 KEPT라는 새로운 기법을 사용하여 Orion-14B 아키텍처를 Llama 형식으로 성공적으로 변환하는 14B 파라미터 오픈 가중치 모델 계열인 Llamion을 소개하며, KoMMLU와 같은 벤치마크에서 최첨단 성능을 달성하고 최소한의 학습 자원으로 장문맥 처리와 같은 고급 기능을 유지함을 보여줍니다.

원저자: Kisu Yang, Yoonna Jang, Hyeonseok Moon, Hwanseok Jang, Taewoo Lee, Hyungjin Lee, Jeseung Lee, Juhyoung Park, Heuiseok Lim

게시일 2026-05-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kisu Yang, Yoonna Jang, Hyeonseok Moon, Hwanseok Jang, Taewoo Lee, Hyungjin Lee, Jeseung Lee, Juhyoung Park, Heuiseok Lim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

Llamion 기술 보고서에 대한 설명을 쉬운 언어와 창의적인 비유로 정리했습니다.

큰 그림: 가구 없이 집을 옮기지 않는 방법

상상해 보세요. 여러분은 Orion이라는 이름의 강력한 AI 모델에 비유되는, 완벽하게 가구가 채워진 웅장한 집을 가지고 있습니다. 이 집은 독특하고 맞춤형 기초 위에 지어졌습니다. 잘 작동하지만, 지역 도시의 구역법 (즉, Llama 아키텍처 표준) 은 오직 특정 표준화된 기초 위에 지어진 집만 허용합니다.

만약 집을 새로운 기초 위로 그냥 옮기려 한다면, 배관이 고장 나거나 문이 맞지 않거나 가구가 분실될 수 있습니다. 보통 이를 해결하려면 새로운 집을 사고 오래된 설계도를 이용해 처음부터 가구를 다시 채우는 데 수년을 보내야 합니다 (이를 **상위 학습 (uptraining)**이라고 합니다). 이는 비용이 많이 들고 느리며, 종종 가지고 있지 않은 원래 설계도가 필요합니다.

Llamion은 KEPT라는 새로운 영리한 이사 전략의 결과물입니다. 집을 다시 짓는 대신, 팀은 정확히 같은 가구와 정확히 같은 배치를 새로운 표준 기초 위로 옮겼으며, 집의 개성과 기술을 온전히 유지했습니다.

어떻게 했는가: "KEPT" 레시피

팀은 Orion 에서 Llama 스타일로 AI 를 옮기기 위해 KEPT(변환을 위한 효율적 지식 보존) 라는 세 단계 레시피를 사용했습니다.

일반 파라미터 매핑 (NPM): "직접 이동"
두 집 모두에서 같은 방식으로 작동하는 AI 의 부분들 (어휘와 논리 중심부 등) 에 대해서는, 가구를 들어 올려 새로운 집의 정확히 같은 자리에 놓았습니다. 변경 사항이 필요 없었습니다.
최적화된 파라미터 매핑 (OPM): "완벽한 맞춤"
옛 집의 일부는 새로운 집 (RMSNorm 사용) 과는 다른 유형의 문 경첩 (LayerNorm) 을 사용했습니다. 팀은 추측하는 대신 수학적으로 증명했습니다. 추가 작업 없이 경첩을 직접 교체하면 완벽하게 맞다는 것을요. 이 단계는 학습이 전혀 필요 없었으며 추가 데이터도 필요 없었습니다. 마치 옛 소파가 리모델링 없이도 새로운 거실에 완벽하게 들어맞는 것을 깨닫는 것과 같습니다.
교차 아키텍처 지식 증류 (XKD): "그림자 학습"
가구를 옮긴 후 집이 약간 어색하게 느껴질 수 있습니다. 이를 해결하기 위해 원래 AI(Orion) 를 동결된 교사로 사용했습니다. 새로운 AI(Llamion) 가 교사가 질문에 답하는 것을 지켜보고 답변을 정확히 복사하도록 했습니다.
- 주의할 점: 교사가 훈련된 원래 책 도서관이 필요하지 않았습니다. 교사의 스타일을 복사하는 연습을 위해 약 1 억 2,300 만 단어 분량의 무작위 대화 카드 더미만 필요했습니다.

결과: 기적 같은 이동

이 "이동"의 결과는 놀라울 정도로 성공적이었습니다.

속도와 비용: 그들은 단일 강력한 컴퓨터 칩 (A100 GPU) 에서 단 4 일 만에 이를 완료했습니다. 보통 이런 모델을 재학습시키는 데는 수개월이 걸리고 천문학적 비용이 듭니다.
성능: 새로운 모델인 Llamion은 원래 Orion 과 마찬가지로 한국어를 완벽하게 구사합니다. 실제로 한국어 지식 테스트 (KoMMLU) 에서 **66.87%**를 기록하여 다음으로 좋은 모델보다 압도적인 차이 (7 점 이상) 로 앞섰습니다.
"마법" 같은 전이: 가장 인상적인 점은 이동 중에 새로운 모델에게 가르치지 않은 것들입니다.
- 코딩: 학습 데이터에 컴퓨터 코드가 거의 없었음에도 불구하고 Llamion 은 여전히 Python 을 완벽하게 작성할 수 있습니다.
- 긴 기억: 학습 데이터는 짧았지만 (4,000 단어), Llamion 은 여전히 원래 모델처럼 거대한 문서 (200,000 단어) 를 기억하고 처리할 수 있습니다.

왜 이것이 중요한가

이렇게 생각해 보세요: 작은 레시피 책을 이용해 한 학생이 마스터 셰프의 요리 스타일을 모방하도록 가르치면, 학생은 보통 그 특정 레시피들만 배우게 됩니다. 하지만 Llamion 은 단순히 레시피를 외우는 것이 아니라 **마스터 셰프의 두뇌 (숨겨진 논리)**를 모방하도록 훈련되었기 때문에, 작은 레시피 책에 없던 요리조차도 포함해 무엇이든 요리할 수 있는 셰프의 능력을 물려받았습니다.

요약

이 논문은 Llamion이 강력하지만 "비표준"인 한국어 AI(Orion) 를 산업 표준인 "Llama" 형식으로 변환하는 새로운 AI 모델이라고 주장합니다. 그들은 모델의 지식을 직접 이동시키고 미세 조정을 위해 극소량의 데이터를 사용하는 지능적인 방법 (KEPT) 으로 이를 달성했습니다. 그 결과, 표준 도구와 호환되고 더 빠르게 실행되며, 처음부터 다시 학습할 필요 없이 원래 모델의 모든 기술 (코딩 및 긴 기억 포함) 을 유지하는 모델이 탄생했습니다.

기술 요약: Llamion 및 KEPT

문제 제기

오픈소스 대규모 언어 모델 (LLM) 생태계는 저수준 아키텍처 선택의 차이 (예: LayerNorm 대 RMSNorm, multi-head 대 grouped-query attention, 절대적 대 RoPE 위치 인코딩) 로 인해 분열되어 있습니다. 해당 분야는 표준화된 "Llama 계열" 템플릿 (decoder-only, RoPE, RMSNorm, SwiGLU) 으로 대체로 수렴했으나, 많은 유능한 사전 훈련 모델은 비표준 아키텍처를 사용합니다. 이러한 모델들을 표준 템플릿으로 변환하는 것은 주류 도구 및 배포 스택 (종종 trust_remote_code=False를 강제함) 과의 호환성을 위해 필요하지만, 이러한 아키텍처 변환은 일반적으로 상당한 지식 손실을 초래합니다.

전통적인 해결책인 업트레이닝 (uptraining) 은 새로운 코퍼스에서의 계속된 훈련을 의미하며 비용이 많이 들고 데이터 집약적입니다. 이는 파국적 망각을 피하기 위해 이전에 학습된 모든 지식을 포괄하는 코퍼스가 필요하며, 원래 사전 훈련 데이터가 비공개일 경우 이 조건을 충족하는 것이 종종 불가능합니다. furthermore, 업트레이닝은 원래 사전 훈련 컴퓨팅 비용의 적지 않은 비율을 추가로 요구합니다.

방법론: KEPT

저자들은 비표준 아키텍처를 가진 소스 모델 ( $M_{src}$ ) 을 원래 사전 훈련 코퍼스에 접근할 필요 없이 표준화된 아키텍처를 가진 타겟 모델 ( $M_{tgt}$ ) 로 변환하는 3 단계 레시피인 KEPT(Efficient Knowledge Preservation for Transformation) 를 소개합니다. KEPT 는 수정된 네트워크의 출력을 임의의 합리적인 입력 분포에서 원래 네트워크의 출력과 정렬시킵니다.

이 과정은 다음으로 구성됩니다:

일반 파라미터 매핑 (NPM): 계산이 변경되지 않는 모듈 (예: 토큰 임베딩, 어텐션 프로젝션, MLP) 에 대해서는 파라미터를 소스에서 타겟으로 그대로 복사합니다. 이는 고품질 초기화를 제공합니다.
최적화된 파라미터 매핑 (OPM): 계산이 변경되지만 원칙적인 초기화가 가능한 모듈에 대해서는 훈련이 없는 매핑을 적용합니다. 논문은 LayerNorm-to-RMSNorm 전환에 중점을 둡니다. 저자들은 AdamW 로 훈련된 모델에서 흔히 발생하는 가중치 감소 (weight decay) 로 유도된 근사 0 평균 활성화 regime 하에서, 최적의 RMSNorm 가중치는 단순히 LayerNorm 가중치 ( $\theta \leftarrow \gamma$ ) 이며 편향 항 ( $\beta$ ) 은 폐기할 수 있음을 증명합니다. 이 분석적 해법은 특정 모듈에 대한 훈련 필요성을 제거합니다.
크로스-아키텍처 지식 증류 (XKD): 타겟 모델 (학생) 이 고정된 소스 모델 (교사) 의 출력을 재현하도록 훈련되는 잔차 정렬 단계입니다. 교사와 학생은 크기가 동일하여 고전적인 압축 기반 증류와 구별됩니다. 저자들은 두 가지 목적 함수를 활용합니다:
- 은닉 상태 (Hidden-state) 목적: 레이어별 잔차 스트림 활성화를 매칭합니다.
- Logit 목적: 최종 LM-head 출력 logit 을 매칭합니다. logit 목적은 내부 궤적에 더 약한 제약을 부과하기 때문에 (이는 이미 NPM/OPM 으로 잘 초기화됨) 더 빠르게 수렴하고 경미하게 더 나은 결과를 제공하는 것으로 발견되었습니다.

주요 기여

Llamion 모델 계열: Orion-14B(LayerNorm 및 비표준 어텐션을 가진 모델) 를 Llama 계열 템플릿으로 변환하여 파생된 3 개의 14B 파라미터 체크포인트 (Base, Chat, LongChat) 를 공개했습니다. 이러한 모델들은 Hugging Face Transformers 라이브러리에서 trust_remote_code=False로 로드됩니다.
OPM 을 위한 이론적 증명: L2 출력 정렬 하에 LayerNorm 을 대체하는 최적의 RMSNorm 가중치가 근사 0 평균 regime 에서 원래 LayerNorm 가중치와 동등함을 보여주는 폐형 (closed-form) 해를 제시하여, 정규화 레이어 변환을 훈련 없이 가능하게 합니다.
효율적인 변환: 이 방법은 단일 A100 GPU 에서 4 일 동안 약 123M 토큰만을 사용하여 소스 모델의 행동을 복원하며, 이는 업트레이닝에 필요한 컴퓨팅의 일부에 불과합니다.
Zero-Shot 능력 보존: 이 방법은 전이 코퍼스 (transfer corpus) 에 전혀 존재하지 않는 능력을 완전히 보존합니다. 구체적으로 Python 프로그래밍 및 200K 토큰 컨텍스트 처리가 이에 해당하며, 이는 KEPT 가 단순히 전이 코퍼스를 재학습하는 것이 아니라 교사의 고유한 지식을 이전함을 보여줍니다.

결과

저자들은 여러 벤치마크에서 Llamion 을 원래 Orion-14B 및 기타 베이스라인과 비교 평가했습니다:

H6 벤치마크 (영어 Few-Shot): Llamion-Base 는 (logit 목적 사용 시) 평균 점수 60.53을 달성하여 Orion 의 성능 (60.83) 을 거의 모두 회복했습니다. 반면, 파라미터 매핑만 (OPM) 적용한 경우 성능이 31.19 로 하락했고, 증류 없이 업트레이닝 (UT) 한 경우 57.77 에 도달했습니다. 동일한 컴퓨팅 예산에서 logit 기반 XKD 는 업트레이닝보다 약 2.76 점 더 높은 성능을 보였습니다.
MT-Bench (멀티턴 대화): Llamion-Chat 은 7.034점을 기록하여 Orion-Chat(7.116) 과 0.1 점 이내로 일치했습니다. 증류 없이 업트레이닝만 한 경우 (5.709) 와 OPM 만 적용한 경우 (1.226) 는 현저히 낮은 성능을 보여 생성적 일관성을 위한 증류 목적의 필요성을 강조했습니다.
KoMMLU (한국어 MMLU): Llamion-Base 는 **66.87%**를 기록하여 Open Ko LLM 리더보드상 다음 최상위 항목보다 7.0 이상의 절대 점수를 상회했습니다. 이는 Orion 의 강력한 한국어 능력 보존을 확인시켜 줍니다.
Zero-Shot 전이:
- 프로그래밍: 전이 코퍼스 (MIRACL) 에 프로그래밍 텍스트가 사실상 전혀 없었음에도 불구하고 Llamion-Chat 은 유능한 Python 코드를 생성했습니다.
- 긴 컨텍스트: 전이 코퍼스가 4K 토큰으로 제한되었음에도 불구하고 Llamion-LongChat 은 200K 토큰 시퀀스에서 낮은 퍼플렉시티를 유지했습니다. 이는 RoPE 베이스의 보존 및 XKD 의 행동 정렬 특성에 기인한 것으로 분석되었습니다.

의의 및 주장

이 논문은 KEPT 가 아키텍처 선택과 사전 훈련 데이터를 성공적으로 분리한다고 주장합니다. 데이터 분포가 아닌 고정된 교사 모델에 모델을 정렬시킴으로써, 이 방법은 실무자들이 "사전 훈련 세금"을 지불하거나 소스 모델에 존재하는 능력을 잃지 않고도 (Llama 템플릿과 같은) 배포 친화적 아키텍처를 채택할 수 있게 합니다.

저자들은 이를 아키텍처 변환에서의 "지식 손실" 문제에 대한 해결책으로 위치시킵니다. 그들은 보지 못한 도메인의 능력 (프로그래밍, 긴 컨텍스트) 보존이 이 방법이 전이 코퍼스를 재학습하는 것이 아니라 교사의 학습된 지식을 이전한다는 직접적인 증거라고 강조합니다. Llamion 의 공개는 표준 추론 스택과 호환되는 실용적이고 고성능이며 한국어 능력이 있는 모델을 제공하여 Open Ko LLM 생태계의 특정 격차를 해소합니다.

저자들은 범위에 대해 겸손하게 언급하며, 경험적 주장은 단일 소스/타겟 쌍 (Orion-14B 에서 Llama 로) 에 기반하며 다른 쌍 (예: Gemma 에서 Qwen 로) 에 대한 일반화는 아직 입증되지 않았음을 지적합니다. 또한 OPM 은 현재 LayerNorm-to-RMSNorm 전환에 특화되어 있음을 덧붙였습니다.