💬 NLP

MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning

본 논문은 고정된 대각 스케일링 행렬을 삽입하여 정확한 계층적 저랭크 표현을 학습함으로써 파라미터 효율적 파인튜닝을 강화하고, 기존 방법보다 우수한 정확도-성능 트레이드오프를 가진 동적 랭크 선택을 가능하게 하는 새로운 훈련 프레임워크인 MatryoshkaLoRA 를 소개합니다.

원저자: Ionut-Vlad Modoranu, Mher Safaryan, Dan Alistarh

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ionut-Vlad Modoranu, Mher Safaryan, Dan Alistarh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 거의 모든 것을 알고 있는 거대하고 놀라울 정도로 똑똑한 도서관 (대규모 언어 모델) 이 있다고 가정해 봅시다. 하지만 이 도서관은 너무 거대해서 주머니에 넣고 다니기엔 비용이 너무 많이 들고 무겁습니다. 도서관 전체를 처음부터 다시 짓지 않고도 수학 문제 풀이와 같은 특정 새로운 기술을 가르치고 싶다고 해 봅시다.

여기서 LoRA(Low-Rank Adaptation, 저랭크 적응) 가 등장합니다. LoRA 를 도서관 선반에 붙이는 '부착식 메모' 세트라고 생각하세요. 책들을 다시 쓰는 대신, 이 메모들을 추가하여 도서관이 특정 질문에 어떻게 답변해야 하는지 안내합니다.

문제: '일률적'인 부착식 메모

이 부착식 메모 (LoRA) 의 현재 표준에는 함정이 하나 있습니다. 쓰기를 시작하기 전에 메모의 크기를 정확히 결정해야 한다는 점입니다.

메모가 너무 작으면 솔루션을 적을 공간이 부족해 도서관이 수학을 틀리게 풉니다.
메모가 너무 크면 공간을 낭비하고 읽는 데 시간이 너무 오래 걸립니다.

완벽한 크기를 찾기 위해 연구원들은 보통 다양한 메모 크기로 도서관을 수십 번 훈련시켜 운을 시험해 봅니다. 이는 50 쌍의 신발을 사서 신어 보고 나머지는 버리는 방식으로 올바른 신발 크기를 찾는 것과 같습니다. 느리고 비싸며 낭비적입니다.

일부 새로운 방법들 (예: DyLoRA) 은 훈련 중에 메모 크기를 무작위로 선택함으로써 이를 해결하려 했습니다. 하지만 결함이 있었습니다. 그들은 도서관에게 오직 하나의 특정 무작위 크기만 사용하는 법을 가르쳤을 뿐입니다. 나중에 조금 더 크거나 작은 메모를 사용하려고 하면, 도서관은 그 크기들을 함께 연습해 본 적이 없어 혼란을 겪습니다. 이는 3 개의 공으로 재즈볼을 하는 법을 가르쳤는데, 정작 추가 공 하나를 연습해 본 적도 없이 4 개의 공으로 재즈볼을 하라고 요구하는 것과 같습니다.

해결책: '마트료시카' 접근법

이 논문의 저자들은 MATRYOSHKALORA라는 새로운 방법을 제안합니다. 그들은 작은 인형이 약간 더 큰 인형 안에 완벽하게 들어가고, 그 인형이 다시 더 큰 인형 안에 들어가는 식인 마트료시카(러시아 인형) 에서 영감을 받았습니다.

간단히 말해 그들의 방법은 다음과 같이 작동합니다:

중첩 구조: 하나의 특정 메모 크기를 훈련하는 대신, 모든 더 작은 크기들이 그 안에 중첩된 단일 '슈퍼 메모'를 훈련합니다.
- 1 인치 섹션, 2 인치 섹션, 4 인치 섹션 등이 모두 같은 종이에 쓰여 있는 거대한 부착식 메모를 상상해 보세요.
- '작은' 섹션은 '중간' 섹션의 접두어이고, 이는 다시 '큰' 섹션의 접두어입니다. 이 모든 것은 동일한 연속적인 정보 블록의 일부입니다.
비밀 소스 (대각 행렬): 이를 가능하게 하기 위해 저자들은 부착식 메모의 두 부분 사이에 간단한 수학적인 '스케일링 팩터'(그들이 P라고 부르는 벡터) 를 추가합니다.
- 이는 볼륨 노브와 같습니다. 도서관이 작은 섹션을 읽을 때, 노브는 해당 부분의 볼륨을 높여 충분한 주의를 받도록 합니다. 거대한 섹션을 읽을 때는 노브가 전체의 볼륨을 조절합니다.
- 이로써 도서관이 무엇을 배우든, 모든 크기에 대해 동시에 배우게 됩니다. 작은 노트, 중간 노트, 그리고 큰 교과서로 동시에 수학 실력을 연습하되, 작은 메모들이 곧 큰 메모의 시작점임을 아는 것과 같습니다.
결과:
- 추측 불필요: 올바른 크기를 찾기 위해 훈련을 50 번 실행할 필요가 없습니다. 한 번 훈련하면 어댑터의 '가족'을 얻게 됩니다.
- 유연성: 모델을 배포할 때 사용 가능한 컴퓨팅 파워에 따라 메모 크기를 즉시 선택할 수 있습니다.
  - 약한 휴대폰에서 빠르게 처리해야 한다면? 작은 내부 인형 (작은 랭크) 을 사용하세요.
  - 강력한 서버에서 최대 정확도가 필요하면? 큰 외부 인형 (큰 랭크) 을 사용하세요.
- 더 나은 성능: 이 논문은 모델이 모든 크기를 함께 연습했기 때문에 기존 방법들에 비해 모든 크기에서 더 나은 성능을 보인다고 보여줍니다. 단순한 트레이드오프가 아니라 전 분야에 걸친 업그레이드입니다.

성공 측정 방법

이 방법이 작동함을 증명하기 위해 저자들은 AURAC(Rank Accuracy Curve Under the Area, 랭크 정확도 곡선 아래 면적) 이라는 새로운 점수를 고안했습니다.

X 축은 메모 크기 (작은 것에서 거대한 것까지) 이고 Y 축은 모델의 성능을 나타내는 그래프를 그려본다고 상상해 보세요.
기존 방법들은 한 크기에서 높은 피크를 보일 수 있지만 다른 곳에서는 급격히 떨어질 수 있습니다.
MATRYOSHKALORA 는 매끄럽고 높은 언덕을 만듭니다. AURAC 점수는 그 언덕 아래의 총 면적을 측정합니다. 면적이 클수록 어떤 크기를 선택하든 모델이 일관되게 좋다는 의미입니다.

결론

이 논문은 MATRYOSHKALORA가 AI 모델에 새로운 기술을 가르치는 더 지능적이고 효율적인 방법이라고 주장합니다. 서로 다른 크기의 '메모'를 별도의 관련 없는 실험이 아닌 단일 중첩 가족으로 취급함으로써 시간을 절약하고 비용을 절감하며 더 나은 결과를 얻습니다.

저자들은 인기 있는 AI 모델 (Llama 3) 로 이를 테스트한 결과, 기존 최선 방법보다 일관되게 우수한 성능을 보였으며, 모델이 작고 빠른 버전이 필요하든 크고 강력한 버전이 필요하든 수학 문제를 더 정확하게 풀고 질문에 더 정확하게 답변할 수 있음을 발견했습니다.

간단히 말해: 그들은 '하나의 크기를 선택하고 운을 기대하는' 게임을 '모든 크기를 한 번에 학습하는' 전략으로 바꾸어 AI 파인튜닝을 더 빠르고, 저렴하며, 유연하게 만들었습니다.

기술 요약: MATRYOSHKALORA

문제 정의
딥러닝 모델이 수십억 개의 매개변수로 확장됨에 따라, 파인튜닝의 계산 비용은 배포에 있어 여전히 중요한 장벽으로 남아 있습니다. 저랭크 적응 (LoRA) 은 매개변수 효율적 파인튜닝 (PEFT) 의 표준이 되었지만, 구조적 제약을 부과합니다: 랭크 $r$ 은 사전에 정의되어야 합니다. 효율성과 성능 사이의 최적 균형을 찾는 것은 현재 여러 훈련 실행을 거친 후 다양한 정적 랭크에 대한 철저한 그리드 검색을 필요로 합니다.

기존의 랭크 적응 솔루션인 DyLoRA 와 같은 방법들은 사전 정의된 분포에서 훈련 중 랭크를 샘플링함으로써 이를 완화하려 시도합니다. 그러나 저자들은 이러한 방법들이 종종 더 높은 랭크에서 최적이지 않은 결과를 산출한다고 주장합니다. 구체적으로, DyLoRA 는 학습을 순방향 통과 (forward pass) 당 단일 무작위 샘플링된 랭크 $k$ 로 제한하므로, $r > k$ 인 랭크들은 그라디언트 신호를 받지 못합니다. 랭크의 전체 계층 구조에 걸쳐 일관된 그라디언트 신호가 부재하기 때문에, 이러한 방법들은 데이터 비효율적이며 저자들이 "계층적 저랭크 특징 (hierarchical low-rank features)"이라고 명명한 것을 학습하지 못합니다.

방법론
본 논문은 마트료시카 표현 학습 (Matryoshka Representation Learning) 에서 영감을 받은 일반적인 훈련 프레임워크인 MATRYOSHKALORA를 제안합니다. 핵심 혁신은 기존 LoRA 어댑터 $A$ 와 $B$ 사이에 고정되고 신중하게 설계된 대각 행렬 $P$ 를 삽입하는 것입니다.

메커니즘: DyLoRA 와 같이 어댑터의 단일 슬라이스만 사용하거나 (또는 표준 LoRA 와 같이 전체 어댑터를 사용하는 대신), MATRYOSHKALORA 는 단일 순방향 통과 내에서 가능한 모든 슬라이스 $A_r$ 과 $B_r$ (여기서 $r \in \{1, 2, 4, ..., R\}$ ) 을 활용합니다. 순방향 통과식은 다음과 같이 표현됩니다:
$Y = x \left( W_0 + \sum_{r \in S} s_r A_r B_r \right)$
부울 마스크를 저장하거나 랭크를 반복하는 것 없이 이를 효율적으로 구현하기 위해, 저자들은 대각 행렬 $P$ (벡터로 표현됨) 를 사용한 단순화된 유도식을 도출했습니다:
$Y = x (W_0 + (A * P)B)$
여기서 $*$ 는 벡터 $P$ 에 의해 $A$ 의 행들이 요소별 곱셈 (element-wise multiplication) 됨을 나타냅니다. 벡터 $P$ 는 훈련 랭크 집합 $S$ 와 스케일링 인자 $s_r$ 에 기반하여 사전 계산되므로, 더 낮은 차원의 표현이 더 높은 차원의 표현 내에 접두사 (prefix) 로 포함되도록 보장합니다.
그라디언트 흐름: 이 수정은 모든 서브랭크가 사용 가능한 그라디언트 정보를 효율적으로 임베딩되도록 보장합니다. 오직 샘플링된 랭크만이 업데이트를 받는 DyLoRA 와 달리, MATRYOSHKALORA 는 모든 랭크 기여도의 합으로부터 계산된 그라디언트를 사용하여 전체 어댑터 구조를 업데이트합니다.
일반화: 이 프레임워크는 일반성을 갖도록 설계되었습니다. 벡터 $P$ 를 조작함으로써, 이 방법은 표준 LoRA( $P$ 가 상수 벡터인 경우) 나 DyLoRA( $P$ 가 샘플링된 랭크에 해당하는 희소 벡터인 경우) 를 복원할 수 있으며, 이러한 접근 방식을 공유된 매개변수화 하에 통합합니다.
평가 지표: 저자들은 일련의 랭크에 걸쳐 어댑터 성능을 평가하는 **랭크 정확도 곡선 아래 면적 (AURAC, Area Under the Rank Accuracy Curve)**이라는 지표를 도입했습니다. AURAC 는 사다리꼴 규칙을 사용하여 랭크 - 성능 트레이드오프를 요약하며, 더 큰 랭크가 일반적으로 더 강력한 성능을 달성해야 한다는 기대를 반영하여 더 큰 랭크에 더 큰 가중치를 부여합니다.

주요 기여

프레임워크: 추론 시 더 낮은 랭크 접두사가 정확하고 독립적으로 사용 가능한 상태로 유지되는 LoRA 어댑터 훈련을 위한 일반적이고 마트료시카에서 영감을 받은 프레임워크.
단순화: 계층적 저랭크 표현을 학습하는 것이 자연스럽게 표준 LoRA 어댑터 간의 단순한 대각 가중치로 이어짐을 보여주는 유도식. 이를 통해 구현을 표준 LoRA 에 가깝게 유지합니다.
MATRYOSHKALORA: 대각 행렬 $P$ 를 통해 정확한 중첩된 저랭크 접두사를 학습하는 이 프레임워크의 구체적인 사례로, 재훈련 없이 단일 체크포인트에서 여러 랭크에 대한 평가 또는 배포를 가능하게 합니다.
지표: 계층적 저랭크 어댑터의 성능을 일관되게 평가하기 위한 AURAC 제안.

실험 결과
저자들은 GSM-8k, OpenPlatypus, ARC-C, HellaSwag 데이터셋을 사용하여 Llama-3.2-1B-Instruct 및 Llama-3.1-8B-Instruct 모델에서 MATRYOSHKALORA 를 평가했습니다.

성능: MATRYOSHKALORA 는 전체 랭크 스펙트럼에 걸쳐 표준 LoRA 와 DyLoRA 모두를 일관되게 능가했습니다.
- Llama-3.2-1B 를 사용한 GSM-8k 에서 MATRYOSHKALORA 는 랭크 16 에서 **39%**의 정확도를, 랭크 32 에서 **38%**의 정확도를 달성하여 최상의 LoRA(~~35%) 와 DyLoRA(~~35.5%) 를 상회했습니다.
- Llama-3.1-8B(3-shot) 를 사용한 GSM-8k 에서 이 방법은 랭크 128 에서 **78.6%**의 정확도에 도달했으며, 이는 기준선 및 사전 훈련된 모델 대비 4% 이상의 개선입니다.
- HellaSwag 에서 MATRYOSHKALORA 는 랭크가 증가함에 따라 꾸준한 향상을 보였으며, 랭크 256 에서 **62.8%**로 정점을 찍어 기준선 대비 3% 이상 증가했습니다.
AURAC: 이 방법은 훨씬 더 높은 AURAC 점수를 달성했습니다 (예: GSM-8k 1B 기준선 대비 ~35% 대 38.4%). 이는 특정 랭크에서의 최고 성능뿐만 아니라 모든 랭크에 걸쳐 더 일관된 향상을 나타냅니다.
효율성: 이 접근 방식은 오직 어댑터 열을 벡터 $P$ 로 곱하는 것만 추가하므로 오버헤드가 최소화되었으며, 메모리 및 런타임 비용은 LoRA 와 DyLoRA 와 동일합니다.
스케일링 제거 실험: 스케일링 인자 ( $s_k \in \{1, 1/k, 1/\sqrt{k}\}$ ) 에 대한 실험 결과, $s_k=1$ 은 다른 스케일링 인자들보다 더 작은 학습률로 효과적인 학습을 가능하게 하는 반면, 다른 인자들은 유사한 정확도를 달성하기 위해 훨씬 더 큰 학습률을 필요로 함이 밝혀졌습니다.

의의 및 주장
본 논문은 MATRYOSHKALORA 가 기존 랭크 적응 접근법보다 더 정확한 계층적 저랭크 표현을 성공적으로 학습한다고 주장합니다. 이 연구의 의의는 다음과 같은 세 가지 주요 장점에 있습니다:

비용 절감: 서로 다른 랭크를 찾기 위한 그리드 검색을 위해 여러 번의 훈련 실행이 필요하지 않습니다.
유연한 배포: 컴퓨팅 파워에 따라 다른 장치에 타겟팅된 랭크를 배포할 수 있으며, 각 랭크 $r$ 에서 고성능 어댑터를 제공합니다.
동적 적응: 클러스터 부하가 변하는 조건에서 동적 랭크 선택을 지원하여 최소한의 정확도 저하로 동일한 속도로 요청을 처리할 수 있습니다.

저자들은 그들의 방법이 랭크 전반에 걸쳐 우수한 정확도 - 성능 트레이드오프를 달성하며 LoRA, DyLoRA, 마트료시카 스타일 어댑터를 위한 통합 프레임워크를 제공한다고 결론지었습니다. 그들은 평가 과정이 랭크당 많은 모델 평가를 필요로 하여 성능 평가 시 런타임을 증가시킨다는 점과, 레이어별 랭크 민감도 (서로 다른 레이어에 서로 다른 랭크를 할당하는 것) 에 대한 실험은 아직 수행하지 않았음을 한계로 인정합니다.

문제: '일률적'인 부착식 메모

해결책: '마트료시카' 접근법

성공 측정 방법

결론

기술 요약: MATRYOSHKALORA

유사한 논문