💬 NLP

Which LoRA? An Empirical Study on the Effectiveness of LoRA Techniques During Multilingual Instruction Tuning

이 실증적 연구는 기본 LoRA가 다국어 지시어 튜닝에서 더 복잡한 변형 모델들과 대등한 성능을 보인다는 점을 입증하는데, 이는 두 방식 모두 교차 언어 전이와 지식 보존 사이의 균형을 맞추는 데 있어 유의미한 이점을 제공하지 못하며, 레이어별 언어 표현을 실질적으로 변화시키지도 않기 때문이다.

원저자: Thamali Wijewardhana, Napoleon H. Reyes, Surangika Ranathunga

게시일 2026-06-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Thamali Wijewardhana, Napoleon H. Reyes, Surangika Ranathunga

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 믿을 수 없을 정도로 똑똑한 백과사전(거대 언어 모델)이 있다고 상상해 보세요. 이 백과사전은 원래 전부 영어로만 쓰여 있습니다. 이제 당신은 이 백과사전에 우르두어, 스와힐리어, 힌디어 같은 다른 언어를 이해하고 질문에 답하는 법을 가르치고 싶지만, 책 전체를 처음부터 다시 쓸 돈도 시간도 없습니다.

여기 LoRA(Low-Rank Adaptation)가 등장합니다. LoRA를 백과사전의 페이지 위에 붙이는 포스트잇이라고 생각해 보세요. 책 전체를 다시 쓰는 대신, 이 포스트-잇에 새로운 지침을 적어 특정 페이지에 붙이기만 하면 됩니다. 이것은 책에 새로운 언어를 가르치는 저렴하고 빠른 방법입니다.

최근 과학자들은 이 '고급스러운' 포스트잇 버전(DoRA, VeRA, AdaLoRA, PiSSA와 같은 LoRA 변형 모델)을 발명했습니다. 이 새로운 버전들은 기존의 기본 포스트잇보다 더 똑똑하거나, 더 효율적이거나, 정보를 더 잘 정리할 수 있다고 주장합니다.

핵심 질문:
이 화려하고 복잡한 포스트잇들이 여러 새로운 언어를 한꺼번에 가르칠 때, 단순하고 기본적인 포스트잇보다 실제로 더 효과적일까요?

실험:
매서리 대학교(Massey University)의 연구진은 테스트를 설계했습니다. 그들은 영어 백과사전을 가져와 다음의 방법들로 다섯 가지 다른 언어(우르두어, 스와힐리어, 힌디어, 벵골어, 텔루구어)를 가르쳐 보았습니다:

기존의 기본적인 포스트잇 (LoRA).
네 가지 다른 "고급" 버전 (DoRA, VeRA, AdaLoRA, PiSSA).

그들은 이 책이 원래의 영어 실력을 잊어버리지 않으면서 새로운 언어를 얼마나 잘 배웠는지 테스트했습니다. 또한 각 방법이 얼마나 많은 컴퓨터 자원(전기 및 메모리 등)을 사용했는지도 확인했습니다.

결과 (아하! 모먼트):
결과는 놀라울 정도로 단순했습니다: 고급 포스트잇은 별로 도움이 되지 않았습니다.

마법의 기술은 없었다: 복잡하고 비싼 방법들이 기본적인 LoRA보다 유의미하게 더 나은 성능을 보여주지 못했습니다. 사실, 어떤 언어에서는 기본 방식이 똑같이 좋았거나 오히려 더 나았습니다.
"공유"의 문제: 한 가지 고급 방식(VeRA)은 책의 모든 페이지에 동일한 지침 세트를 사용하려고 했습니다. 연구진은 이것이 너무 경직되어 있어서, 마치 케이크를 굽는 레시피를 자동차를 고치는 데 사용하려는 것과 같아서 성능을 오히려 해친다는 것을 발견했습니다.
비용 대비 효용: 고급 방식들은 더 나은 결과를 내지 못하면서 종종 더 많은 컴퓨터 전력과 메모리를 사용했습니다. 기본 LoRA가 가장 효율적인 "가성비"를 보여주었습니다.
"위치"가 중요하다: 연구진은 새로운 언어를 효과적으로 가르치려면 이 포스트잇을 책의 마지막 몇 페이지가 아니라 모든 페이지에 붙여야 한다는 것을 발견했습니다. 끝부분에만 붙이면 책이 제대로 배우지 못합니다.

내부 들여다보기:
연구진은 백과사전의 "두뇌"(은닉층) 내부를 들여다보며, 서로 다른 방법들이 컴퓨터가 언어를 "생각"하는 방식을 어떻게 변화시키는지 살펴보았습니다.

그들은 모든 방식이 내부적으로 거의 동일해 보인다는 것을 발견했습니다. 기본 노트를 사용하든 고급 노트를 사용하든, 컴퓨터가 언어를 표현하는 방식은 크게 변하지 않았습니다. 고급스러운 구조적 트릭들이 컴퓨터가 세상을 이해하는 새로운 방식을 만들어낸 것이 아니라, 단지 집을 바꾸지 않고 가구 배치만 살짝 바꾼 것에 불과했습니다.

결론:
거대 언어 모델에 새로운 언어를 가르치려 한다면, 가장 비싸고 복잡한 도구를 살 필요가 없습니다. 기본적인 원래의 LoRA 방식이 고급 변형 모델만큼 효과적이며, 컴퓨터 자원을 덜 사용하고, 관리하기도 더 쉽습니다. 때로는 단순한 해결책이 가장 좋은 법입니다.

기술 요약: 어떤 LoRA를 사용할 것인가? 다국어 지시어 튜닝 시 LoRA 기법의 효과성에 관한 경험적 연구

문제 제기
저계수 적응(Low-Rank Adaptation, LoRA)은 원래의 대규모 언어 모델(LLM) 파라미터는 동결한 채 작은 저계수 행렬만을 학습시키는 선도적인 매개변수 효율적 미세 조정(PEFT) 기술이다. 영어 작업의 성능을 개선하기 위해 수많은 새로운 LoRA 변형 모델들(예: DoRA, VeRA, AdaLoRA, PiSSA)이 도입되었으나, 다국어 지시어 튜닝에서의 효용성은 여전히 미개척 영역으로 남아 있다. 특히, 이러한 구조적 참신함이 교차 언어 전이(영어의 지식을 새로운 언어로 적응시키는 것)와 지식 보존(영어 능력 유지) 사이의 균형을 맞추는 데 있어 기본 LoRA보다 이점을 제공하는지 여부는 불분기하다. 또한, 교차 언어 설정에서의 LoRA에 관한 기존 연구들은 주로 기본 LoRA나 저자원 언어 적응에 집중되어 왔으며, 이러한 변형 모델들을 포괄적으로 비교하거나 내부 언어 표현에 미치는 영향을 분석하지는 않았다.

방법론
저자들은 기본 LoRA와 네 가지 고급 변형 모델을 비교하는 경험적 평가를 수행하였다:

DoRA (Weight-Decomposed Low-Rank Adaptation)
VeRA (Vector-Based Random Matrix Adaptation)
AdaLoRA (Adaptive Low-Rank Adaptation)
PiSSA (Principal Singular Values and Singular Vectors Adaptation)

데이터셋 및 언어: 실험에는 XNLI 데이터셋(자연어 추론)과 TyDiQA-GoldP(질의응답)가 사용되었다. 본 연구는 언어학적으로 다양한 다섯 가지 저자원 대상 언어(TL)인 우르두어(Ur), 스와힐리어(Sw), 힌디어(Hi), 벵골어(Bn), 텔루구어(Te)에 초점을 맞추었다.
실험 설계:
- 데이터 혼합: LLM은 영어와 대상 언어(TL) 데이터의 혼합물로 미세 조정되었다. 저자들은 최적의 데이터 구성을 결정하기 위해 TL 비율을 0%, 1%, 10%, 50%로 평가하였다.
- 파라미터 제어: 공정한 비교를 위해 대부분의 구성은 계수( $r$ ) 8과 약 0.26%의 파라미터 예산으로 표준화되었다. 표준 DoRA가 일반적으로 $r=16$ (0.36% 파라미터)에서 정점에 도달하므로, 이를 맞추기 위해 수정된 DoRA 설정(DoRA*)을 생성하였다.
- 모델: 주요 실험에는 Llama-3.1-8B가 사용되었다. 일반화 가능성은 Llama-3.2-3B와 Qwen3-8B를 통해 테스트되었다.
- 분석: 성능 지표(Micro F1) 외에도, 모델의 내부 레이어 내에서 언어 표현을 분류하기 위해 CLD3를 이용한 레이어별 은닉 임베딩 분석을 포함하였다.

주요 결과

성능 동등성: 다양한 대상 언어와 모델 아키텍처 전반에 걸쳐, 복잡한 LoRA 변형 모델들이 기본 LoRA에 비해 유의미한 이점을 보이지 않는다는 것이 밝혀졌다. 대상 언어 성능에 대한 ANOVA 테스트 결과, 변형 모델 간에 통계적으로 유의미한 차이가 없었다 ( $p = 0.89$ ).
영어 성능 계층: 대상 언어 성능은 유사했으나, 영어 성능에서는 유의미한 차이가 나타났다. 기본 LoRA, DoRA, DoRA*, AdaLoRA는 유사하게 높은 성능을 보였으며, PiSSA 및 VeRA보다 유의미하게 우수한 성능을 보였다. 저자들은 VeRA의 성능 저하 원인을 공유된 글로벌 행렬 때문으로 보았는데, 이는 업데이트를 단일 부분 공간으로 제한하여 지식 보존을 방해할 수 있다.
데이터 혼합 민감도: 아주 적은 비율(1%)의 TL 데이터를 도입하는 것만으로도 영어 성능의 최소한의 저하와 함께 대상 언어 성능이 크게 향상되었다. TL 비율을 10% 또는 50%로 높이면 일반적으로 두 언어 모두에서 성능 저하가 발생했다.
계수(Rank) 민감도: 대상 언어 성능은 계수 스케일링에 매우 민감했다. Rank 8이 표준이었으나, 거의 모든 변형 모델에서 Rank 32가 최고 수준의 TL 성능을 보인 반면, Rank 16은 종종 성능 저하를 보였다.
계산 효율성: 단일 변형 모델이 모든 효율성 지표에서 압도하지는 않았다. 기본 LoRA와 AdaLoRA는 유리한 효율성 프로필을 보여준 반면, DoRA와 DoRA*는 대부분의 지표(훈련 시간, GPU 활용도, 메모리)에서 덜 효율적이었다.
내부 표현: 레이어별 분석 결과, 언어 표현 패턴(초기 레이어에서 영어 중심의 중간 레이어로 전환된 후 외부 레이어에서 지배력이 감소하는 양상)은 모든 LoRA 기법에서 대체로 유사하게 나타났다. 이는 이러한 변형 모델들의 구조적 수정이 LLM의 내부 언어 표현을 근본적으로 바꾸지는 않음을 시사한다.

의의 및 주장
본 논문은 다국어 지시어 튜닝에서 구조적 참신함이 반드시 성능 향상으로 이어지지는 않는다고 주장한다. 이 연구는 더 복잡한 LoRA 변형 모델이 교차 언어 적응에 더 우월할 것이라는 가정을 반박한다. 핵심 요점은 다음과 같다:

단순함의 충분성: 기본 LoRA는 교차 언어 전이와 지식 보존 사이의 균형을 맞추기에 충분하며, 복잡한 변형 모델들에 비해 계산적으로 더 효율적인 대안을 제공한다.
레이어 적용: 사전 학습 연구 결과와는 대조적으로, 저자들은 지시어 튜닝 시 LoRA를 마지막 레이어뿐만 아니라 모든 레이어에 적용해야 한다고 본다.
표현 안정성: 은닉 임베딩의 큰 변화가 없다는 점은 특정 LoRA 변형 모델을 사용하더라도 LLM 적응의 "블랙박스"가 안정적임을 시사하며, 이는 이러한 변형 모델들의 이점이 보편적이기보다는 작업 특이적일 수 있음을 의미한다.

저자들은 자신들의 연구가 더 넓은 범위의 언어, 모델 아키텍처 및 내부 표현 분석을 다룸으로써 기존 연구보다 LLM의 언어 학습에 대해 더 폭넓은 조사를 제공한다고 결론지으며, 궁극적으로 연구자들이 다국어 지시어 튜닝 작업에 대해 복잡한 LoRA 변형 모델의 필요성을 재고해야 함을 시사한다.

유사한 논문