🤖 machine learning

Layer-wise LoRA fine-tuning: a similarity metric approach

본 논문은 내부 표현 유사성을 기반으로 가장 관련성이 높은 레이어를 체계적으로 선택하는 레이어별 저차원 적응(LoRA) 미세 조정 방방식을 제안하며, 이를 통해 다양한 모델 아키텍처와 작업에 걸쳐 예측 성능을 유지하거나 심지어 향상시키면서 학습 가능한 파라미터를 최대 50%까지 줄입니다.

원저자: Keith Ando Ogawa, Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jordao

게시일 2026-07-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Keith Ando Ogawa, Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jordao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 특정 직업, 예를 들어 수학 문제를 풀거나 코드를 작성하는 법을 가르치려 한다고 상상해 보세요. 이 로봇인 거대 언어 모델(LLM)은 이미 인터넷에 있는 거의 모든 것을 읽으며 방대한 양의 일반 지식을 학습한 상태입니다. 마치 세상의 온갖 것을 조금씩 다 아는 천재와 같지만, 전문성을 갖출 필요가 있는 상태죠. 이 로봇에게 새로운 기술을 가르치려면 보통 '파인튜닝(미세 조정)'을 해야 하는데, 이는 로봇의 내부 설정을 조정하는 것을 의미합니다. 하지만 문제는 이 로봇들이 너무 거대해서, 모든 설정을 조정하려면 오직 거대 기술 기업들만이 감당할 수 있을 만큼 강력하고 비싼 컴퓨터가 필요하다는 점입니다. 이는 마치 마천루의 느슨해진 나사 하나를 고치기 위해 건물 전체를 다시 짓는 것과 같습니다.

이 문제를 해결하기 위해 과학자들은 LoRA(Low-Rank Adaptation)라는 영리한 지름길을 발명했습니다. 마천루의 모든 나사를 건드리는 대신, 로봇이 새로운 작업을 배울 수 있도록 작고 가벼운 새로운 나사 패치를 추가하는 방식입니다. 이렇게 하면 엄청난 돈과 에너지를 아낄 수 있습니다. 하지만 이 지름길을 사용하더라도, 로봇이 여전히 너무 커서 그 '패치'조차 작은 컴퓨터에는 너무 무거울 수 있습니다. 여기서 중요한 질문이 생깁니다. 우리는 정말로 로봇의 모든 부분에 패치를 붙여야만 그 일을 잘하게 만들 수 있을까요? 아니면 마법이 일어나는 특정한 몇 군데가 따로 있는 걸까요? 이 논문은 이 질문에 파고들어, 우리가 그 거대한 기계의 어느 부분을 고치고 나머지는 그대로 둘 것인지, 즉 '황금 지점'을 찾을 수 있는지 탐구합니다.

"층별(Layer-by-Layer)" 탐정 작업

이 논문의 저자인 키스 안도 오가와(Keith Ando Ogawa)와 그의 팀은 로봇의 뇌를 다층 건물처럼 취급하기로 했습니다. 거대 언어 모델 내부에는 정보가 흐르는 일련의 '레이어(층)'가 있는데, 이는 마치 마천루의 층과 같습니다. 문장이 아래층에서 위층으로 이동함에 따라 정보는 처리되고 변형됩니다. 연구팀은 모든 층이 모든 새로운 작업에 똑같이 중요한 것은 아니라고 의심했습니다. 어떤 층은 수학 문제를 푸는 데 핵심적인 역할을 하는 반면, 다른 층은 시를 쓰는 데 더 유용할 수도 있기 때문입니다.

그들의 아이디어는 단순하지만 강력했습니다. 모든 층에 LoRA 패치를 붙이는 대신, 로봇이 새로운 것을 배울 때 실제로 가장 많이 변화하는 층이 어디인지 알아내는 것입니다. 그들은 '유사도 지표(similarity metric)'라는 수학적 도구를 사용하여 이 '변화'를 측정하는 방법을 고안했습니다. 이것은 일종의 '변화 감지기'와 같습니다. 그들은 로봇이 특정 층으로 정보를 전달하기 전의 '생각'과, 그 층을 거쳐 처리된 후의 '생각'을 비교했습니다. 만약 입력과 출력이 거의 동일하다면, 그 층은 별로 하는 일이 없는 것입니다. 하지만 입력과 출력이 매우 다르다면, 그 층은 많은 일을 하고 있는 것입니다!

그들은 이 방법을 "레이어별 Lo랙 파인튜닝(Layer-wise LoRA fine-tuning)"이라고 불렀습니다. 이는 마치 탐정을 고용해 마천루를 돌아다니며 각 층에서 가장 활발한 활동이 어디에서 일어나는지 확인하는 것과 같습니다. 일단 가장 바쁜 층들을 식별하면, 그 특정 층들에만 LoRA 패치를 붙이고, 조용하고 활동이 없는 층들은 그 자리에 고정된 채로 둡니다.

그들이 발견한 것: 적을수록 좋다

연구팀이 이 아이디어를 여러 종류의 로봇 뇌에 테스트했을 때, 결과는 놀라울 정도로 좋았습니다. 그들은 가장 활발한 레이어들, 구체적으로는 전체 레이어의 약 절반만을 선택함으로써 학습 가능한 파라미터(조정하는 '나사')의 수를 50% 줄일 수 있다는 것을 발견했습니다.

여기서 가장 멋진 점은, 설정값을 절반이나 줄였음에도 불구하고 로봇이 멍청해지지 않았다는 것입니다. 사실, LLaMA 2-7B나 Mistral-7B 같은 모델의 경우, 가장 중요한 레이어에만 집중했을 때 로봇이 수학 문제를 풀고 코드를 작성하는 능력이 오히려 더 좋아졌습니다. Gemma-7B와 같은 다른 모델의 경우에는 성능이 아주 미세하게, 거의 눈에 띄지 않을 정도로만 떨어졌습니다.

또한 연구진은 자신들의 '변화 감지기' 방법을 중간 층을 선택하거나 상단 및 하단 층을 선택하는 등 사람들이 사용하는 다른 레이어 선택 방식들과 비교했습니다. 그들의 방법은 이러한 단순한 추측들을 일관되게 앞질렀습니다. 예를 들어, GLUE라는 표준 테스트에서 그들의 방법은 로봇의 성능을 높게 유지하면서도 작업량을 절반으로 줄인 반면, 단순히 중간 레이어만 선택하는 방식은 로봇을 휘청거리게 만들기도 했습니다.

그들은 또한 이것이 컴퓨터의 메모리와 속도에 어떤 영향을 미치는지도 확인했습니다. 조정하는 레이어가 적기 때문에 학습 과정이 더 빨라졌습니다. 일부 모델에서는 약 1.25배의 속도 향상을 보였으며, 컴퓨터가 작업을 수행하는 데 필요한 메모리도 줄어들었습니다. 이는 더 작고 저렴한 컴퓨터에서 이러한 모델을 실행하려는 사람들에게 매우 큰 의미가 있습니다.

이것이 왜 중요한가

이 논문은 우리가 거대한 AI 모델의 모든 부분을 똑같이 중요하게 다룰 필요는 없다는 점을 시사합니다. 레이어가 통과하는 정보를 얼마나 변화시키는지에 대한 간단한 측정을 통해, 우리는 학습을 위한 '스윗 스팟(최적의 지점)'을 찾을 수 있습니다. 이는 우리가 똑똑함을 잃지 않으면서도 이 강력한 AI 도구들을 훨씬 더 효율적으로 만들 수 있음을 의미합니다.

저자들은 텍스트만 읽는 로봇, 텍스트만 쓰는 로봇, 그리고 사진을 보고 글을 읽을 수 있는 멀티모달 로봇(LLaVA-1.5-7B)을 포함하여 다양한 종류의 로봇을 대상으로 테스트했습니다. 모든 경우에 있어, 적절한 레이어를 선택하는 것이 잘 작동했습니다. 그들은 심지어 선택된 레이어의 '랭크(rank)'를 두 배로 늘려(패치를 더 복잡하게 만들어) 도움이 되는지 확인했지만, 큰 차이가 없다는 것을 발견했습니다. 단순히 올바른 레이어를 선택하는 것이 핵심이지, 패치 자체를 더 복잡하게 만드는 것이 핵심은 아니라는 뜻입니다.

이 논문이 AI의 모든 문제를 해결했다고 주장하는 것은 아니지만, 파인튜닝을 더 저렴하고 빠르게 만드는 매우 실용적이고 효과적인 방법을 제시합니다. 이는 많은 작업에서, 거대하고 전면적인 개조보다는 작고 표적화된 노력이 똑같이 효과적일 수 있음을 보여줍니다. 저자들이 언급했듯이, 이 접근 방식은 기존 도구들과 잘 호환되며, 더 많은 연구자와 작은 기업들이 집 한 채 크기의 슈퍼컴퓨터 없이도 더 똑똑한 AI를 구축하는 과정에 참여할 수 있도록 도울 것입니다.

기술 요약: 유사도 지표를 통한 계층별 LoRA 미세 조정(Layer-wise LoRA Fine-tuning)

문제 정의
사전 학습된 대규모 언어 모델(LLM)이 범용 AI 분야를 발전시켰으나, 다운스트림 태스크를 위한 미세 조정(fine-tuning) 과정에서 상당한 계산 비용이 발생한다. 매개변수 효율적 미세 조정(PEFT) 방법, 특히 저차원 적응(LoRA)은 사전 학습된 가중치를 동결하고 저차원 분해 행렬을 업데이트함으로써 이 문제를 완화한다. 그러나 Lo-RA를 사용하더라도 모델 규모가 커짐에 따라 학습 가능한 매개변수의 수는 여전히 과도하게 높을 수 있다. 기존의 LoRA 변형들은 주로 행렬 수준의 최적화(예: 초기화 전략, 분해 형식 또는 랭크 조정)에 집중해 왔으나, 아키텍처 수준의 최적화는 간과하는 경우가 많다. 구체적으로, 모든 트랜스포머 계층이 태스크 적응에 동일하게 기여하는지, 아니면 계층의 일부를 체계적으로 선택함으로써 예측 성능을 희생하지 않으면서 계산 비용을 더욱 줄일 수 있는지에 대한 문제는 여전히 해결되지 않은 과제로 남아 있다.

방법론
저자들은 기존 LoRA 기술과 직교(orthogonal)하는 계층 선택 접근 방식을 제안한다. 핵심 가설은 모든 계층이 태스크 적응 과정에서의 내부 표현 변화에 동일하게 기여하지 않는다는 것이다. 방법론은 다음과 같이 작동한다:

표현 추출(Representation Extraction): $M$ 개의 트랜스포머 계층( $L_1, \dots, L_M$ )을 가진 사전 학습된 모델 $F$ 와 다운스트림 데이터셋 $D$ 에 대하여, 이 방법은 내부 표현을 추출한다. 인코더 전용(encoder-only) 아키텍처의 경우 <CLS> 토큰 표현을 사용하며, 디코더 전용(decoder-only, 자기회귀) 아키텍처의 경우 마지막 토큰 표현을 활용한다. 이는 해당 토큰들이 예측에 필요한 관련 정보를 포함하고 있다는 논거에 기반한다.
유사도 측정(Similarity Measurement): 각 계층 $L_i$ 의 입력 표현( $R_{i-1}$ )과 출력 표현( $R_i$ ) 사이의 유사도를 측정하기 위해 중심 커널 정렬(Centered Kernel Alignment, CKA) 지표를 사용한다.
중요도 점수 산출(Importance Scoring): 계층 중요도 지표 $I_{L_i}$ 를 입력과 출력 간의 비유사성으로 정의한다:
$I_{L_i} = 1 - \text{CKA}(R_{i-1}, R_i)$
저자들은 입력과 출력 사이의 CKA 값이 낮은(비유사성이 높은) 계층이 내부 표현 변화에 가장 큰 영향을 미치며, 따라서 미세 조정의 가장 중요한 후보가 될 것이라고 가설을 세웠다.
선택 및 미세 조정(Selection and Fine-tuning): 가장 높은 비유사성 점수를 가진 상위 $N$ 개의 계층을 LoRA 미세 조정을 위해 선택하고, 나머지 계층은 동결한다. 이 과정은 미세 조정 단계 이전에 수행되며, 선택 단계에서 값비싼 추가 학습이나 그래디언트 계산을 필요로 하지 않고 오직 추론(inference)에만 의존한다.

주요 기여

새로운 선택 메커니즘: CKA 비유사성을 통해 정량화된 내부 표현 변화에 대한 기여도를 바탕으로, 미세 조정을 위한 트랜스포머 계층을 체계적으로 선택하는 방법을 도입하였다.
직교성(Orthogonality): 이 기술은 기존 PEFT 방법들(LoRA, PiSSA 등)과 호환되며, 행렬 수준이 아닌 계층 수준에서 작동하여 계산 효율성을 위한 추가적인 차원을 제공한다.
매개변수 감소: 제안된 방법은 예측 성능을 유지하거나 향상시키면서 LoRA 기반 기술의 학습 가능한 매개변수 수를 최대 50%까지 줄인다.
실증적 검증: 인코더 전용, 디코더 전용 및 멀티모달 아키텍처 전반에 걸친 광범위한 실험을 통해 방법론의 견고함을 입증하였다.

실험 결과
저자들은 다양한 모델과 벤치마크를 통해 접근 방식을 평가하였다:

인코더 전용 모델 (RoBERTa-base, DeBERTa-v3-base): GLUE 벤치마크에서 제안된 지표를 통해 선택된 50%의 계층만을 미세 조정했을 때, 전체 계층 LoRA와 비교하여 예측 성능 저하가 미미했다(DeBERTa-v3-base의 경우 평균 0.27 퍼센티지 포인트 하락). 이는 피셔 정보 행렬(Fisher Information Matrix, FIM) 점수를 기반으로 한 경쟁 계층 선택 방법이 훨씬 더 큰 성능 저하(7.68 포인트)를 겪은 것과 비교하여 크게 우수한 결과이다.
디코더 전용 모델 (LLaMA 2-7B, Mistral-7B-v0.1, Gemma-7B): 수학 문제 해결(GSM8K, MATH) 및 코딩 작업(HumanEval, MBPP)에 대해 평가하였다.
- LLaMA 2-7B 및 Mistral-7B의 경우, 학습 가능한 매개변수를 50% 줄였음에도 불구하고 대부분의 태스크에서 예측 성능이 향상되었다.
- Gemma-7B의 경우 약간의 성능 저하가 관찰되었으나, 결과는 경쟁력 있는 수준을 유지했다.
- 본 방법은 단순 휴리스틱(예: 중간, 처음 또는 마지막 계층만 선택하는 방식)보다 일관되게 우수한 성능을 보였다.
멀티모달 모델 (LLaVA-1.5-7B): ScienceQA 벤치마크에서, 50%의 매개변수 감소(160M에서 80M으로)를 달성하면서도 전체 계층 LoRA의 정확도인 79.49%에 근접한 79.26%의 평균 정확도를 기록하였다.
효율성: 계층 선택을 통해 특정 구성에서 최대 약 1.4배의 훈련 시간 단축과 약 15-20%의 GPU 메모리 사용량 감소를 달성하였다.

의의 및 주장
본 논문은 광범위한 모델과 태스크(멀티모달 아키텍처 포함)에 걸쳐 LoRA 미세 조정을 위한 효과적인 계층 부분 집합을 체계적으로 탐구한 첫 번째 연구라고 주장한다. 저자들은 자신들의 접근 방식이 아키텍처의 변경이나 복잡한 훈련 절차 없이도 대규모 모델의 미세 조정을 위한 계산 효율성을 높이는 실질적인 경로를 제공한다고 강조한다.

결과는 다음을 시사한다:

특정 계층은 특정 태스크에 더 영향력이 있으며, 이는 표현 유사도 지표를 통해 식별될 수 있다.
CKA 비사성은 단순 휴리스틱 및 기존 FIM 기반 접근 방식보다 뛰어난 효과적인 계층 선택 도구이다.
이 방법은 사용되는 특정 PEFT 기술(LoRA 및 PiSSA 모두와 작동) 및 모델 아키텍처(인코더, 디코더 또는 멀티모달)에 무관하다.

저자들은 향-후 연구 방향에 대해 신중한 태도를 유지하며, 유사도 지표가 개별 기여도가 아닌 계층 간 상호작용을 포착할 수 있는지, 이상적인 LoRA 랭크를 계층별로 정의할 수 있는지, 그리고 유사도 지표 외에 다른 접근 방식이 효과적일 수 있는지와 같은 열린 질문들을 남겨두었다. 저자들은 모든 모델에 대해 보편적인 최적성을 주장하는 것이 아니라, 계산 부담을 줄이면서 성능을 보존하는 데 있어 이 방법의 유효성을 강조하고 있다.

"층별(Layer-by-Layer)" 탐정 작업

그들이 발견한 것: 적을수록 좋다

이것이 왜 중요한가

유사한 논문