🤖 machine learning

ReLoRA: Knowledge-Reusing Adaptation for Fast Rollout of Evolving LLM Services

ReLoRA는 호환성을 고려한 초기화를 위해 베이지안 최적화를 채택하고 신속한 미세 조정을 위해 스케줄링된 정규화를 활용함으로써, 진화하는 대규모 언어 모델 서비스를 위해 작업 특화형 LoRA 어댑터를 효율적으로 복원하여 기존 베이스라인 대비 재적응 시간을 크게 단축하고 정확도를 향상시키는 지식 재사용 프레임워크이다.

원저자: Yang Xu, Zihuai Xu, Hongli Xu, Yunming Liao, Zhiwei Yao, Xitong Fu

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yang Xu, Zihuai Xu, Hongli Xu, Yunming Liao, Zhiwei Yao, Xitong Fu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: AI 서비스의 "움직이는 타겟"

당신은 배달 트럭 부대를 운영하고 있다고 상상해 보세요 (이것들은 당신의 LLM 서비스입니다). 각 트럭은 피자, 의료 용품, 또는 가구와 같은 서로 다른 종류의 물건을 배달할 수 있도록 특정 내비게이션 시스템(LoRA 어댑터)이 맞춤 설정되어 있습니다. 이 모든 트럭은 동일한 엔진 모델(기본 모델)로 구동됩니다.

이제, 엔진 제조사가 대규모 업그레이드를 출시했다고 가정해 봅시다. 새 엔진은 더 빠르고 똑똑해졌지만, 대시보드가 작동하는 방식과 스티어링 휠이 바퀴에 연결되는 방식이 바뀌었습니다.

딜레마:

"아무것도 하지 않는" 접근 방식: 기존의 내비게이션 시스템을 새 엔진에 그냥 볼트로 고정해 버립니다.
- 결： 트럭은 움직이지만, 조향감이 이상해지고 길을 잘못 들 수도 있습니다. 기존 지도가 새로운 엔진의 메커니즘과 일치하지 않기 때문에 서비스 품질이 떨어집니다.
"처음부터 다시 시작하는" 접근 방식: 기존의 내비게이션 시스템을 버리고 모든 트럭에 대해 완전히 새로운 것을 처음부터 만듭니다.
- 결： 트럭은 완벽하게 주행하지만, 새로운 시스템을 만드는 데 몇 주가 걸립니다. 고객들은 기다리고 있고, 당신은 노동력과 연료에 엄청난 돈을 낭비했습니다.

목표: 새로운 엔진에 완벽하게 작동하도록 기존의 내비게이션 시스템을 처음부터 다시 만드는 대신 빠르게 업데이트할 수 있는 방법이 필요합니다.

해결책: ReLoRA (지식의 재사용)

저자들은 당신의 내비게이션 시스템을 빠르게 고칠 수 있는 "스마트한 정비사" 역할을 하는 프레임워크인 ReLoRA를 제안합니다. 이들은 기존 시스템을 새 엔진과 호환되게 만들기 위해 두 가지 주요 기술을 사용합니다.

기술 1: "스마트한 혼합" (적응형 초기화)

단순히 기존 지도를 새 대시보드에 붙이는 대신, ReLoRA는 하이브리드 시작점을 만듭니다.

재료: 기존 내비게이션 시스템(피자 배달 방법을 알고 있음)과 새 엔진의 변화(진화 델타)를 혼합합니다.
비법 소스: 단순히 50:50으로 섞는 것이 아닙니다. 때로는 엔진의 변화가 매우 크고, 때로는 매우 작습니다. 때로는 기존 지도를 증폭시켜야 할 때도 있습니다.
방법: ReLoRA는 **베이지안 최적화(Bayesian Optimization)**라는 수학적 도구(매우 똑똑한 맛 테스터라고 생각하세요)를 사용하여 "기존 지도"와 "엔진 변화"의 완벽한 비율을 찾아냅니다. 트럭이 실제로 움직이기 전에 가장 좋은 시작 위치를 찾기 위해 몇 가지 조합을 빠르게 테스트합니다.

기술 2: "보조 바퀴" 전략 (스케줄링된 정규화)

이 완벽한 하이브리드 시작점을 확보했다면, 여전히 미세 조정(fine-tuning)이 필요합니다. ReLoRA는 이를 두 단계로 수행합니다.

단계 1: "앵커" (강한 정규화):
새롭고 울퉁불퉁한 도로에서 자전거 타기를 배우고 있다고 상상해 보세요. 처음에는 보조 바퀴(강한 정규화)를 답니다. 이는 당신이 방금 찾은 안전한 경로에서 너무 멀리 벗어나지 않도록 잡아줍니다. 이는 시스템이 "스마트한 혼합" 상태에 머물도록 강제하여, 매우 빠르게 속도를 낼 수 있게(서비스 준비 완료) 합니다.
단계 2: "자유" (완화된 정규화):
자전거가 매끄럽게 움직이기 시작하면, 보조 바퀴를 뗍니다(제약을 완화합니다). 이제 시스템은 도로의 정확한 요철(특정 작업)을 처리하기 위해 탐색하고 아주 미세하고 구체적인 조정을 할 수 있는 자유를 얻습니다. 이를 통해 최상의 성능을 보장합니다.

무엇을 발견했는가?

연구진은 여러 가지 "엔진"(LLaMA 및 Mistral 등)과 다양한 "배달 작업"(질문 답변, 감정 분석, 뉴스 분류 등)에 대해 테스트를 진행했습니다.

속도: ReLoRA는 시스템을 처음부터 구축하는 것보다 최대 8.9배 더 빨랐습니다. 트럭을 거의 즉시 도로 위로 복귀시켰습니다.
품질: 빠를 뿐만 아니라, 기존 시스템을 그냥 붙여 놓은 트럭(종종 실패함)보다 더 잘 주행했으며, 처음부터 새로 만든 시스템보다도 약간 더 나은 성능을 보였습니다.
효율성: "스마트한 혼합"과 "보조 바퀴" 전략을 사용함으로써, 막대한 컴퓨팅 자원과 시간을 절약했습니다.

핵심 요약

ReLoRA는 AI 서비스를 위한 유지보수 툴킷입니다. 이는 *"기존의 작업을 버리지 말고, 처음부터 시작하지도 마세요. 대신, 기존 작업과 새로운 변화를 지능적으로 섞고, 빠르게 움직일 수 있도록 고정시킨 다음, 스스로 정교해지도록 내버려 두세요"*라고 말하며 AI 모델 업데이트의 골칫거리를 해결합니다.

이를 통해 기업들은 밑바탕이 되는 기술이 변하더라도 AI 서비스를 원활하고 빠르게 계속 운영할 수 있습니다.

기술 요약: ReLoRA – 진화하는 LLM 서비스를 위한 빠른 배포를 위한 지식 재사용 적응법

1. 문제 정의

대규모 언어 모델(LLM)은 새로운 지식을 통합하고 정렬(alignment)을 개선하기 위해 베이스 모델이 주기적으로 업데이트되는 지속적으로 진화하는 서비스로서 점점 더 많이 배포되고 있습니다. 서비스 중심의 생태계에서 다운스트림 애플리케이션은 일반적으로 매개변수 효율적 미세 조정(PEFT), 특히 베이스 모델을 동결하고 경량 어댑터를 학습시키는 로우 랭크 적응(LoRA)을 사용하여 커스텀됩니다.

그러나 베이스 모델이 진화할 때(예: $\Theta$ 에서 $\Theta' = \Theta + \Delta\Theta$ 로), 이전의 베이스 모델에 최적화되었던 기존 LoRA 어댑터( $\Delta\Theta_i$ )는 쓸모없게 되거나 최적이 아닐 수 있습니다. 서비스 제공업체는 다음과 같은 중요한 유지보수 딜레마에 직면합니다:

처음부터 다시 학습(Retraining from scratch): 효과적이기는 하지만, 베이스 모델이 업데이트될 때마다 수천 개의 LoRA 어댑터를 다시 학습시키는 것은 계산적으로 매우 부담스러우며 서비스 롤아웃(준비 시간)에 상당한 지연을 초래합니다.
나이브한 전이(Naive transfer): PortLLM과 같이 기존 어댑터를 새로운 백본에 직접 적용하는 방식은 계산 비용은 들지 않지만, 기존의 태스크 적응과 진화된 백본 사이의 불일치로 인해 서비스 품질 저하를 초래할 수 있습니다.

핵심 과제는 베이스 모델의 전체 학습 비용을 들이지 않으면서도, 태스크 성능을 보존하거나 향상시키면서 베이스 모델 진화 후 서비스 준비가 된 태스크 어댑터를 신속하게 복구하는 것입니다.

2. 방법론: ReLoRA 프레임워크

저자들은 이전에 배포된 어댑터에 인코딩된 태스크 특정 지식과 베이스 모델의 파라미터 델타에 반영된 진화 지식을 결려하여 서비스 롤아웃을 가속화하는 지식 재사용 재적응 프레임워크인 ReLoRA를 제안합니다. 이 프레임워크는 두 가지 핵심 최적화 단계로 구성됩니다.

2.1 적응형 LoRA 초기화

기존 어댑터와 베이스 모델 델타를 단순히 합치는 대신, ReLoRA는 이 구성 요소들을 적응적으로 융합하여 호환성을 고려한 시작점( $\Theta_{init}$ )을 구축합니다.

정식화: 초기화는 $\Theta_{init}(\alpha, \beta) = \alpha \cdot \Pi_r(\Delta\Theta) + \beta \cdot \Delta\Theta_i$ 로 정의됩니다. 여기서 $\Pi_r(\cdot)$ 은 베이스 모델의 진화 델타를 호환 가능한 LoRA 파라미터 공간으로 매핑하며, $\alpha, \beta$ 는 스칼라 계수입니다.
최적화: 최적의 융합 계수는 태스크에 따라 달라지며 예측하기 어렵기 때문에, ReLoRA는 $(\alpha, \beta)$ $(α, β)$ 를 탐색하기 위해 **베이지안 최적화(Bayesian Optimization, BayesOpt)**를 사용합니다.
- 가우시안 프로세스(Gaussian Process)가 목적 함수(부정적 검증 손실)에 대한 대리 모델 역할을 합니다.
- 기대 개선(Expected Improvement, EI) 획득 함수는 비용이 많이 드는 사전 롤아웃 검증 프로브의 수를 최소화하도록 탐색을 유도합니다.
- 이 접근 방식은 베이스 진화와 기존 태스크 어댑터의 기여도를 균형 있게 조절하는 우수한 초기화 값을 식별하여, 정적인 융합 규칙의 함정을 피합니다.

.2 스케줄링된 정규화를 통한 미세 조정

최적화된 초기화 값을 얻은 후, ReLoRA는 빠른 복구와 최종 성능 정밀도 사이의 균당을 맞추기 위해 두 단계의 정규화 전략을 사용하여 재적응을 수행합니다.

1단계: 가이드된 신속 적응(Guided Rapid Adaptation): 어댑터는 높은 L2 정규화 강도( $\lambda_1$ )를 사용하여 초기화 상태에 강력하게 고정됩니다. 이는 최적화 궤적을 제한하여 모델이 유망한 초기화 지점에서 너무 멀어지는 것을 방지하고, 빠르게 서비스 준비 품질 영역으로 이동하게 합니다.
2단계: 정밀화 및 탐색(Refinement and Exploration): 정규화 강도를 완화하고( $\lambda_2 \ll \lambda_1$ ), 코사인 어닐링 학습률 스케줄을 적용합니다. 이를 통해 어댑터가 태스크 손실에 의해 구동되어 파라미터 공간을 더 자유롭게 탐색함으로써, 태스크 특정 동작을 정교화하고 더 높은 지역 최적점에 도달할 수 있도록 합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 명시합니다:

문제 정식화: 저자들은 진화하는 LLM에 대한 어댑터 재적응을 단순한 정확도 극대화가 아닌, 어댑터 하위 호환성 및 서비스 롤아웃 문제로 정식화하여 빠른 서비스 준비 상태 복구를 우선시합니다.
ReLoRA 프레임워크: 이전에 배포된 태스크 어댑터와 베이스 모델의 진화 델타를 모두 활용하여 유지보수 오버헤드를 줄이는 지식 재사용 프레임워크를 제안합니다.
적응형 초기화 전략: 베이지안 최적화를 사용하여 기존 어댑터와 베이스 모델 델타로부터의 지식을 융합하고, 나이브한 전이나 정적 융합보다 뛰어난 호환성 인식 시작점을 구축하는 접근 방식을 제시합니다.
스케줄링된 정규화: 빠른 서비스 품질 복구를 위해 어댑터를 고정시킨 후, 태스크 특정 정밀화를 위해 제약을 완화하는 2단계 미세 조정 전략을 제안합니다.
실증적 검증: 6개의 다운스트림 서비스 태스크, 3개의 모델 제품군(LLaMA2, LLaMA3.1, Mistral), 3개의 업데이트 소스에 걸친 광범위한 실험을 통해 프레임워크의 효과를 입증합니다.

4. 실험 결과

저자들은 LoRA-Scratch(처음부터 다시 학습), PortLLM+FT(나이브한 전이 후 미세 조정), ORAL(생성적 가중치 합성)을 포함한 베이스라인들과 ReLoRA를 비교 평가했습니다.

준비 시간(Time-to-Readiness): ReLoRA는 사전에 정의된 서비스 품질 임계값에 도달하는 데 필요한 시간을 크게 단축합니다. LoRA-Scratch와 비교했을 때 최대 8.9배의 속도 향상을 달 achieves (예: MNLI에서 약 255k 초에서 약 28k 초로 단축).
서비스 품질: ReLoRA는 베이스라인들에 비해 최종 태스크 정확도를 향상시킵니다. MMLU(OpenOrca 업데이트 시)에서 LoRA-Scratch보다 최대 4.6 퍼센트 포인트 더 높은 성능(83.9% vs 81.4%)을 보이며, PortLLM+FT를 일관되게 능가합니다.
엔드 투 엔드 효율성: 베이지안 최적화 탐색 오버헤드를 고려하더라도, ReLoRA는 6개 태스크 전체에서 LoRA-Scratch 대비 총 엔드 투 엔드 서비스 롤아웃 시간을 56.9% 단축합니다.
강건성(Robustness): 이 방법은 다양한 LLM 백본(LLaMA2-7B, Mistral-7B, LLaMA3.1-8B)과 다양한 업데이트 소스(OpenOrca, AlpacaGPT4, OpenPlatypus)에 대해 일관된 성능을 보여줍니다.
절제 연구(Ablation Studies): 적응형 초기화 또는 스케줄링된 정규화 중 하나라도 제거하면 서비스 품질과 수렴 속도가 낮아지며, 이는 두 구성 요소의 필요성을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 ReLoRA가 진화하는 LLM-as-a-Service 생태계의 핵심 병목 현상을 해결한다고 주장합니다. 기존의 지식을 재사용하는 문제로 취급함으로써, ReLoRA는 서비스 제공업체가 다음과 같은 이점을 얻도록 합니다:

운영 부담 완화: 베이스 모델 업데이트 시 발생하는 수천 개의 다운스트림 서비스 유지 관리에 따르는 GPU 시간 및 운영 비용을 획기적으로 줄입니다.
롤아웃 가속화: 근사 즉각적인 서비스 업데이트를 가능하게 하여, 기반 모델이 진화하는 동안에도 다운스트림 애플리케이션이 성능을 유지하며 계속 가용할 수 있도록 합니다.
호환성 보존: 상위 모델의 업데이트로 인해 태스크 특정 어댑터에 대한 투자가 무효화되지 않도록 하는 하위 호환성 메커로니즘을 제공합니다.

저자들은 ReLoRA를 전체 재학습 없이 모델 진화와 애플리케이션 안정성 사이의 간극을 메우는, 진화하는 LLM 생태계의 "서비스 유지보수 문제"에 대한 실질적인 솔루션으로 포지셔닝합니다.