🤖 machine learning

AdaPaD: Adaptive Parallel Deflation for PEFT with Self-Correcting Rank Discovery

AdaPaD은 기존 LoRA 방법들에 비해 경쟁력 있는 성능을 유지하면서 어댑터 크기를 획기적으로 줄인 PEFT 를 위한 적응형 병렬 소멸 프레임워크를 도입하여, 자기 수정 오차 수렴과 동적 랭크 탐색을 통해 랭크 1 구성 요소를 동시에 학습합니다.

원저자: Barbara Su, Fangshuo Liao, Anastasios Kyrillidis

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Barbara Su, Fangshuo Liao, Anastasios Kyrillidis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 매우 복잡한 퍼즐 (대형 언어 모델) 을 상상해 보세요. 이 퍼즐에 새로운 기술을 가르치고 싶다고 가정해 봅시다. 퍼즐 전체를 다시 만들 필요는 없습니다. 그저 몇 개의 맞춤형 조각 (저랭크 적응, LoRA) 을 추가하여 더 잘 작동하도록 하면 됩니다.

문제는 다음과 같습니다: 얼마나 많은 맞춤형 조각이 필요하며, 어디에 배치해야 할까요?

대부분의 기존 방법은 퍼즐의 모든 부분에 대해 고정된 수의 조각을 추측합니다 (이는 종종 낭비적입니다) 또는 사람 줄 서서 서비스를 받는 것처럼 조각을 하나씩 추가합니다. 줄의 첫 번째 사람이 실수를 하면 그 실수가 퍼즐에 영구적으로 '동결'되며, 그 뒤에 서 있는 모든 사람들은 그 오류를 우회해야 합니다.

ADAPAD는 게임의 규칙을 바꾸는 새로운 방법입니다. 간단한 비유를 통해 작동 원리를 설명해 보겠습니다.

1. 구식 방법: '동결된 실수' 줄

마스터피스 그림을 그리기 위해 한 층씩 페인트를 덧발라 나가는 화가 팀을 상상해 보세요.

화가 1이 붓질을 합니다. 실수를 하면 그 실수가 고정됩니다.
화가 2는 그 실수를 고치기 위해 그 위에 그림을 그리려 하지만, 실수 주변으로만 그릴 수 있습니다. 화가 2 의 실수도 역시 고정됩니다.
화가 3은 이전 두 실수 모두를 우회해야 합니다.
결과: 마지막 화가에 도달할 때쯤이면 캔버스에는 수리 불가능한 오류의 더미가 쌓여 있습니다. 화가를 더 많이 추가할수록 초기 오류가 누적되어 최종 그림은 더 나빠집니다.

2. ADAPAD 방식: '자기 수정' 원탁

ADAPAD 는 줄을 없앱니다. 대신 모든 화가를 원탁에 앉혀 동시에 작업하게 합니다.

팀: 10 명의 화가가 동시에 작업한다고 상상해 보세요.
마법 (자기 수정): 화가가 붓질을 할 때마다 그룹에 보여줍니다. 다음 번에 그림을 그릴 때, 그들은 원래의 빈 캔버스만 보는 것이 아니라, 다른 사람들이 만든 그림의 최신 버전을 봅니다.
결과: 화가 1 이 1 라운드에서 실수를 하더라도, 화가 2 가 1 라운드에서 그 실수를 덮어칠 수 있습니다. 2 라운드에서는 화가 1 이 화가 2 의 수정 사항을 보고 자신의 붓질을 조정하여 맞춥니다. 오류가 고정되지 않고 라운드가 진행됨에 따라 수정됩니다. 그림은 더러운 것이 쌓이는 대신, 매번 통과할 때마다 더 깨끗해집니다.

3. '선제 학습' (워밍업)

구식 줄 방식에서는 후반부 화가들 (화가 5~10) 이 처음 네 명이 끝날 때까지 가만히 기다립니다. 이는 시간 낭비입니다.

ADAPAD 는 말합니다: "기다리지 마세요!"

화가 1~~4 가 작업하는 동안, 화가 5~~10 은 가만히 앉아 있는 것이 아닙니다. 그들은 테이블 옆에서 개인 연습을 하고 있습니다. 그들은 현재 그림 버전을 상대로 붓질을 연습하며, 메인 그룹에 공식적으로 합류하기 전에 자신의 특정 업무를 매우 잘 수행할 수 있도록 준비합니다.
그들이 마침내 메인 라운드에 합류할 때, 그들은 초보자가 아니라 이미 전문가가 됩니다.

4. '동적 랭크 발견' (팀 확장)

보통 시작할 때 결정해야 합니다: "하늘에는 정확히 5 명의 화가를, 땅에는 5 명의 화가를 사용하자." 하지만 하늘에는 8 명이 필요하고 땅에는 2 명만 필요한 경우는 어떨까요?

ADAPAD 는 추측하지 않습니다. 작은 팀 (섹션당 화가 1 명) 과 공유 예산 (허용된 화가 총수 제한) 으로 시작합니다.

누가 가장 열심히 일하고 누가 가장 큰 개선을 이루는지 지켜봅니다.
'하늘' 섹션이 어려움을 겪고 더 많은 도움이 필요하면, ADAPAD 는 "좋습니다, 연습 화가를 하늘 메인 팀으로 승진시키겠습니다"라고 말합니다.
'땅' 섹션이 잘하고 있다면, 그 규모는 작게 유지됩니다.
결과: 퍼즐 각 부분의 팀 규모는 인간의 추측이 아니라 작업 자체에 의해 발견됩니다.

왜 이것이 중요한가요?

이 논문은 세 가지 주요 성과를 주장합니다:

더 나은 품질: 오류가 고정되는 대신 수정되므로 최종 결과가 더 정확합니다.
더 작은 크기: 실제로 필요한 곳에만 화가를 추가하므로, 최종 '어댑터'(모델에 추가된 추가 코드) 는 표준 방법보다 약 30% 작아지면서도 동일한 작업을 수행합니다.
더 빠른 속도: 줄 서서 작업하는 것이 아니라 모두 동시에 (병렬로) 작업하므로, 여러 컴퓨터에서 최대 2.6 배 더 빠를 수 있습니다.

요약하자면: ADAPAD 는 경직되고 오류가 발생하기 쉬운 조립 라인을, 서로의 실수를 고쳐 주는 유연하고 자기 수정이 가능한 팀으로 바꿉니다. 그리고 팀은 필요한 곳에서만 성장합니다.

기술 요약: ADAPAD

문제 정의

저랭크 적응 (LoRA) 을 통한 대규모 언어 모델 (LLM) 의 미세 조정 (Fine-tuning) 은 훈련 전에 랭크 $r$ 을 선택해야 합니다. 기존 접근 방식은 랭크 선택 및 오차 전파와 관련하여 두 가지 주요 한계에 직면해 있습니다:

순차적 소거 (Sequential Deflation): SVD 등을 통해 순차적으로 랭크 -1 성분을 추출하는 방법은 "고정된 오차 (frozen errors)"로 고통받습니다. 초기 성분에서 발생한 실수는 후속 성분을 위한 잔차에 영구적으로 잠기며, 스펙트럼 갭을 통해 기하급수적으로 증폭됩니다.
공동 최적화 (Joint Optimization): 전체 저랭크 행렬을 공동으로 최적화하는 방법 (예: dEBORA, ARD-LoRA) 은 집계 업데이트에 대한 수렴 보장은 제공하지만, 개별 랭크 -1 방향에 대한 보장은 제공하지 않습니다. 결과적으로 이들은 특정 성분의 정확성이 아닌, 그 합에 대해서만 인증할 수 있습니다.

또한, 현재 적응형 랭크 방법들은 종종 랭크 분포를 고정된 입력으로 취급하거나, 훈련 역학에 따라 모듈별 용량을 동적으로 조정하지 않는 휴리스틱에 의존합니다.

방법론: ADAPAD

저자들은 ADAPAD(Adaptive Parallel Deflation, 적응형 병렬 소거) 를 제안합니다. 이는 모든 랭크 -1 성분을 동시에 훈련하면서 최적의 랭크 분포를 동적으로 발견하는 프레임워크입니다. 핵심 혁신은 자기 수정을 통한 병렬 소거입니다.

1. 자기 수정을 통한 병렬 소거

이전 근사치를 기반으로 성분 $k$ 의 목표를 고정하는 순차적 소거와 달리, ADAPAD 는 각 랭크 -1 성분을 전용 워커에 할당합니다.

메커니즘: 모든 통신 라운드 $\ell$ 에서, 워커 $k$ 는 모든 선행 성분 ( $k' < k$ ) 의 최신 추정치를 사용하여 소거 목표 $Y_{k,\ell}$ 를 재구성합니다.
자기 수정: 선행 추정치가 라운드가 진행됨에 따라 개선됨에 따라, 후속 워커들의 소거 목표도 동시에 개선됩니다. 이는 소거 불일치 (목표의 오차) 가 고정된 잔차로 남는 대신 시간이 지남에 따라 0 으로 수렴하도록 보장합니다.
선제 학습 (Advance Learning): 워커가 활성화되기 전 (단계적 활성화), 해당 워커는 업데이트를 브로드캐스트하지 않고 현재 소거 목표에 대해 훈련하는 개인적인 "워밍업" 단계를 거칩니다. 이는 고품질의 초기화를 제공합니다.

2. 모듈별 동적 랭크 발견

ADAPAD 는 랭크 분포를 입력이 아닌 출력으로 취급합니다.

성장 전략: 각 모듈은 최소 랭크 (예: 1) 와 개인 예비 성분을 가지고 시작합니다.
중요도 점수 매기기: 매 $\Delta$ 미니배치마다 시스템은 파라미터 크기와 기울기 변동성에 기반한 중요도 - 불확실성 곱 (Importance-Uncertainty product) 을 사용하여 모듈 중요도를 평가합니다.
할당: 공유된 전역 예산 하에서, 높은 중요도 점수를 가진 모듈은 예비 성분을 할당된 상태로 승격시키고 새로운 예비 성분을 생성합니다. 총 활성 랭크가 예산에 도달하면 성장이 중단됩니다.

3. 알고리즘 구조

기본 알고리즘 (알고리즘 1) 은 쌍선형 회귀 모델을 위한 부정확한 순차적 소거를 병렬화합니다. 이는 다음을 활용합니다:

단계적 활성화: 워커 $k$ 는 라운드 $k$ 에서 시작합니다.
워밍업 시작: 각 반복은 이전 라운드의 파라미터를 초기화로 사용합니다.
투사: 추정치는 유계 복원을 보장하기 위해 프로베니우스 볼 (Frobenius ball) 로 투사되지만, 저자들은 실제로 투사를 건너뛰는 것 ( $Q=\infty$ ) 이 종종 충분하다고 지적합니다.

이론적 보장

이 논문은 쌍선형 회귀 설정 $Y = W^*X + E$ 에 대한 엄밀한 이론적 분석을 제공합니다:

지수 수렴: 성분 의존적 워밍업 기간 이후, 모든 성분의 총 오차는 거의 선형적으로 (선형 선행 인자에 의해 변조된 지수적으로) 감소합니다.
소거 불일치의 소멸: 논문은 라운드 $\ell \to \infty$ 로 갈 때 소거 불일치 $\|Y_{k,\ell} - Y^*_k\|_F$ 가 소멸함을 증명합니다. 이는 불일치가 고정되고 0 이 아닌 순차적 소거와 대비되는 정의된 "자기 수정" 속성입니다.
추정 한계:
- 무잡음 경우: 라운드 수가 증가함에 따라 가중치 복원 오차가 소멸합니다.
- 잡음 있는 경우: 오차 한계는 (자기 수정으로 인한) 소멸하는 알고리즘 항과 (순차적 방법의 가우스 섭동 한계와 일치하는) 회복 불가능한 통계적 바닥으로 나뉩니다. 병렬화는 새로운 잡음 패널티를 추가하지 않습니다.

경험적 결과

저자들은 ADAPAD 를 세 가지 축에서 평가했습니다:

1. GLUE 분류 (DeBERTaV3-base)

설정: 매칭된 파라미터 예산 (0.32–0.47M) 을 가진 고정 랭크 LoRA 및 적응형 베이스라인 (IncreLoRA, AdaLoRA, SoRA, dEBORA) 과 비교했습니다.
성능: ADAPAD 는 여덟 가지 모든 작업에서 평균 점수 89.34 를 기록하여 AdaLoRA(89.03) 와 IncreLoRA(88.99) 를 능가했습니다.
랭크 분포: 알고리즘은 동적으로 랭크를 할당했으며, 더 높은 랭크는 이전 연구의 작업별 특이성 발견과 일치하게 최종 트랜스포머 레이어와 FFN 중간 투사에 집중되었습니다.

2. 파라미터 효율성 (Qwen3-0.6B on SQuAD)

설정: SQuAD v1.1 및 v2.0 에 대한 미세 조정.
성능: ADAPAD 는 F1 및 정밀 일치 (EM) 지표에서 고정 랭크 LoRA 성능과 일치하거나 초과하면서도, 어댑터 크기가 평균 30.7% 더 작았습니다(15.9% 에서 44.3% 감소 범위).

3. 멀티 GPU 확장

설정: 4 개의 NVIDIA H200 GPU 에서 구성 요소 병렬 쉐이딩.
성능: 이 접근 방식은 단일 GPU 대비 최대 2.66 배의 속도 향상을 제공하여 구성 요소 병렬 훈련에 대한 거의 선형적인 확장을 보여주었습니다.

중요성과 주장

이 논문은 ADAPAD 가 LoRA 의 근본적인 설계 질문에 대응한다고 주장합니다:

자기 수정: 이는 병렬 랭크 -1 훈련에서 소거 오차가 시간이 지남에 따라 소멸한다는 증명 가능한 보장을 제공하는 최초의 방법이며, 단순한 공동 합이 아닌 개별 랭크 -1 방향의 정확성을 인증할 수 있게 합니다.
동적 랭크 발견: 이는 랭크를 하이퍼파라미터 입력에서 모듈 중요도에 의해 주도되는 학습된 출력으로 패러다임을 전환합니다.
효율성: 이는 현저히 적은 파라미터로 경쟁력 있거나 우수한 성능을 달성하며, 병렬화를 통해 상당한 속도 향상을 제공합니다.

저자들은 한계를 지적합니다: 이론은 쌍선형 회귀 (단일 LoRA 레이어) 에 대해 공식화되었으며, 경험적 결과는 비선형 손실로의 간극을 메우지만, 완전한 비선형 모델 및 비동기 통신으로의 확장은 향후 과제로 남겨두었습니다. 또한 매우 큰 랭크에서 동기식 통신 오버헤드가 속도 향상을 상쇄할 수 있음을 인정합니다.