기술 요약: 일반화 가능한 저랭크 적응을 위한 전략적 과파라미터화

문제 제기

전체 미세 조정 (full fine-tuning) 을 통한 대규모 언어 모델 (LLM) 의 하위 작업 적응은 prohibitive 한 계산 및 메모리 요구 사항으로 인해 점점 더 비현실적이 되어가고 있습니다. 파라미터 효율적 미세 조정 (PEFT) 방법, 특히 저랭크 적응 (LoRA) 은 학습 가능한 파라미터의 컴팩트한 집합으로 업데이트를 제한함으로써 이러한 문제를 완화하지만, 이러한 공격적인 감소는 종종 일반화 능력을 저해합니다. 구체적으로 LoRA 는 전체 미세 조정과 비교하여 이질적인 작업 및 도메인 전반에 걸쳐 효과적으로 일반화하는 데 어려움을 겪습니다. 핵심적인 긴장감은 파라미터 효율성과 적응 능력 사이에 존재합니다: 학습 가능한 파라미터를 너무 극단적으로 줄이면 모델이 복잡한 작업별 표현을 학습하는 능력이 제한됩니다. 또한, 모든 행렬을 무분별하게 과파라미터화하는 것은 계산적으로 중복됩니다. 왜냐하면 모든 가중치 행렬이 추가된 용량으로부터 동등하게 혜택을 받지 않기 때문입니다.

방법론: LoRA-Over

저자들은 훈련 중 저랭크 어댑터를 전략적으로 과파라미터화하고 추론을 위해 표준 구조로 축소하는 프레임워크인 LoRA-Over를 제안하여 효율성 - 일반화 트레이드오프를 해결합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 행렬 곱 연산자 (MPO) 분해

LoRA-Over 는 표준 행렬 곱셈 대신 양자 다체 물리학에서 유래한 텐서 네트워크 분해 기법인 MPO 를 사용하여 파라미터 공간을 확장합니다.

• 메커니즘: 저랭크 파라미터 행렬 $W \in \mathbb{R}^{I \times J}$는 $m$개의 로컬 텐서 $\{T^{(k)}\}_{k=1}^m$의 순차적 곱으로 분해됩니다.
• 과파라미터화: 훈련 중 모델은 이러한 분해된 텐서를 활용하여 실제로 학습 가능한 파라미터의 수를 늘리고 최적화 지형 (가설 공간) 을 확장합니다.
• 축소: 훈련이 수렴한 후 텐서는 순차적으로 축소되어 원래의 저랭크 행렬 구조를 재구성합니다. 이를 통해 추론 비용과 지연 시간은 기존 LoRA 와 동일하게 유지되며, 재구성 오차는 무시할 수준입니다.

2. 행렬의 전략적 선택

무분별한 과파라미터화가 계산적으로 비용이 많이 들고 불필요할 수 있음을 인식하여, LoRA-Over 는 가장 중요한 저랭크 행렬만 식별하고 확장하기 위해 두 가지 명확한 전략을 사용합니다:

• 사전 정의 전략: 미세 조정 전에, 행렬이 외과적으로 제거될 경우 훈련 손실 ($L_W - L_{W=0}$) 의 변화에 기반하여 모든 후보 행렬에 대한 중요도 점수를 계산합니다. 각 모듈 그룹의 상위 $N$개 행렬이 MPO 분해를 위해 선택됩니다.
• 런타임 전략: 미세 조정 중 파라미터의 절대 기울기 ($|\frac{\partial L}{\partial W} W|$) 를 사용하여 중요도 점수를 동적으로 업데이트합니다. 이를 통해 시스템은 최적화 지형이 진화함에 따라 가장 중요한 행렬을 지속적으로 식별하고 과파라미터화할 수 있습니다.

3. 워크플로우

워크플로우에는 특정 저랭크 행렬 (예: Q, K, V, O 또는 FFN 모듈 내) 을 선택하고, 훈련 단계에서 MPO 분해를 적용하여 유효 랭크와 파라미터 수를 증가시킨 다음, 배포를 위해 이를 표준 $A \times B$ 구조로 다시 접는 과정이 포함됩니다.

주요 기여

1. LoRA-Over 프레임워크: 추론 비용을 증가시키지 않고 일반화를 향상시키기 위해 MPO 분해를 통한 구조화된 과파라미터화를 활용하는 새로운 PEFT 프레임워크의 도입.
2. 이중 선택 메커니즘: 성능 향상과 계산 오버헤드 간의 트레이드오프를 최적화하기 위해 중요한 행렬에 과파라미터화를 선택적으로 적용하기 위한 사전 정의 (손실 민감도 기반) 및 런타임 (기울기 변동 기반) 전략 모두의 제안.
3. 이론적 및 경험적 검증: 추론 시 사라지도록 설계된 과파라미터화가 PEFT 일반화를 개선하기 위한 효과적인 수단임을 입증하여 LoRA 와 전체 미세 조정 간의 성능 격차를 해소함.

실험 결과

저자들은 언어 이해, 대화 생성, 산술 추론, 코드 생성 등 다양한 작업에 걸쳐 T5-Base(GLUE 벤치마크), LLaMA 2-7B, LLaMA 3.1-8B 에서 LoRA-Over 를 평가했습니다.

• GLUE (T5-Base): LoRA-Over-MPOR 는 평균 점수 88.03을 기록하여 기존 LoRA(82.08) 보다 5.95% 높은 성능을 보였으며, LoRA+(84.95) 및 PiSSA(84.71) 와 같은 다른 LoRA 변형체들을 능가했습니다.
• LLaMA 2-7B:
  • MT-Bench: 5.92 (LoRA 의 5.61 대비).
  • GSM8K: 54.21 (LoRA 의 42.08 대비).
  • HumanEval: 19.96 (LoRA 의 14.76 대비).
  • 이 방법은 일관되게 기존 LoRA 와 대부분의 변형체들을 능가했으며, LoRA 대비 평균 **5.88%**의 개선을 보였습니다.
• LLaMA 3.1-8B:
  • MT-Bench: 6.26.
  • GSM8K: 73.95 (전체 미세 조정의 73.69 를 상회).
  • HumanEval: 44.84.
  • 평균 성능은 41.68로, LoRA+(40.72) 와 기존 LoRA(39.01) 를 초과했습니다.
• 효율성: 텐서 연산으로 인해 훈련 시간이 증가했음에도 불구하고, 이 방법은 0 의 추론 오버헤드를 유지합니다. 메모리 측면에서 LoRA-Over-MPOR 는 MPO 텐서의 컴팩트한 특성으로 인해 훈련 중 기존 LoRA 보다 더 메모리 효율적이었으며, 피크 GPU 메모리 사용량을 크게 줄였습니다 (예: LLaMA 2-7B 의 경우 17.66GB 대 42.74GB).

중요성과 주장

이 논문은 LoRA-Over 가 파라미터 효율성과 적응 능력이 본질적으로 상충된다는 가정에 성공적으로 도전했다고 주장합니다. 훈련 중 최적화 지형을 풍부하게 하지만 추론 시 표준 저랭크 구조로 축소되는 "원칙적인 과파라미터화"를 도입함으로써, 이 방법은 우수한 일반화를 달성합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 아키텍처 효율성 유지: 배포 중 추가적인 지연 시간이나 저장 공간 요구 사항을 도입하지 않음.
• 일반화 향상: 다양한 도메인과 모델 규모에 걸쳐 LoRA 와 전체 미세 조정 간의 성능 격차를 크게 축소함.
• 유연성 제공: 런타임 선택 전략은 최적화 과정에 동적으로 적응할 수 있게 하여, 종종 정적 사전 정의 전략보다 더 나은 결과를 도출함.

이 연구는 PEFT 분야에서 중요한 진전으로 제시되며, 가설 공간의 일시적 확장이 저랭크 적응 방법의 견고성을 개선하기 위한 실현 가능하고 효과적인 전략임을 입증합니다.