LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning

이 논문은 옵티마이저의 모멘텀과 분산까지 저랭크 서브스페이스에 투영하여 전체 모델 미세조정과 유사한 동역학을 구현함으로써, 추가 하이퍼파라미터 튜닝 없이 LoRA 의 성능 한계를 극복하고 전체 미세조정과 유사한 성능을 달성하는 새로운 방법인 LoFT 를 제안합니다.

핵심

LoFT: 거대한 AI 모델을 '가볍게' yet '완벽하게' 조정하는 새로운 방법

이 논문은 거대한 인공지능 (AI) 모델을 특정 작업에 맞게 조정할 때 사용하는 LoFT라는 새로운 기술을 소개합니다. 기존 방법들의 문제점을 해결하면서도, 마치 모델을 처음부터 다시 학습시키는 것만큼 좋은 성능을 내면서도 비용은 아끼는 '요술' 같은 방법입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 배경: 거대한 도서관을 재단하는 문제

상상해 보세요. 전 세계의 모든 지식을 가진 거대한 **도서관 (거대 AI 모델)**이 있다고 칩시다. 이 도서관은 수억 권의 책 (모델의 파라미터) 을 가지고 있어서, 어떤 질문에도 답할 수 있습니다.

하지만 이제 우리는 이 도서관을 **특정 주제 (예: 의학, 법률, 요리)**에 특화시키고 싶다고 가정해 봅시다.

• 완전 재학습 (Full Fine-Tuning): 도서관의 모든 책 내용을 다시 읽고, 모든 페이지를 수정하는 방법입니다.

  • 장점: 가장 정확하고 완벽합니다.
  • 단점: 시간이 너무 오래 걸리고, 도서관을 통째로 해체하고 다시 지어야 해서 비용이 천문학적으로 듭니다. (실제 AI 에서는 메모리 부족으로 불가능한 경우가 많습니다.)

• 기존의 LoRA (Low-Rank Adaptation): 도서관의 책 내용은 건드리지 않고, 책장 사이에 **작은 메모지 (저랭크 행렬)**만 끼워 넣는 방법입니다.

  • 장점: 메모지를 끼우는 것이라 비용이 매우 저렴하고 빠릅니다.
  • 단점: 메모지 크기만 작다고 해서 항상 완벽하지는 않습니다. 때로는 중요한 정보를 놓치거나, 도서관 전체를 수정했을 때보다 성능이 떨어지기도 합니다. 마치 "메모지만 보고 전체 책을 이해한 척" 하는 것과 비슷합니다.

2. LoFT 의 등장: "메모지지만, 도서관 전체를 움직이는 힘"

이 논문에서 제안한 LoFT는 바로 이 '메모지' 방식의 한계를 극복합니다. LoFT 는 "메모지를 끼우는 방식은 그대로 유지하되, 그 메모지가 도서관 전체를 수정하는 것과 똑같은 효과를 내게 만드는" 기술입니다.

핵심 비유: "오케스트라의 지휘자"

• 기존 LoRA: 지휘자 (옵티마이저) 가 악기 (모델) 를 조정할 때, **메모지 (저랭크 행렬)**만 보고 지시를 내립니다. 하지만 지휘자의 기억 (모멘텀) 과 악기의 진동 (분산) 이 메모지의 제한된 공간에 제대로 반영되지 않아, 전체 오케스트라의 소리가 어색해질 수 있습니다.
• LoFT: 지휘자가 메모지를 보면서도, 실제 전체 오케스트라의 소리를 듣고 지시하는 것과 똑같은 논리로 메모지를 조정합니다.
  • 첫 번째 기억 (First Moment): "어제 이 악기는 이렇게 울렸지?"라는 기억을 메모지 공간에 정확히 옮겨 담습니다.
  • 두 번째 기억 (Second Moment): "이 악기의 진동 폭은 얼마나 컸지?"라는 정보도 메모지에 완벽하게 재구성합니다.

즉, LoFT 는 작은 메모지 (저랭크) 안에 거대한 도서관 (전체 모델) 의 모든 움직임과 기억을 압축해서 담는 기술입니다.

3. LoFT 가 해결한 3 가지 문제 (요술의 3 가지 요소)

LoFT 는 다음과 같은 세 가지 요령으로 기존 방법보다 훨씬 똑똑하게 작동합니다.

1. 교대 업데이트 (Alternating Updates):

   • 비유: 두 명의 조수 (U 와 V) 가 동시에 메모지를 고치려 하면 서로의 손이 겹쳐서 엉망이 됩니다. LoFT 는 "너는 먼저 고치고, 다음엔 네가 고쳐"라고 순서대로 작업을 시킵니다. 이렇게 하면 메모지 안의 정보가 훨씬 깔끔하게 정리됩니다.

2. 기억 보정 (State Calibration):

   • 비유: 메모지를 옮길 때, 원래의 크기와 모양이 달라지면 정보가 왜곡됩니다. LoFT 는 메모지를 옮길 때마다 **"이게 원래 도서관의 어떤 부분에 해당했는지"**를 계산해서, 기억 (모멘텀) 이 왜곡되지 않도록 보정해 줍니다.

3. 스케일링 불필요 (No Scaling Factor):

   • 비유: 기존 LoRA 는 메모지의 크기를 조절하는 '스케일링'이라는 추가 버튼을 사용자가 직접 맞춰야 했습니다 (너무 크면 도서관이 망가지고, 너무 작으면 효과가 없습니다). LoFT 는 이 버튼을 아예 없애고, 자동으로 최적의 크기가 되도록 설계했습니다. 사용자가 고민할 필요가 없습니다.

4. 실제 성과: "작은 비용, 거대한 효과"

실험 결과, LoFT 는 다음과 같은 놀라운 성과를 보였습니다.

• 성능: 거대한 모델을 처음부터 다시 학습시킨 것 (Full Fine-Tuning) 과 거의 똑같은 정확도를 냈습니다. 때로는 오히려 더 좋기도 했습니다. (과적합을 방지하기 때문이라고 합니다.)
• 비용: 메모리 사용량은 기존 LoRA 와 비슷하게 적게 들었습니다. (단, 아주 미세하게 더 들지만, 성능 향상 대비 매우 효율적입니다.)
• 저랭크의 강점: 메모지를 아주 작게 (Rank 1, 2 등) 만들어도 성능이 떨어지지 않았습니다. 기존 방법들은 메모지를 작게 하면 성능이 뚝 떨어졌는데, LoFT 는 작아도 여전히 강력했습니다.

5. 결론: 왜 LoFT 가 중요한가?

LoFT 는 "적은 자원으로 최대의 효과를 내는" AI 학습의 새로운 표준이 될 수 있습니다.

• 기존의 딜레마: "정확하게 하려면 비싸게 (Full Fine-Tuning), 싸게 하려면 부정확하게 (LoRA)"라는 선택지였습니다.
• LoFT 의 해법: "정확하면서도 싸게"라는 **양비 (兩便)**를 가능하게 했습니다.

이 기술이 보편화되면, 개인이나 작은 기업도 거대한 AI 모델을 자신의 업무에 맞춰 매우 저렴하게, 하지만 전문가 수준으로 조정할 수 있게 될 것입니다. 마치 거대한 도서관을 통째로 사지 않고도, 그 도서관의 모든 지식을 내 손안에 넣은 것과 같은 효과를 얻는 셈입니다.

기술 요약

LoFT: Full Fine-Tuning과 유사하게 동작하는 저랭크 적응 (Low-Rank Adaptation) 기술 요약

본 문서는 ICLR 2026 에 발표된 "LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning" 논문에 대한 기술적 요약입니다. 이 논문은 대규모 언어 모델 (LLM) 의 하위 작업 적응 (Adaptation) 시 파라미터 효율성을 유지하면서도 풀 파인튜닝 (Full Fine-Tuning) 과 동등한 성능을 달성하기 위한 새로운 방법론인 LoFT를 제안합니다.

---

1. 문제 정의 (Problem Statement)

대규모 사전 학습 모델의 하위 작업 적응에 널리 사용되는 **LoRA (Low-Rank Adaptation)**는 모든 가중치를 업데이트하는 대신 저랭크 행렬을 주입하여 학습 파라미터 수를 획기적으로 줄입니다. 그러나 LoRA 는 다음과 같은 한계를 가집니다:

• 성능 격차: 풀 파인튜닝에 비해 정확도가 낮고 수렴 속도가 느린 경우가 많습니다.
• 최적화 동역학 불일치: LoRA 의 업데이트 방식이 풀 모델 업데이트와 근본적으로 다릅니다. 특히, Adam 옵티마이저의 **1 차 모멘트 (Momentum)**와 **2 차 모멘트 (Variance)**가 저랭크 서브스페이스 내에서 잘못 정렬 (Misalignment) 되어 있습니다.
• 하이퍼파라미터 민감도: LoRA 는 성능을 조절하기 위해 스케일링 인자 ($\alpha$) 를 도입하며, 이를 적절히 튜닝하지 않으면 성능이 저하되거나 발산할 수 있습니다.

2. 방법론 (Methodology: LoFT)

LoFT 는 LoRA 의 구조를 유지하면서, 옵티마이저의 내부 상태 (Optimizer States) 를 풀 파인튜닝과 정렬시킴으로써 풀 파인튜닝의 동역학을 저랭크 공간에서 재현합니다. 이는 다음과 같은 6 가지 핵심 구성 요소로 이루어집니다:

1. 교대 업데이트 (Alternating Updates):
   • LoRA 의 $U$와 $V$를 동시에 업데이트할 때 발생하는 2 차 교차항 ($\eta^2$ 항) 을 제거하기 위해, $U$와 $V$를 번갈아 가며 업데이트합니다.
2. 스케일된 그라디언트 (Gradient Scaling):
   • 저랭크 업데이트의 스케일 불명확성을 해결하기 위해, 그라디언트를 $V^TV$ (또는 $U^TU$) 의 역행렬로 스케일링하여 서브스페이스에 투영된 업데이트 방향을 보정합니다.
3. 모멘트 보정 (Optimizer State Calibration - 1 차 모멘트):
   • Adam 의 모멘트 업데이트 시, 이전 단계의 서브스페이스 ($V_{k-1}$) 와 현재 서브스페이스 ($V_k$) 간의 불일치를 보정하기 위해 **보정 행렬 (Calibration Matrix)**을 도입합니다. 이를 통해 저랭크 공간에서의 모멘트 추정이 풀 모델의 모멘트와 일치하도록 합니다.
4. 2 차 모멘트 정렬 (Second Moment Alignment):
   • Adam 의 2 차 모멘트 (분산) 추정에도 유사한 보정 기법을 적용합니다. 크로스 항 (Cross-terms) 을 사용하여 2 차 모멘트 어큐뮬레이터를 재구성함으로써, 저랭크 제약 하에서도 정확한 2 차 모멘트 추정을 가능하게 합니다.
5. 투영된 풀 업데이트 재구성 (Projected Full Update Reconstruction):
   • 전체 모델의 업데이트 방향을 먼저 추정한 후, 이를 저랭크 서브스페이스로 투영하여 실제 파라미터 ($U, V$) 를 업데이트합니다.
6. 그라디언트 클리핑 (Gradient Clipping):
   • 풀 파인튜닝의 그라디언트 클리핑 동작을 저랭크 공간에서 정확히 모사합니다.

특이사항:

• LoFT 는 $\alpha$ 스케일링 하이퍼파라미터가 필요 없으며, $\alpha=1$로 고정합니다.
• 랭크 $r$이 행렬의 크기와 같아지면 (Full-rank limit), LoFT 는 수학적으로 AdamW 옵티마이저를 정확히 재현함이 증명됩니다.

3. 주요 기여 (Key Contributions)

• 옵티마이저 상태 불일치 발견: 그라디언트뿐만 아니라 옵티마이저의 모멘트 (1 차, 2 차) 가 저랭크 적응 시 불일치하여 성능 저하의 주요 원인임을 규명했습니다.
• LoFT 알고리즘 제안: 교대 업데이트, 그라디언트 스케일링, 모멘트 보정, 투영된 풀 업데이트 재구성 등을 통합하여 풀 파인튜닝 동역학을 저랭크 공간에서 모사하는 새로운 알고리즘을 제시했습니다.
• 이론적 증명: LoFT 가 풀 랭크 한계에서 AdamW 와 정확히 일치함을 증명했습니다.
• 초저랭크에서의 강건성: 기존 방법론들이 랭크가 낮아질수록 성능이 급격히 떨어지는 반면, LoFT 는 랭크 1 에서도 뛰어난 성능을 유지함을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

저자들은 언어 (LLaMA 시리즈) 와 비전 (ViT-Base) 도메인에서 광범위한 실험을 수행했습니다.

• 언어 모델 (Commonsense Reasoning):
  • LLaMA-7B/2-7B/3-8B 모델에서 LoFT 는 LoRA 와 DoRA 를 능가했습니다.
  • 특히 랭크 1과 같은 극도로 제한된 파라미터 환경에서도 LoRA 보다 월등히 높은 정확도를 기록했습니다 (예: LLaMA-7B 에서 LoFT(r=1) 는 LoRA(r=16) 보다 높은 성능).
  • DoRA 는 낮은 랭크에서 특정 태스크 (예: Winogrande) 에서 성능이 급격히 하락하는 불안정성을 보인 반면, LoFT 는 모든 태스크에서 안정적인 성능을 유지했습니다.
• 비전 모델 (Image Classification):
  • ViT-Base를 ISIC2019, HAM10000, Diabetic Retinopathy, DomainNet 데이터셋에 적용했습니다.
  • LoFT(r=16) 는 풀 파인튜닝보다 약간 더 높은 평균 정확도 (76.12% vs 75.86%) 를 기록하며, LoRA 와 DoRA 보다 우월한 성능을 보였습니다.
  • 학습 동역학 분석에서 LoFT 는 초기 단계부터 풀 파인튜닝과 매우 유사한 손실 곡선을 보이며 빠르게 수렴하는 것을 확인했습니다.
• 메모리 및 효율성:
  • LoFT 는 LoRA 대비 약 25% 정도의 메모리 오버헤드가 발생하지만 (2 차 모멘트 보정 때문), DoRA 대비는 훨씬 낮습니다.
  • **LoFT (simple)**버전 (2 차 모멘트 보정 생략) 을 도입하여 메모리 오버헤드를 6% 미만으로 줄이면서도 성능 저하는 미미함 (약 0.1%) 을 확인했습니다.

5. 의의 및 결론 (Significance)

• 파라미터 효율성과 성능의 균형: LoFT 는 추가적인 추론 비용 없이, 학습 파라미터 수를 최소화하면서도 풀 파인튜닝과 동급의 성능을 달성할 수 있는 새로운 기준을 제시합니다.
• 최적화 이론의 확장: 단순한 그라디언트 근사 (Gradient Approximation) 를 넘어, **옵티마이저의 내부 상태 (Optimizer States)**까지 저랭크 공간에 정렬해야만 진정한 성능 향상을 이룰 수 있음을 보여줍니다.
• 실용성: 하이퍼파라미터 ($\alpha$) 튜닝이 불필요하며, 극저랭크 환경에서도 강건하여 리소스가 제한된 엣지 디바이스나 대규모 모델의 효율적인 파인튜닝에 매우 유용합니다.

결론적으로, LoFT 는 LoRA 의 이론적 한계를 극복하고, 저랭크 적응이 풀 파인튜닝을 완전히 대체할 수 있는 가능성을 제시하는 획기적인 연구입니다.