🤖 machine learning

Low-Rank Ternary Adaptation for Fine-Tuning Transformers

본 논문은 이산적인 가중치 업데이트를 작은 삼진 행렬을 통해 표현함으로써 삼진 도메인을 보존하고 역양자화 없이 직접적인 병합을 허용하는 동시에 언어 및 시각 모델 전반에서 성능을 크게 회복시키는 새로운 저계수 방법인 "삼진 곱셈 적응(ternary multiplicative adaptation)"을 제안한다.

원저자: Alexandru-Dragos Manolache, Yunqiang Li, Jan van Gemert

게시일 2026-08-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alexandru-Dragos Manolache, Yunqiang Li, Jan van Gemert

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능은 트랜스포머라고 불리는 거대한 컴퓨터 프로그램에 의존하고 있으며, 이들은 글쓰기 보조 도구부터 이미지 생성기에 이르기까지 모든 것의 엔진이 되었습니다. 이 프로그램들은 매우 강력하지만, 실행하는 데 방대한 양의 컴퓨터 메모리와 에너지를 필요로 하는 무거운 프로그램이기도 합니다. 이를 스마트폰이나 노트북 같은 더 작은 기기에서 사용할 수 있도록 만들기 위해, 연구자들은 수년간 이들을 축소하는 작업을 해왔습니다. 한 가지 인기 있는 전략은 프로그램 내부의 숫자들을 압축하여, 복잡하고 정밀도가 높은 값에서 더 단순하고 낮은 비트 버전으로 변환하는 것입니다. 고해상도 사진을 몇 가지 색상으로 줄이는 것을 상상해 보십시오. 이미지는 더 작아지고 처리 속도는 빨라지지만, 필연적으로 일부 디테일은 손실됩니다. 이 압축의 가장 공격적인 형태는 프로그램의 내부 숫자를 -1, 0, +1이라는 단 세 가지 값으로 제한하는 것을 포함합니다. '테너리 양자화(ternary quantization)'라고 알려진 이 방식은 메모리 필요량을 10분의 1로 줄여주며, 한때 대형 서버를 필요로 했던 모델을 표준 노트북에서도 실행할 수 있는 수준으로 바꿀 잠재력을 가지고 있습니다.

하지만 이러한 초소형 모델의 발전을 가로막는 중대한 문제가 있었습니다. 이 모델들은 작고 효율적이지만, 새로운 과업을 배우기가 어렵다는 점입니다. 이 프로그램들을 가르치는 표준적인 방법들은 숫자들에 미세하고 연속적인 조정을 가하는 방식입니다. 그러나 모델이 단 세 가지 값으로 제한되면, 모델은 미세한 조정을 할 수 없습니다. 대신 숫자의 부호를 바꾸거나 완전히 꺼버릴 수 있을 뿐입니다. 이러한 압축 모델을 가르치기 위한 기존 기술들은 숫자를 다시 원래의 크고 무거운 상태로 일시적으로 확장하여 변화를 준 다음, 다시 압축하는 과정을 거쳐야 합니다. 이 확장과 재압축의 과정은 오류를 유발하여 모델의 성능을 저하시키며, 종록히는 아무런 학습도 하지 않았을 때보다 결과가 더 나빠지게 만들기도 합니다.

델프트 공과대학교와 아마존의 연구팀은 이러한 확장과 오류의 순환을 피하는 새로운 학습 방법을 개발했습니다. 모델에 작은 연속적인 숫자를 더하려고 시도하는 대신, 그들의 방법은 엄격한 세 가지 값 체계 내에서 직접 작동합니다. 그들은 모델의 내부 숫자의 부호를 바꾸거나 완전히 끌 수 있는 스위치 세트처럼 작동하는 시스템을 설계했으며, 이 과정에서 압축 상태를 결코 벗어나지 않습니다. 이를 효율적으로 만들기 위해, 그들은 모든 숫자를 개별적으로 조정하려고 하지 않았습니다. 대신, 소수의 단순한 패턴이 모델의 방대한 구역을 동시에 제어할 수 있게 하는 수학적 구조를 사용했습니다. '저차원 테너리 적응(low-rank ternary adaptation)'이라고 부르는 이 접근 방식은 모델이 압축된 상태를 완벽하게 유지하면서 새로운 기술을 배울 수 있게 해줍니다.

연구진은 추론이 가능한 언어 모델과 이미지를 인식하는 시각 모델을 포함하여 여러 유형의 인공지능을 대상으로 이 방법을 테스트했습니다. 그들은 이미 세 가지 값의 한계로 압축된 모델들로부터 시작하여 새로운 학습 기술을 적용했습니다. 결과는 모델이 초기 압축 과정에서 잃었던 정확도의 상당 부분을 회복했음을 보여주었습니다. 언어 과업에 대한 테스트에서, 적응된 모델들은 확장과 재압축을 통해 학습을 강제하려 했던 이전의 시도들보다 훨씬 더 나은 성능을 보였습니다. 예를 들어, 30억 개의 파라미터를 가진 언어 모델의 경우, 이 새로운 방법은 9가지 서로 다른 과업에 걸친 평균 정확도를 약 32%에서 38%로 향상시켰으며, 모델의 예측을 훨씬 더 확신 있게 만들었습니다.

아마도 가장 중요한 점은, 이 과정의 최종 결과물이 초소형 형태를 유지하는 하나의 통합된 모델이라는 것입니다. 작은 모델과 함께 로드되어야 하는 별도의 무거운 지침 세트를 남겨두는 다른 방법들과 달리, 이 새로운 방식은 학습 내용을 작은 가중치 안에 직접 병합합니다. 연구진은 사물을 식별하는 것과 같은 시각적 과업에 대해, 그들의 방법이 학습 후 재압축하여 만들어진 모델보다 훨씬 더 정확한 모델을 생성한다는 것을 발견했습니다. 또한 그들은 학습 과정이 0이 된 숫자를 다시 살려내는 것이 아니라, 기존 숫자의 부호를 재배치함으로써 이루어진다는 것을 발견했습니다. 이는 모델이 존재하지 않는 연결을 새로 만드는 것이 아니라, 이미 가지고 있는 것을 재구성함으로써 학습한다는 것을 의미합니다.

이 연구는 고도로 압축된 인공지능 모델을 효율성과 정확도를 희생하지 않고도 가르칠 수 있다는 것을 입증합니다. 세 가지 값의 엄격한 제한을 존중하고 그 경계 안에서 학습하는 방법을 찾아냄으로써, 연구진은 이러한 작은 모델들이 많은 과업에서 더 큰 모델만큼 유능할 수 있음을 보여주었습니다. 이 방법은 사용 중에 추가적인 메모리나 컴퓨팅 파워를 요구하지 않는데, 이는 학습이 모델의 구조 안에 완전히 통합되어 있기 때문입니다. 이는 자원이 매우 제한적인 기기에서도 정교한 인공지능을 실행할 수 있는 길을 열어주며, 이전에는 배포가 불가능했던 곳까지 강력한 기능을 가져다줄 것입니다.

기술 요약: 트랜스포머 미세 조정을 위한 저계수 삼진 적응 (Low-Rank Ternary Adaptation)

문제 정의

트랜스포머 모델, 특히 대규모 언어 모델(LLM)과 비전 트랜스포머(ViT)는 높은 메모리 및 연산 요구 사항으로 인해 배포 시 상당한 어려움에 직면해 있습니다. 양자화는 가중치를 압축하여 해결책을 제시하며, 삼진 양자화(가중치를 $\{-1, 0, 1\}$ 로 제한)는 저사양 하드웨어에 적합한 극단적인 압축 수준(가중치당 약 1.58비트)을 나타냅니다. 그러나 이러한 삼진 모델을 미세 조정하는 것은 독특한 과제를 안겨줍니다. LoRA 및 그 양자화 변형인 QLoRA, QA-LoRA와 같은 기존의 매개변수 효율적 미세 조정(PEFT) 방식은 연속적인 부동 소수점 공간에서의 **가산 업데이트(additive updates)**에 의존하기 때문입니다.

삼진 가중치에 가산 업데이트를 적용하면 모델이 삼진 도메인을 벗어나게 되어, 업데이트를 위해 전정밀도(full precision)로 역양자화하고 추론을 위해 다시 양자화하는 과정이 필요합니다. 이 과정은 양자화 오차를 유발하여, 특히 2비트 미만의 정밀도에서 성능을 저하시킵니다. 또한, 현재의 방법들은 병합된 모델이 엄격한 삼진 성질을 유지하도록 하지 못하거나, 삼진 양자화의 메모리 및 연산 이점을 상쇄하는 역양자화 단계를 요구합니다. 즉, 순수하게 이산적인 삼진 도메인 내에서 PEFT를 수행하면서도, 결과적으로 병합된 모델이 엄격하게 삼진 상태를 유지할 수 있는 방법이 부족한 실정입니다.

방법론

저자들은 삼진 도메인을 벗어나지 않고 삼진 트랜스포머를 미세 조정하기 위해 설계된 삼진 곱셈 적응(Ternary Multiplicative Adaptation) 방식을 제안합니다. 핵심 혁신은 연속적인 가산 업데이트를 이산적인 곱셈 업데이트로 대체하는 데 있습니다.

1. 삼진 곱셈 업데이트 (Ternary Multiplicative Update)

저계수 행렬을 가중치에 더하는 대신, 이 방법은 사전 학습된 삼진 가중치( $W_{tern}$ )와 삼진 적응 마스크( $\Delta_{tern}$ ) 사이의 요소별 아다마르 곱( $\odot$ )을 적용합니다:
$W'_{tern} = W_{tern} \odot \Delta_{tern}$
마스크 $\Delta_{tern}$ 은 $\{-1, 0, 1\}$ 의 값을 가지며, 기본 가중치에 대해 세 가지 이산 연산을 수행합니다:

$+1$ : 가중치 유지 (항등 연산).
$0$: 가중치를 0으로 만듦 (프루닝).
$-1$: 가중치의 부호를 반전.

이 공식은 삼진 도메인 내에서의 폐쇄성(closure)을 보장합니다. 즉, 병합된 가중치 $W'_{tern}$ 은 엄격하게 $\{-1, 0, 1\}$ 내에 머물게 되며, 역양자화나 재양자화의 필요성을 제거합니다.

2. 저계수 크로네커 분해 (Low-Rank Kronecker Decomposition)

고차원 적응 마스크 $\Delta_{tern}$ 을 효율적으로 표현하기 위해, 저자들은 두 개의 작은 학습 가능한 삼진 행렬 $A$ 와 $B$ 의 **크로네커 곱(Kronecker product)**을 사용하여 이를 분해합니다:
$\Delta_{tern} = A \otimes B$
여기서 $A \in \{-1, 0, 1\}^{p \times q}$ 이고 $B \in \{-1, 0, 1\}^{r \times s}$ 입니다. 차원은 원래 가중치 행렬의 형상과 일치하도록 $p \cdot r = d_{out}$ , $q \cdot s = d_{in}$ 으로 선택됩니다. 이러한 구조를 통해 모델은 고차원적인 표현력(랭크 최대 $\min(d_{out}, d_{in})$ )을 유지하면서도, 전체 미세 조정이나 고계수 LoRA에 필요한 $O(d^2)$ 대신 $O(d)$ 의 매개변수만 사용하여 정사각형 레이어에 대해 효율적인 매개변수 수를 유지할 수 있습니다.

3. 실수 프록시 및 STE를 통한 학습

행렬 $A$ 와 $B$ 는 이산적이어야 하므로, 직접적인 경사 하강법 기반 최적화는 불가능합니다. 저자들은 실수 값 프록시 $\bar{A}$ 와 $\bar{B}$ 를 최적화하고, 순전파(forward pass) 중에 행렬의 절대 평균을 기준으로 하는 임계값 함수를 사용하여 이를 삼진 도메인으로 투영합니다. 경사는 **직통 추정기(Straight-Through Estimator, STE)**를 사용하여 이 미분 불가능한 투영을 통과하여 전달됩니다.

4. 추론 및 병합

학습 후, 적응(adaptation)은 요소별 곱셈을 통해 기본 가중치에 직접 병합됩니다. 결과물인 모델은 완전한 삼진 모델이며, 추론 시 추가적인 매개변수나 지연 시간(latency) 오버헤드가 발생하지 않습니다.

주요 기여

삼진 곱셈 적자 (Ternary Multiplicative Adapter): 삼진 가중치에 직접 이산적인 삼진 업데이트(부호 반전 및 제로화)를 모델링하여, 훈련 및 추론 전 과정에서 삼진 도메인을 보존하는 새로운 PEFT 방법입니다.
크로네커 분해 (Kronecker Decomposition): 매개변수 효율성과 높은 표현력 사이의 균형을 맞추며 레이어의 모든 가중치를 커버할 수 있도록 설계된, 저계수 삼진 업데이트 마스크의 압축된 표현 방식입니다.
제로 오버헤드 배포 (Zero-Overhead Deployment): 어댑터를 기본 모델에 완전히 병합할 수 있게 하여, 역양자화나 재양자화 단계 없이도 엄격한 삼진 모델을 구현합니다.
실증적 검증: LLaMA-3.2 1B/3B, Falcon-E 1B/3B, BitNet b1.58, ViT-B/16 등 6개 모델에 대한 포괄적인 평가를 통해 양자화로 인해 손실된 성능의 회복을 입증했습니다.

실험 결과

저자들은 언어 및 비전 작업에 대해 이 방법을 평가하였으며, 전정밀도 베이스라인, 사후 학습 양자화(PTQ) 베이스라인 및 QLoRA 변형들과 비교하였습니다.

LLM 성능 (Llama-3.2 1B/3B): Llama-3.2 1B 모델의 경우, 이 방법은 평균 벤치마크 점수를 33.2(삼진 SpinQuant 베이스라인)에서 35.3으로 향상시켰으며, 9개 작업 중 7개에서 2비트 베이스라인보다 우수한 성능을 보였습니다. Llama-3.2 3B의 경우, 평균 정확도 38.3을 달로하여 9개 벤치마크 모두에서 2비트 SpinQuant 베이스라인(32.6)과 1.58비트 베이스라인(31.9)을 능가했습니다.
퍼플렉서티 (Perplexity, PPL): 이 방법은 삼진 SpinQuant 베이스라인(예: Llama-1B의 경우 86.5에서 44.6으로)에 비해 퍼플렉서티를 크게 낮추었으며, 병합 후 1.58비트로 재양자화된 QLoRA보다 우수한 성능을 보였습니다.
다운스트림 적응 (Downstream Adaptation): 사전 학습된 삼진 모델(Falcon-E, BitNet)을 GSM8K에 대해 미세 조정할 때, 이 방법은 동결된 삼진 백본 대비 정확도를 +1.0에서 +3.1 포인트 향상시켰습니다.
비전 (ViT-B/16): ImageNet-100에서 병합된 삼진 ViT는 83.0%의 Top-1 정확도를 달성하여, 재양자화된 QLoRA 베이스라인(78.9%)보다 우수한 성능을 보였으며 전정밀도 삼진 미세 조정(85.7%)과의 격차를 좁혔습니다.
가중치 분석: 전이 분석 결과, 정확도 향상은 주로 기존의 비제로(non-zero) 가중치들 사이의 부호를 재배치함으로써 얻어지는 것으로 밝혀졌습니다. 이 방법은 곱셈 업데이트가 제로 값을 비제로 값으로 바꿀 수 없기 때문에, 제로로 양자화된 가중치를 다시 활성화할 수는 없습니다.

의의 및 주장

본 논문은 효율적인 모델 적응의 핵심적인 공백을 해결한다고 주장합니다. 즉, 삼진 형식의 메모리 및 연산 이점을 희생하지 않으면서 극단적인 저비트(삼진) 모델을 미세 조정할 수 있게 합니다. 역양자화와 재양자화를 피함으로써, 이 방법은 2비트 미만의 정밀도에서 발생하는 정확도 저하를 방지합니다.

저자들은 자신들의 접근 방식이 별도의 어댑터 모듈에 의한 추론 오버헤드나 재양자화에 따른 정밀도 손실 없이, 병합된 모델이 엄격하게 삼진 상태를 유지하도록 만드는 첫 번째 방식임을 강조합니다. 이는 자원이 제한된 하드웨어에 고도로 압축된 미세 조정 모델을 배포할 수 있게 합니다. 본 연구는 삼진 모델이 다운스트림 작업에 효과적으로 적응할 수 있으며, 초기 양자화 과정에서 손실된 성능의 상당 부분을 회복할 수 있음을 보여줍니다.