🤖 machine learning

AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning

본 논문은 보정된 스케일링 인자로 개별 랭크-1 원자를 쿼리함으로써 고랭크 LoRA 미세조정에서의 랭크 역설을 해결하고, 보조 기저나 추가 순전파 없이 신호 강도를 복원하여 효율적인 메모리 절약 훈련을 가능하게 하는 토폴로지 인식 제로차 최적화 방법인 AR1-ZO를 소개한다.

원저자: Ziye Chen, Hongbin Lin, Chenyu Zhang, Xiangda Yan, Yongjie Yang, Yao Shu

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziye Chen, Hongbin Lin, Chenyu Zhang, Xiangda Yan, Yongjie Yang, Yao Shu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

논문 "AR1-ZO: 고차원 LoRA 미세 조정을 위한 토폴로지 인식 Rank-1 영차수 쿼리"에 대한 설명을 쉬운 언어와 일상적인 비유로 제시합니다.

큰 그림: 전선도 보지 않고 거대한 라디오를 튜닝하기

특정 방송국을 맞추고자 거대하고 복잡한 라디오 (대형 언어 모델) 가 있다고 상상해 보세요. 보통 라디오를 튜닝하려면 내부 전선을 보고 모든 노브를 한 번에 조정해야 합니다. 하지만 이 상황에서는 눈가리개를 하고 있습니다. 전선은 보이지 않으며, 한 번에 기계 전체를 살펴볼 만큼 메모리도 부족합니다.

당신에게는 두 가지 도구만 있습니다:

LoRA (저차원 적응): 라디오 전체를 재건하는 대신, 소리를 조절할 몇 개의 노브가 달린 작고 컴팩트한 '어댑터'를 부착합니다.
영차수 (ZO) 최적화: 전선을 볼 수 없으므로, 노브를 돌려보면서 결과를 듣고 소리가 좋아졌는지 나빠졌는지 확인하는 방식으로 노브를 어떻게 돌려야 할지 추측할 뿐입니다.

문제: '랭크 역설'

연구자들은 이 두 도구를 결합할 때 까다로운 문제를 발견했습니다.

비유: 어댑터에 64 개의 노브가 있다고 상상해 보세요 (이것이 '랭크'입니다).

목표: 64 개의 모든 노브가 협력하여 라디오 소리를 훌륭하게 만들기를 원합니다.
눈가리개 방법: 노브를 어느 방향으로 돌려야 할지 파악하기 위해, 보통 모든 노브를 동시에 살짝 흔들어 보고, 그 결과를 듣고, 반대 방향으로 흔들어 다시 듣습니다.
문제점: 64 개의 노브를 한 번에 모두 흔든다면, 돌아오는 신호는 잡음에 가려져 극도로 약해집니다. 허리케인 속에서 속삭임을 듣는 것과 같습니다. 노브를 더 추가할수록 (랭크가 높아질수록) 신호는 더 희미해져서 어느 방향으로 돌려야 할지 전혀 알 수 없게 됩니다.

이 논문은 이를 **'방향성 붕괴 (Directional Collapse)'**라고 부릅니다. 어댑터가 강력할수록 (노브가 많을수록) '신호'가 '잡음'에 비해 너무 작아져서 맹목적인 추측은 쓸모없게 됩니다.

해결책: AR1-ZO (한 번에 하나의 노브만 돌리는 전략)

저자 Ziye Chen 과 동료들은 라디오를 보는 새로운 방식이 필요한 것이 아니라, 질문을 던지는 방식에 문제가 있음을 깨달았습니다.

그들은 AR1-ZO라는 새로운 방법을 제안했습니다. 이는 두 가지 간단한 단계로 나뉩니다:

1. '원자 (Atom)' 전략 (한 번에 하나의 노브)

64 개의 노브를 한 번에 흔드는 대신, AR1-ZO 는 단 하나의 노브 쌍 (이를 '원자'라고 함) 만 골라 그것들만 살짝 흔듭니다.

이것이 도움이 되는 이유: 기타를 튜닝하는 것과 같습니다. 화음을 듣기 위해 6 줄을 모두 튕기는 대신, 줄 하나만 튕겨 보세요. 그 특정 줄이 어떻게 진동하는지 정확히 들을 수 있습니다.
결과: 64 개 노브 어댑터의 전체 힘을 유지하면서도, 한 번에 하나의 노브만 테스트하는 비용만 들입니다. 이로 인해 신호가 선명하게 유지됩니다.

2. '볼륨 노브' 수정 (토폴로지 인식 스케일링)

이 부분이 참신합니다. 64 개 중 하나의 노브만 테스트할 때, 볼륨을 조절하는 데 사용되는 표준 수학 (스케일링) 은 신호를 너무 작게 만듭니다. 마치 64 줄 중 하나만 듣고 있다고 해서 라디오 볼륨을 정상 설정의 1/64 로 낮춘 것과 같습니다.

실수: 기존 방법은 볼륨을 낮게 유지했기 때문에, 노브가 하나뿐임에도 '좋음'과 '나쁨'의 차이를 들을 수 없었습니다.
수정: AR1-ZO 는 볼륨을 다시 올립니다. 신호 강도를 노브 수 (64) 만큼 곱합니다.
비유: 64 명이 있는 방에서 한 사람만 듣고 있다면, 마이크 볼륨을 낮추지 않고 높여서 배경 잡음 속에서 그 사람을 또렷이 들을 수 있게 합니다.

그들이 증명한 것

이 논문은 수학을 통해 두 가지 주요 사실을 증명합니다:

신호가 보존됩니다: 볼륨을 높임으로써 (특정 스케일링 인자 $\gamma = \alpha r$ 사용), 노브 수 (랭크) 가 얼마든 '신호 대 잡음비'가 강력하게 유지됩니다. 가야 할 방향을 들을 능력을 잃지 않습니다.
효율적입니다: 기계 전체를 보거나 추가 메모리를 사용할 필요가 없습니다. 올바른 볼륨으로 노브를 하나씩 순차적으로 테스트하기만 하면 됩니다.

결과

그들은 실제 AI 모델 (OPT 및 Qwen3 등) 로 이를 테스트하여 다음을 발견했습니다:

기존 방법 (Naive): 기존 맹목적인 방법으로 많은 수의 노브 (고랭크) 를 사용하려 할 때, AI 학습이 멈췄습니다. 나침반이 고장 난 배를 조종하려는 것과 같았습니다.
새로운 방법 (AR1-ZO): 그들의 수정을 적용하면, AI 는 많은 수의 노브 (고랭크) 를 사용하여 효과적으로 학습할 수 있었습니다. 이전의 맹목적인 방법보다 훨씬 성능이 우수했으며, 전선을 볼 수 있는 방법 (표준 학습) 의 성능에 근접하면서도 추가 메모리는 필요하지 않았습니다.

한 줄 요약

AR1-ZO 는 AI 의 작은 부분을 한 번에 테스트하고 볼륨을 높여 AI 가 자신의 행동을 실제로 들을 수 있게 함으로써 고장 난 눈가리개 튜닝 방법을 고쳐, 잡음에 빠지지 않고 강력하고 복잡한 설정을 사용할 수 있게 합니다.

기술 요약: AR1-ZO

문제 정의

본 논문은 엄격한 메모리 제약 하에서 대규모 언어 모델 (LLM) 미세 조정을 위해 0 차 (Zeroth-Order, ZO) 최적화와 저랭크 적응 (Low-Rank Adaptation, LoRA) 을 결합할 때 발생하는 근본적인 "랭크 역설 (rank paradox)"을 다룹니다.

LoRA 는 가중치를 고정하고 저랭크 업데이트 ( $\Delta W = \frac{\gamma}{r} BA$ ) 를 학습함으로써 학습 가능한 매개변수를 줄이고, ZO 최적화 (예: MeZO) 는 순전파 스칼라 차이를 통해 기울기를 추정함으로써 역전파 활성화 값을 저장하지 않도록 합니다. 그러나 이 둘을 결합하면 측정 병목 현상이 발생합니다. 표준 2 점 ZO 쿼리는 일반적으로 모든 $r(d_{out} + d_{in})$ 개의 LoRA 인자 좌표를 동시에 교란시킵니다. 이로 인해 LoRA 랭크 $r$ 이 증가함에 따라 두 가지 치명적인 실패가 발생합니다:

분산 폭발 (Variance Explosion): 교란 차원이 $r$ 에 비례하여 증가하며, 이로 인해 추정기 분산이 커집니다.
방향성 붕괴 (Directional Collapse): 표준 LoRA 스케일링 계수 $\gamma = \alpha$ (각 원자에 대한 유효 계수는 $\alpha/r$ 을 의미함) 는 유한 차분 신호를 억제합니다. 단일 랭크 -1 원자만 교란될 때 (단순한 원자 단위 업데이트와 같이), 활성 신호는 $1/r$ 로 스케일링되는 반면 잔여 평가 노이즈는 일정하게 유지됩니다. 결과적으로 유한 차분 신호 대 잡음비 (FD-SNR) 는 $1/r^2$ 로 감소합니다. 고랭크에서 방향성 정보는 학습률 조정이 발생하기 전에 노이즈에 의해 묻히게 되어, 고정된 2 회 순전파 예산 하에서는 고랭크 LoRA 가 무효화됩니다.

기존의 해결책들은 종종 외부 부분 공간, 활성화 후크, 곡률 추정, 또는 복잡한 매니폴드 기하학에 의존하여 추가적인 계산 오버헤드나 가정을 도입합니다.

방법론: AR1-ZO

저자들은 AR1-ZO(교대 랭크 -1 0 차, Alternating Rank-1 Zeroth-Order) 를 제안합니다. 이 방법은 보조 기저나 추가 순전파 없이 쿼리 토폴로지를 재정의하고 스케일링 법칙을 재조정하여 병목 현상을 해결합니다.

1. 토폴로지 인식 쿼리 (Topology-Aware Querying)

전체 어댑터나 무작위 부분 공간을 교란하는 대신, AR1-ZO 는 매칭된 랭크 -1 원자 $(b_k, a_k)$ 를 최소 완전 쿼리 블록으로 노출합니다.

메커니즘: 각 단계에서 최적화기는 하나의 원자 인덱스 $k(t)$ 를 선택하고, 해당 열 $b_k$ 와 행 $a_k$ 만 교란하며 나머지 $r-1$ 개의 원자는 고정합니다.
차원성: 이는 순간 교란 차원을 $r(d_{out} + d_{in})$ 에서 $q = d_{out} + d_{in}$ 로 줄여, 단일 쿼리 차원이 저장된 랭크 $r$ 에 독립적으로 만듭니다. 랭크 $r$ 은 단계별 분산 승수가 아닌, 모든 원자를 방문하는 데 필요한 단계 수인 분산된 커버리지 비용이 됩니다.

2. 토폴로지 인식 스케일링 ( $\gamma = \alpha r$ )

본 논문은 모든 원자가 동시에 기여하는 결합 업데이트를 위해 보정된 표준 LoRA 스케일링 $\gamma = \alpha$ (원자당 $\alpha/r$ 을 산출) 가 순차적 랭크 -1 쿼리 하에서는 활성 신호를 억제한다고 지적합니다.

교정: AR1-ZO 는 글로벌 계수를 $\gamma = \alpha r$ 로 설정하는 토폴로지 인식 보정을 도입합니다.
효과: 이로 인해 활성 원자에 대한 유효 계수가 $\frac{\gamma}{r} = \alpha$ 가 됩니다. 결과적으로 활성 유한 차분 분자는 랭크 불변 ( $\Theta(1)$ ) 으로 유지되어 FD-SNR 을 $r$ 과 관계없이 일정한 수준으로 복원합니다. 이는 방향성 붕괴를 방지합니다.

3. 알고리즘

업데이트 사이클은 원자 $k=1 \dots r$ 을 순환합니다. 각 단계에서:

활성 원자의 인자에 대한 교란 $z_b, z_a$ 를 샘플링합니다.
짝을 이룬 미니배치에 대해 순전파 $L(\theta + \mu P_t z)$ 및 $L(\theta - \mu P_t z)$ 를 평가합니다.
보정된 스케일 $\gamma = \alpha r$ 을 사용하여 기울기 추정기를 계산합니다.
활성 벡터 $b_k, a_k$ 만 업데이트합니다.

주요 기여

쿼리 블록으로서의 랭크 -1 원자 형식화: 본 논문은 매칭된 쌍 $(b_k, a_k)$ 가 최소 완전 LoRA 네이티브 블록임을 증명합니다. 한쪽만 교란하는 것은 불완전하며, 원자를 그룹화하면 랭크 의존적 차원을 다시 도입합니다. AR1-ZO 는 이를 활용하여 저장 랭크와 쿼리 차원을 분리합니다.
방향성 붕괴 진단: 저자들은 표준 스케일링을 사용하는 단순한 원자 단위 ZO 가 활성 FD-SNR 을 $O(1/r^2)$ 로 감소시켜 랭크가 증가함에 따라 방향성 충실도 (실제 기울기에 대한 코사인 유사도가 0 에 접근) 를 상실한다고 이론적으로 증명합니다.
토폴로지 인식 스케일링을 통한 신호 복원: 본 논문은 스케일링 규칙 $\gamma = \alpha r$ 을 유도하고 검증합니다. 이론적 분석은 이것이 랭크 불변 활성 신호와 FD-SNR 을 복원하여 추정기가 고랭크에서도 여전히 정보력을 유지하도록 함을 보여줍니다.
운영 효율성: AR1-ZO 는 보조 기저, 활성화 후크, 또는 곡률 추정 없이 순수한 블랙박스 예산 (단계당 2 회 순전파) 하에서 이러한 이점을 달성합니다.

실험 결과

이 방법은 BoolQ, CB, COPA, WIC, SQuAD, DROP 과 같은 작업을 포함한 OPT(2.7B, 13B) 및 Qwen3(1.7B, 32B) 모델에서 검증되었습니다.

신호 복원: LoRA 랭크 $r \in \{1, \dots, 64\}$ 를 스윕한 실험은 단순한 스케일링이 고랭크 (예: $r=64$ ) 에서 FD-SNR 과 방향성 충실도를 붕괴시키는 반면, AR1-ZO 는 전체 범위에서 안정적인 지표를 유지함을 확인했습니다.
수렴: 훈련 손실 궤적에서 AR1-ZO 는 매끄러운 수렴을 보이며 단순한 원자 단위 ZO 와 표준 MeZO-LoRA 를 능가했고, 전체 1 차 미세 조정 (FT/Adam) 과의 격차를 줄였습니다.
하류 성능: 고정된 랭크 $r=64$ 와 매칭된 2 회 순전파 예산으로 AR1-ZO 는 모든 작업에서 베이스라인 (MeZO-LoRA, LOZO, ZO-Alt-naive) 일관적으로 능가했습니다. 예를 들어, OPT-2.7B 에서 SQuAD F1 점수를 MeZO-LoRA 대비 +13.2 향상시켰습니다.
효율성: AR1-ZO 는 MeZO+LoRA 와 단계 시간 및 최대 VRAM 을 일치시켜, 교대 스케줄과 스케일링 보정이 추가 시스템 오버헤드를 발생시키지 않음을 확인했습니다.

중요성과 주장

본 논문은 블랙박스 LoRA 미세 조정에서 특정 토폴로지 - 스케일링 불일치를 해결했다고 주장합니다. 고랭크 LoRA 는 본질적으로 ZO 최적화와 양립할 수 없는 것이 아니라, 결합 업데이트 스케일링 규칙을 순차적, 원자 수준의 측정에 적용함으로써 실패가 발생한다고 주장합니다.

랭크 -1 원자를 기본 측정 단위로 간주하고 스케일링을 $\gamma = \alpha r$ 로 재조정함으로써, AR1-ZO 는 일반적으로 랭크와 관련된 분산 또는 신호 손실 페널티를 incurred 하지 않고 고랭크 어댑터 (더 큰 용량을 제공) 를 사용할 수 있게 합니다. 저자들은 이를 블랙박스 LoRA-ZO 의 "측정 단위"에 대한 필수 교정으로 위치시키며, 쿼리 토폴로지와 스케일링이 정렬되어 있다면 랭크가 "단일 쿼리 차원 세금"이 될 필요가 없음을 확립합니다. 이 작업은 이전의 고랭크 시도들이 실패한 이유에 대한 이론적 기반을 제공하고, 그 효능을 복원하는 간단하고 매개변수가 없는 메커니즘을 제시합니다.