기술 요약: Queryable LoRA: 공유된 저랭크 업데이트 원자 상의 지시 정규화 라우팅

1. 문제 제기

표준 저랭크 적응 (LoRA) 은 계층 업데이트를 고정된 계층-국소 저차원 부분공간 ($\Delta W_\ell = \frac{\alpha}{r} B_\ell A_\ell$) 으로 제한함으로써 매개변수 효율성을 달성합니다. 확장 가능하지만, 이러한 정적 매개변수화는 구조적 한계를 도입합니다:

1. 경직성: 최적의 보정이 예제나 계산 단계마다 달라지더라도 동일한 어댑터가 모든 입력에 대해 재사용됩니다.
2. 분열: 학습 가능한 용량이 독립적인 계층들에 걸쳐 분열되어, 모델이 서로 다른 깊이에서 반복되는 적응 패턴을 다시 학습하도록 강요합니다.
3. 정적 대 동적 트레이드오프: 기존 동적 방법들은 입력 민감도가 부족한 정적 공유 (예: ShareLoRA) 에 의존하거나, 텍스트에서 직접 밀집 매개변수를 생성 (예: Text-to-LoRA) 하여 이차적 확장성과 불안정성을 초래합니다.

목표는 LoRA 의 효율성과 확장성을 유지하면서, 현재 입력, 네트워크의 깊이별 상태, 그리고 선택적 언어 지시에 기반하여 효과적인 업데이트가 동적으로 변할 수 있도록 하는 것입니다.

2. 방법론: 지시 정규화 Queryable LoRA

제안된 방법은 경직된 계층-국소 LoRA 병목 현상을 전역적으로 공유되고 쿼리 가능한 저랭크 업데이트 원자 메모리로 대체합니다.

핵심 아키텍처

• 공유 원자 뱅크: 고정된 행렬 대신, 모델은 키 $\{k_m\}_{m=1}^M$와 짝을 이룬 전역 랭크-공간 업데이트 원자 뱅크 $\mathcal{C} = \{C_m\}_{m=1}^M$를 유지합니다.
• 블록 단위 라우팅: 계층들은 연속적인 블록 $\{B_b\}$로 분할됩니다. 각 블록에 대해 라우터는 저랭크 병목 내부에 예제 의존적 연산자 $S_b(c)$를 조립합니다.
• 상태 의존적 쿼리: 라우터는 다음에 조건부인 쿼리 $q_b$를 형성합니다:
  • 블록 진입점의 현재 저랭크 상태 ($s^{entry}_{\ell_b}$).
  • 이전 블록들의 실행 중인 어텐션 기반 요약 ($u^{att}_{b-1}$), 이를 통해 모델이 깊이별 계산 역사를 활용할 수 있습니다.
  • 선택적 언어 지시 임베딩 $e(c)$.
• 동적 업데이트: 블록 $b$ 내의 계층 $\ell$에 대한 효과적인 업데이트는 다음과 같습니다:
  $$\Delta W_\ell(h_\ell; c) = \frac{\alpha}{r} B_\ell \left( I_r + g_\ell S_b(c) \right) A_\ell$$
  여기서 $g_\ell$은 학습된 스칼라 게이트이며, $S_b(c)$는 어텐션을 통해 선택된 공유 원자들의 희소 볼록 결합입니다.

지시 정규화

텍스트에서 직접 가중치를 생성하는 방법들과 달리, 이 접근법은 언어를 검색 과정을 편향시키는 의미적 사전 지식으로 사용합니다:

1. 쿼리 형성: 지시 임베딩은 $\lambda_{ctx} Q_{ctx} e(c)$ 항을 통해 블록 쿼리 $q_b$에 영향을 미칩니다.
2. 로그이트 정규화: 상태 의존적 라우팅 로그이트 $\zeta_{b,m}$은 언어 유도 사전 지식 $\log p_m(c)$로 증폭됩니다:
   $$\tilde{\zeta}_{b,m}(c) = \zeta_{b,m} + \tau_{lang} \log p_m(c)$$
   이는 제약 없는 매개변수를 생성하지 않으면서 원자 선택을 의미적으로 관련된 방향으로 편향시킵니다.

3. 주요 기여

1. 쿼리 가능한 업데이트 메모리: 정적 계층 수정을 대체하는 랭크-공간 원자들의 전역 공유 메모리 뱅크입니다. 모델은 현재 저랭크 표현과 깊이 요약에 기반하여 이러한 원자들의 희소 혼합물을 검색하여 입력 및 깊이 의존적 적응을 가능하게 합니다.
2. 지시 정규화: 언어 지시를 의미적 사전 지식으로 사용하여 업데이트 원자의 검색을 안내하는 메커니즘입니다. 이는 저랭크 병목에 내재된 노름 제어를 유지하면서 업데이트가 의미적으로 관련되도록 보장합니다.
3. 이론적 보장:
   • 변분적 특성화: 라우팅 가중치는 지시 사전 지식에 대한 KL 패널티에 대한 상태 유용성을 균형 있게 맞추는 변분 문제를 해결함이 증명되었습니다.
   • 노름 제어: 효과적인 업데이트는 공유 원자들의 볼록 껍질 내에서 유계로 유지되어 표준 LoRA 와 비교 가능한 안정성을 보장합니다.
   • 기분인자화: 이 방법은 정확한 블록 단위 기분인자화를 제공하여, 공유 원자들이 블록 내의 모든 계층으로부터 구조화된 감독을 받음을 보여줌으로써 재사용 가능한 업데이트 방향의 학습을 용이하게 합니다.
4. 경험적 성능: 이 방법은 표준 LoRA 와 비교 가능한 학습 가능한 매개변수 수를 사용하여 노이즈가 있는 비선형 회귀 작업과 LLM 파인튜닝 벤치마크에서 향상된 테스트 성능과 학습 안정성을 입증합니다.

4. 실험 결과

합성 비볼록 회귀

9 가지 확률적 비볼록 벤치마크 함수 (예: Ackley, Dropwave, Rastrigin) 에서 평가되었습니다.

• 결과: 쿼리 가능한 어댑터는 정적 보정이 실패하는 pronounced local heterogeneity (예: Dropwave) 를 가진 함수에서 정적 LoRA 및 기타 PEFT 베이스라인 (DoRA, HyRA, RepLoRA) 을 크게 능가합니다.
• 안정성: 32 계층의 깊고 좁은 아키텍처에서 쿼리 가능한 방법은 하이퍼네트워크 기반 또는 정적 방법에서 관찰되는 최적화 평탄화와 불안정성을 피하며 더 낮은 테스트 MSE 를 달성합니다.

LLM 파인튜닝

Qwen0.5B 및 Mistral7B 와 같은 모델을 사용하여 일반 작업 (GPQA-Diamond, MBPP, ARC, Super-GLUE) 과 수학 추론 (GSM8K, MATH, Numina-Math) 에서 평가되었습니다.

• 일반화: Instruction-Queryable LoRA 는 홀드아웃 테스트 세트에서 표준 LoRA 및 기타 베이스라인을 일관되게 능가하여 7 가지 일반 작업 중 6 가지에서 최상의 결과를 달성했습니다.
• 추론: 다단계 수학 벤치마크에서 유의미한 향상이 관찰되어, 공유된 라우팅된 원자가 재사용 가능한 깊이별 적응이 필요한 작업에 특히 효과적임을 시사합니다.
• 최적화 역학: 기분 분석은 지시 정규화 라우팅이 정적 LoRA 에 비해 중간 및 후기 계층 전반에 걸쳐 더 강력한 기분 신호를 유지하여 계층별 기분 붕괴를 방지함을 보여줍니다.
• 효율성: 라우팅 오버헤드로 인해 정적 LoRA 보다 약간 느리지만, RepLoRA 및 HyRA 와 같은 표현력 있는 동적 베이스라인보다 훨씬 빠르며 연산 오버헤드는 무시할 수준입니다.

지속적 학습

순차적 지속적 학습 설정 (MBPP $\to$ GSM8K $\to$ GPQA-Diamond) 에서 이 방법은 다음을 입증했습니다:

• 유지: 이전 작업 (MBPP) 에 대한 안정적이고 고밀도의 라우트가 보존되었습니다.
• 적응성: 새로운 작업은 파국적 망각이나 균일한 질량 확산이 아닌 국소화된 라우트 드리프트를 유발했습니다.
• 구조: 라우터는 지식 유지와 유연성 사이의 균형을 맞추는 희소하고 비균일한 메모리 접근 패턴을 유지했습니다.

5. 중요성과 주장

본 논문은 Queryable LoRA 를 정적 LoRA 스타일 업데이트와 완전히 생성된 매개변수 업데이트 사이의 원칙적인 중간 지대로 위치시킵니다.

• 효율성 대 유연성: 입력과 깊이별 상태에 따라 효과적인 보정이 변할 수 있도록 허용하면서도 LoRA 의 매개변수 효율성과 확장성을 유지합니다.
• 안정성: 가중치를 생성하는 대신 유계 메모리 뱅크에서 검색함으로써 텍스트-대-가중치 생성 방법의 불안정성과 이차적 확장을 피합니다.
• 해석 가능성: 언어를 의미적 사전 지식으로 사용하는 것은 모델의 내부 상태 신호를 무시하지 않고 적응을 안내하는 해석 가능한 메커니즘을 제공합니다.
• 한계: 저자는 모든 벤치마크에서 이점이 균일하지 않으며 블록 단위 라우팅 메커니즘이 순방향 통과 복잡성을 증가시킨다고 인정하지만, 다른 동적 방법과 여전히 경쟁력 있다고 말합니다. 또한 컨텍스트 의존적 라우팅을 통한 유해한 모델 적응의 용이성과 관련된 잠재적 안전 문제를 지적합니다.

요약하자면, 이 연구는 상태와 선택적 지시에 의해 안내되는 저랭크 원자들의 공유된 쿼리 가능한 메모리가 LoRA 의 핵심 효율성 이점을 희생하지 않으면서 매개변수 효율적 파인튜닝에서 최적화 안정성과 일반화를 향상시킬 수 있음을 보여줍니다.