1. 문제 제기 (Problem Statement)

대규모 언어 모델 (LLM) 의 전 파라미터 파인튜닝은 계산 비용과 저장 공간이 매우 커서 비효율적입니다. 이를 해결하기 위해 파라미터 효율적 파인튜닝 (PEFT) 기법들이 개발되었습니다. 그중 LoRA (Low-Rank Adaptation) 와 그 변형들 (DoRA 등) 이 가장 널리 사용되지만, 다음과 같은 근본적인 한계가 존재합니다.

• 분산된 파라미터화 (Distributed Parameterization): LoRA 는 모델의 각 선형 계층 (linear layer) 에 독립적인 저랭크 (low-rank) 업데이트를 주입합니다. 이는 각 층이 서로 다른 변환을 학습하게 하여, 적응 (adaptation) 메커니즘이 네트워크 전체에 걸쳐 파편화됩니다.
• 백본과의 긴밀한 결합: LoRA 모듈은 백본 모델의 가중치 구조에 밀접하게 묶여 있어, 백본과 분리하여 독립적으로 재사용하거나 배포하기 어렵습니다.
• 상태 공유 부재: 각 층이 독립적으로 학습하므로, 층 간에 명시적인 적응 상태나 기능을 공유하지 못해 깊이 (depth) 에 따른 일관된 적응이 어렵습니다.

2. 제안 방법론: ShadowPEFT (Methodology)

저자들은 ShadowPEFT라는 새로운 PEFT 프레임워크를 제안합니다. 이는 개별 선형 가중치에 업데이트를 주입하는 대신, 공유된 'Shadow(그림자) 네트워크'를 통해 계층 수준 (layer-level) 의 정제 (refinement) 를 수행하는 중앙 집중식 접근법입니다.

핵심 구조 및 동작 원리

1. 병렬 Shadow 상태 유지:
   • 고정된 (frozen) 백본 LLM 과 병렬로 작동하는 경량화된 Shadow 네트워크를 도입합니다.
   • Shadow 네트워크는 Transformer 의 각 층을 거치며 병렬 은닉 상태 (parallel hidden state, $s^{(\ell)}$) 를 유지하고 업데이트합니다.
2. 3 단계 프로세스 (각 백본 층 $\ell$에서):
   • Shadow 주입 (Shadow Injection): 현재 백본의 은닉 상태 ($h^{(\ell-1)}_{out}$) 와 Shadow 상태 ($s^{(\ell-1)}$) 간의 차이 ($\delta$) 를 계산합니다. 이 차이를 저랭크 병목 (low-rank bottleneck) 을 통해 태스크 특화 보정 신호로 변환하여 백본 상태에 추가합니다.
   • 백본 인코딩 (Base Encoding): 수정된 은닉 상태를 고정된 백본 층이 처리하여 새로운 출력 ($h^{(\ell)}_{out}$) 을 생성합니다.
   • Shadow 업데이트 (Shadow Update): 백본의 새로운 출력을 바탕으로 Shadow 상태를 업데이트합니다. 게이트된 잔차 연결 (gated residual update) 을 사용하여 이전 Shadow 상태와 현재 백본 정보를 융합하여, Shadow 가 태스크 관련 컨텍스트를 누적하도록 합니다.
3. 중앙 집중식 적응:
   • LoRA 가 각 층에 독립적인 가중치 변화를 학습하는 반면, ShadowPEFT 는 깊이 전체에 걸쳐 재사용 가능한 단일 적응 경로 (portable adaptation pathway) 를 학습합니다.

배포 및 활용 모드

• Shadow-Attached (연결 모드): 백본과 Shadow 가 함께 실행되어 최상의 성능을 냅니다.
• Detached Shadow-Only (분리 모드): Shadow 네트워크만 백본 없이 독립적으로 실행됩니다. 이는 엣지 디바이스 (Edge Device) 에서 경량 모델로 작동할 수 있게 합니다.
• 크로스 스케일 적응: 작은 모델 (예: 0.5B) 로 사전 학습된 Shadow 를 큰 백본 (예: 8B) 에 연결하여 재사용할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 PEFT 프레임워크: 선형 가중치 업데이트가 아닌, Transformer 계층 수준에서 공유된 Shadow 모듈을 통합하여 적응을 중앙 집중화했습니다.
2. 상태 유지 및 재사용성: Shadow 는 백본과 아키텍처적으로 분리되어 있어, 독립적으로 사전 학습, 저장, 배포가 가능합니다. 또한 작은 모델로 사전 학습된 Shadow 를 큰 모델에 적용하는 크로스 스케일 적응이 가능합니다.
3. 성능 및 효율성 입증: LoRA 와 DoRA 와 비교하여 동등하거나 더 적은 학습 가능 파라미터로 더 나은 성능을 달성했으며, 추가적인 배포 유연성 (분리 모드) 을 제공합니다.

4. 실험 결과 (Results)

Qwen3 시리즈 (0.6B, 4B, 8B) 를 기반으로 MMLU, GSM8K, SQuAD V2 등 생성 및 이해 태스크에서 평가되었습니다.

• 성능: ShadowPEFT 는 LoRA 와 DoRA 보다 평균적으로 더 높은 성능을 기록했습니다.
  • 예: Qwen3 8B 기준, ShadowPEFT 는 평균 76.92 점 (LoRA: 76.51, DoRA: 75.99) 을 기록했습니다.
  • 특히 추론이 필요한 태스크 (GSM8K) 에서 사전 학습된 Shadow 를 사용할 경우 성능이 크게 향상되었습니다 (82.18 점).
• 분리 모드 (Detached Mode) 성능:
  • 무작위 초기화된 Shadow 는 분리 시 성능이 급격히 떨어지지만, 사전 학습 (Pretraining) 된 Shadow는 분리된 상태에서도 0.6B 모델 수준 (평균 62.11 점) 의 성능을 유지하며, LoRA/DoRA 로 파인튜닝된 0.6B 모델보다 우수한 결과를 보였습니다.
• 일반화 (Generalization): OOD(Out-of-Distribution) 테스트에서 ShadowPEFT 는 LoRA 와 DoRA 보다 더 나은 일반화 성능을 보여주었습니다.
• 파라미터 스케일링: LoRA 나 DoRA 는 파라미터 수를 늘리면 성능이 정체되거나 하락하는 반면, ShadowPEFT 는 Shadow 모델 크기를 늘려 성능을 향상시킬 수 있었습니다 (0.4B 부근에서 포화).
• 효율성: 추론 지연 시간 (Latency) 은 LoRA 대비 평균 4~6% 증가하는 데 그쳐 실용적이며, 엣지 디바이스에서의 분리 실행으로 클라우드 의존도를 줄일 수 있습니다.
• 시스템 레벨 평가 (로봇): Unitree Go2 로봇 강아지 실험에서, 단순 명령은 분리된 Shadow 로 처리하고 복잡한 요청은 클라우드 모델로 라우팅하는 하이브리드 방식이 지연 시간을 줄이고 정확도를 높였습니다.

5. 의의 및 결론 (Significance)

ShadowPEFT 는 PEFT 를 단순한 "가벼운 파라미터 주입"을 넘어 "재사용 가능한 상태 기반 기능적 적응 (modular, stateful function-level adaptation)" 으로 재정의합니다.

• 모듈성: 적응 모듈이 백본과 분리되어 있어 버전 관리와 독립적 배포가 가능합니다.
• 엣지 컴퓨팅 적합성: 분리된 Shadow 만으로 경량 추론이 가능하여, 클라우드와 엣지 간의 효율적인 분산 처리를 가능하게 합니다.
• 미래 지향성: 작은 모델로 학습된 지식을 큰 모델에 전이하거나, 반대로 큰 모델의 적응 능력을 작은 모델로 추출하는 등 유연한 모델 아키텍처 설계를 가능하게 합니다.

결론적으로 ShadowPEFT 는 기존 LoRA 기반 접근법의 구조적 한계를 극복하고, 성능과 배포 유연성을 동시에 만족시키는 강력한 대안으로 평가됩니다.