🤖 machine learning

Activation- and Influence-Aware Ranks (AIR): Function-Preserving SVD Compression for LLMs

이 논문은 역전파 신호 영향력 지표를 단일 폐형식(closed-form) ALS 스윕에 통합함으로써 기존의 SVD-LLM 및 ACIP와 같은 방법들보다 우수한 퍼플렉서티(perplexity), 데이터 효율성 및 지연 시간 이득을 달성하며 LLM 압축을 향상시키는 새로운 SVD 기반 프레임워크인 Activation- and Influence-Aware Ranks (AIR)를 소개한다.

원저자: Nico Harder, Daniel Becking, Karsten Mueller, Wojciech Samek

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nico Harder, Daniel Becking, Karsten Mueller, Wojciech Samek

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 글을 쓰고, 추론하고, 대화할 줄 아는 거대하고 믿기지 않을 정도로 상세한 도서관(거대 언어 모델, 즉 LLM)이 있다고 상상해 보세요. 하지만 이 도서관은 너무 방대해서 당신의 휴대폰에 들어가지도 않고, 책 한 권을 찾는 데에도 한참이 걸립니다. 당신은 도서관 안의 이야기들을 잃어버리지 않으면서도, 이 도서관을 주머니 속에 쏙 들어갈 만큼 줄이고 싶습니다.

이 논문은 이러한 도서관을 줄이는 새로운 방법인 AIR(Activation- and Influence-Aware Ranks)를 소개합니다. 이것은 어떤 페이지를 자르고 어떤 페이지를 남길지 정확히 아는 "스마트한 편집자"라고 생각하면 됩니다.

작동 방식은 다음과 같습니다. 이해를 돕기 위해 쉬운 비유를 사용하겠습니다.

1. 문제점: "눈먼" 가위

이전의 방법들은 단어의 크기나 단어가 얼마나 자주 등장하는지(활성화 인지, Activation-awareness)만을 보고 도서관을 줄이려 했습니다.

비유: 마치 책의 두께만 보고 있는 사서와 같습니다. 그들은 공간을 적게 차지한다는 이유로 모든 얇은 책들을 버리기로 결정합니다.
결함: 얇은 책 안에 가장 중요한 반전이 담겨 있을 수도 있습니다! 크기만 고려하는 기존 방식은 중요한 정보를 실수로 잘라내어, 이야기를 앞뒤가 맞지 않게 만들 수 있습니다.

2. AIR의 해결책: "스마트한 편집자"

AIR는 다릅니다. 단순히 단어의 크기만 보는 것이 아니라, 그 단어들이 최종적인 이야기에 얼마나 중요한지를 봅니다. 이는 두 단계 과정을 거칩니다.

단계 A: 순방향 패스 (The "What's Happening" Scan - "무슨 일이 일어나고 있는가" 스캔)
편집자는 책을 읽으며 현재 문장에서 실제로 어떤 단어들이 사용되고 있는지 확인합니다. 이는 마치 책상 위에 어떤 페이지들이 펼쳐져 있는지 확인하는 것과 같습니다.
단계 B: 역방향 패스 (The "Why It Matters" Scan - "왜 중요한가" 스캔)
이것이 마법 같은 부분입니다. 편집자는 다음과 같이 질문합니다. "만약 내가 이 특정 단어를 제거한다면, 이야기의 결말이 바뀔까?"
- 만약 단어를 제거했을 때 문장의 의미가 변한다면, 그 단어는 영향력이 높은(high influence) 것입니다. 유지하세요!
- 만약 단어를 제거해도 아무것도 변하지 않는다면, 그 단어는 영향력이 낮은(low influence) 것입니다. 안전하게 잘라낼 수 있습니다.

3. 마법의 기술: "재배치"

AIR는 "중요한" 단어와 "중요하지 않은" 단어를 식별한 후, 단순히 중요하지 않은 것들을 삭제하는 데 그치지 않습니다. 대신 영리한 수학적 섞기(SVD 및 ALS라고 불림)를 수행합니다.

비유: 당신에게 퍼즐 조각이 있다고 상상해 보세요. 당신은 그림을 더 작게 만들고 싶습니다.
- 기존 방식: 색상이 적은 조각들을 그냥 버립니다. 그러면 그림이 흐릿해지고 망가집니다.
- AIR 방식: 어떤 조각들은 작아 보이지만 전체 그림을 지탱하고 있다는 것을 깨닫습니다. AIR는 "중요한" 조각들을 중심부에 빽빽하게 모으고, "중요하지 않은" 조각들은 그림을 망치지 않고도 안전하게 깎아낼 수 있도록 가장자리로 밀어내는 방식으로 퍼즐을 재배치합니다.

4. 결과: 더 작고, 더 빠르고, 더 똑똑하게

이 논문은 이 "스마트한 편집자" 접근 방식을 사용함으로써 다음과 같은 성과를 얻었다고 주장합니다.

더 나은 품질: 줄어든 도서관은 원래 크기의 60%로 줄어들었음에도 불구하고 여전히 완벽하게 이야기를 전달합니다. 다른 축소 방식보다 실수가 적습니다.
더 적은 데이터 필요: 무엇을 자를지 결정하기 위해 도서관 전체를 읽을 필요가 없습니다. 아주 작은 샘플(다른 방법보다 약 90% 적은 데이터)만으로도 학습할 수 있습니다.
실제 속도: 도서관이 더 작아졌기 때문에, 작은 기기(휴대폰이나 단일 컴퓨터 카드 등)에 들어갈 수 있고 더 빠르게 실행됩니다. 단순히 파일 크기만 작아진 것이 아니라, 실제로 더 빨리 로드되고 메모리를 적게 사용합니다.

5. "보너스" 기능

논문은 AIR가 다른 도구들과도 잘 어울린다는 점을 언급합니다.

"미세 조정(Fine-Tuning)" 추가 기능: 줄어든 도서관을 가져가서 빠른 "복습 과정"(LoRA라고 불림)을 거치게 함으로써 성능을 더욱 향상시킬 수 있습니다. AIR와 복습 과정의 조합은 그 어떤 조합보다 뛰어납니다.
"압축(Compression)" 추가 기능: 도서관 내부의 숫자들을 더 작게 으깨어(양자화, quantization) 망가뜨리지 않고도 더 압축할 수 있습니다.

요약

요약하자면, AIR는 현명한 편집자 역할을 하는 압축 기술입니다. 크기에 따라 맹목적으로 자르는 대신, 모든 구성 요소의 중요도를 살핍니다. 모델의 지능을 이끄는 핵심 부분은 유지하고 불필요한 부분은 버림으로써, 거대한 버전만큼이나 세상을 잘 이해하면서도 훨씬 작고 빠르며 똑똑한 AI를 만들어냅니다.

기술 요약: 활성화 및 영향력 인지 랭크 (Activation- and Influence-Aware Ranks, AIR)

1. 문제 정의

대규모 언어 모델(LLM)은 성능을 위해 규모에 의존하며, 이는 효율적인 배포를 위한 사후 학습 압축(post-training compression)을 필연적으로 요구한다. 특이값 분해(Singular Value Decomposition, SVD)는 트랜스포머 가중치의 암묵적인 저차원 구조와 랭크- $k$ 근사의 이론적 최적성(Eckart–Young 정리) 덕분에 압축의 주요 후보이다. 그러나 표준 "Vanilla SVD"는 개별 가중치의 기능적 역할을 무시하므로, 종종 다운스트림 성능의 심각한 저하를 초래한다.

기존의 "기능 보존형(function-preserving)" 방법들은 캘리브레이션 데이터를 사용하여 이를 완화하려고 시도하지만, 다음과 같은 이분법적 한계에 직면한다:

순방향 활성화 접근 방식(예: ASVD, SVD-LLM(W))은 계산 비용이 저렴하고 레이어 국소적(layer-local)이지만, 보존된 활성화가 실제로 최종 예측에 영향을 미치는지 여부에는 무관하다.
역방향 신호 접근 방식(예: FWSVD, ACIP)은 태스크 손실이나 출력 영향력을 포함하지만, 순방향 활성화 전용 베이스라인보다 성능이 떨어지거나 비용이 많이 드는 엔드 투 엔드(end-to-end) 최적화(전체 재학습 또는 경사 하강법)를 요구한다.

본 논문이 다루는 핵심 과제는 엔드 투 엔드 최적화의 계산 비용을 들이지 않으면서, 어떻게 역방향 신호 영향력 지표를 SVD 압축에 통합하여 레이어 국소적이고 폐쇄형 솔루션(closed-form solution)의 효율성을 유지할 것인가 하는 점이다.

2. 방법론: 활성화 및 영향력 인지 랭크 (AIR)

AIR는 단일한 폐쇄형 교대 최소 제곱법(Alternating Least Squares, ALS) 스윕을 통해 순방향 패스 활성화 인지와 역방향 패스 영향력 인지를 결합하는 하이브리드 프레임워크를 제안한다.

2.1 순방향-역방향 분석

이 방법은 가중치 행렬 $W \in \mathbb{R}^{m \times n}$ 에 대해 레이어별로 작동한다:

순방향 패스 (활성화 인지): SVD-LLM(W)를 따라, 방법론은 프로파일링 행렬 $S = \text{cholesky}(\sum XX^\top)$ 를 구성하기 위해 캘리브레이션 데이터로부터 은닉 상태(hidden states) $X$ 를 수집한다. 가중치 행렬은 잠재 공간으로 변환된다: $W' = WS $. 이 단계는$ W'$에 대한 표준 SVD를 통해 최적의 활성화 인지 랭크- $k$ 솔루션을 도출한다.
역방향 패스 (영향력 인지): 역방향 신호는 요소별 영향력 행렬 $I \in \mathbb{R}^{m \times n}$ 을 계산하는 데 사용된다. 이 신호는 각 가중치가 모델 출력에 기여하는 기능적 정도를 정량화한다. 본 논문은 다양한 영향력 지표 군(예: Weight $\times$ Gradient, Empirical Fisher, 또는 Layer-wise Relevance Propagation, LRP)에서 오는 모든 요소별 점수를 수용한다. 저자들은 노이즈 억제를 위한 $\epsilon$ -규칙이 적용된 AttnLRP를 기본값으로 사용한다. 행렬 $I$ 는 캘리브레이션 데이터에 대해 누적되며 평균이 1이 되도록 정규화된다.

2.2 하이브리드 목적 함수

AIR는 영향력이 낮은 가중치보다 영향력이 높은 가중치의 재구성 오차에 더 큰 페널티를 부여하는 하이브리드 손실 함수를 정의한다:
$\mathcal{L}_{act,infl} = \left\| \sqrt{1 + \delta \cdot I} \odot (W' - U'_k \Sigma'_k V'^\top_k) \right\|_F^2$
여기서 $\delta$ 는 영향력 가중 강도를 조절하며, $\odot$ 는 아다마르 곱(Hadamard product)이고, 제곱근은 요소별로 적용된다. $(1 + \delta \cdot I)$ 항은 활성화 인지 근사 오차가 낮은 영향력의 가중치에 대해서도 경감되지 않도록 보장한다.

2.3 폐쇄형 ALS 솔루션

영향력 가중 목적 함수는 일반적으로 폐쇄형 SVD 솔루션을 갖지 않으므로, AIR는 단일 교대 최소 제곱법(ALS) 스윕을 채택한다.

초기화: 프로세스는 활성화 인지 목적 함수의 전역 최적해(표준 $W'$ 의 SVD)에서 시작한다.
업데이트 규칙: 알고-리즘은 랭크 $r = k-1$ 에서 $0 $까지 감소하며 반복한다. 각 랭크에 대해, 섭동된 목적 함수를 최소화하도록 특이 벡터($ u'_r, v'_r $)와 특이값($ \sigma'_r$)에 대한 폐쇄형 업데이트를 수행한다.
단조 감소(Monotone Descent): 저자들은 활성화 인지 최적해에서 시작하는 이 단일 역방향 스윕이 하이브리드 목적 함수 $\mathcal{L}_{act,infl}$ 의 비증가(단조 감소)를 보장함을 증명한다.
효율성: 이 접근 방식은 요소별 가중 저차원 근사의 난해함을 피하기 위해 각 랭크 성분을 순차적으로 해결한다. 랭크에 대해 단 한 번의 패스만을 요구하므로 계산 효율적이다 (LLaMA-7B 기준 A100에서 약 12분 소요).

2.4 시스템 레벨 구현

실제 런타임 이득을 실현하기 위해, AIR는 특정 추론 최적화를 통합한다:

순차적 전파 (Sequential Propagation): $W$ 를 재구성하는 대신 $y = U_k(V^\top_k x)$ 를 계산한다.
KV 캐시 최적화: 저차원 중간값을 캐싱하고, 메모리 확장을 방지하기 위해 회전 위치 임베딩(Rotary Position Embeddings, RoPE) 프리-캐싱을 적용한다.
버퍼 관리: 토큰당 동적 메모리 할당을 제거하기 위해 사전 할당된 버퍼를 사용한다.

3. 주요 기여

성능-효율성 트레이드오프: LLaMA-7B에서 AIR는 파라미터 유지율이 60%/40%/20%일 때 각각 SVD-LLM(W)보다 **18%/33%/45% 낮은 퍼플렉시티(perplexity)**를 달성한다. 이는 LLaMA, Mistral, Vicuna 제품군 전반에 걸쳐 일반화된다.
데이터 효율성: AIR는 SVD-LLM(W)와 동일한 품질을 약 90% 적은 캘리브레이션 데이터를 사용하여 달성한다.
엔드 투 엔드 방법론과의 상보성: AIR는 레이어 국소적이며 엔드 투 엔드 파인튜닝과 직교한다.
- AIR + LoRA는 모든 압축률에서 ACIP(최첨단 엔드 투 엔드 방법)보다 우수한 성능을 보이며, 20% 유지율에서 최대 59%의 격차를 보인다.
- 본 논문은 로컬 영향력 프록시(AIR)와 글로벌 파라미터 업데이트(LoRA/재학습)가 독립적이고 가산적인 이득을 제공함을 입증한다.
시스템 레벨 이득: 60% 파라미터 유지율에서, AIR는 파라미터 절감을 40 GB A100 기준 약 64%의 피크 GPU 메모리 감소와 약 53%의 토큰당 레이턴시 감소로 전환하여, 베이스 모델에서 OOM(Out-Of-Memory) 오류를 유발하는 추론 설정(예: 더 큰 배치 사이즈나 시퀀스 길이)을 가능하게 한다.
신호 불가지론 (Signal Agnosticism): 통합 메커니즘(ALS 업데이트 규칙)이 특정 신호의 선택보다 중요하다. 원칙적인 역방향 신호(LRP, Weight $\times$ Gradient, Fisher)는 동일한 퍼플렉시티를 나타내는 반면, 정보가 없는 베이스라인(가중치 크기, 1 등)은 실패한다.

4. 결과 및 평가

퍼플렉시티: AIR는 WikiText-2 및 C4 데이터셋 전반에서 Vanilla SVD, FWSVD, ASVD, SVD-LLM(W)를 일관되게 능가한다. 성능 격차는 압축이 더 공격적일수록(낮은 파라미터 비율) 더 커진다.
추론 태스크: AIR는 베이스라인과 비교하여 추론 정확도(OpenBookQA, ARC-E, WinoGrande 등)를 유지하거나 향상시킨다.
양자화: AIR로 압축된 모델은 사후 학습 양자화(RTN, GPTQ)에 적합하다. 60% 유지율에서 4비트 GPTQ 적용 시, AIR는 11.99의 퍼플렉시티를 유지한다 (양자화 전 11.27 대비).
런타임: 표준 SVD 구현은 종종 메모리 대역폭 병목 현상과 KV 캐시 오버헤드로 인해 레이턴시를 줄이는 데 실패하지만, AIR의 특정 최적화(O1-O3)는 파라미터 감소를 레이턴시 이득으로 성공적으로 전환하며, 특히 높은 대역폭 압박(큰 배치 사이즈/시퀀스 길이) 하에서 효과적이다.

5. 의의 및 주장

본 논문은 저렴한 활성화 인지 SVD 압축과 비용이 많이 드는 엔드 투 엔드 재학습 사이의 간극을 메운다고 주장한다.

레이어 국소적 vs 엔드 투 엔드: 저자들은 레이어 국소적 최적화(AIR)와 엔드 투엔드 최적화(LoRA/재학습)가 중복되는 것이 아니라 상보적이라고 주장한다. AIR는 이후의 파인튜닝이 구축할 수 있는 강력한 영향력 인지 초기화 값을 제공한다.
메커니즘이 신호보다 중요: 핵심적인 발견은 통합 메커니즘(ALS 업데이트 규칙)이 특정 역방향 신호의 선택보다 더 결정적이라는 것이다. 이는 이 방법이 신호 불가지론적(signal-agnostic)으로 견고하게 만들 수 있음을 의미한다.
실제 배포: 논문은 이론적인 FLOP 감소가 자동으로 런타임 이득으로 이어지지 않음을 강조한다. KV 캐시, 메모리 할당과 같은 시스템 레벨의 병목을 해결함으로써, AIR는 실질적인 배포 이점을 제공하여 더 큰 추론 워크로드를 허용하도록 "OOM 경계"를 이동시킨다.

6. 한계점

저자들은 70B 파라미터 이상의 모델이나 인코더-디코더 및 MoE(Mixture-of-Experts) 아키텍처로의 확장이 여전히 열린 과제로 남아 있다고 언급한다. 또한, 현재 방법은 균일한 레이어당 랭크 비율을 사용하므로, 동적 랭크 할당 및 토큰 레벨 적응이 향후 확장 가능한 연구 분야임을 시사한다.