🤖 machine learning

Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression

이 논문은 밀집(dense) 및 MoE 아키텍처 전반에 걸친 사후 학습(post-training) LLM 압축을 위한 텐서 분해를 체계적으로 평가하며, 이러한 방법론들이 가정하는 공유 부분 공간(shared subspaces)과 현대 모델의 이질적인 표현(heterogeneous representations) 사이의 근본적인 불일치를 밝힘으로써, 대규모 배포에서의 실질적인 한계와 실행 가능한 역할을 명확히 한다.

원저자: Artur Zagitov, Alexander Miasnikov, Maxim Krutikov, Vladimir Aletov, Gleb Molodtsov, Nail Bashirov, Artem Tsedenov, Aleksandr Beznosikov

게시일 2026-06-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Artur Zagitov, Alexander Miasnikov, Maxim Krutikov, Vladimir Aletov, Gleb Molodtsov, Nail Bashirov, Artem Tsedenov, Aleksandr Beznosikov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 도시 한 구획을 통째로 차지하는 거대하고도 믿기지 않을 정도로 정교한 도서관(거대 언어 모델, 즉 LLM)이 있다고 상상해 보세요. 당신은 이 도서관을 배낭에 들어갈 정도로 줄이고 싶지만, 원래의 큰 버전만큼 이야기를 들려주고, 질문에 답하고, 문제를 해결하는 능력을 그대로 유지해야 합니다.

이 논문은 **텐서 분해(Tensor Decompositions)**라는 특정 도구들을 사용하여 이 도서관을 축소하는 방법을 다룹니다. 연구자들은 이 도구들이 약속된 "마법 지팡이"인지 확인하고 싶었습니다. 그들의 결론은요? 그렇지 않다는 것이었습니다. 이 도구들은 이론적으로는 훌륭해 보이지만, 실제 세계에서 사용하면 도서관의 내부 논리를 깨뜨립니다.

다음은 이들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다.

1. 목표: 책을 잃지 않고 도서관을 축소하기

연구자들은 "사후 학습 압축(Post-Training Compression)"을 조사했습니다. 이것은 완성된, 완벽하게 쓰인 백과사전을 처음부터 다시 쓰는 대신 더 작은 파일 형식으로 압축하는 과정이라고 생각하면 됩니다.

그들은 이를 수행하는 세 가지 주요 방법을 비교했습니다:

가지치기(Pruning): 아무도 읽지 않을 것 같은 책을 버리는 것(모델의 일부를 제거하는 것)과 같습니다.
양자화(Quantization): 책을 더 적은 글자를 사용하는 더 단순한 알파벳으로 다시 쓰는 것(숫자를 저장하는 데 더 적은 비트를 사용하는 것)과 같습니다.
텐서 분해(Tensor Decompositions): 이것이 주인공입니다. 거대한 3D 레고 블록(모델의 가중치)을 가져와서, 몇 개의 더 작고 영리하게 배치된 레고 세트로 재구성한다고 상상해 보세요. 이 세트들을 합치면 원래의 큰 블록과 똑같이 보이게 됩니다.

2. 큰 문제: "잘못된 종류의 완벽함"

연구자들은 텐서 분해(레고 방식)에 근가적인 결함이 있다는 것을 발견했습니다.

비유:
당신이 그림을 압축하려고 한다고 상상해 보세요.

행렬 분해(Matrix Decompositions)(더 오래되고 단순한 방법)는 그림을 찍은 사진을 찍어 크기를 줄이는 것과 같습니다. 세부 사항은 일부 손실될 수 있지만, 주요 형태와 색상은 제자리에 유지됩니다.
텐서 분해는 그림의 위치보다는 사용된 전체 물감의 양에 집중하는 수학적 공식을 사용하여 그림을 재구성하는 것과 같습니다.

논문은 텐서 분해가 "전체 물감의 양"(수학적으로 프로베니우스 노름/Frobenius norm이라 불림)을 최소화하는 데 집착한다고 주장합니다. 이들은 전체 데이터의 양은 잘 유지하지만, 기하학적 구조(데이터의 구체적인 배치)를 망가뜨립니다.

결과:
이러한 분해를 사용하면 모델은 단순히 "흐릿해지는" 것이 아니라 혼란에 빠집니다. AI의 내부적인 "생각"(잔차 흐름 활성화/residual-stream activations라고 불림)이 잘못된 방향으로 표류하기 시작합니다. 이는 마치 도서관은 그대로 있지만, 책들이 뒤섞여서 "요리" 섹션이 "우주 여행" 섹션 아래에 분류된 것과 같습니다. 모델은 여다히 말을 할 수는 있지만, 헛소리를 하기 시작합니다.

3. "슈퍼 가중치" (백만 개 중 하나인 벽돌)

연구자들은 왜 이런 일이 발생하는지에 대한 구체적인 이유를 발견했습니다. 이 거대한 AI 모델 내부에는 매우 중요한 몇몇 특정 숫자(파라미터)들이 있습니다. 저자들은 이를 **"슈퍼 가중치(Super-weights)"**라고 부릅니다.

비유:
현수교를 생각해 보세요. 대부분의 케이블이 도로를 지탱하지만, 몇 개의 특정 볼트들은 그것이 제거되면 다리 전체를 무너뜨릴 수 있습니다.

표준 압축 방식(레고 방식 같은)은 다리를 보고 이렇게 말합니다. "수학적으로 전체 무게가 괜찮으므로 케이블의 90%를 제거할 수 있습니다."
하지만 그렇게 함으로써, 그들은 실수로 이 결정적인 볼트들을 제거하게 됩니다.

연구자들은 이 결정적인 볼트들을 보존하려면 거의 모든 데이터를 유지해야 한다는 것을 발견했는데, 이는 압축의 목적을 무색하게 만듭니다. "레고" 방식은 전체적인 그림을 보고 있기 때문에, 이러한 작고 결정적인 조각들을 찾아내지 못합니다.

4. MoE 실험 (전문가 팀)

연구자들은 "전문가 혼합(Mixture of Experts, MoE)" 모델에서도 이를 테스트했습니다. 이는 서로 다른 작업을 처리하는 전문가들이 있는 팀을 상상하는 것과 같습니다 (예: 한 명은 수학 전문가, 한 명은 역사 전문가).

그들은 모든 전문가가 공통의 단순한 배경(저계수 부분 공간/low-rank subspace)을 공유한다고 가정하여 "팀"을 압축하려고 시도했습니다.
결과: 실패했습니다. 전문가들은 실제로 매우 독특하고 구별됩니다. 그들에게 단순한 배경을 공유하도록 강요하는 것은 팀의 성능을 끔찍하게 만들었습니다. 각 전문가에게 약간 더 작은 공책을 주는 더 단순한 방법(행렬 분해)이 훨씬 더 나았습니다.

5. 승자: 양자화

마지막으로, 그들은 "레고" 방식과 양자화(더 단순한 알파벳 방식)를 비교했습니다.

결과: 양자화가 압도적으로 승리했습니다. 양자화는 파일 크기를 줄이면서도 도서관의 조직 체계를 온전히 유지했습니다.
"레고" 방식(텐서 분해)은 실수를 바로잡기 위해 약간의 추가 학습(빠른 수리 작업과 같은)을 더했을 때만 경쟁력이 있었지만, 그럼에도 불구하고 양자화의 단순함을 이길 수 없었습니다.

요약

이 논문은 텐서 분해가 AI 모델을 줄이기 위한 마법 같은 해결책이 아니다라고 결론짓습니다.

이 도구들은 수학적으로는 아름답지만, 이 특정 작업에는 실용적으로 망가진 도구와 같습니다. 이들은 잘못된 종류의 "완벽함"(전체 질량)에 집중하며, AI를 똑똑하게 유지하는 결정적이고 미세한 디테일(슈퍼 가중치)을 무시합니다. 오늘날 AI 모델을 망가뜨리지 않고 줄이고 싶다면, 이 복잡한 텐서 방식보다는 양자화나 행렬 분해(미세 조정을 동반한)를 사용하는 것이 더 낫습니다.

기술 요약: 사후 훈련(Post-Training) LLM 압축에서 텐서 분해의 역할에 대한 재고

문제 정의

사후 훈련 압축은 자원 제약이 있는 환경에서 대규모 언어 모델(LLM)을 배포하는 데 매우 중요합니다. 프루닝(pruning), 양자화(quantization), 지식 증류(knowledge distillation)와 같은 표준 기술들이 널리 사용되고 있지만, 이들은 종종 광범위한 미세 조정(fine-tuning)이나 데이터 기반 보정(calibration)을 필요로 합니다. 행렬 및 텐서 분해는 재학습 없이 밀집 레이어를 더 작은 인자들의 곱으로 재매개변수화함으로써 이론적으로 매력적인 대안을 제시합니다. 그러나 기존의 텐서 분해 연구(예: Tucker, Tensor Train)는 전체 규모의 배포 제약 조건을 반영하지 못하는 좁은 설정에서 평가되었습니다. 텐서화가 대규모 LLM에 효과적인지, 아니면 이론적 이점이 실제 성능으로 전이되는지는 여전히 불분분명합니다.

방법론

저자들은 밀집(dense) 구조(GPT-J 6B, LLaMA 2 7B) 및 혼합 전문가(Mixture-of-Experts, MoE) 구조(Qwen3-30B-A3B, GPT-OSS-20B) 전반에 걸쳐 텐서 분해에 대한 체계적인 경험적 및 이론적 평가를 수행합니다.

실험 프로토콜:

압축 전략: 본 연구는 다양한 행렬 분해(LASER, HASSLE-free, SoLA, FLAT-LLM, Dobi-SVD)를 텐서 분해(Tucker, Tensor Train/TT)와 비교합니다.
배포 조건: 평가는 실제적인 사후 훈련 제약 조건 하에서 수행됩니다. 즉, 전체 미세 조정은 허용되지 않습니다. 텐서 방식에 대해 경량 LoRA 복구 단계( $r=16$ )를 적용하여 매개변수 효율적인 보정 베이스라인을 시뮬레이션합니다.
지표: 성능은 C4 및 WikiText-2에서의 퍼플렉시티(PPL), 다운스트림 정확도, 그리고 절감된 비트(bits saved)를 통해 측정됩니다.
진단 도구:
- 잔차 스트림 기하학(Residual-Stream Geometry): 원래 모델과 압축된 모델 간의 활성화(activation) 사이의 각도와 노름 비율(norm ratio)을 분석하여 누적된 오차를 추적합니다.
- 슈퍼 웨이트(Super-Weight) 분석: 절단된 SVD 및 텐서 분해 하에서 "슈퍼 웨이트"(중요도가 낮지만 영향력이 큰 파라미터)와 이상치(outliers)의 회복 과정을 조사합니다.
- 스펙트럼 분석: 트랜스포머 가중치의 헤비 테일(heavy-tailed) 특성을 이해하기 위해 가중치 행렬의 특이값 스펙트럼에 파워 로우(power-law) 지수를 피팅합니다.

이론적 프레임워크:
저자들은 연산자 분석 관점을 통해 텐서 분해의 한계를 공식화하며, 두 가지 연쇄적인 장애물을 식별합니다:

노름 불일치(Norm Misalignment): 텐서 분해는 프로베니우스 노름(Frobenius norm)을 최적화하지만, 이는 트랜스포머의 기능적 동작을 보존하는 데 필요한 연산자(operator/spectral) 노름과 등거리(isometric)가 아닙니다.
스펙트럼 부적절성(Spectral Suboptimality): 트랜스포머 가중치의 특징인 헤비 테일 스펙트럼 상에서, 프로베니우스 최적 텐서 절단은 행렬 최적 절단보다 훨씬 크게 증가하는 연산자 오차를 유발하며, 이는 레이어 너비에 따라 다항식적으로 증가합니다.

주요 기여

체계적 경험적 검증: 본 연구는 실제 배포 조건 하에서 수행된 최초의 대규모 사후 훈련 텐서 분해 연구입니다. 저자들은 모든 설정(dense 및 MoE)에서 텐서 형식이 동일한 압축 비율에서 행렬 대응 방식보다 성능이 떨어진다는 것을 입증했습니다.
근본적 불일치 식별: 본 연구는 텐서 분해가 가정하는 공유 부분 공간(shared subspaces)과 현대 LLM이 학습한 이질적인 표현 사이의 구조적 불일치를 식별했습니다. 구체적으로, 텐서화는 단순히 파라미터 재구성 오차를 높이는 것이 아니라 잔차 스트림의 기하학(방향 및 규모)을 왜곡합니다.
이론적 설명: 논문은 프로베니우스 최적 텐서 분해가 상당한 미세 조정 없이 효과적인 압축기로 기능하는 것을 방해하는 세 가지 연쇄적 장애물을 공식화합니다:
- 리셰이프(reshape) 연산은 프로베니우스 질량(mass)은 보존하지만 연산자 기하학은 보존하지 않습니다.
- 텐서 스펙트럼 노름은 차수 $d \ge 3$ 에 대해 연산자 노름보다 엄격히 약합니다.
- LLM의 헤비 테일 스펙트럼은 텐서 절단의 스펙트럼 오차가 행렬 최적 오차보다 차원에 따라 증가하는 인수만큼 커지게 만듭니다.
슈퍼 웨이트 민감도: 표준 저계수(low-rank) 투영이 "슈퍼 웨이트"와 이상치를 체계적으로 버린다는 것을 보여줍니다. 이러한 핵심 좌표를 충실하게 재구성하려면 실질적인 한계를 훨씬 넘어서는 계수( $r \gg \min(m,n)/2$ )가 필요하며, 이는 단순한 계수 절단이 부적절함을 나타냅니다.

결과

밀집 구조(Dense Architectures): 텐서 분해(FFN에 대한 TT, MHA에 대한 Tucker)는 압축-품질 트레이드오프 측면에서 행렬 기반 방식(LASER 및 SoLA와 같은)보다 일관되게 낮은 성능을 보입니다. 텐서 방식이 더 높은 압축 비율을 달나하지만, 급격한 퍼플렉시티 저하를 초래합니다. LoRA 복구는 품질을 부분적으로 회복하지만 근본적인 트레이드오프를 해결하지는 못합니다.
MoE 구조: MoE 모델에서, 전문가 차원에 적용된 Tucker 분해(TD-MoE)는 공유 기저를 가진 행렬 기반 인자 분해(MoBE)보다 현저히 떨어지는 성능을 보입니다. 절제 연구(ablation study)는 "전문가 모드(expert mode)"가 구속 조건임을 확인시켜 줍니다. 즉, 전문가 차원을 압축하면 뚜렷한 잠재 방향이 파괴되는 반면, 행렬 방식은 이를 보존합니다.
양자화와의 비교: 표준 사후 훈련 양자화(4비트 및 8비트 RTN)와 벤치마킹했을 때, 모든 분해 기반 방식(행렬 및 텐서 모두)은 배포 관련 압축 비율에서 상당한 퍼플렉시티 페널티를 입습니다. 양자화는 약 18%의 비트 절감까지 베이스라인에 가까운 성능을 유지하며 파레토 프런티어를 지배합니다.
하이브리드 접근법: MHA에는 Tucker를, FFN에는 행렬 분해(LASER)를 결합한 하이브리드 방식이 순수 텐서 접근법보다 우수한 성능을 보이며, 이는 FFN 레이어의 헤비 테일 스펙트럼 때문에 행렬 수준의 대안이 더 우월함을 시사합니다.

의의 및 주장

본 논문은 텐서 분해가 잘못된 기하학을 최적화하기 때문에 독립적인 사후 훈련 LLM 압축 방법으로서 실패한다고 결론짓습니다. 모델의 기능을 수행하는 헤드(head), 뉴런(neuron), 전문가(expert) 특유의 스펙트럼 부분 공간을 왜곡하면서 프로베니우스 질량만을 보존함으로써, 이러한 방식은 깊이에 따라 축적되는 섭동(perturbation)을 도입하여 활성화 드리프트(activation drift)와 다운스트림 성능 저하를 유발합니다.

저자들은 다음과 같이 주장합니다:

텐서 분해는 훈련 없는 압축 시나리오에서 양자화의 대체제가 될 수 없습니다.
분해 방식 군 내에서는, LLM 가중치의 헤비 테일 특성으로 인해 텐서 형식이 행렬 수준의 대안(HASSLE-free 또는 SoLA와 같은)에 의해 압도됩니다.
텐서화의 실질적인 한계는 단순히 미세 훈련의 부족이 아니라 근본적인 구조적 불일치에 의해 정의됩니다. 효과적인 압축을 위해서는 연산자 인식 목적 함수(operator-aware objectives)나 경량 LoRA보다 훨씬 무거운 사후 분해 복구 전략이 필요합니다.

이 연구는 텐서 분해를 대규모 LLM 배포를 위한 주요 압축 전략이라기보다 보완적인 도구로서 재평가하는 주의 깊은 재검토 역할을 합니다.