🤖 machine learning

Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference

이 논문은 모델 가중치를 수정하지 않고도 다양한 모델 크기, 작업 및 모달리티에 걸쳐 확장 가능한 정확도-효율성 트레이드오프를 달로하며, 행렬 곱의 정보가 풍부한 슬라이스를 선택적으로 유지함으로써 트랜스포머 기반 모델의 계산 비용을 줄이는 학습이 필요 없는 입력 적응형 추론 방법인 Reduced Matrix Multiplication (RMM)을 소개한다.

원저자: Zixuan Lan, Yanhong Li, Jiawei Zhou

게시일 2026-08-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zixuan Lan, Yanhong Li, Jiawei Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대적인 컴퓨터의 두뇌를 거대하고 초지능적인 사서라고 상상해 보세요. 이 사서는 단순히 책을 읽는 것에 그치지 않고, 책을 쓰고, 수학 문제를 풀며, 심지어 사진을 보고 이야기를 들려주기도 합니다. 이를 위해 사서는 '트랜스포머(Transformer)'라고 불리는 특별한 종류의 두뇌 구조를 사용합니다. 트랜스포머를 정보가 흐르는 조립 라인이 있는 거대한 공장이라고 생각해 보세요. 이 라인의 모든 정거장에서 공장은 거대한 계산을 수행합니다. 바로 거대한 숫자 격자들을 서로 곱하는 것인데, 이것이 마법을 일으키는 '행렬 곱셈(matrix multiplications)'입니다. 문제는 이 계산들이 믿기지 않을 정도로 무겁다는 점입니다. 마치 티스푼으로 모래 산을 옮기려는 것처럼 엄청난 에너지와 시간을 필요로 합니다. AI 모델이 더 똑똑해지고 커질수록 이 '산'은 더 높아지며, 이들을 실행하는 데 드는 비용과 시간은 늘어납니다. 과학자들은 오랫동안 궁금해했습니다. 사서가 매번 작업할 때마다 정말 그 모래 산에 있는 모든 모래알을 다 사용하는 걸까요, 아니면 사서가 눈치채지 못할 정도로 쓸데없는 모래가 아주 많이 섞여 있는 걸까요?

이 논문은 **축소 행렬 곱셈(Reduced Matrix Multiplication, RMM)**이라는 영리하고 새로운 기술을 소개합니다. 공장을 영구적으로 축소하거나 사서의 기억 일부를 삭제하는 대신(이는 문제를 일으킬 수 있습니다), RMM은 똑똑한 '실시간 필터'처럼 작동합니다. 사서가 거대한 계산을 하기 직전마다 RMM은 잠시 멈춰 서서 질문합니다. "지금 이 격자에서 실제로 핵심적인 역할을 하는 숫자는 무엇인가?" 그러고 나서 가장 중요한 숫자들, 예를 들어 상위 50%나 70%만을 골라내고 나머지는 그 순간 동안 무시합니다. 이는 요리사가 국물을 만들기 위해 냉장고에 있는 모든 채소를 다 다지는 대신, 국물 맛을 빠르게 본 뒤 지금 이 특정 풍미를 위해 필요한 당근과 양파만을 골라 사용하는 것과 같습니다. 가장 멋진 점은 사서가 이를 하기 위해 새로 훈련받거나 배울 필요가 없다는 것입니다. 이미 생성하고 있는 숫자들을 통해 자연스럽게 작동할 뿐입니다.

연구진은 이 아이디어를 10억 개의 파라미터를 가진 작은 모델부터 700억 개의 파라미터를 가진 거대 모델에 이르기까지 다양한 AI 모델에 대해 테스트했습니다. 그들은 이 모델들이 놀라울 정도로 유연하다는 것을 발견했습니다. 숫자의 일부만 남기고 계산량을 줄였음에도 불구하고, 모델들은 무너지지 않았습니다. 사실, 모델이 커질수록 모델은 정신줄을 놓지 않고도 더 많은 모래를 기꺼이 버릴 수 있는 것처럼 보였습니다. 예를 들어, 700억 개의 파라미터를 가진 거대 모델은 계산량을 50% 줄였음에도 불구하고 이전과 거의 비슷하게 질문에 답하고 이야기를 써 내려갈 수 있었습니다. 하지만 논문은 이 공장들이 어떻게 구축되어 있는지에 대한 재미있는 특징을 발견했습니다. '어텐션(attention)' 부분(모델이 어디에 집중할지 결정하는 부분)은 매우 느긋해서 작업량의 절반을 잃어도 쉽게 견뎌낼 수 있습니다. 그러나 'MLP' 부분(정보를 실제로 처리하고 변형하는 부분)은 훨씬 더 민감하여, 너무 많이 깎아내면 모델이 비틀거리기 시작합니다.

연구팀은 또한 이 기술이 텍스트 전용 모델뿐만 아니라 보고 말할 수 있는 모델에도 작동한다는 것을 보여주었습니다. 그들은 심지어 이러한 숫자들을 건너뛰는 것이 실제로 컴퓨터를 얼마나 더 빠르게 만드는지 증명하기 위해 특별한 소프트웨어 도구들을 만들었으며, 특히 이야기나 문장이 매우 길어질 때 효과적이었습니다. 이 논문은 이것이 AI를 더 저렴하고 빠르게 만드는 유망한 방법임을 시사하지만, 모두에게 적용되는 단 하나의 '완벽한' 설정은 없다는 점 또한 언급합니다. 모델의 특성과 무엇을 요청하느냐에 따라 얼마나 깎아낼지를 조정해야 합니다. 하지만 전반적으로 RMM은 이 디지털 거인들을 더 가볍게 실행할 수 있는, 별도의 훈련이 필요 없는 새로운 방법을 제공하며, 때로는 수학을 덜 하는 것이 오히려 더 명료하게 생각하는 데 도움이 될 수 있음을 증명합니다.

기술 요약: LLM 추론을 위한 축소 행렬 곱셈 (Reduced Matrix Multiplication, RMM)

문제 정의
트랜스포머 기반 언어 모델은 강력한 성능을 달성하지만, 어텐션(Attention) 및 피드포워드(MLP) 레이어에서의 반복적인 고차원 행렬 곱셈으로 인해 상당한 추론 비용이 발생합니다. 기존 연구들은 구조적 프루닝(structured pruning), 저차원 근사(low-rank approximation), 토큰 압축 또는 KV-캐시 관리를 통해 추 inference 효율성을 다루어 왔으나, 이러한 방법들은 대개 고정된 모델 구조를 수정하거나 입력/캐시의 길이를 줄이는 방식입니다. 이들은 모델 가중치를 수정하지 않고도 특정 입력에 대해 행렬 곱 내부의 수축된 계산(contracted computation)을 적응적으로 줄일 수 있는지에 대해서는 직접적으로 다루지 않습니다. 기존의 활성화 희소성(activation-sparsity) 방법들(예: TEAL, CATS)은 낮은 크기의 활성화 엔트리를 건너뛰지만, 일반적인 행렬 곱의 공유된 수축 축(shared contraction axes)을 줄이는 것이 아니라 은닉 상태(hidden states)를 희소화하는 데 집중합니다.

방법론: 축소 행렬 곱셈 (RMM)
저자들은 훈련이 필요 없는(training-free), 입력 적응형 추론 방법인 **축소 행렬 곱셈 (RMM)**을 제안합니다. RMM은 트랜스포머 계산의 통합 형태인 $Y = AB $에서 작동하며, 여기서$ A $는 활성화 행렬을,$ B$는 가중치 행렬(또는 중간 표현)을 나타냅니다.

핵립 메커니즘: 전체 곱 $AB$를 계산하는 대신, RMM은 현재 입력의 활성화 크기에 따라 공유된 수축 차원 $d$ 를 따르는 인덱스의 부분 집합 $I$ 를 동적으로 선택합니다. 그 후 축소된 곱 $A_{:,I} B_{I,:}$ 를 계산합니다.
선택 전략: 이 방법은 활성화 인식 차원 선택(activation-aware dimension selection) 방식을 사용합니다. 각 특징 차원 $j$ 에 대해, 중요도 점수 $s_j = \|A_{:,j}\|_2$ (활성화 행렬의 열 노름)를 계산합니다. 가장 높은 점수를 가진 상위- $k$ 인덱스를 유지하며, 이때 $k = \lceil \rho d \rceil$ 이고 $\rho$ 는 사용자가 제어하는 유지 비율입니다.
이론적 근거: 저자들은 선택 시점에 $A$ 만 알고 있을 때, 가능한 모든 가중치 행렬 $B$ 에 대해 최악의 경우 근사 오차를 최소화하기 위해 열 노름(column norm)에 의한 TopK 선택이 **미니맥스 최적(minimax optimal)**임을 증명합니다. 이는 활성화 크기를 사용하여 감소를 유도하는 것에 대한 원칙적인 정당성을 제공합니다.
적용 범위: RMM은 다음 분야에 적용됩니다:
- 어텐션 레이어: $QK^\top$ (쿼리-키 상호작용)에서의 특징 차원 축소 및 선택적으로 $PV$ (어텐션-밸류 상호작용)에서의 토큰 차원 축소.
- MLP 및 선형 투영(Linear Projections): 피드포워드 투영($XW$)에서의 은닉 차원 축소.
구현: 이 방법은 특징 점수를 계산하고 상위- $k$ 선택을 수행하는 과정이 필요한데, 이는 교체되는 밀집 행렬 곱에 비해 매우 가벼운 벡터 연산입니다. 실제적인 이득을 실현하기 위해 커스텀 Triton 커널이 구현되었습니다.

주요 기여

입력 적응형 축소: 가중치를 프루닝하거나 토큰을 압축하거나 캐시를 관리하는 것과는 구별되는, 행렬 곱 자체의 수축된 계산을 줄이는 새로운 관점의 추론 최적화를 도입했습니다.
훈련 불필요 및 제어 가능성: 재학습을 요구하지 않으며, 단순한 유지 비율( $\rho$ )에 의해 제어되는 매끄럽고 예측 가능한 정확도-효율성 트레이드오프를 제공합니다.
메커니즘적 통찰: 절제 연구(ablation studies)를 통해 논문은 트랜스포머의 **구조적 비대칭성(structural asymmetry)**을 밝혀냈습니다:
- 어텐션 측 계산 (Q, K, V 투영, $QK^\top$ , $PV$)은 훨씬 더 많이 축소 가능하며 공격적인 프루닝에도 견고합니다.
- MLP 구성 요소는 축소에 훨씬 더 민감하며, 특히 "Up" 투영이 가장 민감하고 "Down" 투영은 더 견고합니다. MLP 블록 전체를 프루닝하면 심각한 성능 붕괴가 일어납니다.
일반화: 이 원리가 텍스트 전용 모델을 넘어 멀티모달 시각-언어 추론(예: Qwen2.5-VL)까지 확장됨을 입증했습니다.

실험 결과
저자들은 1B에서 70B 파라미터에 이르는 모델(LLaMA 3.1/3.2 및 Qwen 제품군 포함)과 다양한 작업(QA, 추론, 요약, 롱 컨텍스트, 시각-언어)에 대해 RMM을 평가했습니다.

성능 vs 정적/무작위 베이스라인: 고정된 유지 비율(예: $\rho=0.5$ ) 하에서, RMM은 정적 프루닝 방법(SparseGPT, Wanda, SliceGPT) 및 무작위 프루닝보다 일관되게 우수한 성능을 보였습니다. 정적 방법들은 불안정한 성능 저하를 겪는 반면, RMM은 일관된 생성 및 추론 능력을 유지합니다.
스케일링 트렌드: 모델이 클수록 일반적으로 더 공격적인 축소를 잘 견딥니다. 예를 들어, LLaMA 3.1 70B는 대부분의 벤치마크에서 $\rho=0.8$ 에서도 전체 모델 성능에 근접한 성능을 유지하는 반면, 작은 모델은 특히 GSM8K나 HumanEval 같은 어려운 작업에서 더 빠르게 성능이 저하됩니다.
견고성: RMM은 자기회귀 생성(autoregressive generation) 및 롱 컨텍스트 설정(최대 30K 토큰)에서도 안정적이며, 급격한 실패보다는 완만한 성능 저하를 보여줍니다.
런타임 효율성: 커스텀 커널을 사용한 NVIDIA A100 GPU 벤치마크 결과, 계산량 절감이 실제 벽시계 시간(wall-clock time) 단축으로 이어짐을 확인했습니다(예: 4096 토큰에서 1.40배 속도 향상). 특히 4096 토키 시점에서 밀집(dense) 구현은 메모리 부족(OOM)이 발생했으나, RMM은 추론을 완료했습니다.
호환성: 이 방법은 INT8 가중치 양자화와 호환되며 다양한 시각-언어 모델 백본으로 확장 가능합니다.

의의 및 주장
본 논문은 RMM을 입력 적응형 추론 시점 최적화를 위한 확장 가능한 방향으로 포지셔닝합니다. 주요 의의는 트랜스포머 추론의 중복성이 균등하게 분포되어 있지 않으며, 특정 구성 요소(특히 어텐션 측 연산)에 집중되어 있고 입력에 따라 달라진다는 점을 입증한 데 있습니다. 이러한 구조적 비대칭성과 입력 의존적 활성화 정보를 활용함으로써, RMM은 모델 재학습이나 구조적 수정 없이도 제어 가능한 효율성 이득을 달성합니다. 저자들은 행렬 곱 수준의 적응형 축소가 효율적인 트랜스포머 추론을 위한 유망한 경로임을 결론지으며, 향후 방법론들이 구성 요소별 중복 패턴을 고려해야 함을 시사합니다.

한계점
본 연구는 훈련이 필요 없는 공식에 집중되어 있습니다. 저자들은 이 범위를 넘어선 확장(예: 적응형 축소를 사전 훈련 목적 함수에 통합하는 것)을 탐구하지 않았으며, 초기 평가 외에 복잡한 시각-언어 모델의 모든 구성 요소에 걸친 중복 패턴에 대한 상세한 연구를 수행하지 않았음을 인정합니다. 또한, 커스텀 커널이 속도 향상을 보여주기는 했으나, 모든 추론 프레임워크 및 양자화 백엔드와의 완전한 통합은 향후 과제로 남아 있습니다.

기술 요약: LLM 추론을 위한 축소 행렬 곱셈 (Reduced Matrix Multiplication, RMM)

유사한 논문