🤖 machine learning

CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning

CoCurve는 피셔 행렬(Fisher matrix)을 통해 모듈 간 의존성을 포착하기 위해 2차 테일러 전개(second-order Taylor expansion)를 활용함으로써 어텐션(attention)과 FFN 유닛의 제거를 공동으로 최적화하고, 미세 조정 없이 단 한 번의 이차 계획법(quadratic program)을 통해 효율적인 레이블 프리(label-free) 압축을 가능하게 하는 LLM을 위한 학습 불필요(training-free) 구조적 프루닝(structured pruning) 방법이다.

원저자: Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수십억 개의 작은 기어와 스프링으로 만들어진 거대하고 똑똑한 로봇 두뇌를 상상해 보세요. 이것이 바로 대규모 언어 모델(LLM)입니다. LLM은 이야기를 쓰고, 수학 문제를 풀고, 심지어 소프트웨어 코드를 짤 수도 있는 일종의 AI입니다. 하지만 여기 함정이 있습니다. 이 두뇌들은 너무 거대하고 무거워서 실행하는 데 비용이 엄청나게 많이 들고 생각하는 속도도 느립니다. 일반 사람들이 일상에서 사용할 수 있도록 만들기 위해, 과학자들은 이들을 마치 거대한 도서관을 주머니 크기의 책으로 압축하듯 작게 줄여야 합니다. 이 과정을 '가지치기(pruning)'라고 부릅니다.

가지치기를 영화를 편집하는 것에 비유해 봅시다. 당신은 영화를 더 짧고 빠르게 만들기 위해 지루한 장면들을 잘라내고 싶지만, 줄거리를 망쳐서는 안 됩니다. 오랫동안 편집자들(과학자들)은 각 장면을 개별적으로 살펴보는 것이 최선이라고 생각했습니다. 만약 어떤 장면이 단독으로 보기에 지루하다면 그 장면을 자르기로 한 것입니다. 그들은 지루한 장면들을 몇 개 자른다고 해도 이야기는 그대로 유지될 것이라고 가정했습니다. 즉, 영화를 단순하고 독립적인 클립들의 목록처럼 취급한 것입니다.

하지만 이 논문은 영화(또는 AI 두뇌)가 단순히 독립적인 클립들의 목록이 아니라고 주장합니다. 영화는 장면들이 서로 대화하는 복잡한 그물망입니다. 때로는 단독으로는 지루해 보이는 장면이 다른 두 중요한 장면을 하나로 묶어주는 비밀스러운 접착제 역할을 하기도 합니다. 만약 그 '지루한' 장면을 잘라낸다면, 다른 장면들을 자르지 않았더라도 전체 이야기가 무너질 수 있습니다. 기존의 편집 방식은 이러한 숨겨진 연결 고리들을 놓쳤습니다.

CoCurve: 연결을 지도화하는 탐정

이 논문의 연구진(난양공과대학교 소속)은 CoCurve(Cross-Module Co-Pruning Curvature)라는 새로운 방법을 소개했습니다. CoCurve는 단순히 개별 기어가 약한지를 확인하는 대신, 모든 기어가 다른 모든 기어와 어떻게 연결되어 있는지 지도로 그리는 탐정 역할을 합니다.

그들이 이 작업을 수행한 방식은 간단한 비유를 통해 설명할 수 있습니다. AI 두뇌를 두 종류의 건물이 있는 거대한 도시라고 상상해 보세요. 바로 어텐션 타워(Attention Towers, AI가 특정 단어에 집중하도록 돕는 역할)와 FFN 팩토리(FFN Factories, 단어를 처리하고 이해하는 역할)입니다.

기존 방식 ( "노드 우선"의 실수): 전통적인 방식은 도시를 돌아다니며 각 건물을 개별적으로 점검한 뒤, "이 타워는 좀 비어 보이니 철거하자"라거나 "이 공장은 느려 보이니 폐쇄하자"라고 말했습니다. 그들은 몇 개의 빈 건물을 없애는 것이 도시에 큰 해를 끼치지 않을 것이라고 가정했습니다. 하지만 그들은 어떤 '빈' 타워들이 사실 두 활기찬 공장을 연결하는 유일한 다리 역할을 하고 있었다는 사실을 놓쳤습니다. 그 타워들을 철거하는 것은 도시 전체에 교통 체증을 일으켜 도시의 기능을 멈추게 했습니다.
CoCurve 방식: CoCurve는 건물만 체크하는 것이 아니라, 건물 사이의 다리를 체크합니다. 이 방식은 수학적 트릭(AI의 일부를 숨겼을 때 AI의 답변이 얼마나 변하는지를 측정하는 방식인 'KL 다이버전스'의 2차 테일러 전개)을 사용하여 도시의 지도를 그립니다.
- 이 지도에서 **대각선(diagonal)**은 단일 건물이 단독으로 얼마나 중요한지를 보여줍니다(기존 방식과 같습니다).
- **비대각선(off-diagonal lines)**은 '공동 가지치기 곡률(co-pruning curvature)'을 보여줍니다. 이는 두 특정 건물을 함께 없앴을 때 발생하는 추가적인 피해를 의미합니다. 이는 때때로 약해 보이는 두 건물이 사실 매우 강력한 팀을 이루고 있으며, 따라서 둘 다 반드시 유지해야 한다는 것을 드러냅니다.

마법 같은 기술: 별도의 학습이 필요 없음

보통 이러한 연결 관계를 파악하려면 AI를 재학습시키거나 수백만 번의 테스트를 수행하는 것과 같은 엄청난 노력이 필요합니다. 하지만 CoCurve는 '학습이 필요 없는(training-free)' 방식입니다. 이는 마치 단 한 번의 마법 같은 기술입니다.

연구진은 라벨이 없는 작은 텍스트 샘플(예: 책 몇 페이지)을 가져옵니다.
AI를 이 텍스트에 통과시키되, 하나의 건물을 한 번에 하나씩 '마스킹(숨기기)'하여 AI의 답변이 어떻게 꿈틀거리는지 관찰합니다.
영리한 수학적 지름길(그람 곱, Gram product)을 사용하여, 이 단 한 번의 테스트만으로 전체 연결 지도를 계산할 수 있습니다. 모든 가능한 건물 쌍을 일일이 테스트할 필요도 없고(시간이 너무 오래 걸립니다), AI의 가중치를 업데이트할 필요도 없습니다. 이 모든 과정은 한 번에 이루어집니다.

연구 결과

연구팀은 30억 개에서 240억 개의 파라미터를 가진 4개의 서로 다른 AI 모델을 대상으로 CoCurve를 테스트했습니다. 그리고 이를 9개의 다른 유명한 가지치기 방법들과 비교했습니다.

결과: CoCurve는 일관되게 다른 방법들보다 뛰어난 성능을 보였습니다. 특히 코드를 작성하거나 수학 문제를 푸는 것과 같이 까다로운 작업에서, 다른 방법들이 AI를 '붕괴'시켜 완전히 실패하게 만드는 상황에서도 CoCurve는 AI를 더 똑똑하고 유능하게 유지했습니다.
큰 승리: 240억 개의 파라미터를 가진 거대 모델에서, 뇌의 40%를 제거했을 때 CoCurve는 다음 단어 예측 능력(perplexity라고 불리는 척도) 면에서 그다음으로 좋은 방법보다 14.5배 더 뛰어난 성과를 냈습니다.
"다리"의 발견: 연구진은 이러한 이득이 단순히 '가장 좋은' 건물을 찾는 데서 온 것이 아님을 증명했습니다. 이 이득은 구체적으로 교차 모듈 엣지(cross-module edges), 즉 어텐션 타워와 FFN 팩토리 사이의 연결에서 왔습니다. 수학적 계산에서 이 연결들을 제거하자 성능이 훨씬 떨어졌으며, 이는 이 숨겨진 다리들이 핵심적인 요소임을 입증합니다.

언제 효과적인가?

연구진은 또한 이 탐정 작업이 언제 가장 유용한지에 대한 규칙을 찾아냈습니다. 만약 모델에 중복된 건물이 너무 많다면(예: 똑같은 일을 하는 공장이 100개 있는 도시), 연결 지도가 노이즈로 가득 차고 혼란스러워집니다. 그런 경우 CoCurve에는 '안전 스위치'(댐핑 계수, damping factor)가 있어, 복잡한 다리 매핑을 끄고 단순히 '각 건물을 개별적으로 체크하는' 방식에 머무르게 합니다. 이를 통해 연결 관계가 결정적이지 않은 모델에서도 성능을 악화시키지 않도록 보장합니다.

핵심 요약

CoCurve는 복잡한 AI 두뇌에서는 노드(부분)만 가지치기해서는 안 되며, 엣지(연결)도 함께 가지치기해야 한다는 것을 가르쳐줌으로써 판도를 바꿨습니다. AI의 서로 다른 부분들 사이의 숨겨진 팀워크를 존중함으로써, CoCurve는 지능을 잃지 않으면서도 더 작고 빠른 모델을 만들어냅니다. 이는 영화의 러닝타임을 절반으로 줄이면서도 줄거리를 온전히 유지하는 더 똑똑한 영화 편집 방식입니다.

기술 요약: CoCurve

문제 정의

구조적 가지치기(Structured pruning)는 어텐션 헤드(attention heads)나 피드포워드 네트워크(FFN) 채널 그룹과 같은 전체 계산 단위를 제거함으로써 대규모 언어 모델(LLM)을 압축합니다. 데이터와 연산량 요구가 없는 훈련 프리(training-free) 방식이 선호되지만, 이들은 일반적으로 치명적인 사각지대를 가집니다: 개별 유닛들을 독립적으로 순위화한다는 점입니다.

기존의 대부분의 접근 방식은 유닛 집합을 가지치기할 때 발생하는 손실이 각 유닛의 개별 손실의 합( $\Delta L(S) \approx \sum \Delta L(u)$ )이라고 가정합니다. 이러한 가정은 서브레이어들이 공유된 잔차 스트림(residual stream)을 통해 결합되어 있는 트랜스포머 아키텍처에서는 성립하지 않습니다. 결과적으로, 개별적으로는 약해 보이는(낮은 saliency를 가진) 두 유닛이 **결합적으로는 필수적(jointly indispensable)**일 수 있습니다. 독립적인 스코어링 방식은 이러한 결합 관계를 인지하지 못하며, 이로 인해 "브릿지 유닛(bridge units)"을 그들이 지원하는 유닛들과 함께 제거하여, 특히 코드 및 수학 작업에서 모델의 생성 능력을 불균형하게 손상시킵니다.

방법론: CoCurve

저자들은 어텐션과 FFN 유닛 간의 상호작용을 모델링하여 어텐션과 FFN 유닛을 공동으로 가지치기하는 캘리브레이션 전용(calibration-only), 훈련 프리 방식인 **CoCurve (Cross-Module Co-Pruning Curvature)**를 소개합니다.

1. 가지치기 리스크로서의 2차 자기 증류 (Second-Order Self-Distillation)

이 방법은 가지치기 리스크를 라벨이 없는 텍스트에 대한 동결된 전체 모델(교사)과 마스킹된 복사본(학생) 사이의 토큰 레벨 KL 발산(Kullback-Leibler divergence)으로 정의합니다.

0차 및 1차: 가지치기가 전혀 없을 때는 분포가 일치하므로, 리스크와 그 그래디언트는 소멸합니다.
2차: 테일러 전개의 주요 항은 순수하게 이차 형식(quadratic)입니다: $R(s) \approx \frac{1}{2} s^\top H s$ .
피셔 행렬 ( $H$ ): 이 단일 행렬 $H$ $H$ 는 다음을 포함합니다:
- 대각 성분 ( $H_{uu}$ ): 고전적인 노드 saliency (Optimal Brain Damage와 유사).
- 비대각 성분 ( $H_{uv}$ ): **공동 가지치기 곡률 엣지(Co-pruning curvature edges)**로, 유닛 $u$ 와 $v$ 를 함께 제거할 때 발생하는 추가적인 왜곡을 나타냅니다.

2. 단일 유닛 절제(Single-Unit Ablations)를 통한 실질적 추정

$M \times M$ 크기의 전체 상호작용 행렬을 계산하는 것은 일반적으로 $O(M^2)$ 의 쌍별 절제(pairwise ablations)를 필요로 합니다. CoCurve는 폐쇄형 추정치(closed-form estimator)를 도출함으로써 이를 회피합니다:

비대각 성분 $H_{uv}$ 는 단일 유닛 로짓 섭동 특징(logit perturbation features)의 **그람 곱(Gram product)**임이 입증되었습니다.
단 $M$ 번의 단일 유닛 절제 패스(유닛당 하나씩)를 수행하고, 이들의 로짓 변화량에 대한 피셔 가중 닷 프로덕트(Fisher-weighted dot products)를 계산함으로써 전체 상호작용 행렬을 복구할 수 있습니다.
이는 그래디언트, Hessian-vector 곱, 또는 쌍별 탐색(pairwise sweeps)을 필요로 하지 않습니다.

3. 원샷 그리디 솔버 (One-Shot Greedy Solver)

가지치기는 예산이 정해진 이진 이차 프로그램(budgeted binary quadratic program)으로 정식화됩니다. 저자들은 다음 기능을 갖춘 **비용 정규화 그리디 솔버(cost-normalized greedy solver)**를 사용합니다:

개별 노드 saliency와 이미 선택된 유닛들과의 누적된 상호작용을 모두 포함하는 한계 리스크(marginal risk)를 기반으로 제거할 유닛을 선택합니다.
어텐션과 FFN 유닛에 대한 공유 예산 하에서 작동하여, 수동으로 분할 비율을 고정하는 대신 최적의 분할을 결정할 수 있게 합니다.
2차 근사가 저하되는 높은 가지치기 비율에서 엣지 항을 억제하기 위한 **신뢰 영역 스칼라( $\lambda$ )**를 포함합니다. 이 $\lambda$ 는 FFN 채널 중복성에 기반한 라벨 프리 규칙에 의해 결정됩니다.

4. 보상 (선택 사항)

공격적인 비율의 경우, 제거된 유닛들로 인한 잔차 스트림의 변화를 흡수하기 위해 유지된 FFN 그룹의 출력을 재조정하는 폐쇄형 보상 단계를 수행할 수 있습니다. 이 단계 역시 그래디언트가 필요 없으며, 선택 과정에서 계산된 동일한 엣지 블록을 사용합니다.

주요 기여

노드에서 엣지로의 목적 함수: 기존의 독립적인 노드 랭킹을 넘어, 어텐션과 FFN 사이의 교차 모듈 공동 가지치기 곡률을 나타내는 이차 가지치기 리스크를 도출했습니다.
실용적인 추정치 및 솔버: 상호작용 행렬이 단일 유닛 절제 특징의 그람 곱이며, $O(M)$ 패스로 복구가 가능하다는 것을 입증했습니다. 이 방법은 가중치 업데이트나 복구 과정 없이 단 한 번의 샷으로 선택 문제를 해결합니다.
해석 가능한 메커니즘: 이 방법은 노드 우선 방식(node-first methods)이 버리는 "브릿지 유닛"(saliency는 낮지만 연결성은 높은 유닛)을 명시적으로 보호합니다. 이를 통해 구조적 가지치기를 고전적인 2차 방법(OBD/OBS)의 연속선상에 놓습니다.
예측 규칙: 단일 캘리브레이션 통계량(FFN 채널 중복성)이 엣지 항을 언제 신뢰하거나 억제해야 하는지를 사전에 예측하여, 경험적 관찰을 아키텍처 수준의 규칙으로 전환했습니다.

결과

저자들은 네 개의 데인스(dense) LLM(3B–8B)에서 CoCurve를 평가하였고, 24B 모델에 대한 스케일링 연구를 수행하여 14개의 벤치마크(언어 모델링, 상식, 지식, 수학, 코드 포함)에서 9개의 훈련 프리 베이스라인과 비교하였습니다.

성능: CoCurve는 강력한 훈련 프리 베이스라인들을 일관되게 능가합니다. 대표 모델인 Llama-3.1-8B-Instruct의 20% 가지치기 시, 언어 모델링, 세계 지식, 코드 생성에서 최고의 점수를 기록했으며, 상식 작업에서 가장 높은 평균치를 달야냈습니다.
취약한 작업: 이 방법은 다른 방법들이 흔히 붕괴하는 현상을 보이는 취약한 생성 작업(코드 및 수학)에서 가장 큰 성능 향상을 보여줍니다. 24B 모델에서 40% 가지치기를 수행했을 때, CoCurve는 가장 강력한 유효 베이스라인보다 **14.5배 낮은 퍼플렉시티(perplexity)**를 달성했습니다.
절제 실험(Ablations):
- 비대각 엣지 항을 제거하면 성능이 대각 성분만 사용하는(OBD 스타일) 선택기로 감소하며, 이는 엣지가 성능 향상을 주도함을 확인시켜 줍니다.
- 공동 어텐션-FFN 가지치기는 각 모듈을 단독으로 가지치기하는 것보다 우수한 성능을 보입니다.
- 엣지의 이점은 FFN 채널 중복성과 반비례 관계에 있습니다. 이 방법은 엣지가 오도할 수 있는 고중복 모델(예: Qwen2.5-32B)에서 엣지를 억제하는 게이트를 포함하여 성능 저하를 방지합니다.

의의 및 주장

본 논문은 구조적 LLM 가지치기를 다음과 같이 재정의합니다: "노드뿐만 아니라 엣지를 가지치기하라."

메커니즘: 저자들은 기존 방식의 실패 원인이 잔차 스트림을 통한 이종 모듈(어텐션과 FFN) 간의 결합을 무시하는 데 있다고 주장합니다. CoCurve는 도출된 피셔 곡률 행렬을 통해 이러한 결합을 포착합니다.
효율성: 이 방법은 엄격하게 훈련 프리 방식이며, 라벨, 미세 조정 또는 반복적인 재추정이 필요하지 않습니다. 또한 단일 유닛 절제를 위한 순방향 패스(forward passes)만 필요하므로 계산 효율적입니다.
강건성: 이 접근 방식은 "우아한 폴백(graceful fallback)"을 제공합니다. 엣지가 잘못된 정보를 줄 수 있는 고중복 모델의 경우, 자동으로 강력한 대각(OBD 스타일) 선택기로 돌아가 강력한 고전적 베이스라인보다 성능이 떨어지지 않도록 보장합니다.
범위: 저자들은 CoCurve를 중간 정도의 압축(moderate compression) 영역(약 30~40%까지)을 위한 솔루션으로 포지셔닝합니다. 모든 훈련 프리 방식과 마찬가지로 복구 과정 없이 극단적인 비율에서는 초선형적으로 성능이 저하될 수 있음을 인정하지만, 독립 랭킹 방식에 비해 사용 가능한 압축 한계를 크게 확장합니다.

결론적으로, 이 논문은 교차 모듈 상호작용이 단순히 장식적인 것이 아니라, 복잡한 생성을 위해 필요한 기능적 계산을 보존하는 데 있어 **부하를 견디는 핵심 요소(load-bearing)**이며, 이러한 상호작용을 모델링하는 것이 효과적인 구조적 가지치기에 필수적임을 밝히고 있습니다.