기술 요약: 유령 레이어 (Ghosted Layers) – 레이어 가지치기된 LLM 복원을 위한 제약 없는 활성화 정렬

1. 문제 제기

레이어 가지치기는 커스텀 커널이나 아키텍처 변경 없이 모델 크기와 추론 비용을 줄이기 위해 전체 트랜스포머 디코더 블록을 제거하는 대형 언어 모델 (LLM) 을 위한 실용적인 압축 기술입니다. 그러나 이러한 블록을 제거하면 **경계 활성화 불일치 (boundary activation mismatch)**가 발생합니다. 다음 생존 레이어로 전달되는 은닉 상태는 해당 레이어가 원래 처리하도록 훈련된 분포와 현저히 달라집니다. 이러한 분포 변화는 하위 레이어를 통해 전파되어 퍼플렉시티와 하위 작업 정확도 모두에서 상당한 성능 저하를 초래합니다.

기존의 훈련 없는 (training-free) 복원 방법들은 이러한 불일치를 완화하려 시도하지만 구조적 한계를 겪습니다:

• ReplaceMe는 생존 가중치에 흡수되는 선형 변환을 통해 가지치기된 블록의 계산을 근사하지만, 경계 불일치를 직접적으로 해결하지는 못합니다.
• LinearPatch는 하디마드 회전된 채널별 스케일링으로 매개변수화된 선형 연산자를 삽입함으로써 경계 활성화 불일치를 직접적으로 타겟팅합니다. 핵심적으로, 이 매개변수화는 **구성상 대칭적 (symmetric by construction)**이므로, 선형 연산자의 엄격한 부분 공간으로 탐색 공간을 제한하여 정렬 목표의 전역 최적점에 도달하는 것을 방해합니다.

실증 분석에 따르면, 이러한 방법들은 경계 활성화 오차의 상당 부분을 수정하지 못한 채 남겨두며, 이는 연산자의 제약된 성질이 가지치기된 모델의 성능을 완전히 복원하기에 불충분함을 시사합니다.

2. 방법론: 유령 레이어 (Ghosted Layers)

저자들은 경계 활성화 불일치를 제약 없는 최적 선형 연산자를 풀어서 해결하는 훈련 없는, 플러그앤플레이 (plug-and-play) 복원 모듈인 **유령 레이어 (Ghosted Layers)**를 제안합니다.

핵심 공식화

이 방법은 복원을 활성화 정렬 문제로 공식화합니다. $X_{pre}$를 가지치기된 첫 번째 레이어로 입력되는 은닉 상태 입력으로, $X_{post}$를 원래 가지치기되지 않은 모델에서 가지치기된 마지막 레이어의 은닉 상태 출력 (다음 생존 레이어의 입력) 으로 정의합니다. 목표는 $X_{pre}W \approx X_{post}$가 되도록 선형 연산자 $W$를 찾는 것입니다.

저자들은 경계 활성화 간격을 $\Delta = X_{post} - X_{pre}$로 정의합니다. 그리고 연산자를 $W = I + M$으로 재매개변수화하여, 간격의 재구성 오차를 최소화하는 것으로 목적 함수를 변환합니다:
$$\min_{M \in \mathbb{R}^{C \times C}} \| X_{pre}M - \Delta \|_F^2$$

폐쇄형 해법

제약된 부분 공간에서 최적화를 수행하는 이전 방법들과 달리, 유령 레이어는 선형 연산자의 전체 공간 $\mathbb{R}^{C \times C}$에 대해 **폐쇄형 최소 노름 최소제곱 해 (closed-form minimum-norm least-squares solution)**를 유도합니다:
$$M^* = X_{pre}^\dagger \Delta$$
여기서 $X_{pre}^\dagger$는 경계 전 활성화의 무어 - 펜로즈 의사역행렬 (Moore-Penrose pseudoinverse) 입니다. 최종 연산자는 $W^* = I + M^*$입니다.

구현

1. 보정 (Calibration): C4 에서의 128 개 시퀀스와 같은 소량의 보정 시퀀스 세트를 원래 가지치기되지 않은 모델에 통과시켜 전방 후크 (forward pre-hooks) 를 통해 $X_{pre}$와 $X_{post}$를 수집합니다.
2. 계산: 최적 연산자 $M^*$는 수치적 안정성을 보장하기 위해 정규화된 최소제곱 솔버 (또는 SVD) 를 사용하여 오프라인으로 계산됩니다.
3. 배포: 연산자 $W^*$는 전방 후크를 통해 가지치기 경계에 삽입됩니다. 연산은 $x_{new} = x W^* = x + x M^*$이며, 여기서 가산 항 $x M^*$는 가지치기된 레이어가 기여했을 증분 업데이트를 추정합니다.

이론적 이점

이 논문은 최적 연산자 $W^*$가 상당한 **반대칭 성분 (anti-symmetric component)**을 포함함을 증명합니다. LinearPatch 는 대칭 행렬 ($W = W^\top$) 로 탐색을 제한하므로, 구조적으로 이 반대칭 성분에 접근할 수 없습니다. 제약 없는 공간에서 작동하는 유령 레이어는 이 성분을 포착하여 정렬 목표의 진정한 최적점에 도달함을 이론적으로 보여줍니다.

3. 주요 기여

1. 가지치기 후 복원 공식화: 저자들은 복원을 활성화 정렬 문제로 공식화하고, 경계 활성화에서 직접 그 폐쇄형 최적 해를 유도합니다.
2. 제약 없는 최적성: 이 공식화가 LinearPatch 와 같은 대칭적 구성에서 접근할 수 없는 상당한 반대칭 성분을 포함하는 제약 없는 최적점을 산출함을 입증합니다.
3. 유령 레이어 모듈: 저자들은 임의의 가지치기 기준과 모델 아키텍처와 호환되는 훈련 없는, 플러그앤플레이 모듈을 제안합니다. 이는 일치된 추론 비용에서 기존 훈련 없는 베이스라인보다 일관되게 우수한 성능을 보입니다.

4. 실험 결과

이 방법은 여러 LLM 백본 (LLaMA-3-8B, LLaMA-3.1-8B, DeepSeek-R1-Distill-LLaMA-8B 및 부록의 기타 모델) 과 가지치기 전략 (LLM-Streamline, ShortGPT, Shortened LLaMA) 에 걸쳐 평가되었습니다.

• 정확도: 유령 레이어는 훈련 없는 베이스라인과 비교하여 9 가지 상식 추론 벤치마크 (ARC, HellaSwag, WinoGrande 등) 에서 일관되게 최고 또는 경쟁력 있는 평균 제로샷 정확도를 달성합니다. 예를 들어, 7 개의 레이어가 가지치기된 LLaMA-3.1-8B 에서 유령 레이어는 60.01% 의 평균 정확도를 달성하여 LinearPatch(Rotate) 의 53.27% 와 ReplaceMe(LS) 의 59.68% 를 능가했습니다.
• 퍼플렉시티: 이 방법은 WikiText-2, C4, Penn Treebank 에서 퍼플렉시티를 현저히 감소시킵니다. 공격적인 가지치기 시나리오 (11 개 레이어 제거) 에서는 베이스라인 대비 개선 폭이 확대되어, 유령 레이어가 대부분의 조합에서 최저 퍼플렉시티를 달성합니다.
• 효율성: 전체 $C \times C$ 행렬을 풀지만, 유령 레이어는 LinearPatch 대비 추가 추론 비용이 없습니다. 두 방법 모두 경계에서 단일 밀집 $C \times C$ 행렬 곱셈으로 연산을 융합합니다. 실증적 지연 시간 측정은 노이즈 마진 내에서 두 방법이 구별 불가능함을 확인했습니다.
• 보정 민감도: 이 방법은 보정 세트 크기에 강건하며, 정확도는 32 개의 시퀀스만으로도 포화됩니다. 또한 보정 데이터셋 (C4 대 WikiText-2) 의 선택은 성능에 미미한 영향만 미칩니다.
• 파인튜닝: 경량 지식 증류와 결합되더라도, 유령 레이어는 파인튜닝된 LinearPatch 변형보다 성능 우위를 유지하며, 이는 폐쇄형 초기화가 더 우수한 시작점을 제공함을 시사합니다.

5. 중요성과 주장

이 논문은 제약 없는 최적점에서 경계 활성화 정렬을 해결하는 것만으로도 재훈련 없이 레이어 가지치기된 LLM 의 성능을 상당 부분 복원할 수 있다고 주장합니다.

이 연구의 중요성은 가지치기된 모델의 성능 저하가 단순히 결여된 용량의 결과라기보다는 수정 가능한 분포 변화의 결과임을 보여준 데 있습니다. 대칭 행렬과 같은 제약된 연산자 부분 공간을 넘어 선형 맵의 전체 공간으로 이동함으로써, 유령 레이어는 이전 방법들이 놓친 구조적 정보 (특히 반대칭 성분) 를 복원합니다. 이 접근법은 원래 능력을 보존하면서 더 작고 가지치기된 LLM 을 배포하기 위한 단순하고 계산 효율적이며 매우 효과적인 솔루션을 제공합니다.