기술 요약: GLASS – LLM 추론 시 희소화를 위한 전역 - 국소 집계

1. 문제 제기

자원이 제한된 엣지 장치에 대규모 언어 모델 (LLM) 을 배포하려면 메모리 트래픽과 계산 요구 사항을 줄여야 합니다. 정적 가지치기는 매개변수를 영구적으로 제거하는 반면, 동적 가지치기(입력에 기반하여 계산을 건너뛰는 방식) 는 유연한 대안을 제공합니다. 그러나 기존 Feedforward Network(FFN) 를 위한 학습이 필요 없는 동적 가지치기 방법은 뉴런 중요도를 추정하기 위해 프롬프트에서 유도된 신호(prefill 단계 중의 국소 활성화) 에만 의존합니다.

저자들은 이러한 "프롬프트 전용" 접근 방식에서 치명적인 실패 모드를 식별했습니다:

• 짧은 프롬프트에서의 신뢰성 부족: 짧은 프롬프트의 경우, 국소 활성화 신호만으로는 후속 장문 생성에 중요한 뉴런을 정확하게 예측하기에 부족합니다.
• 마스크 드리프트 (Mask Drift): 디코딩 단계 중의 활성화 패턴은 종종 prefill 마스크와 크게 달라져 부정확한 가지치기 마스크를 초래합니다.
• 열화된 충실도: 이러한 드리프트는 특히 프롬프트가 짧을 때 장문 디코딩 중 생성 품질 저하 (높은 퍼플렉시티 및 KL 발산) 로 이어집니다.

이러한 드리프트를 수정하기 위해 마스크를 온라인으로 업데이트하는 것은 가능하지만, 이는 계산 오버헤드를 유발하고 빠른 메모리에 고정된 소형 가중치 부분 집합을 유지하는 것의 이점 (엣지 배포의 핵심 장점) 을 무효화합니다.

2. 방법론: GLASS

저자들은 GLASS(Sparsification 을 위한 전역 - 국소 집계) 를 제안합니다. 이는 뉴런의 중요성에 대한 두 가지 보완적인 관점, 즉 프롬프트별 국소 활성화와 모델 고유의 전역 사전 지식을 집계하여 동적 FFN 가지치기를 안정화시키는 플러그 앤 플레이 방식의 학습 불필요 프레임워크입니다.

2.1 Null-Prompt Stimulation(NPS) 을 통한 전역 사전 지식 추정

GLASS 는 코퍼스 편향을 초래할 수 있는 외부 데이터셋 (예: 위키백과) 대신 **Null-Prompt Stimulation(NPS)**을 사용하여 전역 사전 지식을 계산합니다.

• 메커니즘: 모델은 일반적인 샘플링 설정 하에서 null 프롬프트 (예: 빈 문자열 또는 BOS 토큰) 를 사용하여 스스로 텍스트를 생성합니다.
• 이점: 이는 외부 데이터 편향 없이 모델의 고유한 뉴런 활용도를 탐구합니다.
• 전역 중요도 ($M^g$) 의 두 가지 변형:
  1. A-GLASS(활성화 크기): NPS 시퀀스 동안 뉴런의 평균 $\ell_2$ 정규화 활성화 크기를 계산합니다.
  2. I-GLASS(신경 영향): 1 차 테일러 전개 (테일러 가지치기와 유사) 를 사용하여 뉴런을 제거할 때 교차 엔트로피 손실에 미치는 영향을 계산합니다. 기울기는 자기 생성 NPS 시퀀스에 대한 teacher-forcing 을 통해 계산됩니다.

2.2 순위 집계

GLASS 는 가중 순위 집계 규칙을 사용하여 국소 신호 (입력 프롬프트에서 유도된 $A^l$) 와 전역 신호 (NPS 에서 유도된 $M^g$) 를 융합합니다.

• 순위 매기기: 스케일과 분포의 차이를 처리하기 위해 국소 및 전역 중요도 점수를 모두 순위 ($R^{(l)}$ 및 $R^{(g)}$) 로 변환합니다.
• 확률론적 해석: 저자들은 GLASS 를 순열 기반 확률 모델 (구체적으로 제곱 스피어만 순위 거리를 가진 Mallows 유형 모델) 하에서 최대 사후 확률 (MAP) 합의 순위를 찾는 것으로 해석합니다.
• 융합 공식: 뉴런 $j$의 최종 점수는 해당 순위의 가중 합입니다:
  $$GLASS_j = (1 - \lambda)R^{(l)}_j + \lambda R^{(g)}_j$$
  여기서 $\lambda$는 국소 증거 대 전역 증거의 신뢰성을 조절합니다. 기본 설정은 동등한 신뢰성을 가정하여 $\lambda = 0.5$입니다.
• 선택: 가장 높은 GLASS 점수를 가진 상위 $k$개의 뉴런이 선택되어 가지치기 마스크를 형성하며, 이는 디코딩 단계에서 적용됩니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. 실패 모드 식별: 저자들은 프롬프트 전용 학습 불필요 희소화가 활성화 드리프트로 인해 짧은 프롬프트 - 장문 생성 시나리오에서 실패하여 생성 충실도가 저하됨을 입증합니다.
2. GLASS 프레임워크: 국소 프롬프트 증거와 NPS 를 통해 계산된 모델 고유 전역 사전 지식을 융합하여 견고한 마스크를 생성하는 플러그 앤 플레이 방식의 학습 불필요 프레임워크를 도입했습니다.
3. 이론적 기반: Mallows 유형 모델 하에서 MAP 합의 순위로서 GLASS 의 확률론적 해석을 제공하여 가중 순위 집계 규칙에 대한 원칙적인 정당성을 제시합니다.
4. 실증적 성능: 어려운 시나리오에서 기존 학습 불필요 베이스라인 (특히 GRIFFIN) 보다 상당한 개선을 입증했습니다. 50% 희소성에서 퍼플렉시티 45.10% 감소 및 KL 발산 25.73% 감소를 달성했으며, 동시에 장치 내 속도 향상을 이루었습니다.

4. 실험 결과

저자들은 Gemma, Llama, Mistral, OPT, Qwen, Phi 계열을 포함한 다양한 오픈 소스 LLM 에 대해 GLASS 를 평가했으며, 분류, 단문 생성, 장문 생성 벤치마크에서 테스트했습니다.

• 장문 생성 (Alpaca 벤치마크): GLASS 는 가장 강력한 학습 불필요 베이스라인 (GRIFFIN) 을 크게 능가했습니다.
  • Gemma 3n E2B: GRIFFIN 대비 45.10% 낮은 퍼플렉시티 및 25.73% 낮은 KL 발산을 달성했습니다.
  • Gemma 2 27B: 12.48% 낮은 퍼플렉시티 및 22.80% 낮은 KL 발산을 달성했습니다.
  • Llama 3 8B: 23.28% 낮은 퍼플렉시티 및 21.98% 낮은 KL 발산을 달성했습니다.
• 단문 생성 및 분류: GLASS 는 표준 분류 및 단문 생성 작업에서 GRIFFIN 과 유사한 성능을 보였으며, 이는 전역 사전 지식이 장문 생성 안정성에 가장 중요함을 시사합니다.
• 오라클 중첩 분석: 실험 결과, 국소 또는 전역 신호만 사용하는 것에 비해 전역 - 국소 집합이 "오라클" 중요 뉴런 집합에 훨씬 더 가까운 마스크를 생성함을 보였습니다 (Jaccard 유사도가 약 0.52 에서 약 0.60 으로 증가).
• NPS 대 WikiText: 전역 사전 지식 추정을 위해 WikiText 기반 통계 대신 NPS 를 사용하는 것이 일관되게 더 나은 성능을 보였으며, 이는 NPS 가 더 신뢰할 수 있고 편향이 없는 중요도 추정을 제공함을 확인시켜 주었습니다.
• 장치 내 성능: Samsung Galaxy S25 Ultra 에서 평가했습니다.
  • Gemma 7B의 경우, 50% FFN 감소로 모델이 완전히 RAM 에 상주할 수 있게 되어, 메모리 스와핑으로 고통받았던 밀집 베이스라인 대비 약 11 배의 디코딩 속도 향상을 얻었습니다.
  • Llama 3 8B의 경우 **42%**의 속도 향상이 관찰되었습니다.

5. 중요성 및 주장

본 논문은 GLASS 가 엣지 장치에 대한 신뢰할 수 있는 속도 향상을 가능하게 한다고 주장하며, 특히 소비자 응용 프로그램에서 일반적인 짧은 프롬프트와 장문 생성으로 특징지어지는 워크로드에 해당합니다.

• 견고성: 안정적인 모델 고유 전역 지식과 컨텍스트별 국소 증거를 융합함으로써 GLASS 는 프롬프트 전용 방법들을 괴롭히는 "드리프트" 문제를 완화합니다.
• 효율성: 학습 보조 예측기를 만들거나 토큰마다 마스크를 재계산하는 오버헤드 없이 입력 컨텍스트에 동적으로 적응하면서도 정적 마스크의 이점 (빠른 메모리에 고정된 가중치 상주) 을 유지합니다.
• 일반성: 이 방법은 모델에 구애받지 않으며 학습이 필요 없어 미세 조정 없이 다양한 사전 훈련된 LLM 에 적용 가능합니다.
• 이론적 건전성: 이 방법은 임의의 휴리스틱이 아니라 확률론적 합의 순위 모델에 기반하고 있습니다.

저자들은 모델 고유 전역 지식이 프롬프트 기반 희소화를 개선하기 위한 중요하지만 이전에는 미활용되었던 자원이며, 자원 제약 하드웨어에서의 효율적인 추론을 가능하게 한다고 결론지었습니다.