기술 요약: 대규모 언어 모델을 위한 속성 기반 지속적 학습

문제 정의

정적이고 광범위한 도메인 데이터로 훈련된 대규모 언어 모델 (LLM) 은 지속적 학습을 통해 새로운 작업에 적응할 때 종종 파괴적 망각을 겪습니다. 데이터 재생, 매개변수 정규화, 특정 레이어 고정과 같은 기존 완화 전략은 일부 성과를 보였으나, LLM 의 내부 매개변수 간에 지식과 작업별 행동이 어떻게 분포되어 있는지에 대한 메커니즘적 이해가 부족합니다. 결과적으로 이러한 방법들은 이전 지식을 유지하기 위해 어떤 매개변수를 보존해야 하고, 새로운 작업을 수용하기 위해 어떤 매개변수가 가소성을 유지해야 하는지를 효과적으로 구분하지 못합니다. 이러한 한계는 종종 간섭을 초래하여, 새로운 작업에 대한 업데이트가 이전 작업에 중요한 매개변수를 부주의하게 수정하게 만듭니다.

방법론

저자들은 매개변수 중요도 추정을 활용하여 그래디언트 업데이트를 조절하는 속성 기반 지속적 미세 조정 프레임워크를 제안합니다. 핵심 방법론은 두 가지 주요 단계로 구성됩니다:

1. 요소별 매개변수 중요도 추정

이 프레임워크는 예측된 다음 토큰 로그라이트를 각 Transformer 레이어 내의 개별 모델 매개변수에 할당하기 위해 **레이어별 관련성 전파 (LRP)**를 적용합니다.

• Transformer 에의 적용: 표준 LRP 는 입력 특징에 관련성을 할당합니다. 저자들은 이를 Feed-Forward Networks(FFN) 와 Multi-Head Attention(MHA) 모듈의 모델 매개변수(가중치와 편향) 의 기여도를 정량화하도록 확장합니다.
• 이차원 할당: Transformer 의 고유한 행렬 곱셈 (예: $QK^T$ 및 $WV$) 을 처리하기 위해, 이 방법은 AttnLRP 에서 영감을 받은 이차원 할당 원리를 사용합니다. 이는 행렬 곱셈을 이차 연산으로 간주하여 입력 활성화와 가중치 행렬 간에 관련성 점수를 분배하며, 보존 속성을 만족시킵니다.
• 유도:
  • FFN: 관련성이 두 개의 선형 레이어와 활성화 함수를 통해 전파되어 가중치 $W_1, W_2$와 편향 $b_1, b_2$에 대한 점수를 도출합니다.
  • MHA: 관련성이 어텐션 메커니즘을 통해 전파되어 쿼리, 키, 값 및 출력 프로젝션 가중치 ($W_Q, W_K, W_V, W_O$) 에 대한 점수를 도출합니다.
  • LoRA 지원: 이 방법은 LoRA 적응 모델에도 적용되어 고정된 백본과 학습 가능한 LoRA 행렬 ($A, B$) 에 대한 관련성을 모두 계산합니다.

2. 속성 기반 미세 조정

추정된 중요도 점수는 새로운 작업에 대한 최적화 과정을 안내하는 작업별 사전을 구성하는 데 사용됩니다.

• 사전 구성: 새로운 작업 $T_t$에 대해, 이 방법은 올바르게 생성된 샘플에서 정규화된 관련성 점수를 집계하여 작업별 중요도 지도 $R(W^{(l,t)})$를 먼저 추정합니다.
• 역사적 집계: 작업 $T_t$ 학습 동안, 프레임워크는 모든 이전 작업 ($T_1, \dots, T_{t-1}$) 의 중요도를 요소별 최댓값을 취하여 집계합니다:
  $$\bar{R}(W^{(l,t)}) = \left[ \max_{\tau < t} R(W^{(l,\tau)}) \right]_+$$
• 그래디언트 조절: 집계된 중요도 지도는 그래디언트 게이트로 작용합니다. 표준 그래디언트 $\nabla W$는 다음과 같이 조절됩니다:
  $$\tilde{\nabla} W^{(l,t)} = \left( 1 - \bar{R}(W^{(l,t)}) \right) \odot \nabla W^{(l,t)}$$
  • 높은 역사적 관련성(과거 작업에 중요한) 을 가진 매개변수는 0 에 가까운 게이트 값을 받아 더 작은 업데이트를 받습니다.
  • 낮은 역사적 관련성을 가진 매개변수는 1 에 가까운 게이트 값을 받아 새로운 작업을 학습하기 위해 자유롭게 업데이트될 수 있습니다.

주요 기여

1. 메커니즘적 통찰: 이 논문은 순차적 지속적 학습에서 서로 다른 작업에 대해 "중요한" 것으로 간주되는 매개변수 집합이 독립적인 단일 작업 미세 조정에서와 달리 최종 모델에서 매우 중첩됨을 보여주는 메커니즘적 분석을 제공합니다. 이러한 중첩은 파괴적 망각을 유발하는 간섭을 설명합니다.
2. 속성 프레임워크: 이 프레임워크는 입력뿐만 아니라 LLM 매개변수에 직접 관련성을 할당하기 위해 LRP 의 새로운 적용을 도입하며, Transformer 구성 요소 (FFN 및 MHA) 에 대한 구체적인 전파 규칙을 도출합니다.
3. 그래디언트 조절 전략: 제안된 방법은 데이터 재생이나 경직된 매개변수 고정을 요구하지 않고, 학습된 매개변수 중요도에 기반하여 업데이트를 선택적으로 제한하는 동적 요소별 지속적 학습 접근법을 제공합니다.

실험 결과

이 프레임워크는 전체 감독 미세 조정과 LoRA 기반 적응 설정 모두에서 대규모 언어 모델 (특히 Llama-3.2-Instruct-3B) 을 사용하여 지속적 학습 벤치마크에서 평가되었습니다.

• 성능: 이 방법은 기존 지속적 학습 베이스라인 (정규화, 재생, 고정 방법 포함) 보다 일관되게 우수한 성과를 보였습니다.
• 유지 대 가소성: 이전 학습 작업에 대한 성능 유지 측면에서 우수한 성과를 거두면서도 새로운 작업에 대한 경쟁력 있는 성능을 유지했습니다.
• 관찰: 실험은 제안된 방법이 이전 지식에 중요한 특정 매개변수 하위 집합을 보존함으로써 작업 간 간섭을 효과적으로 줄임을 확인했습니다.

중요성과 주장

이 논문은 무작위 재생이나 레이어 고정과 같은 휴리스틱 전략을 넘어 속성 기반 중요도 추정을 활용함으로써 LLM 에 대한 지속적 학습을 더 효율적이고 효과적으로 만들 수 있다고 주장합니다. 그 중요성은 다음과 같습니다:

• 의미 인식: 이 방법은 모델 내부의 지식 분포를 명시적으로 고려하여 보존해야 할 매개변수와 적응 가능한 매개변수를 구분합니다.
• 일반화 가능성: 이 프레임워크는 전체 매개변수 미세 조정과 매개변수 효율적 미세 조정 (LoRA) 시나리오 모두에 적용 가능합니다.
• 이론적 기반: 이 방법은 설명 가능성 (속성 방법) 과 최적화 (지속적 학습) 간의 간극을 메워, 모델이 학습한 표현에 기반하여 파괴적 망각을 완화하는 원칙적인 방식을 제공합니다.