기술 요약: 지식 충돌 완화를 위한 게이트 변조 활성화 스티어링 (Shift - Gate-Modulated Activation Steering)

문제 정의

검색 증강 생성(RAG)은 외부 지식을 통합하여 대규모 언어 모델(LLM)을 강화하지만, **지식 충돌(knowledge conflict)**이라는 결정적인 문제에 직면합니다. 이는 검색된 문맥적 증거가 모델의 파라미터 지식(사전 학습 중에 인코딩된 지식)과 상충할 때 발생합니다. 이러한 시나리오에서 LLM은 유효한 검색 증거를 무시하거나, 오래되었거나 잘못된 파라미터 지식에 과도하게 의존하거나, 두 소스를 일관성 없이 혼합하여 사실적 신뢰성을 저해할 수 있습니다.

기존의 완화 전략은 다음과 같은 상당한 한계를 가진 두 가지 범주로 나뉩니다:

1. 뉴런 수준의 개입(Neuron-level interventions): 특정 지식 관련 뉴런을 찾아 수정하려고 시도합니다. 그러나 지식은 종종 희소하게 표현되므로, 미세한 국지화(localization)는 취약하며 일반적인 모델 능력에 의도치 않은 연쇄 효과를 일으킬 가능성이 높습니다.
2. 레이어 수준의 개별 개입(Layer-level interventions): 선택된 레이어나 구성 요소에 고정된 규칙을 적용합니다. 이는 더 실용적이기는 하지만, 다양한 충돌 사례에 따른 유연성이 부족하며 경직된 개입 체계로 인해 일반적인 능력을 저해할 수 있습니다.

방법론: Shift 프레임워크

본 논문은 학습 가능한 게이트 변조(gate modulation) 문제로 지식 충돌 완화를 재정의하는 경량 프레임워크인 Shift(Selective Hidden-state Intervention on Feed-forward Networks)를 제안합니다. Shift는 백본 LLM의 파라미터를 수정하지 않고 작동합니다.

1. 게이트 변조 활성화 스티어링 (Gate-Modulated Activation Steering)

Shift는 각 트랜스포머 레이어의 피드포워드 네트워크(FFN) 브랜치에 경량화되고 학습 가능한 게이트 모듈을 삽격합니다. 직접적으로 가중치를 편집하거나 정적인 규칙을 적용하는 대신, 이 게이트들은 입력에 따라 은닉 상태(hidden-state) 활성화를 적응적으로 변조합니다.

• 메커니즘: 레이어 $l$과 토큰 $t$에서의 은닉 상태 $\tilde{h}_{l,t}$에 대해, FFN의 기여도는 스칼라 게이트 값 $g_{l,t}$에 의해 스케일링됩니다:
  $$h_{l,t} = \tilde{h}_{l,t} + g_{l,t} \cdot \text{FFN}_l(\text{LN}(\tilde{h}_{l,t}))$$
• 게이트 계산: 게이트 값은 다음과 같이 계산됩니다:
  $$g_{l,t} = \lambda_g \cdot \sigma(w_l^\top \tilde{h}_{l,t} + b_l)$$
  여기서 $\sigma$는 시그모이드 함수이며, $w_l$과 $b_l$은 학습 가능한 파라미터이고, $\lambda_g$는 변조 범위를 제어합니다.
• 초기화: 모델이 원래의 동작을 유지하도록 보장하기 위해, 게이트는 $g_{l,t} \approx 1$이 되도록 초기화됩니다 (구체적으로, $b_l = \text{logit}(1/\lambda_g)$). 이를 통해 초기에는 FFN 출력이 변경되지 않습니다.

2. 강화 학습 기반 최적화 (GRPO)

게이트 파라미터는 백본 LLM을 동결(frozen)한 상태에서 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용하여 최적화됩니다.

• 프로세스: 각 입력에 대해, 게이트가 적용된 정책은 후보 응답 그룹을 생성합니다.
• 보상 신호: 다음을 포함하는 복합 보상이 사용됩니다:
  • 형식 보상(Format Reward): 구조화된 출력을 보장합니다.
  • 충실도 보상(Faithfulness Reward): 검색된 문맥이 정답일 때는 문맥과 일치하도록 유도하고, 문맥이 오도하는 경우 파라미터 지식과 일치하도록 유도합니다.
• 정규화: 게이트 파라미터가 동결된 백본의 일반적인 동작을 방해하는 것을 방지하기 위해 L2 정규화 항이 적용됩니다.
• 목적 함수: 최적화는 정책이 참조(동결된) 모델과 가깝게 유지되도록 제한하면서 GRPO 손실을 최소화하고, 게이트 파로미터의 큰 편차에 패널티를 부여합니다.

주요 기여

1. 최소 침습적 프레임워크: Shift는 백본 LLM의 파라미터 수정 없이 내부 활성화를 동적으로 제어함으로써 지식 충돌을 해결하는 게이트 변조 프레임워크를 도입합니다.
2. 입력 의존적 적응: 정적인 레이어 수준 개입과 달리, Shift는 GRPO를 통해 최적화된 입력 의존적 게이트를 사용하여 문맥적 지식과 파라미터 지식 사이의 균형을 적응적으로 맞춥니다. 이는 전체 파라미터의 0.01% 미만만을 학습함으로써 달성됩니다.
3. 경험적 우위: 광범에한 실험을 통해 Shift가 지식 충돌을 완화하면서 모델의 일반적인 능력을 더 잘 보존하는 데 있어 강력한 베이스라인(프롬프팅 전략, 디코딩 기반 방법, 풀 파인튜닝 접근 방식 포함)을 지속적으로 능가함을 입증했습니다.

실험 결과

저자들은 Qwen 및 Llama 모델 제품군(0.6B에서 8B 파라미터 범위)을 사용하여 HotpotQA, SearchQA, NewsQA, Natural Questions, TriviaQA, SQuAD 등 6개의 데이터셋과 도메인 외(out-of-domain) 벤치마크인 ConFiQA에서 Shift를 평가했습니다.

• 성능: Shift는 베이스라인들을 지속적으로 압도했습니다. MRQA 벤치마크에서, 가장 강력한 베이스라인 대비 평균 6.16%(Qwen-3-0.6B) 및 2.64%(Qwen-3-8B)의 향상을 달した입니다. 충돌 특화 설정(ConFiQA)에서는 개선 폭이 더욱 두드러졌습니다 (예: Qwen-3-0.6B에서 EM +11.15%).
• 일반화: 이 방법은 서로 다른 모델 아키텍처(Qwen 및 Llama)와 규모 전반에 걸쳐 견고한 전이성을 보여주었습니다. 작은 모델들이 크게 benefited 되었으며(Llama-3.2-1B에서 최대 34.72% 향상), 큰 모델에서도 여전히 긍정적인 이득을 보였습니다.
• 능력 보존: 결정적으로, Shift는 백본 모델의 일반적인 능력을 보존했습니다. MMLU 벤치마크에서 성능 저하는 미미했으며(평균 감소 < 0.5%), 8B Qwen 모델은 원래 점수의 99.3%를 유지했습니다.
• 메커니즘 분석: 게이트 활성화를 시각화한 결과, 훈련된 게이트가 충돌 유형(올바른 문맥 vs 올바른 파라미터 지식)을 구분하는 법을 학습했음을 보여주었습니다. 이 유형들을 분리하는 AUC(Area Under the Curve)는 0.500에서 0.832로 증가했습니다.

의의 및 주장

본 논문은 Shift가 RAG의 지식 충동 문제에 대한 최소 침습적이고 유연한 솔루션을 제공한다고 주장합니다. 취약한 뉴런 편집이나 경직된 레이어 개입에서 적응형 게이트 변조로 전환함으로써, 이 프레임워크는 LLM이 상충하는 지식 소스 사이를 효과적으로 중재할 수 있게 합니다.

저자들은 다음과 같은 점을 강조합니다:

• 풀 파인튜닝과 관련된 "파괴적 망각(catastrophic forgetting)"을 피합니다.
• 뉴런 수준 편집의 "취약성" 및 "연쇄 효과"를 방지합니다.
• 모델의 일반 지식의 무결성을 유지하면서 필요한 경우 외부 증거를 활용하는 능력을 향상시키는, 확장 가능하고 파라미터 효율적인 방법(파라미터 <0.01% 학습)을 제공합니다.

결론적으로, 본 연구는 경량 게이트를 통한 적응적 내부 조절이 신뢰할 수 있는 검색 증강 생성을 달성하기 위한 유망한 패러다임임을 보여줍니다.