기술 요약: 지식만으로는 부족하다: 지속적 적응을 위한 RL 기술 주입

문제 제기

대형 언어 모델 (LLM) 은 근본적인 '지식 차단 (knowledge cutoff)' 문제에 직면해 있습니다. 사전 학습 후 모델의 매개변수 메모리가 고정되어 새로운 정보나 도구를 내재화할 수 없기 때문입니다. 검색 증강 생성 (RAG) 은 외부 컨텍스트를 통해 이를 완화하려 시도하지만, 장기 의존성 모델링 문제와 추론 오버헤드로 인해 한계가 있습니다. 이에 따라 연구는 매개변수 지식 업데이트 (예: 지식 편집, 테스트 시간 학습) 로 전환되었습니다.

그러나 현재 적응 패러다임에는 치명적인 한계가 존재합니다. 지식과 추론 기술 간의 기능적 단절입니다.

• **지도 미세 조정 (SFT)**은 사실적 내용 (무엇) 을 효과적으로 암기하지만, 하류 작업에서 해당 지식을 추론하거나 조작하는 방법 (어떻게) 을 모델에 가르치는 데는 종종 실패합니다. SFT 를 통해 학습된 모델은 사실을 '알고' 있을지라도 이를 역동적으로 활용하지 못해 오류를 마주치면 환각 현상이나 경직된 행동을 보입니다.
• **강화 학습 (RL)**은 견고한 추론 및 실행 기술 (어떻게) 을 습득하는 데 필수적이지만, 온-정책 탐색 및 상호작용 데이터가 필요하다는 높은 계산 비용으로 인해 새로운 모든 시나리오에 대한 효율적이고 지속적인 온라인 적응에는 비실용적입니다.

핵심 문제는 매번 새로운 도메인마다 RL 을 처음부터 학습하는 prohibitive 한 비용 없이 모델에 새로운 도메인 지식과 이를 활용하는 절차적 기술을 모두 갖추게 하는 방법입니다.

방법론: 매개변수 기술 전이 (PaST)

저자들은 **매개변수 기술 전이 (PaST)**를 제안합니다. 이는 지식 습득과 기술 습득을 분리하여, 목표 도메인에서 명시적인 RL 없이도 도메인 간 추론 능력을 전이할 수 있게 하는 모듈식 프레임워크입니다.

1. 이론적 기반: 업데이트의 직교성

이 방법은 SFT($\Delta W_{SFT}$) 와 RL($\Delta W_{RL}$) 에 의해 유도된 매개변수 업데이트가 거의 직교한다는 경험적 관찰에 기반합니다.

• 경험적 증거: LooGLE 및 ToolBench 작업과 같은 모델 레이어 전반에 걸친 코사인 유사도 분석은 $\Delta W_{SFT}$와 $\Delta W_{RL}$이 매개변수 공간의 분리된 부분 공간에 위치함을 보여줍니다. 이들의 상관관계는 일관되게 0 에 가깝지만, 두 개의 독립적인 SFT 업데이트 사이에는 유의미한 상관관계가 나타납니다.
• 함의: 지식 (사실 주입) 과 기술 (절차적 논리) 은 별도로 최적화되고 파괴적 간섭 없이 선형적으로 결합될 수 있습니다.

2. PaST 프레임워크

PaST 는 두 단계로 운영됩니다.

1 단계: 소스 도메인 기술 추출

1. SFT 앵커링: 기본 모델을 소스 도메인의 지식 코퍼스 ($C_S$) 로 미세 조정하여 $\theta^S_{sft}$를 얻습니다.
2. RL 정제: SFT 모델을 소스 상호작용 궤적 ($T_S$) 에서 RL 학습을 거쳐 추론 정책을 내재화하여 $\theta^S_{rl}$을 생성합니다.
3. 기술 벡터 추출: RL 매개변수에서 SFT 매개변수를 빼서 도메인 중립적인 기술 벡터($v_{skill}$) 를 추출합니다.
   $$v_{skill} = \theta^S_{rl} - \theta^S_{sft}$$
   이 벡터는 도메인 특유의 선언적 사실을 제거한 추론 개선의 '경사' 방향을 포착합니다.
   • 정제: 특정 소스 콘텐츠에 과적합되는 것을 방지하기 위해 반복 부트스트래핑 전략을 사용합니다. 소스 도메인을 하위 집합으로 나누고, 이전 라운드의 벡터를 다음 RL 단계의 웜-스타트로 주입하며 라운드마다 기술 벡터를 반복적으로 정제합니다.

2 단계: 목표 도메인 적응

1. 경량 SFT: 목표 모델을 새로운 목표 도메인 문서 ($C_T$) 로 미세 조정하여 $\theta^T_{sft}$를 얻습니다. 이는 모델을 새로운 사실로 앵커링합니다.
2. 선형 주입: 추출된 기술 벡터를 목표 모델에 선형적으로 주입합니다.
   $$\theta_{final} = \theta^T_{sft} + \lambda \cdot v_{skill}$$
   (여기서 $\lambda$는 스케일링 계수로, 실험에서는 1 로 설정됨). 이는 소스에서 학습된 추론 기하학을 목표 지식 다양체에 접목시켜 복잡한 작업의 제로샷 실행을 가능하게 합니다.

주요 기여

1. 추론 - 지식 단절의 식별: 이 논문은 SFT 만으로는 절차적 논리를 새로운 도메인으로 전이하기에 부족하며, 주로 표면적 암기를 유도함을 강조합니다.
2. 직교성에 대한 경험적 증거: 저자들은 SFT 와 RL 업데이트가 거의 직교하는 부분 공간을 차지한다는 엄격한 증거를 제시하여 지식과 기술을 분리하고 재결합할 수 있는 타당성을 입증했습니다.
3. PaST 프레임워크: 소스 도메인에서 학습된 RL 기술을 타겟 도메인으로 전이하기 위해 태스크 벡터 연산을 활용하는 새로운 방법으로, 비용이 많이 드는 타겟 도메인 RL 을 우회합니다.
4. 분리와 전이 가능성: 지식 조작과 실행 기술을 효과적으로 분리하고 전이할 수 있음을 입증하여 데이터가 부족한 목표 도메인에서의 견고한 적응을 가능하게 합니다.

실험 결과

저자들은 PaST 를 세 가지 벤치마크에서 평가했습니다.

1. 지식 통합 (SQuAD):

   • 설정: 모델이 테스트 시간 업데이트를 통해 지문을 암기하고 컨텍스트 없이 질문에 답해야 하는 오픈북 QA.
   • 결과: PaST 는 **56.9%**의 정확도를 달성하여 최첨단 자기 편집 기준선 SEAL(47.0%) 과 표준 "지문 + 합성 학습" 기준선 (39.7%) 을 크게 앞섰습니다. 이는 합성 기준선 대비 17.2% 의 절대적 개선을 의미하며, 기술 벡터가 필수적인 추론 논리를 제공함을 입증했습니다.

2. 장문맥 추론 (LooGLE):

   • 설정: 21k 토큰을 초과하는 문서에 대한 QA.
   • 결과: PaST 는 정확도를 표준 SFT 의 30.1% 에서 **38.1%**로 8.0 포인트 향상시켰습니다. 이 방법은 방대한 문서에 성공적으로 확장되어 모델을 수동적인 사실 저장소에서 정밀한 매개변수 검색이 가능한 전문가로 변모시켰습니다.

3. 도메인 간 도구 사용 (ToolBench):

   • 설정: 컨텍스트 없이 이름만으로 API 를 사용해야 하는 오픈북 실행으로, '영화' 소스 도메인에서 20 개의 보이지 않는 목표 카테고리로 기술을 전이합니다.
   • 결과: PaST 는 평균 성공률을 목표 SFT 의 21.9% 에서 **32.2%**로 10.3 포인트 높였습니다. 기준선이 완전히 실패한 영역 (예: 광고: 0% $\to$ 16.7%) 에서 제로샷 활성화를 달성했습니다.

4. 효율성 비교:

   • PaST 는 약 75 단계로 학습된 목표 도메인 RL 과 동등한 성능 (44.0% 대 44.6%) 을 보였지만, 목표 도메인에서 추가 학습 시간이 전혀 소요되지 않았습니다. 목표 RL 은 문서당 약 72 분이 소요된 반면, PaST 는 소요되지 않았습니다.

의의 및 주장

이 논문은 PaST 가 지속적 적응을 위한 계산적으로 효율적이고 확장 가능한 온-정책 RL 대안을 제공한다고 주장합니다. 매개변수 업데이트의 직교성을 활용함으로써, 이 방법은 모델이 경량 SFT 를 통해 새로운 지식을 습득하는 동시에 사전 학습된 소스에서 견고한 추론 능력을 물려받을 수 있게 합니다. 이는 '아는' 것과 '사용하는' 것 사이의 간극을 메워, 지식과 추론 기술이 모두 빠르게 진화해야 하는 역동적인 현실 세계 환경에서 LLM 을 배포할 때 발생하는 치명적인 병목 현상을 해결합니다.

저자들은 다음과 같은 한계를 겸손하게 지적합니다. QA 및 도구 사용 외의 더 넓은 실험 도메인 필요성, 정적 스케일링 계수 ($\lambda=1$) 의 사용, 그리고 주로 Qwen2.5-7B 아키텍처에 의존한다는 점으로, 이러한 역학이 더 넓은 모델 규모에서 확인되기 위해서는 향후 연구가 필요함을 시사합니다.