기술 요약: 학습, 빠르고 느리게: 지속적 적응이 가능한 LLM 을 향해

문제 제기

대형 언어 모델 (LLM) 은 일반적으로 감독 미세 조정 (SFT) 또는 강화 학습 (RL) 과 같은 매개변수 업데이트를 통해 하위 작업에 적응합니다. 이는 효과적이지만, 모델이 모든 작업별 정보를 단일 영구 가중치 세트로 흡수하도록 강요합니다. 이는 근본적인 병목 현상을 초래합니다: 도메인 내 성능을 향상시키는 업데이트는 동시에 모델을 기본 행동에서 멀어지게 하여 출력 엔트로피를 감소시키고, 분포 외 (OOD) 일반화를 저하시키며, "가소성 손실"—미래 작업에 효과적으로 적응하지 못하는 능력—을 유발합니다. 반면, 컨텍스트 학습 (예: 프롬프트 최적화) 은 가중치를 수정하지 않고 빠르고 저렴한 적응을 가능하게 하지만, 일반적으로 매개변수 업데이트를 통해 달성 가능한 성능 상한선에는 미치지 못합니다. 이 논문은 학습을 컨텍스트 내 또는 가중치 내 메커니즘 중 하나로 제한하는 것이 비최적이며, 현재 방법론이 양자의 상호 보완적 강점을 활용하지 못한다고 주장합니다.

방법론: 빠르고 느린 학습 (FST)

저자들은 두 가지 상호 보완적 적응 채널을 공동으로 최적화하는 빠르고 느린 학습 (FST) 프레임워크를 소개합니다:

1. 느린 가중치 ($\theta$): 검증 가능한 보상 (RLVR) 을 통한 강화 학습으로 드물고 비용이 많이 드는 업데이트를 받는 모델 매개변수입니다. 이들은 장기적이고 영구적인 행동을 인코딩합니다.
2. 빠른 가중치 ($\Phi$): 반성적 프롬프트 진화 (GEPA) 를 통해 빈번하고 저렴하게 업데이트되는 텍스트 컨텍스트 (프롬프트, 지시문) 의 집단입니다. 이들은 일시적이고 작업별 신호를 포착합니다.

학습 루프

FST 는 길이 $T$의 주기 내에서 두 가지 업데이트 루프를 교차시킵니다:

• 빠른 루프 (컨텍스트 최적화): 현재 정책 $\pi_\theta$를 사용하여 시스템이 롤아웃을 생성합니다. 고정된 "반성" LLM 이 이러한 롤아웃 (사고, 도구 호출, 오류, 피드백 포함) 을 분석하여 텍스트 변이를 제안합니다. GEPA 는 단일 최상의 프롬프트 대신 $K$개의 프롬프트로 구성된 파레토 프런티어 집단을 유지합니다. 이 집단은 다양성을 보존하여 서로 다른 프롬프트가 작업 분포의 서로 다른 하위 집합에 특화되도록 합니다.
• 느린 루프 (매개변수 업데이트): 정책 $\theta$는 잘린 대리 목적 함수 (CISPO) 를 사용하는 그룹 상대적 정책 최적화 (GRPO) 로 업데이트됩니다. 중요한 점은 RL 업데이트를 위한 롤아웃 생성 동안 시스템이 $K$개의 빠른 프롬프트 전체 집단에서 샘플링한다는 것입니다. 이점 계산은 전체 그룹에 걸쳐 보상을 정규화하여 프롬프트와 샘플링 과정 모두에서 유발된 변이를 혼합합니다.

이 공진화는 빠른 가중치가 특정 작업의 교훈 (예: 특정 휴리스틱 또는 오류 수정) 을 즉시 흡수하여 모델을 더 나은 추론 방향으로 이끄는 것을 가능하게 합니다. 그런 다음 느린 가중치는 이러한 진화하는 컨텍스트 하에서 업데이트되어 모델이 단일 정적 프롬프트에 과도하게 특화되거나 기본 정책에서 너무 멀어지는 것을 방지합니다.

주요 기여

1. 프레임워크 통합: 이 논문은 신경과학과 초기 신경망 문헌에서 유래한 빠른/느린 가중치라는 이론적 개념을 LLM 사후 학습에 구현하며, 구체적으로 가중치를 위한 RLVR 과 프롬프트를 위한 GEPA 를 결합합니다.
2. 파레토 프런티어 프롬프트 집단: 단일 프롬프트를 최적화하는 이전 연구와 달리, FST 는 다양한 프롬프트 집단을 유지합니다. 이는 RL 에이전트가 동일한 이점 계산 내에서 서로 다른 조건부 행동을 가진 응답들을 비교할 수 있게 하여 더 풍부한 기울기 신호를 제공합니다.
3. 교차 최적화: 이 방법은 순차적인 "학습 후 튜닝" 패러다임을 피합니다. 대신 정책과 프롬프트 집단이 공진화하도록 허용하는데, 프롬프트 집단이 현재 정책에 적응하고 정책이 진화하는 프롬프트에 적응합니다.

실험 결과

저자들은 Qwen3-8B 를 기본 모델로 사용하여 세 가지 추론 영역 (CodeIO: 코드 출력 예측, Polaris: 수학, HoVer-hard: 다중 홉 사실 검증) 에서 FST 를 평가했습니다.

• 데이터 효율성: FST 는 표준 RL 의 실행 피크 성능에 도달하는 데 훨씬 적은 단계를 사용합니다: CodeIO 에서 3.0 배 적게, 수학에서 1.4 배 적게, HoVer-hard 에서 3.0 배 적게입니다.
• 성능 점근선: FST 는 RL 단독보다 일관되게 더 높은 성능 상한선에 도달합니다. 예를 들어, HoVer-hard 에서 적합된 점근선은 RL 의 17.3% 에서 FST 의 25.0% 로 개선됩니다.
• 감소된 모델 드리프트: 일치된 보상 수준에서 FST 로 학습된 모델은 RL 전용 모델에 비해 기본 정책과의 KL 발산이 최대 70% 낮습니다. 이는 느린 가중치가 기본 구성에 더 가깝게 유지됨을 나타냅니다.
• 보존된 가소성: 2 단계 학습 실험 (작업 X 학습 후 작업 Y 학습) 에서 FST 로 시작된 모델은 작업 Y 를 효과적으로 학습할 능력을 유지합니다. 반면, RL 전용 모델은 종종 두 번째 작업에서 거의 제로 성능으로 붕괴하여 심각한 가소성 손실을 보여줍니다.
• 지속적 학습: 작업 도메인이 200 단계마다 전환되는 설정에서 FST 는 새로운 목표에 빠르게 적응하는 반면, RL 전용 모델은 초기 작업 이후 새로운 작업을 획득하지 못하거나 멈춥니다.
• 메커니즘 분석:
  • 관찰 1: 빠른 가중치는 느린 가중치보다 작업 신호를 훨씬 빠르게 획득합니다. 합성 스타 그래프 작업에서 FST 는 프롬프트 진화에 의해 주도되어 약 50 단계에서 측정 가능한 보상을 달성한 반면, RL 전용은 약 300 단계까지 제로에 근접했습니다.
  • 관찰 2: 성능 상한선이 높아지는 이유는 두 채널 모두 보상을 최적화하기 때문입니다. 빠른 가중치를 느린 가중치로 증류 (FST-distill) 하는 것은 프롬프트 전용 방법보다 성능을 향상시키지만, 최대 성능을 위한 FST 공동 접근법의 상한선에는 도달하지 못하여 두 구성 요소가 최대 성능에 필수적임을 확인시켜 줍니다.

중요성과 주장

이 논문은 효과적인 LLM 사후 학습은 매개변수 학습을 따른 프롬프트 튜닝으로 보지 않고, 다중 적응 채널에 대한 최적화로 보아야 한다고 주장합니다.

• 분업: 작업별 및 빠르게 진화하는 개선을 빠른 텍스트 가중치를 통해 라우팅함으로써, 느린 매개변수 가중치는 영구적이고 일반적인 추론 행동을 통합할 수 있게 됩니다.
• 지속적 학습: 이 분업은 데이터 효율성이 높고, 파괴적이지 않으며 (낮은 KL 드리프트), 지속적 학습에 더 적합한 사후 학습 방법으로 가는 길을 제시하여 심층 지속적 학습에서 관찰된 "가소성 손실" 현상을 해결합니다.
• 정보 효율성: 이 프레임워크는 컨텍스트 업데이트에서 풍부한 텍스트 피드백 (사고, 오류) 을 활용하여 이진 RLVR 보상과 종종 관련된 "회당 1 비트" 정보 한계를 극복합니다.

저자들은 FST 가 추론 모델을 위한 유망한 방향을 나타낸다고 결론지으며, 모든 작업별 정보를 모델 가중치에 증류할 필요는 없으며, 선언적 (프롬프트) 지식과 절차적 (가중치) 지식 사이의 분리를 유지하는 것이 범용 추론기에게 중요하다고 제안합니다.