기술 요약: 자기 정합 언어 모델 (SCoL)

문제 정의

대규모 언어 모델 (LLM) 은 점점 더 다중 턴 대화, 도구 활용 에이전트, 장시간 워크플로우가 포함된 스트리밍 환경에서 작동합니다. 컨텍스트 창 크기를 늘리면 모델이 더 많은 증거에 접근할 수 있게 되지만, 유용한 정보가 보존되거나 효과적으로 재사용된다는 보장은 없습니다. 모델은 종종 원거리 증거를 충분히 활용하지 못하며, 컨텍스트 길이와 추론 복잡도가 증가함에 따라 성능이 저하됩니다. 기존 솔루션은 외부 검색, 보조 메모리 모듈, 손실 압축, 또는 반복적인 추론 시 처리에 의존하며, 이는 검색 품질이나 메모리 관리에 대한 의존성을 초래합니다.

본 논문은 장 컨텍스트 추론을 지속적 컨텍스트 통합 문제로 재정의합니다. 목표는 컨텍스트 스트림에서 유용한 정보를 모델의 가중치 (내부 메모리) 에 직접 기록하면서 이전에 통합된 지식을 보존하는 것입니다. 이 접근법은 신경망 매개변수의 순차적 업데이트가 이전 지식을 덮어쓰는 파괴적 간섭이라는 도전에 직면합니다. 이를 완화하기 위한 고전적 방법 (예: 피셔 기반 정규화) 은 종종 LLM 규모에서 계산적으로 prohibitive 하거나 구현에 민감합니다.

방법론: 자기 정합 언어 모델 (SCoL)

저자들은 SCoL을 제안합니다. 이는 LLM 이 주어진 컨텍스트에 대해 자신의 아키텍처 내 어디를 적응시킬지 지정하는 텍스트 기반 업데이트 지시를 생성하도록 학습하는 사후 학습 프레임워크입니다.

핵심 메커니즘

1. 행동 생성: 현재 컨텍스트 $c_t$가 주어지면, 정책 모델 $\pi_{\theta_{t-1}}$은 업데이트할 구조적 단위 (특히 Transformer 레이어) 의 텍스트 목록을 생성합니다.
2. 적응: 모델은 선택된 레이어에 저랭크 적응 (LoRA) 모듈을 부착하고 컨텍스트에 대해 표준 언어 모델링 업데이트를 수행합니다.
3. 변동 상태: 정책이 고정되는 표준 메타러닝과 달리, SCoL은 변동 모델 상태 하에서 작동합니다. 각 확정된 업데이트는 모델 매개변수 $\theta_t$를 변경하며, 이는 향후 업데이트 선택을 생성할 정책 $\pi_{\theta_t}$를 변경합니다.

메타 강화 학습을 통한 훈련

SCoL 은 획득(현재 컨텍스트 학습) 과 보존(이전 컨텍스트 망각 방지) 사이의 균형을 맞추도록 설계된 메타 강화 학습 루프로 훈련됩니다.

• 내부 루프 (선택 및 확정):

  • 각 컨텍스트에 대해 모델은 $K$개의 후보 텍스트 행동 (레이어 선택) 을 샘플링합니다.
  • 각 후보는 적응 (LoRA 업데이트) 되고 보상 함수 $r_t$를 사용하여 점수가 매겨집니다.
  • 가장 높은 보상을 받은 후보가 실행 중인 모델 가중치에 확정됩니다.
  • 후보들의 보상으로부터 선호도 쌍이 구성되어 외부 루프를 위한 데이터셋을 형성합니다.

• 외부 루프 (정책 업데이트):

  • 사전 적응 정책 매개변수 $\theta_0$는 누적된 선호도 데이터에 **정체 선호도 최적화 (Identity Preference Optimization, IPO)**를 사용하여 업데이트됩니다.
  • 이는 정책의 초기화를 업데이트하여 향후 롤아웃이 더 나은 업데이트 위치 선택을 생성하도록 합니다.

보상 구체화

이 프레임워크는 두 가지 보상 체계를 지원합니다:

1. 지도 학습 (SQuAD): 보상은 현재 컨텍스트에 대한 하류 QA 정확도 (획득) 와 과거 홀드아웃 쿼리에 대한 정확도 저하 (망각) 를 결합합니다.
2. 내재적 (LongBench v2): 레이블이 없는 스트림의 경우, 보상은 현재 컨텍스트의 로그 가능도 증가 (획득) 와 과거 컨텍스트 로그 가능도의 정규화된 감소 (망각) 에 기반합니다.

주요 기여

1. 장 컨텍스트 추론의 재정의: 저자들은 장 컨텍스트 추론을 지속적 컨텍스트 통합으로 재해석하여, 정보가 일시적 프롬프트나 외부 저장소에 보관되는 것이 아니라 가중치 내부화되도록 합니다.
2. SCoL 프레임워크: LLM 이 자신의 가중치를 어디에 업데이트할지에 대한 텍스트 설명을 생성하도록 학습하는 사후 학습 패러다임입니다. 이는 지도 QA 보상과 내재적 가능도 기반 보상을 모두 포함하는 메타 강화 학습을 통해 구체화됩니다.
3. 실증적 검증: 이 프레임워크는 지식 통합 (SQuAD) 과 장 컨텍스트 통합 (LongBench v2) 에서 평가되었으며, 프롬프팅, 요약, 배치 테스트 시간 훈련, 순차적 파인튜닝보다 개선된 성능을 입증했습니다.

결과

지속적 지식 통합 (SQuAD)

• 성능: SCoL 은 100 개의 순차적 패시지에서 즉각 정확도 **35.40%**와 보존율 **20.46%**를 달성했습니다. 이는 프롬프트 전용 (28.17%), 배치 테스트 시간 훈련 (26.52%), 순차적 파인튜닝 (보존율이 1.30% 로 붕괴됨) 보다 우수했습니다.
• 망각의 역할: 망각 항을 제거 ($\lambda=0$) 하면 즉각 획득은 향상되었으나 (34.30%), 보존율은 14.64% 로 하락하여 명시적 보존 보상이 파괴적 망각을 완화하는 데 필수적임을 확인했습니다.
• 선택 패턴: 모델은 희소 업데이트 위치를 선택하도록 학습했으며, 특히 최종 Transformer 레이어 (예: 레이어 27) 에 집중했습니다.
• 피셔 정렬: 선택된 레이어는 높은 피셔 정보 영역과 유의미하게 정렬되었습니다 (45.1% 재현율 vs. 35.7% 무작위 기준). 이는 모델이 손실 민감 영역으로 가소성을 라우팅하는 법을 학습함을 시사합니다.

장 컨텍스트 통합 (LongBench v2)

• 일반화: SCoL 은 짧은 스트림 (16k–32k 토큰) 에서 메타 훈련되었으나, 짧은 스트림과 긴 스트림 (32k–64k 토큰) 모두에서 평가되었습니다.
• 성능: 짧은 구간에서 SCoL 은 **42.3%**를 달성하여 모든 기준선을 능가했습니다. 긴 구간에서는 **37.0%**를 달성하여 순차적 파인튜닝 (23.0%) 과 인-컨텍스트 방법을 크게 능가했습니다.
• 안정성: 순차적 파인튜닝은 컨텍스트 길이가 증가함에 따라 성능 붕괴를 겪은 반면, SCoL 은 경쟁력 있는 성능을 유지하여 통합 메커니즘이 길이 무관 구조를 포착함을 시사합니다.

중요성과 주장

본 논문은 SCoL 이 모델로 하여금 적응 사이트를 스스로 선택하도록 가르침으로써 스트리밍 통합을 위한 확장 가능한 접근법을 제공한다고 주장합니다. 주요 발견 사항은 다음과 같습니다:

• 희소 가소성: 모델은 높은 피셔 정보 레이어와 정렬된 희소 업데이트 위치를 생성하도록 학습하여, 간섭을 제한하면서 가소성을 손실 민감 영역으로 효과적으로 라우팅합니다.
• 확장성: 짧은 메타 훈련 스트림에서 학습된 선택 행동은 추론 중 전체 컨텍스트 접근이 필요하지 않은 상태에서 더 긴 평가 스트림으로 효과적으로 이전됩니다.
• 내부 메모리: 컨텍스트를 가중치에 기록하는 것은 검색 품질이나 손실 요약에 의존하지 않으므로 외부 메모리나 압축보다 더 견고한 대안을 제공합니다.

저자들은 내부 루프 적응의 계산 오버헤드와 확장된 훈련 라운드 동안의 모드 붕괴 (레이어 선택 다양성 감소) 가능성을 포함한 한계를 인정합니다. 향후 연구는 다양성 정규화와 더 긴 시퀀스로의 메타 훈련 확장에 초점을 맞출 수 있다고 제안합니다.