기술 요약: 영구적 LLM 편집을 위한 소프트 재귀적 최소제곱법 (RLSEdit)

1. 문제 제기

실제 환경에 배포된 대규모 언어 모델 (LLM) 은 필연적으로 구식이거나 잘못된 지식을 포함하고 있습니다. 모델 편집을 통해 전체 재학습 없이 특정 사실을 업데이트할 수 있지만, 실제 배포는 장기적인 순차적 편집 스트림을 수반합니다. 이로 인해 '가소성 - 안정성 딜레마'가 발생합니다:

• 사후 편집 망각: 반복적인 '하드 쓰기'(예: 위치 확인 후 편집 방법) 는 간섭을 누적시켜, 미래의 편집이 이전 편집의 지식을 덮어쓰거나 저하시키게 됩니다.
• 일반 능력 저하: 경직된 보존 제약 조건 (예: 널-스페이스 편집기) 은 명시적으로 제약된 방향은 보호할 수 있지만, 편집 스트림이 커짐에 따라 제약되지 않은 일반 능력 (추론, 코딩) 의 저하나 이전 사실의 유지를 방지하지 못합니다.

기존 방법들은 수천 번의 업데이트에 걸쳐 이전 편집과 모델의 일반 능력을 모두 보존하면서 유입되는 정보를 기억해야 하는 필요성 사이에서 균형을 맞추는 데 어려움을 겪고 있습니다.

2. 방법론: RLSEdit

저자들은 장기적인 순차적 편집을 위해 설계된 재귀적 최소제곱 편집기인 RLSEdit을 제안합니다. 이 방법은 편집을 하드 제약이 아닌 소프트 제약이 포함된 온라인 정규화 최소제곱 문제로 재정의합니다.

2.1 수식화

이 방법은 트랜스포머 레이어 내의 단일 선형 매핑 $W$(예: 어텐션 프로젝션) 를 대상으로 합니다. 각 편집이 키 - 값 쌍 $(K_t, V_t)$를 제공하는 편집 시퀀스 $t=1 \dots T$에 대해, 시간 $t$에서의 목적은 다음을 최소화하는 최적 가중치 $W^*_t$를 찾는 것입니다:

$$W^*_t := \arg \min_W \sum_{i=1}^t \|K_i W - V_i\|_F^2 + \lambda^2 \|W - W_0\|_F^2 + \mu^2 \|K_0 W - V_0\|_F^2$$

여기서:

• 피팅 항: $\sum \|K_i W - V_i\|_F^2$는 지금까지 관찰된 모든 편집의 오차를 누적합니다.
• 매개변수 드리프트 정규화 ($\lambda$): 초기 사전 학습된 가중치 $W_0$에서의 편차를 패널티합니다.
• 앵커 매핑 정규화 ($\mu$): 지정된 앵커 매핑 $(K_0, V_0)$에서의 편차를 패널티하며, 이는 보존해야 할 제약 조건 집합 (예: 배경 지식) 을 나타냅니다.

이 수식화는 하드 쓰기와 하드 보존 사이를 보간하는 '소프트 제약' 체제를 생성합니다.

2.2 효율적인 온라인 재귀

매 단계마다 최소제곱 문제를 직접 해결하는 것은 계산 비용이 많이 듭니다 ($O(d^3)$). RLSEdit은 우드버리 행렬 항등식을 활용하여 효율적인 재귀적 업데이트를 유도합니다.

• 상태 유지: 알고리즘은 역 공분산 행렬 $C_t = (A_t^\top A_t)^{-1}$와 교차항 $T_t = A_t^\top B_t$를 유지합니다.
• 업데이트 메커니즘: 전체 분해 대신, 현재 편집의 배치 크기인 작은 $u_t \times u_t$ 시스템을 풀어서 업데이트하며, 이는 일반적으로 모델 차원 $d_k$보다 훨씬 작습니다.
• 복잡도: 편집당 비용은 $O(d_k^2 u_t + d_k d_v u_t + d_k u_t^2 + u_t^3)$이며, $u_t \ll d_k$일 때 $O(d_k^2 u_t)$로 단순화됩니다. 중요한 점은 이 비용이 누적된 역사를 통한 밀집 행렬 연산을 필요로 하는 방법과 달리 역사 길이 $t$에 독립적이라는 것입니다.

2.3 이론적 분석

이 논문은 $\lambda$가 $W_0$로부터의 전역 매개변수 편차를 제어하고, $\mu$가 앵커 매핑의 편차를 제어함을 보여주는 편차 한계를 제공합니다. 또한, 안정적인 경험적 2 차 모멘트를 가진 긴 편집 스트림 하에서 추정기가 정규화된 극한 위험의 유일한 최소점으로 수렴함을 보여주는 점근적 특성을 제시합니다.

3. 주요 기여

1. 소프트 제약 수식화: 저자들은 명시적인 매개변수 편차 및 앵커 편차 제어를 갖춘 온라인 정규화 최소제곱으로 영구적 편집을 수식화하여, 하드 쓰기와 하드 보존에 대한 소프트 대안을 제공합니다.
2. 역사 독립적 복잡도: 과거 편집 수에 비례하지 않는 편집당 계산 비용을 갖는 우드버리 기반 온라인 업데이트를 유도하여, 긴 편집 스트림으로의 안정적인 확장을 가능하게 합니다.
3. 이론적 보장: 많은 편집 regime 에서의 준수 - 보존 트레이드오프에 대한 편차 한계와 점근적 특성을 제공합니다.
4. 실증적 검증: Llama-3 및 Qwen2.5 모델에 대한 광범위한 평가에서 이 방법이 10,000 번의 편집까지 안정적으로 확장됨을 보여줍니다.

4. 실험 결과

실험은 10,000 번의 순차적 편집 (배치 크기 100) 을 사용하여 Llama-3-8B 및 Qwen2.5-7B에서 수행되었습니다.

• 편집 성공 (CounterFact 및 ZsRE):

  • Llama-3에서 RLSEdit은 다섯 가지 지표 (효율성, 일반화, 특이성, 유창성, 일관성) 전반에 걸쳐 최고의 점수를 기록하여 AlphaEdit, ROME, MEMIT 와 같은 베이스라인을 크게 앞섰습니다. 예를 들어, 효율성은 다음으로 좋은 FT(74.76%) 대비 89.94%에 달했습니다.
  • Qwen2.5에서 RLSEdit은 가장 높은 효율성 (94.45%) 과 유창성을 달성했으며, 다른 지표에서는 AlphaEdit 과 경쟁력을 유지하면서 ROME 과 MEMIT 을 크게 능가했습니다.
  • ZsRE에서 RLSEdit 은 81.20%의 효율성을 달성하여 AlphaEdit(70.04%) 및 기타 방법들을 능가했습니다.

• 일반 능력 보존:

  • GLUE, MMLU, GSM8K, HumanEval, MBPP 에서 평가되었습니다.
  • RLSEdit 은 1 만 건의 편집 궤적 전반에 걸쳐 일반 능력 (추론, 코딩, 언어 이해) 을 일관되게 보존했습니다.
  • 반면, ROME, MEMIT, FT 와 같은 베이스라인은 상당한 저하를 보였습니다. AlphaEdit 은 초기에는 잘 수행되었으나 편집 수가 많아지면 눈에 띄게 저하되었습니다.
  • 사례 연구: HumanEval 작업 0 에서 AlphaEdit 과 MEMIT 은 8 천~1 만 건의 편집 시 경계 오류, 의미적 버그, 또는 난독화/빈 출력으로 저하되었으나, RLSEdit 은 모든 체크포인트에서 올바른 구현을 유지했습니다.

• 초기 편집 유지:

  • 총 1 만 건의 편집 후 처음 500 건, 1 천 건, 2 천 건, 4 천 건의 편집을 재평가했을 때, RLSEdit 은 일관되게 가장 높은 유지 점수를 달성하여 사후 망각에 대한 뛰어난 저항력을 보여주었습니다.

• 효율성:

  • RLSEdit 은 다양한 배치 크기와 모델 백본에서 업데이트 시 AlphaEdit 보다 1.37 배~1.79 배 빨라 이론적 복잡도 분석을 검증했습니다.

5. 중요성 및 주장

이 논문은 RLSEdit 이 장기적인 순차적 스트림에 내재된 가소성 - 안정성 딜레마를 해결함으로써 연속적 모델 편집을 위한 실용적 접근법을 제공한다고 주장합니다. 편집을 소프트 제약 최적화 문제로 취급함으로써 하드 쓰기 방법의 간섭 누적과 널-스페이스 방법의 경직성을 피합니다.

저자들은 그들의 방법이 다음을 가능하게 한다고 강조합니다:

• 확장성: 편집당 계산 비용을 증가시키지 않고 10,000 번의 편집까지 안정적인 성능.
• 전체적 안정성: 편집 성공, 초기 편집 유지, 일반 모델 능력 보존의 동시 개선.
• 이론적 근거: 정규화 매개변수 $\lambda$와 $\mu$를 통해 새로운 사실 학습과 기존 지식 보존 사이의 트레이드오프에 대한 명확한 특성화.

이 논문은 현재 실험이 7B~8B 백본에 초점을 맞추고 있으며, 더 큰 모델과 더 많은 실패 사례를 평가하는 것이 향후 연구의 중요한 방향임을 겸손하게 결론짓고 있습니다.