기술 요약: HoReN – 대규모 순차적 모델 편집을 위한 정규화된 홉필드 검색

1. 문제 제기

대규모 언어 모델 (LLM) 은 방대한 사실적 지식을 인코딩하고 있으며, 이는 배포 후 필연적으로 구식이 되거나 부정확해집니다. 모든 수정 사항에 대해 모델을 엔드투엔드로 재학습시키는 것은 과도하게 비용이 많이 들며, 이전에 획득한 기능의 치명적인 망각 (catastrophic forgetting) 을 초래할 위험이 있습니다. 이는 모델의 나머지 부분을 해치지 않고 표적 행동을 업데이트하는 데 초점을 맞춘 **모델 편집 (model editing)**이라는 분야를 촉진했습니다.

이 논문에서 다루는 핵심 과제는 **생애 주기 순차적 모델 편집 (lifelong sequential model editing)**으로, 모델이 지속적인 편집 스트림을 수용해야 합니다. 기존 접근 방식은 두 가지 패러다임으로 나뉘며, 둘 다 규모 확장 시 구조적 약점을 보입니다:

1. 매개변수 수정 방법 (예: ROME, AlphaEdit, UltraEdit): 이 방법들은 기본 모델의 가중치를 직접 업데이트합니다. 단일 편집에는 효과적이지만, 편집이 누적됨에 따라 치명적인 망각을 겪습니다. 영공간 투영 (null-space projection) 과 같은 제약 기반 해결책은 이전에 적용된 편집의 방향을 포괄하지 못해, 시간이 지남에 따라 국소성 (관련 없는 입력이 영향을 받음) 과 신뢰성이 저하됩니다.
2. 매개변수 보존 방법 (예: GRACE, WISE): 이 방법들은 기본 가중치를 동결한 채 편집을 외부 메모리 (코드북) 를 통해 라우팅합니다. 치명적인 망각을 피하지만, 라우팅 실패를 겪습니다. 구체적으로, 활성화 크기나 유클리드 거리를 기반으로 한 최근접 이웃 매칭에 의존합니다. 이는 저장된 키 (원본 프롬프트) 와 쿼리 (개사) 사이의 각도 간극이 해소되지 않기 때문에 편집 프롬프트의 자연스러운 개사에 일반화되지 못하며, 코드북이 커질수록 일반화가 붕괴됩니다.

이 논문은 특정 기하학적 불일치를 식별합니다: 기존 메모리 기반 편집기는 신뢰성은 유지하지만, 크기 민감형 라우팅이 프롬프트 특유의 이득과 사실 정체성을 혼동하여 일반화에는 실패합니다.

2. 방법론: HoReN

저자들은 정규화된 홉필드 검색 규칙과 이산적 코드북 아키텍처를 통합한 매개변수 보존 편집기인 HoReN(정규화된 표현을 사용한 홉필드 검색) 을 제안합니다. 이 방법은 세 가지 핵심 아이디어에 기반합니다:

A. 정규화된 키를 갖춘 코드북 아키텍처

HoReN 은 동결된 기본 모델의 단일 MLP 레이어를 이산적 키 - 값 코드북 $C = \{(k_i, v_i, y_i)\}$으로 감쌉니다.

• 정규화: 키 (저장된 표현) 와 쿼리 (유입되는 은닉 상태) 모두 단위 초구 (unit hypersphere) 위에 투영됩니다.
• 근거: 활성화 후 MLP 텐서의 경우, 벡터의 방향이 의미적 사실을 인코딩하는 반면, 크기는 프롬프트 특유의 활성화 강도 (이득) 를 반영합니다. 정규화를 통해 HoReN 은 크기 주도 불일치를 제거하여 검색이 순전히 **각도 유사성 (코사인 매칭)**에 의존하도록 보장합니다. 이는 GRACE 와 같은 이전 방법들의 기하학적 실패를 해결합니다.

B. 쿼리 정제를 위한 홉필드 어트랙터 역학

단일 샷 최근접 이웃 조회 대신, HoReN 은 각 저장된 키를 현대 홉필드 네트워크의 어트랙터 분지로 간주합니다.

• 메커니즘: 매칭 전에 쿼리는 단일 감쇠 홉필드 정제 단계를 거칩니다. 쿼리 $q$는 다음과 같이 업데이트됩니다:
  $$q_{new} = \text{normalize}((1-\gamma)q + \gamma \cdot \text{softmax}(\beta q K^\top) K)$$
  여기서 $\gamma \in (0, 1]$는 감쇠 인자이며 $\beta$는 검색의 날카로움을 제어합니다.
• 효과: 이 단계는 저장된 키와 각도적으로 가깝지만 동일하지 않은 개사된 쿼리가 올바른 메모리의 어트랙터 분지로 "이완"되도록 합니다. 중요한 점은 감쇠가 주의 가중치가 확산된 관련 없는 쿼리가 크게 교란되지 않도록 하여 국소성을 보존한다는 것입니다.
• 이론적 근거: 저자들은 홉필드 역학을 수렴까지 반복하면 관련 없는 쿼리를 포함한 모든 쿼리가 저장된 패턴의 볼록 껍질 (convex hull) 로 끌려가 국소성이 파괴됨을 증명합니다. 따라서 HoReN 은 개사자의 잔여 각도 간극을 닫고 관련 없는 입력에 대한 결정 경계를 붕괴시키지 않으면서 이론적으로 충분하다고 입증된 단일 단계($M=1$) 를 배포합니다.

C. 비대칭 라우팅 및 업데이트

• 저장: 키는 원시, 정제 전 정규화된 쿼리 ($q_0$) 로 저장됩니다. 이는 코드북을 모델의 네이티브 표현 기하학에 고정합니다.
• 검색: 라우팅 결정은 홉필드 단계 후의 정제된 쿼리 ($q$) 를 사용합니다.
• 업데이트: 매칭이 발견되면 (점수가 임계값 초과), 다음 레이어에서 매칭된 값 어댑터가 적용됩니다. 매칭이 없거나 레이블 충돌이 발생하면 새 항목이 삽입됩니다.

3. 주요 기여

1. 구조적 분할의 특성화: 이 논문은 매개변수 수정 편집기가 구식 제약 부분 공간으로 인해 저하되는 반면, 매개변수 보존 편집기는 편집 프롬프트와 그 개사 사이의 간극을 해소할 수 없는 크기 민감형 라우팅 기하학으로 인해 실패함을 공식적으로 규명합니다.
2. HoReN 아키텍처: ROME 의 키 - 값 뷰와 GRACE 의 코드북을 정규화된 홉필드 검색 규칙 아래 통합한 새로운 통합 방식입니다. 국소성을 위한 각도 매칭과 개사에 강건한 일반화를 위한 단일 감쇠 홉필드 단계를 사용합니다.
3. 이론적 분석: 저자들은 표준 홉필드 검색이 저장된 코드로 수렴하여 관련 없는 쿼리의 과도한 인력을 초래할 수 있음을 증명하고, 단일 단계 배포가 국소성을 유지하면서 일반화를 가능하게 하는 원칙적인 절충안임을 보여줍니다.
4. 대규모 실증적 검증: 기존 방법들이 붕괴되거나 심각하게 저하되는 규모인 50,000 개의 순차적 편집 전반에 걸친 안정성을 입증하는 광범위한 실험.

4. 실험 결과

저자들은 ZsRE(표준), WikiBigEdit(구조화, 더 어려운 국소성), UnKE(비구조화) 의 세 가지 벤치마크에서 LLaMA-3.1-8B, Qwen-2.5-7B, DeepSeek-R1-8B, GPT-OSS-20B, Qwen-SEA-LION-32B에 대해 HoReN 을 평가했습니다.

• 확장성 (ZsRE): 50,000 개의 순차적 편집으로 구성된 스트레스 테스트에서 HoReN 은 **0.93 이상의 전체 성능 (OP)**을 유지했습니다. 반면:
  • ROME은 즉시 붕괴되었습니다 (OP 약 0.03).
  • GRACE는 라우팅 실패로 인해 일반화에서 평탄화되었습니다 (OP 약 0.37).
  • AlphaEdit와 UltraEdit는 치명적인 국소성 절벽이나 단조로운 저하를 겪어 10,000 개 편집 전 OP 0.10–0.70 미만으로 떨어졌습니다.
  • WISE는 성능이 단조롭게 감소했습니다.
• 일반화: HoReN 은 높은 일반화 점수를 달성했습니다 (예: 1,000 개 편집 시 LLaMA-3.1-8B 에서 0.93). 이는 완벽한 국소성을 유지하면서 GRACE(0.05) 를 크게 상회하고 매개변수 수정 방법과 맞먹거나 능가합니다.
• 크로스 데이터셋 견고성: HoReN 은 국소성 쿼리가 편집과 주제를 공유하는 WikiBigEdit 와 자유 형식 지문인 UnKE 에서 강력한 성능을 유지하여 도메인별 베이스라인을 능가했습니다.
• 효율성: HoReN 은 최소한의 오버헤드 (GRACE 대비 약 5% 추론 지연) 를 추가하며 편집 수에 선형적으로 확장됩니다. 직접 벡터 값 어댑터는 동일한 성능을 내는 LoRA 변형보다 8 배 더 매개변수 효율적입니다.

5. 중요성과 주장

이 논문은 메모리 기반 편집기의 확장성을 제한해 온 "라우팅 병목 현상"을 해결함으로써 생애 주기 모델 편집에서 HoReN 이 중요한 진전을 이루었다고 주장합니다.

• 기하학적 통찰: 이 작업은 비선형성 후 활성화에 대해 방향이 크기보다 의미적 키임을 확립합니다. 단위 초구로 정규화하는 것이 검색을 위한 올바른 기본 원소입니다.
• 어트랙터 역학: 코드북을 에너지 분지의 장으로 간주하고 단일 감쇠 홉필드 단계를 사용하여 HoReN 은 원칙적인 절충을 달성합니다: 개사를 올바른 메모리 쪽으로 당기지만 관련 없는 쿼리를 같은 분지로 끌어들이지 않습니다.
• 안정성: 주요 주장은 HoReN 이 50,000 개의 순차적 편집 전반에 걸쳐 높은 신뢰성, 일반성, 국소성을 동시에 유지하는 첫 번째 방법이라는 점이며, 이는 치명적인 저하 없이 이전에 달성할 수 없었던 규모입니다.

저자들은 한계가 존재함에도 불구하고 (선형 메모리 증가, 다단계 이론과 단일 단계 배포 간의 간극), HoReN 이 생애 주기 설정에서 LLM 을 업데이트하기 위한 견고하고 확장 가능한 기반을 제공하며, 새로운 편집의 비용을 이전에 저장된 지식의 행동과 분리한다고 결론지었습니다.