기술 요약: 형태와 기능: 정렬되지 않은 상태의 문제로서의 기계적 망각

문제 정의

이 논문은 기계적 망각 평가에서 중요한 간극을 다룹니다: 모델 성능 (기능) 에 초점을 맞추는 경향이 모델의 내부 기하학과 상태 (형태) 를 간과한다는 점입니다. 이는 온라인 L-BFGS 와 같은 상태 유지 최적화기에서 특히 심각합니다. 이러한 최적화기는 매개변수 벡터 ($w_t$) 뿐만 아니라 역 헤시안을 근사하는 데 사용되는 곡률 쌍 ($Z_t$) 의 유한한 메모리도 유지합니다.

저자들은 종종 망각을 매개변수 수정 문제로 취급하는 기존 망각 방법들은 불충분하다고 주장합니다. 상태 유지 최적화기에서 삭제된 데이터는 해당 데이터를 포함하는 명시적 곡률 쌍이 메모리 창에서 회전하여 제거된 후에도 미래의 곡률 쌍과 업데이트 방향의 궤적에 영향을 미칩니다. 결과적으로, 매개변수 내에서 데이터를 '망각'한 모델이라도, 해당 데이터가 처리되지 않았을 경우 발생했을 대조적 상태와 기하학적으로 불일치하는 결합된 상태 (매개변수 + 메모리) 를 여전히 보유할 수 있습니다. 핵심 문제는 대조적 상태 정렬 문제로 재정의됩니다: 목표는 실제 최적화기 상태를 삭제 - 편집된 이벤트 스트림이 생성한 상태와 정렬하는 것입니다.

방법론

이론적 프레임워크

이 논문은 순차 학습 설정 내에서 온라인 L-BFGS (o-LBFGS) 에 대한 망각을 공식화합니다.

• 이벤트 스트림: 저자들은 실제 이벤트 스트림($H_t$) 과 특정 샘플을 제외하는 삭제 - 편집된 대조적 스트림($H_t^{-D}$) 을 구분합니다.
• 상태 정의: 학습기 상태는 $\theta_t = (w_t, Z_t)$로 정의되며, 여기서 $Z_t$는 곡률 쌍 $\{(v_i, r_i)\}$을 포함합니다.
• 상태 정렬 오차: 망각된 상태와 대조적 오라클 상태 간의 거리를 측정하는 새로운 지표인 $\Delta_t$가 도입되었습니다.
• 재귀적 상한: 강한 볼록성, 매끄러움, 유계 기울기, 그리고 수축적 업데이트에 대한 가정 하에 저자들은 상태 편차에 대한 재귀적 상한을 유도합니다. 그들은 오차가 두 가지 구성 요소로 이루어짐을 보여줍니다:
  1. 직접 메모리: 삭제된 데이터를 포함하는 명시적 곡률 쌍으로, $\tau$개의 업데이트 (메모리 창 크기) 후 소멸합니다.
  2. 간접 메모리: 매개변수 궤적을 통해 지속되는 잔류 영향으로, 새로운 곡률 쌍과 업데이트 방향을 생성합니다. 이 영향은 기하학적으로 감소하지만 직접 메모리 창을 넘어 지속됩니다.

망각을 위한 증명서

이 논문은 상태 인증 망각을 위한 방법을 제안합니다. 매개변수 민감도만을 기반으로 노이즈를 보정하는 기존 연구와 달리, 이 접근법은 총 상태 편차 상한 ($\alpha_t$) 을 기반으로 노이즈 주입을 보정합니다. 이 상한은 초기 교란과 잔류 간접 메모리 모두를 고려하여, 확률적 보장이 정의된 범위 내에서 무작위화된 망각된 상태가 대조적 이상과 구별할 수 없음을 보장합니다.

실험적 벤치마크

저자들은 네 가지 서로 다른 오차 지표를 통해 망각 개입을 평가하는 상태 인식 벤치마크를 도입합니다:

1. 매개변수 오차: 가중치 벡터의 편차.
2. 메모리 - 연산자 오차: 곡률 메모리/역 헤시안 근사의 편차.
3. 결합 상태 오차: $(w_t, Z_t)$의 결합 편차.
4. 업데이트 - 방향 오차: 미래 기울기 업데이트 방향의 발산.

테스트된 개입에는 다음이 포함됩니다:

• 오라클 재생: 삭제된 스트림과 정확히 일치하는 대조적 스트림으로 재학습 (정답).
• 창 재생: 상태를 재구성하기 위해 최근 이벤트 창을 재생합니다.
• 매개변수 전용 수정: $Z_t$를 untouched 상태로 두고 $w_t$만 조정합니다.
• 메모리 전용 수정: $w_t$를 untouched 상태로 두고 오염된 곡률 쌍을 재설정하거나 제거합니다.
• 오염된 쌍 제거: 특정 곡률 쌍을 제거합니다.
• 삭제 및 재충전: 매개변수와 메모리 모두를 폐기한 후 계속합니다.

주요 결과

1. 매개변수 정렬은 지속성을 과소평가함

2 차 및 릿지 - 로지스틱 손실 표면에서의 실험은 매개변수 벡터 ($w_t$) 만 수정하는 것이 진정한 망각을 달성하지 못함을 보여줍니다. 매개변수 전용 개입은 매개변수 오차를 줄일 수 있지만, 곡률 메모리 ($Z_t$) 는 오염된 상태로 남깁니다. 이는 매개변수는 데이터가 삭제되었다고 가정하지만 메모리는 원래 궤적에 기반한 업데이트 방향을 여전히 인코딩하는 '하이브리드 상태'를 생성합니다. 이 불일치는 오라클이 아닌 방법들 중 가장 큰 미래 궤적 오차를 초래하며, 종종 아무런 수정도 하지 않는 것보다 더 큰 오차를 보입니다.

2. 간접 메모리와 삭제 지평선

이 연구는 삭제된 데이터가 간접 메모리를 통해 지속됨을 확인합니다. 오염된 곡률 쌍이 L-BFGS 창에서 회전하여 제거된 (직접 메모리 정리) 후에도, 변경된 매개변수 궤적이 삭제된 데이터의 '유령'을 운반하는 새로운 곡률 쌍을 생성합니다.

• 메모리 크기 트레이드오프: 더 큰 메모리 창 ($\tau$) 은 직접 오염을 더 오래 유지하지만 상태 정렬 속도를 늦춥니다. 더 작은 창은 삭제 지평선을 단축하지만 최적화 효율성을 저해할 수 있습니다.
• 감쇠 역학: 상태 편차는 메모리 정리 시 즉시 소멸하지 않습니다. 이는 최적화기의 수축성에 의존하여 시간에 따라 기하학적으로 감쇠합니다.

3. 지역적 개입의 부적절함

지역적 편집 (매개변수만 수정하거나 메모리만 수정) 은 대조적 상태를 재구성하지 못합니다.

• 메모리 전용 재설정: 직접 오염을 제거하지만, 자연스럽게 대조적 메모리를 생성했을 매개변수 궤적을 재구성하지 못하여 상당한 업데이트 - 방향 오차를 초래합니다.
• 삭제 및 재충전: 데이터를 공격적으로 제거하면 실제 및 대조적 역사 모두에서 공유되는 유용한 정보를 파괴하여, 아무것도 하지 않는 것보다 최적화기를 대조적 궤적에서 더 멀리 이동시킬 수 있습니다.

4. 전략적 재생의 성공

창 재생은 정밀한 복구에 근접하는 것으로 입증된 유일한 오라클이 아닌 방법입니다. 삭제 요청과 일치하는 데이터 창에서 결합된 매개변수 - 메모리 상태를 재구성함으로써 형태와 기능 모두를 정렬합니다. 그 효과성은 삭제된 데이터가 재생 창 내에 있을 때 가장 높습니다. 데이터가 직접 메모리에서 간접 메모리로 이동함에 따라 재생의 효율성은 감소하지만, 부분적 수정보다는 여전히 우월합니다.

중요성과 주장

이 논문은 상태 유지 최적화기에 대한 기계적 망각은 단순히 매개변수 수정 문제가 아니라 근본적으로 상태 재구성 문제라고 주장합니다.

• 존재론적 전환: 저자들은 망각이 시스템이 대조적 이상을 '형태와 기능'으로 수용할 수 있는지 여부에 따라 평가되어야 한다고 주장합니다. 성능은 좋지만 정렬되지 않은 내부 상태를 가진 모델은 진정한 망각이 이루어지지 않은 것입니다.
• 새로운 평가 기준: 이 논문은 최적화기의 기하학적 메모리에 저장된 잔류 정보를 종종 놓치는 기존 매개변수 중심 평가 방법의 불충분함을 드러내는 상태 인식 지표를 도입합니다.
• 이론적 기여: 온라인 L-BFGS 에 대한 대조적 상태 편차에 대한 최초의 재귀적 상한을 제공하며, 직접 및 간접 메모리 효과를 구분하고 전체 최적화기 상태를 고려하는 상태 인증 망각 프레임워크를 제시합니다.
• 실용적 함의: 이 결과는 온라인 및 메모리 제약 환경에서 신뢰할 수 있는 망각을 위해서는 (재생을 통한) 완전한 상태 재구성이 필요하거나, 단순한 매개변수 교란이 아닌 곡률 메모리가 삭제 효과를 어떻게 전파하는지에 대한 더 정교한 이해가 필요함을 시사합니다.

저자들은 범위에 대해 겸손함을 유지하며, 그들의 이론적 상한은 볼록성 가정에 의존하며 실험은 합성 스트림을 사용했다고 명시함으로써, 대규모 비볼록 배포 모델에 대한 적용은 향후 과제로 남겼습니다.