📊 statistics

Forgetting is Everywhere

이 논문은 망각을 예측 분포의 자기 일관성 결여로 정의하는 알고리즘 및 작업 불가지론적 이론을 제안하며, 다양한 학습 환경에 걸친 포괄적인 실험을 통해 이러한 현상이 딥러닝에서 보편적임을 입증하고 정보 보유를 개선하기 위해 이를 정밀하게 측정하고 분석할 수 있음을 보여준다.

원저자: Ben Sanati, Thomas L. Lee, Trevor McInroe, Aidan Scannell, Esmeralda S. Whitammer, David Abel, Amos Storkey

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ben Sanati, Thomas L. Lee, Trevor McInroe, Aidan Scannell, Esmeralda S. Whitammer, David Abel, Amos Storkey

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 뇌를 아주 똑똑하고 끊임없이 업데이트되는 노트라고 상상해 보세요. 새로운 비디오 게임 전략이나 공룡에 관한 새로운 사실처럼 새로운 것을 배울 때마다 당신은 그것을 노트에 적습니다. 하지만 까다로운 점이 하나 있습니다. 만약 당신의 노트에 공간이 한정되어 있다면, 새 페이지를 적다가 실수로 예전 페이지를 번지게 하거나 지워버릴 수도 있다는 것입니다. 이것은 인간만의 문제가 아닙니다. 컴퓨터 프로그램에서도 일어나는 일입니다. 인공지능의 세계에서는 이를 '망각(forgetting)'이라고 부릅니다. 이는 컴퓨터가 새로운 기술을 배웠는데 갑자기 예전에 할 수 있었던 기술을 완벽하게 수행하지 못하게 되는 순간을 말합니다. 과학자들은 수십 년 동안 이 문제를 연구해 왔으며, 주로 로봇이 걷기, 달리기, 점프를 차례로 배우는 것처럼 컴퓨터가 끝없이 이어지는 새로운 과업들을 배워야 하는 상황을 대상으로 연구했습니다. 하지만 지금까지는 망각이 실제로 '무엇'인지에 대한 단 하나의 명확한 규칙이 없었습니다. 단순히 특정 사실을 잃어버리는 것일까요? 아니면 컴퓨터의 '마음'이 변하는 데 있어 더 깊은 무언가일까요? 이를 이해하는 것은 매우 중요합니다. 왜냐하면 진정으로 똑똑한 평생 학습 기계를 만들고 싶다면, 우리는 그들이 정확히 어떻게, 그리고 왜 기억을 잃는지 알아야 하기 때문입니다.

"망각은 어디에나 있다(Forgetting is Everywhere)"라는 제목의 이 논문은 그 미스터리를 깊이 파고듭니다. 저자들은 특정 과업이나 컴퓨터 프로그램의 유형에 상관없이 망각을 바라보는 새로운 방식을 제안합니다. 그들은 단순히 로봇이 예전 게임을 못 하게 되었는지를 확인하는 대신, 더 단순하고 근본적인 질문을 던집니다. "컴퓨터의 미래에 대한 예측이 자기 자신과 일관성을 유지하는가?"라고 말이죠. 내일 비가 올 것이라고 예측하는 기상 예보관을 상상해 보세요. 만약 그가 오늘 새로운 사실을 배웠다면, 그의 내일 날씨 예측은 그 새로운 사실이 실제로 의미가 있을 때만 바뀌어야 합니다. 만약 그가 아무런 이유 없이 예측을 바꾸거나, 이미 알고 있던 것과 모순되는 방식으로 바꾼다면, 그것은 '망각'의 신호입니다. 저자들은 망각을 이러한 종류의 '자기 불일치(self-inconsistency)', 즉 학습자의 내부 논리가 엉망이 되어 마땅히 간직했어야 할 정보의 조각들을 떨어뜨리는 현상으로 정의합니다.

이 논문은 몇 가지 큰 발견을 해냈습니다. 첫째, 그들은 '정확한 베이지안 학습자(exact Bayesian learner)'라고 불리는 완벽한 유형의 컴퓨터 학습자는 결코 망각하지 않는다는 것을 수학적으로 증명했습니다. 이는 마치 새로운 사실을 아무리 많이 배워도 예전 노트를 단 한 페이지도 지우지 않고 흡수할 수 있는 학생과 같습니다. 하지만 이 논문은 우리가 실제로 사용하는 컴퓨터들(당신이 즐겨 쓰는 앱을 구동하는 것들)은 완벽하지 않다는 점 또한 보여줍니다. 그들은 망각을 하며, 이는 그들이 이미 알고 있는 것과 매우 유사한 것들을 배우고 있을 때조차 발생합니다. 저자들은 단순한 수학 문제부터 복잡한 비디오 게임 플레이에 이르기까지, 딥러닝의 모든 곳에 망각이 존재한다는 것을 실험을 통해 보여주었습니다.

흥미롭게도, 이 논문은 망각이 항상 나쁜 것만은 아니라는 점을 발견했습니다. 사실, 우리가 실제로 만드는 컴퓨터들에게 약간의 망각은 도움이 될 수 있습니다. 이것은 정원사가 나무를 전지하는 것과 같습니다. 만약 오래된 가지들을 잘라내지 않는다면, 식물은 너무 빽빽해져서 새로운 가지를 효율적으로 뻗을 수 없게 됩니다. 저자들은 컴퓨터가 새로운 것을 빠르게 배울 수 있을 만큼은 망각하면서도, 기존의 기술을 잃어버리지 않을 정도의 '최적의 지점(sweet spot)'이 존재한다는 것을 발견했습니다. 너무 적게 잊으면 정체되고, 너무 많이 잊으면 불안정해집니다.

또한 이 논문은 AI 모델이 자신이 만든 데이터(예를 들어, 그림 생성 프로그램이 자신이 그린 그림으로부터 학습하려고 시도하는 경우)로 훈련받을 때 성능이 저하되는 이상한 현상을 설명합니다. 저자들은 이를 간단히 설명합니다. 모델이 자신의 출력물로 훈련받을 때, 그것은 본질적으로 이미 약간 '망각'되었거나 왜곡된 현실의 버전을 연습하고 있는 것입니다. 그 상태에서 학습하려고 하면, 점점 더 많은 것을 망각하게 되어 품질이 급격히 떨어지게 됩니다.

요약하자면, 이 연구는 망각을 측정하는 새로운 보편적인 자를 제공합니다. 망각은 학습이 작동하는 방식의 자연스러운 일부이며, 특히 오늘날 우리가 만드는 불완전한 기계들에게는 더욱 그렇다는 것을 보여줍니다. 망각은 단순히 고쳐야 할 버그가 아니라, 관리해야 할 기능입니다. 망각이 실상 '자기 일관성'의 상실이라는 점을 이해함으로써, 과학자들은 이제 언제 예전의 기억을 붙잡고 언제 새로운 것을 위해 자리를 비워줘야 하는지 정확히 아는 더 나은 알고리즘을 설계할 수 있게 되었습니다.

기술 요약: "망각은 어디에나 존재한다 (Forgetting is Everywhere)"

문제 정의

본 논문은 머신러닝의 근본적인 과제인, 새로운 데이터에 적응함에 따라 학습 알고리즘이 이전에 습득한 지식을 상실하는 경향을 다룹니다. "망각(forgetting)"은 지속 학습(Continual Learning, CL) 및 강화 학습(Reinforcement Learning, RL)과 같은 특정 도메인에서 잘 알려진 현상이지만, 기존 문헌에는 서로 다른 학습 패러다임 전반에 걸친 망각의 근저에 있는 역학을 설명할 수 있는 통합적이고 원칙적인 정의가 부족합니다.

기존의 지표들은 종종 두 가지 구별되는 현상, 즉 역방향 전이(backward transfer, 새로운 학습이 과거의 성능을 향상시키는 것)와 망각(forgetting, 새로운 업데이트가 이전 지식을 침식하는 것)을 혼동합니다. 또한, 대부분의 기존 척도는 특정 작업에 국한되거나(예: CL에서의 이전 작업에 대한 성능 저하) 메커니즘에 국한되어(예: 파라미터 드리프트), 알고리즘에 무관한 일반적인 프레임워크를 제공하지 못합니다. 저자들은 망각이 태스크 변화가 없는 독립 동일 분포(i.i.d.) 환경에서도 발생하는, 자신의 신념을 업데이트하는 모든 적응형 시스템의 근본적인 속성이라고 주장합니다.

방법론

저자들은 **예측적 자기 일관성(predictive self-consistency)**에 기반한, 알고리즘 및 태스크에 무관한 일반적인 망각 이론을 제안합니다.

1. 일반 프레임워크

본 논문은 학습을 학습자와 환경 사이의 확률적 상호작용 과정으로 정식화하여 지도 학습, 강화 학습, 생성 모델링을 통합합니다.

학습자 상태 ( $Z_t$ ): 모든 학습자 콘텐츠(파라니미터, 버퍼 등)를 캡슐화합니다.
상호작용 과정: 학습자는 $X_t$ 를 관찰하고, 출력 $Y_t$ 를 생성하며, 업데이트 함수 $u$ 를 통해 자신의 상태 $Z_t$ 를 업데이트합니다.
예측 분포: 학습자의 상태는 무한한 미래 상호작용 시퀀스에 대한 예측 분포 $q(H_{t+1:\infty} | Z_t, H_{0:t})$ 를 유도합니다. 이는 추론 모드 업데이트 함수 $u'$ 를 사용하여 학습자의 미래 행동을 시뮬레이션함으로써 도출됩니다.

2. 자기 일관성을 통한 망각의 정의

핵심 통찰은 학습 업데이트가 새로운 정보에 의해 정당화되지 않는 학습자의 예측 분포 변화를 유발할 때 망각이 발생한다는 것입니다.

시뮬레이션된 한계 추출(Simulated Marginalisation): 저자들은 학습자가 자신의 현재 예측 분포로부터 샘플링된 데이터(내성적 데이터, introspective data)를 바탕으로 상태를 업데이트하는 과정을 정의합니다. 이 데이터는 현재 상태와 비교했을 때 새로운 정보를 포함하고 있지 않으므로, 망각하지 않는 학습자는 그 행동이 변하지 않아야 합니다.
자기 일관성 조건: 학습자가 $k$ -단계 자기 일관성을 갖는다는 것은 시뮬레이션된 한계 추출 전후의 예측 분포가 동일함을 의미합니다.
망각 성향 ( $\Gamma_k(t)$ ): 망각은 초기 예측 분포와 시뮬레이션된 한계 추출 후의 분포 사이의 발산(예: KL 발산)으로 정량화됩니다. 만약 분포가 발산한다면, 해당 업데이트는 망각적입니다.

주요 기여

통합 이론: 특정 문제 설정이나 알고리즘에 독립적으로, 학습자가 능력을 어떻게 습득, 유지, 상실하는지 추론하기 위한 일반적인 이론적 정식화를 제공합니다.
예측적 정의: 망각을 예측적 자기 일관성의 위반으로 정의함으로써, 이를 단순한 성능 변화나 파라미터 업데이트와 구별합니다.
운영 척도: 태스크별 성능 지표에 의존하지 않고 임의의 타임 스텝에서 망각의 가능성을 정량화하는 지표인 망각 성향( $\Gamma_k(t)$ )을 도입합니다.
이론적 증명:
- 베이지안 비망각(Bayesian Non-Forgetting): 정확한 베이지안 업데이트는 자기 일관성 조건을 만족하며 따라서 망각하지 않음을 증명합니다 (정리 5.1).
- 생성 모델의 퇴화: 생성 모델이 자신의 합성 출력으로 학습될 때 왜 퇴화하는지에 대한 동어반복적 설명을 제공하며, 이를 시뮬레이션된 한계 추출 중 발생하는 필연적인 망각의 결과로 프레임링합니다(모델 붕괴, Model Collapse).
실증적 검증: 분류, 회귀, 생성 모델링, 지속 학습(CL), 강화 학습(RL) 전반에 걸친 포괄적인 실험을 통해 망각이 도처에 존재하며 학습 효율성에 중요한 역할을 한다는 것을 입증합니다.

결과

망각의 편재성: 실험을 통해 망각이 태스크 변화의 결과일 뿐만 아니라, i.i.d. 시나리오를 포함한 모든 딥러닝 설정에서 나타나는 그래디언트 기반 업데이트의 근본적인 속성임을 확인했습니다.
베이지안 학습자: 정확한 베이지안 학습자는 사후 예측 분포가 마팅게일(martingale)을 형성하므로 망각 성향이 0을 보입니다. 반면, 근사 학습자(예: 변분 추론, 그래디언트 디센트를 통한 점 추정)는 자기 일관성을 위반하며 망각을 나타냅니다.
비단조적 효율성: 망각과 학습 효율성 사이의 관계는 비단조적입니다. "망각-효율성" 곡선은 "엘보우(elbow)" 지점을 보이는데, 이는 적절한 양의 망각이 적응을 위해 유익한 반면(안정성-가소성 트레이드오프), 과도한 망각은 학습을 불안정하게 만들고 불충분한 망각은 적응을 늦춘다는 것을 시사합니다.
태스크 경계: 지속 학습 설정에서 망각 성향은 관측 분포의 변화와 상관관계가 있는 태스크 경계에서 급격히 증가합니다.
강화 학습 역학: Deep Q-Network(DQN)에서 망각 곡선은 TD 오차(Temporal Difference loss)를 추적하며, 이는 에이전트가 새로운 정보를 습득하는 것과 기존 지식을 공고히 하는 것 사이의 균형을 관리하기 위해 사용하는 메커니즘으로서 망각을 사용함을 나타냅니다.

의의 및 주장

본 논문은 역방향 전이나 특정 학습 도메인에 의존하지 않는 원칙적인 망각의 이해를 확립했다고 주장합니다. 저자들은 예측 분포의 자기 일관성 결여로 망각을 재정의함으로써 다음과 같은 토대를 제공합니다:

일반적인 학습 알고리즘의 정보 보유 능력 분석.
모델 붕계(Model Collapse)나 안정성-가소성 트레이드오프와 같은 현상을 임의적인 가정 없이 설명.
망각을 효율적인 적응을 위한 메커니즘으로 명시적으로 관리하는 미래 알고리즘 설계.

저자들은 본 연구가 망각을 방지하기 위한 특정 새로운 알고리즘을 제안하는 것이 아니라, 왜 망각이 발생하는지 그리고 그것이 학습 역학에 어떤 영향을 미치는지 이해하기 위한 이론적 렌즈를 제공한다고 강조합니다. 저자들은 "망각은 어디에나 있다"고 단언하는데, 이는 정확한 베이지안 추론이 부재한 상황에서 적응형 시스템이 자신의 신념을 업데이트하는 방식의 필연적인 결과이기 때문입니다.