🤖 machine learning

Geometry of Forgetting: Representation Flux in Continual Learning

이 논문은 잠재 표현의 변위와 파괴적 망각을 연결하는 기하학적 척도로서 "표현 플럭스(representation flux)"를 도입하고, 지속 학습 과정에서 표현의 변화를 제한함으로써 망각을 완화하는 아키텍처 불가지론적 정규화 방법인 FlowLess-R을 제안한다.

원저자: Maksim A. Kazanskii

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maksim A. Kazanskii

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능은 방대한 양의 데이터로부터 학습하는 능력을 숙달했지만, 새로운 것을 배우는 오늘와 어제 배운 것을 기억하는 것 사이의 근본적인 인간적 과제에 어려움을 겪고 있습니다. 머신러닝 분야에서 이 현상은 '파괴적 망각(catastrophic forgetting)'이라고 알려져 있습니다. 뇌의 구조를 모방한 컴퓨터 시스템인 신경망이 일련의 서로 다른 작업들을 순차적으로 학습할 때, 새로운 정보를 수용하기 위해 이전의 지식을 덮어쓰는 경우가 자주 발생합니다. 마치 새로운 언어를 배우는 학생이 지난주에 공부했던 언어의 어휘를 갑자기 잊어버리는 것과 같습니다. 수십 년 동안 연구자들은 컴퓨터의 내부 설정이 얼마나 변할 수 있는지를 늦추거나, 시스템이 주기적으로 예전의 예시들을 복습하도록 강제함으로써 이 문제를 해결하려 노력해 왔습니다. 이러한 방법들은 도움이 되기는 하지만, 종종 이 문제를 기계 내부의 숫자를 조정하는 문제로만 취급하여, 컴퓨터의 내부적 '이해'가 어떻게 변화하는지에 대한 더 깊은 메커니리즘은 거의 탐구되지 않은 채 남겨두었습니다.

한 연구자가 이제 이 숨겨진 이해의 층위에 주목하여, 망각을 방지하는 열쇠가 기계의 설정이 아니라 그것이 만들어내는 '표상(representations)'의 안정성에 있다고 제안했습니다. 이러한 시스템에서 모든 이미지나 데이터는 고차원 공간 내의 고유한 한 점으로 변환되는데, 이는 유사한 항목들은 서로 뭉치고 서로 다른 항목들은 멀어지는 기하학적 지도입니다. 연구자는 컴퓨터가 작업을 잊어버릴 때, 이 내부의 점들이 너무 빠르고 너무 멀리 이동하기 때문이라는 사실을 발견했습니다. 그는 '표상 플럭스(representation flux)'라고 부르는 개념을 도입했는데, 이는 특정 데이터 포인트가 한 학습 단계에서 다음 단계로 넘어갈 때 내부 공간에서 이동하는 거리를 측정합니다. 이러한 움직임을 추적함으로써, 그는 데이터 포인트의 위치가 급격하고 크게 도약하는 것이 시스템이 해당 항목을 올바르게 인식하는 능력을 상실하기 직전임을 알리는 신뢰할 만한 조기 경고 신호라는 것을 발견했습니다.

연구는 컴퓨터가 필기체 숫자나 의류 아이템 등 일련의 작업들을 학습함에 따라 내부 점들이 어떻게 행동하는지를 관찰하는 것으로 시작되었습니다. 연구자는 명확한 패턴을 발견했습니다. 컴퓨터가 이전에 학습한 항목에 대해 실수를 하기 전, 그 항목의 내부 표상은 종종 상당한 변위(displacement)를 겪는다는 것입니다. 이 움직임은 무작위가 아니었습니다. 그것은 컴퓨터의 예측에 대한 확신(confidence)의 상실과 강력하게 연결되어 있었습니다. 내부 점이 큰 거리를 이동했을 때, 시스템이 해당 물체를 올м르게 식별했다는 확신은 급격히 떨어졌습니다. 반대로, 점들이 상대적으로 정지해 있을 때 시스템은 지식을 유지했습니다. 이 관찰은 망각이 단순히 기억 인출의 실패가 아니라, 기계의 마음속에서 데이터의 위치가 물리적으로 표류하는 것임을 시사했습니다. 연구자는 이 관계가 단순한 필기체 숫자부터 일상적인 사물의 복잡한 이미지에 이르기까지 다양한 데이터셋 전반에서 유효하다는 것을 발견했으며, 이는 내부 공간의 기하학적 구조가 이러한 시스템이 학습하고 망각하는 방식의 핵심임을 나타냅니다.

이 발견에 동기 부여를 받은 연구자는 내부 움직임을 안정화하기 위한 'FlowLess-R'이라는 새로운 방법을 개발했습니다. 컴퓨터의 뇌 전체를 얼리거나 학습량을 제한하는 대신, 이 접근 방식은 오래된 예시들의 내부 점들을 제자리에 고정하는 데 집중합니다. 시스템이 나중에 복습하기 위해 오래된 이미지를 메모리 뱅크에 저장할 때, 그 순간 해당 이미지의 정확한 내부 점 위치도 함께 기록합니다. 향후 학습 세션 중에 시스템이 그 오래된 이미지를 다시 볼 때마다, 현재의 내부 점을 원래 저장된 위치로 부드럽게 다시 끌어당깁니다. 이는 점이 너무 멀리 방황하지 않도록 묶어두는 끈 역할을 하여, 새로운 것을 배우는 중에도 오래된 예시에 대한 시스템의 이해가 일관되게 유지되도록 보장합니다. 이 방법은 유연하며, 근본적인 구조를 변경하지 않고도 기존 학습 시스템에 추가될 수 있는 단순한 제약 조건으로서 작동합니다.

이 방법을 적용한 결과는 유의미했습니다. 표준적인 메모리 복습 기술과 결합했을 때, FlowLess-R은 시간이 지남에 따라 컴퓨터가 잃어버리는 지식의 양을 일관되게 줄였습니다. 일련의 작업들을 포함하는 테스트에서, 이 방법은 이미지의 복잡성과 메모리 뱅크의 크기에 따라 약 6~19 퍼센트 포인트에 달하는 상당한 폭으로 망각률을 낮추었습니다. 결정적으로, 이러한 기억 유지 능력의 향상은 새로운 작업을 학습하는 비용을 치르며 발생한 것이 아니었습니다. 많은 경우, 모든 작업에 대한 시스템의 최종 정확도가 실제로 증가했습니다. 연구자는 또한 네트워크의 어느 부분에서 이러한 안정화가 가장 효과적인지 테스트하였으며, 최종 의사결정 층 바로 직전의 점들을 고정하는 것이 가장 좋은 결과를 낸다는 것을 발견했습니다. 이는 시스템의 초기 부분은 새로운 특징을 추출하고 적응할 자유가 필요한 반면, 최종적인 이해 단계는 이미 학습한 것을 보존하기 위해 안정적으로 유지되어야 함을 시사합니다.

이 연구는 인공지능이 시간의 흐름과 지식의 축적을 어떻게 다루는지에 대한 새로운 관점을 제공합니다. 기계의 조정 가능한 설정에서 내부 표상의 움직임으로 초점을 전환함으로써, 연구자는 망각이 언제 발생할지를 예측하는 기하학적 표지를 식별해 냈습니다. 그들의 연구 결과는 이러한 내부 지도의 안정성이 새로운 패턴을 학습하는 능력만큼이나 중요하다는 것을 시사합니다. 제안된 방법은 그러한 안정성을 유지하는 직관적인 방법을 제공하며, 과거를 잃어버리지 않고 지속적으로 학습할 수 있는 시스템을 구축하기 위한 실용적인 도구를 제시합니다. 비록 이 연구가 이미지 인식 작업에 초점을 맞추었지만, 오래된 데이터의 내부 표상을 일정하게 유지하는 것이 그것이 덮어쓰여지는 것을 방지한다는 근본적인 원리는 더 강력하고 지속적인 형태의 인공지능을 위한 미래 연구의 길을 열어줍니다.

기술 요약: 망각의 기하학: 지속 학습에서의 표현 플럭스(Representation Flux)

문제 정의

치명적 망각(Catastrophic forgetting)은 신경망이 새로운 태스크를 최적화하는 동안 이전에 학습한 태스크에 대한 성능이 저하되는 현상으로, 지속 학습(Continual learning)의 근본적인 장애물로 남아 있다. 기존 방법론들은 주로 파라미터 정규화(예: EWC, SI)나 경험 재생(Experience Replay, ER)을 통해 망각을 완화하려고 노력하지만, 학습된 표현 공간 내에서 발생하는 기하학적 역동성에 대해서는 이해가 부족하다. 현재의 접근 방식들은 주로 파라미터 업데이트나 이전 모델로부터의 특징 증류(Feature distillation)에 초점을 맞추고 있어, 망각의 근저에 있는 구체적인 기하학적 과정(예: 잠재 표현의 변위)에 대한 통찰을 제공하는 데 한계가 있다.

방법론

1. 기하학적 지표로서의 표현 플럭스(Representation Flux)

저자는 연속된 학습 에포크(Epoch) 사이에서 샘플의 잠재 표현이 이동한 크기로 정의되는 기하학적 양인 **표현 플럭스(Representation flux)**를 도입한다. 공식적으로, 에포크 $t$ 에서의 샘플 $x$ 에 대한 플럭스는 $\Phi(x, t) = \|z_{t+1} - z_t\|_2$ 이며, 여기서 $z_t = f_{\theta_t}(x)$ 이다.

본 논문은 여러 벤치마크(SplitMNIST, SplitFashionMNIST, SplitCIFAR10, SplitTinyImageNet)에 대한 경험적 분석을 통해 이 플럭스와 치명적 망각 사이의 관계를 조사한다. 이 분석을 통한 주요 결과는 다음과 같다:

시간적 선행성(Temporal Precedence): 높은 표현 플럭스는 특히 태스크 경계에서 발생하는 하드 포게팅(Hard forgetting)의 정점에 앞서 나타나는 경향이 있다.
샘플 수준의 상관관계: 표현 변위의 크기와 샘플이 망각될 확률 사이에는 강한 양의 상관관계가 존재한다.
신뢰도 역학(Confidence Dynamics): 큰 표현 변위는 예측 신뢰도의 상당한 저하와 연관되어 있는 반면, 신뢰도 상승은 낮은 플럭스 수준에서 집중적으로 나타난다.
기하학적 예측 인자: 표현 플럭스는 샘플 수준의 망각에 대한 강력한 개별 판별자이며(국소적 표현 밀도 단독 사용 시보다 우수함), 밀도 및 밀도 누출(Density leakage)과 같은 다른 기하학적 기술자와 결합했을 때 상호 보완적인 정보를 제공한다.

2. FlowLess-R: 표현 공간 정규화

큰 표현 변위가 망각과 상관관계가 있다는 관찰에 착안하여, 저자는 FlowLess-R(FlowLess for Representations)을 제안한다. 네트워크 가중치를 제한하거나 고정된 티처 네트워크로부터 특징을 증류하는 기존 방식과 달리, FlowLess-R은 누적된 드리프트(Drift)를 억제하기 위해 표현 공간에서 직접 작동한다.

메커니즘:

참조 앵커링(Reference Anchoring): 샘플 $x_i$ 가 리플레이 버퍼에 추가될 때, 그 잠재 표현 $\tilde{z}_i = f_{\theta_i}(x_i)$ 를 계산하여 고정된 참조값으로 저장한다.
정규화 손실(Regularization Loss): 이후 학습 과정에서 현재 표현 $z_i = f_{\theta}(x_i)$ 가 저장된 참조값으로부터 벗어나는 것에 대해 페널티를 부여한다. 정규화 손실은 다음과 같이 정의된다:
$L_{flux} = \frac{1}{N_r} \sum_{i=1}^{N_r} \|z_i - \tilde{z}_i\|_2^2$
통합: 이 항은 표준 지속 학습 목적 함수( $L = L_{CL} + \lambda L_{flux}$ )에 추가된다. 이 방법은 아키텍처에 구애받지 않으며, 네트워크 구조를 수정하지 않고도 기존의 리플레이 기반 방법(ER, DER++, ER-ACE)에 통합될 수 있다.

주요 결과

저자는 MLP와 ResNet-18 백본을 사용하여 네 가지 데이터셋과 세 가지 베이스라인 리플레이 방법(ER, DER++, ER-ACE)에 대해 FlowLess-R을 평가하였다.

망각 감소: FlowLess-R은 모든 벤치마크에서 평균 망각을 일관되게 감소시켰다.
- ER: 네 가지 데이터셋 모두에서 통계적으로 유의미한 망각 감소를 달성했다 (예: SplitMNIST에서 -8.68%, SplitTinyImageNet에서 -5.96%).
- DER++: 특히 SplitTinyImageNet(-19.07%)과 SplitCIFAR10(-13.61%)에서 상당한 개선을 보였다.
- ER-ACE: SplitMNIST, SplitFashionMNIST, SplitCIFAR10에서 유의미한 이득을 보이며 모든 벤치마크에서 일관되게 망각을 줄였다.
정확도 유지: 대부분의 설정에서 망각의 감소는 최종 평균 정확도의 향상 또는 유지와 함께 나타났으며, 이는 정규화가 새로운 태스크를 학습하는 비용을 발생시키지 않음을 나타낸다.
레이어 절제 실험(Layer Ablation): SplitMNIST 실험을 통해 **마지막 은닉층(Last hidden layer)**에 정규화 항을 적용했을 때 가장 좋은 성능을 보임을 입증하였으며, 이는 분류기 직전의 표현을 안정화하는 것이 초기 특징 추출 레이어를 제한하는 것보다 더 효과적임을 시사한다.
확장성(Scalability): 방법론은 다양한 리플레이 버퍼 크기에 걸쳐 견고함을 보여주었다. 특히 SplitTinyImageNet의 경우, FlowLess-R의 이점은 더 넓은 범위의 저장된 표현 앵커 덕분에 리플레이 버퍼 용량이 커질수록 더욱 두드러졌다.
밀도 가중치(Density Weighting): 선택적 밀도 가중 변형을 테스트했으나, 가중치를 적용하지 않은 공식보다 유의미한 이점이 없음을 확인하여 주요 실험에서는 단순한 비가중치 버전을 채택하였다.

의의 및 주장

본 논문은 표현 역동성과 치명적 망각에 대한 통합적인 샘플 수준의 기하학적 특성화를 제공한다고 주장한다. 주요 기여는 다음과 같다:

표현 플럭스의 식별: 본 연구는 표현 플럭스를 정보력이 풍부한 기하학적 표식으로 확립하며, 이것이 향후 성능 저하를 알리는 조기 지표 역할을 할 수 있음을 입증한다.
기하학적 관점: 파라미터 공간 제약에서 잠재 표현 밀도의 진화로 초점을 전환하여, 기존의 파라미터 정규화 접근 방식에 대한 보완적인 시각을 제공한다.
단순하고 효과적인 정규화: FlowLess-R은 리플레이 샘플을 역사적 참조값에 앵커링함으로써 잠재 표현을 안정화하는 단순하고 아키텍처에 무관한 전략으로 제시된다. 이는 학습 중에 추가적인 표현 매칭 항만을 필요로 한다.
상호 보완성: 결과는 누적된 표현 드리프트를 직접적으로 제한하는 것(FlowLess-R을 통해)이 급격한 태스크 경계 간섭을 완화하는 기존 메커니즘(ER-ACE의 비대칭 업데이트 등)을 보완한다는 것을 시사한다.

저자는 표현 플럭스가 정보가 풍부한 경험적 표식임에도 불구하고, 이러한 역동성을 일반화와 연결하는 이론적 보증을 확립하는 것은 여전히 열려 있는 문제임을 언급하며 이론적 보증에 대해서는 신중한 태도를 유지한다. 또한, 현재 연구가 이미지 분류 및 리플레이 기반 방법에 집중되어 있음을 인정하며, 정규화 기반 접근 방식, 순차적 의사 결정, 언어 모델로의 적용 가능성을 향후 연구 방향으로 남겨두었다.