Forgetting, plasticity, and co-observation: a third facet of continual learning
이 논문은 잘 알려진 문제인 파괴적 망각과 가소성 상실을 넘어, 훈련 데이터를 동시에 공동 관찰할 수 없는 능력이 지속 학습 성능을 제한하는 별개의 결정적인 요인이라고 주장하며, 이는 메모리 리플레이와 같은 메커니즘이 단순히 망각을 완화하는 것이 아니라 이러한 공동 관찰의 이점을 재도입함으로써 성공한다는 것을 시사한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
심층 신경망은 현대 인공지능의 강력한 엔진으로, 얼굴 인식, 언어 번역, 질병 진단 등을 수행할 수 있습니다. 이러한 시스템은 일반적으로 모든 데이터를 한꺼번에 접하는 단일한 대규모 세션에서 훈련되어, 서로 다른 정보 조각들을 연결하는 패턴을 찾아낼 수 있습니다. 그러나 현실 세계에서 데이터는 멈추지 않고 흐르는 강물처럼 시간이 지남에 따라 꾸준한 스트림 형태로 들어옵니다. 이러한 시스템이 유용성을 유지하려면, 과거의 데이터를 다시 볼 수 없는 상태에서도 새로운 정보가 들어올 때마다 이를 학습해야 합니다. 이 과정을 지속 학습(continual learning)이라고 합니다. 오랫동안 과학자들은 이 작업의 주요 장애물이 '파괴적 망각(catastrophic forgetting)'이라 불리는 문제라고 믿어 왔습니다. 이는 모델이 새로운 것을 배우면서 이전에 알고 있던 것을 실수로 지워버리는 현상을 말합니다. 지배적인 견해는 만약 우리가 단순히 모델이 잊어버리는 것을 막고 새로운 것을 배울 수 있을 만큼 충분히 유연하게 유지할 수 있다면, 처음부터 모든 데이터를 함께 본 것만큼 잘 수행할 것이라는 것이었습니다.
KU 루벤(KU Leuven)과 흐로닝언 대학교(University of Groningen)의 연구팀은 이 오래된 가설에 도전했습니다. 그들은 모델이 아무것도 잊지 않고 완벽하게 유연함을 유지하더라도, 데이터를 한꺼번에 학습한 모델만큼의 지능 수준에 도달하기 위해 여전히 어려움을 겪는다는 사실을 발견했습니다. 제5회 평생 학습 에이전트 컨퍼런스(5th Conference on Lifelong Learning Agents)에서 발표된 이들의 연구는 시스템의 학습 능력을 제한하는 세 번째 숨겨진 요인인 '공동 관찰(co-observation)의 상실'을 식별해 냈습니다. 이 용어는 데이터를 시간에 따라 별도의 덩어리로 학습할 때, 모델이 서로 다른 정보 조각들을 동시에 볼 기회를 놓친다는 단순한 사실을 설명합니다. 연구진은 이러한 연결의 부재가 모델로 하여금 세상에 대한 가장 견고한 이해를 구축하는 것을 방해하며, 이 한계는 망각을 얼마나 잘 관리하느냐와 상관없이 존재한다는 것을 발견했습니다.
이것이 왜 중요한지 이해하기 위해, 복잡한 퍼즐을 맞추는 상황을 상상해 보십시오. 만약 퍼즐 조각을 한꺼번에 받는다면, 한 구역의 가장자리가 다른 구역의 중심과 어떻게 연결되는지 쉽게 파악할 수 있어 전체적인 그림을 보고 효율적으로 조각들을 맞출 수 있습니다. 이것이 일반적인 인공지능이 훈련되는 방식입니다. 반면, 지속 학습은 퍼즐 조각을 하나씩 건네받으면서 이미 놓은 조각들을 다시 볼 기회가 없는 것과 같습니다. 현재의 조각을 주어진 공간에 완벽하게 끼워 넣을 수는 있겠지만, 주변 조각들을 보지 못한다면 전체 이미지를 이해하는 데 도움이 되었을 결정적인 연결 고리를 놓칠 수도 있습니다. 연구진은 이처럼 "전체 퍼즐"을 한 번에 보지 못하는 능력이, 단순히 과거를 기억하는 것만으로는 해결할 수 없는 근본적인 성능 격차를 만든다고 주장합니다.
연구팀은 이 격차가 실재하며 망각 문제와는 별개임을 증명하기 위해 일련의 실험을 설계했습니다. 그들은 두 가지 문제를 분리할 수 있는 방법을 사용했습니다. 먼저, 현실 세계의 정보 스트림을 모사하여 모델이 네 개의 별도 배치(batch)로부터 학습하는 시나리오를 만들었습니다. 성능 저하가 단순히 이전의 교훈을 잊어버리기 때문이 아님을 확실히 하기 위해, 그들은 '앙상블(ensemble)'이라는 특수 기술을 사용했습니다. 이는 매 학습 단계마다 모델의 뇌를 복사하여 저장한 뒤 이 모든 복사본을 결합하는 방식입니다. 이 결합된 모델은 모든 것을 완벽하게 기억하여 망각 문제를 완전히 제거했습니다. 그런 다음 이 '완벽한 기억'을 가진 모델을 모든 데이터를 한꺼번에 본 표준 모델과 비교했습니다.
결과는 명확하고 일관되었습니다. 완벽한 기억을 가지고 있더라도, 데이터를 별도의 덩어리로 학습한 모델은 모든 것을 함께 본 모델보다 성능이 떨어졌습니다. 이러한 차이는 컴퓨터가 정답을 알려주는 지도 학습(supervised way) 방식으로 이미지를 인식하든, 스스로 패턴을 찾아내는 자기 지도 학습(self-supervised way) 방식으로 학습하든 동일하게 나타났습니다. 연구진은 CIFAR-100 및 ImageNet-100을 포함한 표준 이미지 데이터셋을 사용하여 다양한 유형의 신경망 구조로 테스트했습니다. 모든 경우에서, 순차적으로 학습한 모델은 완벽한 보유 능력을 갖추었음에도 불구하고 공동 학습(jointly trained) 모델만큼의 일반화 수준에 도달하지 못했습니다. 이는 문제가 기억의 실패가 아니라, 서로 다른 시간대 사이의 정보를 합성하는 능력의 실패임을 입증했습니다.
또한 이 연구는 현재의 지속 학습 솔루션들이 이 문제를 어떻게 다루는지 살펴보았습니다. 한 가지 인기 있는 방법은 모델에게 새로운 예시와 함께 몇 개의 오래된 예시를 보여주어 기억을 돕는 '경험 재생(experience replay)'입니다. 연구진은 이 방법이 효과적이긴 하지만, 단순히 망각을 막기 때문이 아니라 공동 관찰의 조건을 인위적으로 재현하기 때문이라는 것을 발견했습니다. 오래된 데이터와 새로운 데이터를 함께 보여줌으로써, 모델은 그들 사이의 연결 고리를 볼 기회를 얻게 되고, 이는 더 나은 표현(representation)을 구축하는 데 도움을 줍니다. 반면, 새로운 모델이 기존 모델을 모방하도록 강제하는 '지식 증류(knowledge distillation)'라는 또 다른 흔한 기술은 망각을 방지하는 데는 효과적이었으나 성능 격차를 줄이는 데는 실패했습니다. 이는 단순히 과거의 지식을 보존하는 것만으로는 부족하며, 모델이 진정으로 학습하기 위해서는 데이터를 함께 보는 능동적인 이점이 필요함을 시사합니다.
이러한 발견은 인공지능 분야가 평생 학습에 대한 접근 방식을 재고해야 함을 시사합니다. 오랫동안 초점은 거의 전적으로 과거 지식의 손실을 방지하는 데 맞춰져 왔습니다. 그것이 여전히 중요하긴 하지만, 연구진은 우리가 격리된 상태에서의 학습이 갖는 구조적 불리함 또한 해결해야 한다고 주장합니다. 순차적 학습의 성능 상한선은 이전에 생각했던 것보다 낮으며, 이는 모델이 잊어버리기 때문이 아니라 맥락(context)이 결여되었기 때문입니다. 이는 지속 학습 분야의 발전을 평가하는 방식을 바꿉니다. 즉, 미래의 알고리즘은 단순히 과거를 보호하는 것을 넘어, 데이터 재생 방식을 개선하거나 교차 분포적 사고를 장려하도록 학습 과제를 구조화하는 등 새로운 정보과 오래된 정보 사이의 연결을 능동적으로 합성하는 방법을 찾아야 한다는 것을 의미합니다.
이러한 영향은 이미지 인식을 넘어 확장됩니다. 연구진은 이 현상이 방대한 데이터 스트림으로부터 학습하는 거대 언어 모델(LLM) 및 기타 복잡한 시스템에도 영향을 미칠 가능성이 높다고 언급합니다. 만약 모델이 이미 알고 있는 것의 맥락 속에서 새로운 개념을 배우지 못한다면, 그 둘 사이의 관계를 완전히 파악하지 못할 수도 있습니다. 이 연구는 이것이 지속 학습의 유일한 문제라고 주장하거나, 망각이 더 이상 주요한 문제가 아니라고 말하는 것이 아닙니다. 많은 실제 응용 분야에서 망각은 여전히 가장 즉각적이고 치명적인 문제입니다. 그러나 '공동 관찰'을 별개의 근본적인 한계로 식별함으로써, 연구진은 앞으로 나아갈 과제의 지도를 더욱 명확하게 그려냈습니다. 그들은 진정으로 평생 학습하는 지능형 시스템을 구축하기 위해서는 기억의 문제뿐만 아니라 관점(perspective)의 문제도 해결해야 함을 보여주었습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.