Metaplasticity as adaptive gradient preconditioning for incremental learning

인간의 뇌는 지속적으로 학습할 수 있는 놀라운 능력을 갖추고 있습니다. 아이는 개를 인식하는 법을 배운 다음, 자전거 타는 법을 배우고, 그 후에는 새로운 언어를 배울 수 있으며, 이 모든 과정에서 개를 식별하는 법을 잊어버리지 않습니다. 이러한 새로운 지식의 매끄러운 흐름은 오래된 기억을 덮어쓰지 않습니다. 반면, 뇌에서 영감을 얻은 수학적 모델로 구축된 인공지능 시스템은 이와 동일한 과제에서 심각한 어려움을 겪습니다. 컴퓨터 프로그램이 새로운 작업을 학습할 때, 그들은 종종 '파괴적 망각(catastrophic forgetting)'이라는 현상을 겪는데, 이는 새로운 학습이 기존의 것을 격렬하게 지워버리는 현상입니다. 시스템은 불안정해지며, 현재를 파악하려고 노력하는 동안 과거를 붙잡아 두지 못하게 됩니다. 과학자들은 기계가 새로운 것을 배울 수 있을 만큼 유연하면서도 이미 알고 있는 것을 유지할 수 있을 만큼 안정적이도록 만드는 방법을 찾기 위해 오랫동안 이 '안정성-가소성 딜레마(stability-plasticity dilemma)'를 해결하고자 노력해 왔습니다.

수십 년 동안 연구자들은 추가적인 규칙을 더하거나 나중에 검토하기 위해 오래된 데이터를 저장하는 방식으로 뇌의 해결책을 모방하려 노력했습니다. 그러나 이러한 접근 방식은 종 often 컴퓨터가 하나의 작업이 언제 끝나고 다른 작업이 언제 시작되는지를 정확히 알아야 하거나, 과거의 사례들을 저장하기 위해 방대한 양의 메모리를 요구합니다. 이러한 요구 사항들은 인위적으로 느껴지며 생물학적 지능이 실제로 작동하는 방식과는 거리가 멉니다. 시드니 대학교 연구진의 새로운 연구는 다른 경로를 제안합니다. 컴퓨터에게 오래된 데이터를 기억하도록 강요하거나 작업이 끝난 후에 중요도를 계산하기 위해 멈추라고 하는 대신, 그들은 시스템이 살아있는 시냅스처럼 실시간으로, 매 순간 스스로의 학습 속도를 조절해야 한다고 제안합니다. 그들은 이 접근 방식을 'SynGAP'이라 부르며, 이는 학습 과정을 별개의 단계들의 연속이 아니라, 흐름이 자연스럽게 제방을 형성하는 것과 같은 연속적이고 흐르는 강물로 취급하는 방법입니다.

핵심 아이디어는 '메타가소성(metaplasticity)'이라고 알려진 생물학적 개념에서 유래되었습니다. 뇌에서 시냅스는 단순히 켜지거나 꺼지는 단순한 스위치가 아니라, 역사를 가지고 있습니다. 시냅스의 상태는 과거에 얼마나 많이 사용되었는지에 따라 변하며, 이에 따라 다시 변화할 가능성이 더 높아지거나 낮아집니다. 이것이 바로 '가소성의 가소성'입니다. 만약 어떤 연결이 오랜 시간 동안 강화되었다면, 뇌는 그 기억을 보호하기 위해 그것을 변경하기 어렵게 만듭니다. 만약 연결이 새롭거나 사용되지 않았다면, 그것은 유연한 상태로 남습니다. 연구진은 인공 신경망이 이와 동일한 원리의 혜택을 받을 수 있다는 점을 깨달았습니다. 네트워크의 어떤 부분이 중요한지 결정하기 위해 작업이 완료될 때까지 기다리는 대신, 그들의 방법은 네트워크가 자신의 역사를 끊임없이 모니터링하도록 합니다. 이는 각 부분이 과거의 학습에 얼마나 기여했는지에 대한 실행 평균을 유지함으로써, 매 새로운 데이터가 들어올 때마다 업데이트되는 '중요도의 기억'을 효과적으로 생성합니다.

이를 실제로 구현하기 위해, 연구팀은 학습 과정의 동적인 밸브 역할을 하는 시스템을 개발했습니다. 컴퓨터가 새로운 것을 배우려고 할 때, 성능을 향상시키기 위해 필요한 표준적인 조정을 계산합니다. 그러나 이러한 조정이 적용되기 전, 그것들은 필터를 통과합니다. 이 필터는 각 연결의 이력을 확인합니다. 만약 어떤 연결이 과거의 작업들에 결정적이었다면, 필터는 변화를 부드럽게 늦추어 새로운 학습이 기존의 것을 파멸시키는 것을 방지합니다. 만약 연결이 결정적이지 않다면, 필터는 변화가 자유롭게 일어나도록 허용합니다. 결정적으로, 이는 컴퓨터가 현재 어떤 작업을 수행하고 있는지 알 필요 없이, 또한 과거의 사례들을 다시 살펴보기 위해 방대한 라이브러리를 저장할 필요 없이 이루어집니다. 시스템은 단순히 앞으로 흘러가며, 이미 배운 것에 기초하여 자신의 민감도를 스스로 조절합니다.

연구진은 컴퓨터가 서로 다른 범주의 이미지를 차례로 인식해야 하는 두 가지 도전적인 벤치마크에서 이 접근 방식을 테스트했습니다. 한 테스트에서 시스템은 열 개의 그룹으로 나뉜 100개의 서로 다른 이미지 클래스를 학습해야 했습니다. 단순히 진행 과정에서 오류를 최소화하려고 시도하는 표준 학습 방법들은 첫 번째 그룹들을 거의 완전히 잊어버려, 이전 작업들에 대해 10% 미만의 정확도를 유지했습니다. 오래된 데이터를 저장하거나 학습 과정에 추가적인 페널티를 부여하는 방법들은 더 나은 성능을 보였지만 여전히 어려움을 겪었으며, 종종 학습한 것의 절반 이상을 잊어버렸습니다. 그러나 새로운 SynGAP 방법은 현저히 높은 성공 수준을 달elle 성했습니다. 이 방법은 이전 작업들에 대해 평균적으로 거의 27%의 정확도를 유지했는데, 이는 표준 정규화 방법보다 4배 이상 높고, 데이터를 저장하는 방식보다 거의 10% 더 높은 수치입니다. 또한 이 방법은 기존 기술들에 비해 망각의 정도를 10% 이상 줄였습니다.

객체 인식의 연속적인 스트림을 포함하는 두 번째 테스트에서도 결과는 비슷하게 강력했습니다. 새로운 방법은 약 68%의 정확도에 도j reached, 가장 우수한 표준 학습 도구들보다 약 10 퍼센트 포인트 더 높은 성능을 보였습니다. 아마도 가장 중요한 점은, 시스템이 경직되지 않았다는 것입니다. 오래된 기억을 너무 잘 보호하는 일부 방법들은 컴퓨터가 새로운 것을 배우는 것을 불가능하게 만듭니다. 연구진은 그들의 접근 방식이 섬세한 균형을 맞추고 있음을 발견했습니다. 즉, 미래를 얼어붙게 만들지 않으면서 과거를 보호했습니다. 시스템은 기존 지식의 핵심 구조를 유지하면서도 새로운 정보에 적응할 수 있을 만큼 충분히 유연한 상태를 유지했습니다.

이 접근 방식의 성공은 학습 업데이트의 본질을 어떻게 바꾸느냐에 달려 있습니다. 전통적인 방법들은 종종 최종 목표에 페널티를 추가하여 컴퓨터에게 "원래 있던 곳에서 너무 멀어지지 마라"라고 말하는 방식으로 문제를 해결하려 합니다. 이는 학습 경로를 왜곡하고 작업의 수가 늘어남에 따라 갈등을 유발할 수 있습니다. 반면, 새로운 방법은 학습 단계 자체를 수정합니다. 그것은 기하학적 가이드로서 작용하여, 컴퓨터가 오래된 기억을 파괴하는 방향으로는 가지 않도록 조종하는 동시에, 간섭하지 않는 방향으로는 자유롭게 움직일 수 있도록 합니다. 이는 외부 신호나 저장된 기억에 의해서가 아니라, 데이터의 흐름 자체에 의해 지속적으로 발생합니다. 연구진은 이 생물학적 과정을 수학적으로 공식화함으로써, 매우 적은 추가 메모리만으로도 작동하면서도 견고하고 효율적인 시스템을 만들 수 있음을 입증했습니다.

이 시스템은 매우 효과적이지만, 연구진은 이것이 가능한 모든 시나리오에 대한 완벽한 해결책은 아니라고 언급합니다. 현재 이 방식은 네트워크의 내부 기하학에 대한 단순화된 관점에 의존하고 있는데, 이는 많은 경우에 잘 작동하지만 극도로 복잡한 문제에는 개선이 필요할 수 있습니다. 또한 작동을 위해 여전히 소량의 저장된 데이터를 필요로 하지만, 이는 이전 방법들보다 훨씬 적은 양입니다. 그럼에도 불구하고, 이 연구는 중요한 진전을 보여줍니다. 이는 생물학적 시스템이 안정성과 변화 사이의 긴장을 어떻게 관리하는지 면밀히 관찰하고, 그 원칙을 연속적인 실시간 프로세스로 번역함으로써, 우리가 살아있는 정신처럼 학습하는 인공지능을 구축할 수 있음을 보여줍니다. 이 연구는 파괴적 망각을 방지하는 열쇠가 학습을 멈추거나 과거를 축적하는 것이 아니라, 학습의 역사가 미래가 학습되는 방식 자체를 형성하도록 두는 데 있음을 시사합니다.