Plasticity of Growing and Elastic Neural Networks in Online Continual Learning
이 논문은 온라인 지속 학습에서 성장하고 탄력적인 신경망의 가소성을 조사하며, 기존 연결을 유지하거나 죽은 연결을 제거하면서 새로운 유닛을 점진적으로 추가하는 적응형 접근 방식이 파괴적 망각 없이 높은 예측 정확도를 유지하고 가소성 상실을 방지할 수 있음을 입증한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
자전거 타는 법을 배우는 순간 즉시 잊어버리거나, 학생의 머릿속이 역사적 사실들로 너무 가득 차서 단 하나의 새로운 수학 방정식도 배울 수 없게 되는 세상을 상상해 보십시오. 이것은 인공지능이 겪는 '파괴적 망각(catastrophic forgetting)'이라는 악몽 같은 시나리오입니다. 하지만 여기에는 훨씬 더 교활한 악당이 숨어 있습니다: 바로 '가소성 상실(loss of plasticity)'입니다. 가소성을 뇌가 유연하고 모양을 바꿀 수 있는 능력이라고 생각해 보십시오. 만약 네트워크가 가소성을 잃는다면, 그것은 마치 딱딱하게 굳은 조각상처럼 되어 버립니다. 과거의 것을 완벽하게 기억할지라도, 뻣뻣하고 변하지 않으며 그 어떤 새로운 것도 배울 수 없는 상태가 되는 것입니다.
오랫동안 과학자들은 AI의 구조를 결코 바꾸지 않으면 안정적일 것이라는 희망을 품고, 고정된 수의 '뉴런'(뇌 내부의 작은 처리 단위)을 가진 AI를 구축함으로써 이러한 문제들을 해결하려 노력했습니다. 하지만 자연은 다른 이야기를 들려줍니다. 동물은 고정된 뇌 크기를 가지고 있지 않습니다. 그들은 학습하면서 새로운 연결을 만들어내고 오래된 연결을 가지치기합니다. 이 논문은 대담한 아이디어를 탐구합니다: 만약 우리가 살아있는 생명체처럼 실제로 성장하고 줄어들 수 있는 AI를 만든다면 어떨까요? 연구진은 이러한 '성장하는' 그리고 '탄력적인' 네트워크가 끊임없이 밀려드는 새로운 과업들을 학습하면서도, 어떻게 하면 정체되거나 모든 것을 잊어버리지 않고 가소성을 유지할 수 있을지 알아보고자 했습니다.
성장하고 줄어드는 AI 이야기
이 연구에서 연구진은 AI가 매일 새로운 시험을 치르는 학생처럼, 일련의 이미지 분류 과업들을 차례대로 학습해야 하는 디지털 놀이터를 설정했습니다. 그들은 두 가지 대중적인 이미지 세트인 MNIST(손글씨 숫자)와 FashionMNIST(의류 이미지)를 사용했지만, 약간의 변화를 주었습니다. 각 새로운 테스트마다 이미지의 픽셀들을 독특하고 무작위적인 방식으로 뒤섞음으로써, AI가 동일한 시각적 패턴에 의존하지 않고 매번 처음부터 학습하도록 강제했습니다.
연구팀은 이 AI 뇌들을 위한 몇 가지 서로 다른 '아키텍처', 즉 설계도를 테스트했습니다. 먼저, 그들은 표준적인 접근 방식인 **고정 네트워크(Fixed Network)**를 시도했습니다. 정해진 수의 책상이 있는 교실을 상상해 보십시오. 아무리 많은 새로운 학생(과업)이 도착하더라도 책상의 수는 변하지 않습니다. 연구진은 AI가 더 많은 과업을 학습함에 따라 성능이 서서히 무너지는 것을 발견했습니다. AI는 가소성을 잃고 경직되어 적응할 수 없게 되었으며, 내부 단위 중 상당수가 '죽은(dead)' 상태가 되어 활동을 멈추고 쓸모없게 되었습니다.
다음으로, 그들은 **단계적 성장 네트워크(Staged Growing Networks)**를 시도했습니다. 이것은 매일 새로운 책상을 하나씩 추가하는 교실과 같지만, 한 가지 조건이 붙습니다. 일단 책상이 추가되면, 그것은 바닥에 볼트로 고정되어 다시는 움직이거나 조정될 수 없습니다. AI는 새로운 단위를 추가할 수는 있었지만, 기존의 것들은 제자리에 얼어붙었습니다. 결과는 실망스러웠습니다. AI가 이 얼어붙은 낡은 책상들을 계속 사용하도록 강요받았기 때문에, 새로운 과업에 도움이 되지 않는 '노이즈' 섞인 특징들로 가득 차게 되었습니다. AI는 유연성을 잃었고 정확도는 떨어졌습니다.
그 후, 연구진은 단순하지만 강력한 변화를 도입했습니다: **적응형 성장 네트워크(Adaptive Growing Networks, AGNs)**입니다. 이것은 이전 버전과 마찬가지로 매일 새로운 책상을 추가하는 방식이었지만, 결정적인 차이점이 있었습니다. 바로 그 어떤 것도 고정되지 않았다는 점입니다. 네트워크의 모든 연결은 유연한 상태를 유지하며 언제든지 조정될 수 있었습니다. 결과는 놀라웠습니다. 네트워크가 점점 더 커지고, 많은 오래된 단위들이 결국 '죽은(dead)' 상태(발화가 멈춘 상태)가 되었음에도 불구하고, AI는 높은 정확도를 유지했으며 가소성을 결코 잃지 않았습니다. 네트워크가 새로운 신선한 단위를 추가하는 동시에 기존의 연결들을 계속 미세하게 조정할 수 있는 한, 영원히 학습을 지속할 수 있다는 것이 입증되었습니다.
하지만 문제가 하나 있었습니다. AGN은 무한히 성장하여 결국 컴퓨터의 메모리를 모두 잡아먹고 속도를 늦출 것이라는 점이었습니다. 이는 마치 새로운 공책을 계속 가방에 넣지만 낡은 공책을 절대 버리지 않는 학생과 같았습니다. 결국, 그들은 가방을 들고 다닐 수 없게 될 것입니다.
이를 해결하기 위해 팀은 **적응형 탄력적 네트워크(Adaptive Elastic Networks, AENs)**를 만들었습니다. 이 네트워크는 AGN과 유사하지만 내장된 '스프링' 메커니즘을 갖추고 있습니다. 매 새로운 과업이 시작될 때마다, AI는 자신의 뇌를 점검하여 '죽었거나' 쓸모없다고 판단되는 단위를 제거(가지치기)합니다. 이를 통해 네트워크는 새로운 단위를 추가하면서도 다시 축소될 수 있었습니다. 결과는 '골디락스(Goldilocks)' 솔루션이었습니다: AI는 뛰어난 정확도를 달아냈고, 높은 가소성을 유지했으며, 컴팩트하고 거의 일정한 크기를 유지했습니다. 필요할 때는 성장하고 필요하지 않을 때는 줄어듦으로써, 학습 능력을 잃지 않으면서도 효율성을 유지했습니다.
연구진은 또한 새로운 단위가 중간 계층을 건너뛰고 입력과 출력에만 연결되는 이 네트워크의 '2계층(two-layer)' 버전도 테스트했습니다. 이는 학습 과정을 더 빠르게 만들었지만, 때때로 최종 크기가 약간 더 커지는 결과를 낳기도 했습니다.
이것이 미래에 의미하는 바
이 논문은 AI의 유연성을 유지하는 핵심은 단순히 오래된 것을 기억하거나 망각을 방지하는 것이 아니라, 네트워크의 구조를 살아있게 하고 적응 가능하게 만드는 데 있다는 점을 시사합니다. 네트워크가 동적으로 성장하고 줄어들도록 허용하고, 연결이 얼어붙지 않고 유연하게 유지되도록 함으로써, 우리는 그 열정을 잃지 않고 지속적으로 학습할 수 있는 시스템을 구축할 수 있습니다.
저자들은 이러한 발견이 특정 이미지 과업을 통한 실험에서 비롯된 것이며, 이 방법들이 유망하다는 것을 '시사'한다는 점을 주의 깊게 명시하고 있습니다. 그들은 이 문제가 평생 학습(lifelong learning)의 전체를 해결했다고 주장하는 것이 아니라, 명확한 진전 방향을 보여준 것입니다. 향후 연구는 정확히 '언제' 단위를 추가하거나 제거할 것인지, 그리고 이러한 네트워크가 다양한 유형의 데이터와 어떻게 상호작용하는지를 탐구해야 할 것입니다. 하지만 현재로서는, 식물처럼 성장하고 정원사처럼 가지치기를 할 수 있는 AI라는 아이디어가 지능형 기계의 미래를 위한 매우 강력한 후보로 보입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.