당신이 똑똑한 로봇에게 한 번에 하나씩 새로운 기술을 가르치며 다양한 사물을 인식하는 법을 가르치고 있다고 상상해 보세요. 먼저 고양이를 찾는 법을 배우고, 그다음에는 개, 그다음에는 새를 배웁니다. 인공지능의 세계에서 이것은 '연속 학습(continual learning)'이라고 불립니다. 거대한 꿈은 로보가 인간처럼 예전에 배운 것을 잊어버리지 않고 영원히 계속 학습하는 것입니다. 하지만 문제가 있습니다. 로봇이 새로운 것을 배우려고 할 때, 종종 혼란을 느껴 이전에 했던 것들을 일시적으로 잊어버리곤 합니다. 과학자들은 이를 '안정성 격차(stability gap)'라고 부릅니다. 이는 마치 어떤 학생이 새로운 수학 시험 공부를 시작하자마자 지난주에 마스터했던 곱셈을 갑자기 잊어버리는 것과 같습니다. 로봇이 모든 예전 노트를 가지고 있고 모든 것을 한꺼번에 배우고 있는 상황에서도 이런 현상이 발생합니다. 연구자들이 던지는 질문은, 왜 이런 일시적인 패닉이 발생하는가, 그리고 로봇이 새로운 것을 배우는 동안에도 차분하고 안정적인 상태를 유지할 수 있도록 로봇의 뇌를 고칠 수 있는가 하는 점입니다.

이 논문은 우리의 뇌가 놀라움에 대처하는 방식에서 영감을 얻은 영리하고 새로운 로봇 훈련법을 소개합니다. 뉴캐슬 대학교의 저자들은 우리가 무언가에 대해 불확실하거나 놀랐을 때, 우리 뇌 속의 노르아드레날린이라는 화학 물질이 뉴런에 일시적인 '부스트(boost)'를 준다는 사실에 주목했습니다. 이는 마치 라디오 신호가 희미할 때 소리를 더 잘 듣기 위해 잠시 볼륨을 높이는 것과 같습니다. 연구진은 이 생물학적 기법을 모방한 컴퓨터 알고리즘을 구축했습니다. 그들은 이를 '동적 이득 신경조절(Dynamic Gain Neuromodulation)', 줄여서 NGM-SGD라고 부릅니다. 단순히 로봇의 학습 속도를 조절하는 대신, 이 방법은 로봇이 학습하는 데이터에 대해 '느끼는' 방식을 일시적으로 변화시킵니다. 이렇게 함으로써 로봇은 기존의 기억을 뒤흔들지 않고도 새로운 작업에 빠르게 적응할 수 있습니다. 이 연구는 이 접근 방식이 로봇이 한 작업에서 다른 작업으로 전환될 때 흔히 발생하는 성능 저하를 효과적으로 완화하여, 학습 과정을 훨씬 더 안정적으로 만든다고 제안합니다.

문제: 로봇의 "브레인 포그(Brain Fog)"

해결책을 이해하기 위해서는 먼저 결함을 이해해야 합니다. AI가 새로운 작업을 학습할 때, 보통 그 작업에 매우 능숙해집니다. 하지만 새로운 작업으로 전환되는 바로 그 순간, 이전 작업에 대한 성능이 급격히 떨어지곤 합니다. 로봇이 모든 것을 영원히 잊어버린 것(이는 '파괴적 망각'이라 불리는 더 영구적인 문제입니다)이 아닙니다. 대신, 그것은 일시적인 "브레인 포그(뇌 안개)" 현상입니다. 로봇이 새로운 데이터에 너무 흥열하거나 혼란스러워한 나머지, 다시 안정을 찾기도 전에 실수로 이전의 지식을 망쳐버리는 것입니다.

'Adam'이나 'Momentum-SGD'와 같은 대중적인 표준 AI 훈련 도구들조차 이 문제로 어려움을 겪습니다. 이 도구들은 상황을 매끄럽게 만들려고 노력하지만, 여전히 로봇이 한 작업의 결승선과 다음 작업의 출발선에서 비틀거리게 만듭니다. 이 논문의 저자들은 문제가 로봇이 무엇을 배우느냐뿐만 아니라, 어떻게 배우느냐에 있다는 것을 깨달았습니다. 그들은 자동차가 승객을 흔들지 않고 부드럽게 기어를 바꾸는 것처럼, 전환 과정을 더 매끄럽게 만드는 방법을 찾고자 했습니다.

해결책: 뇌의 "볼륨 조절기"

저자들은 자연에서 영감을 얻었습니다. 우리 뇌에서 노르아드레날린이라는 화학 메신저는 뉴런의 '볼륨 조절기' 역할을 합니다. 우리가 예상치 못한 상황이나 불확실한 상황에 직면했을 때, 이 화학 물질은 즉각 작동하여 뉴런의 '이득(gain, 또는 민감도)'을 일시적으로 높입니다. 이는 뉴런이 무엇을 듣고 있는지를 바꾸는 것이 아니라, 새로운 정보에 훨씬 더 강하게 반응하도록 만드는 것입니다.

연구진은 이 생물학적 아이디어를 AI를 위한 수학적 규칙으로 변환했습니다. 그들은 AI의 '뉴런'이 동적인 이득 조절기를 갖도록 하는 시스템을 만들었습니다. AI가 새로운 작업에 직면하거나 불확실성을 느낄 때(연구진은 이를 AI가 자신의 예측에 대해 얼마나 혼란스러워하는지로 측정합니다), 시스템은 자동으로 이득을 높입니다.

여기서 마법 같은 부분이 일어납니다. 이 이득을 높이는 것은 두 가지 일을 동시에 수행합니다.

1. 학습 속도를 높입니다: 볼륨을 높이는 것이 속삭임을 듣는 데 도움이 되는 것처럼, 이득 부스트는 AI가 새로운 작업을 더 빠르게 배우도록 돕습니다.
2. 지형을 평평하게 만듭니다: AI가 골짜기의 바닥(완벽한 정답)을 찾으려 한다고 상상해 보세요. 보통 골짜기는 가파르고 울퉁불퉁한 옆면을 가지고 있습니다. 만약 AI가 큰 발걸음을 내디디면, 옆면에 부딪혀 균형을 잃을 수 있습니다. 이 이득 부스트는 잠시 동안 골짜기의 옆면을 "평평하게" 만듭니다. 이를 통해 AI는 이전의 답에 대한 통제력을 잃고 벽에 부딪히는 일 없이, 새로운 답을 향해 크고 자신감 있게 나아갈 수 있습니다.

발견한 내용: 더 매끄러운 전환

연구팀은 자신들이 명명한 NGM-SGD 방식을 몇 가지 유명한 이미지 인식 챌린지에 대해 표준 도구들과 비교 테스트했습니다. 그들은 MNIST(손글씨 숫자), CIFAR-10(동물 및 물체의 작은 사진), mini-ImageNet(더 어려운 이미지 세트)과 같은 데이터셋을 사용했습니다. 그들은 AI가 숫자를 0-1, 그다음 2-3, 그다음 4-5와 같이 순차적으로 학습하도록 테스트 환경을 설정했습니다.

결과는 매우 명확했습니다. 표준 도구(Adam 또는 Momentum-SGD)를 사용할 때 AI의 이전 작업에 대한 정확도는 급격히 떨어졌습니다. 이것이 바로 '안정성 격차'였습니다. 그러나 NGM-SGD 방식을 사용했을 때 이러한 하락 폭은 훨씬 작았습니다. AI는 훨씬 더 안정적인 상태를 유지했습니다.

예를 들어, Split MNIST(숫자를 그룹별로 학습) 테스트에서 표준 Momentum-SGD 방식은 약 0.267의 안정성 격차(이전 작업 정확도의 하락)를 보였습니다. 반면, NGM-SGD 방식은 단 0.017의 격차만을 보였습니다. 이는 엄청난 차이입니다. AI는 단순히 새로운 작업을 배운 것뿐만 아니라, 전환 과정 중에도 이전의 기술을 훨씬 더 안전하게 지켜냈습니다.

또한 연구팀은 Split CIFAR-10과 Split mini-ImageNet도 조사했습니다. 이 더 어려운 테스트에서 표준 방식들은 각각 0.425와 0.409의 격차를 보였습니다. NGM-SGD 방식은 이를 각각 0.134와 0.300으로 줄였습니다. 격차가 완전히 사라지지는 않았지만, 눈에 띄게 줄어들었으며, 이는 로봇이 패닉에 빠져 잊어버릴 가능성이 훨씬 낮아졌음을 의미합니다.

왜 작동하는가: "빠른" 뇌와 "느린" 뇌

이 논문은 이 방식이 왜 작동하는지에 대해, 우리 뇌가 빠르고 느린 두 가지 학습 방식을 모두 가지고 있는 것과 유사한 '두 가지 시간 척도(two-timescale)' 시스템을 만들기 때문이라고 설명합니다.

• 느린 부분: AI의 주요 가중치(장기 기억)는 느리고 꾸준하게 변합니다.
• 빠른 부분: 이득 부스트는 일시적이고 빠른 층 역할을 합니다. 이는 AI가 안정적인 장기 기억을 영구적으로 망가뜨리지 않으면서도, 새로운 작업을 처리하기 위해 크고 빠른 조정을 할 수 있게 해줍니다.

AI가 새로운 작업에 익숙해지고 불확실성이 줄어들면, 이득은 자연스럽게 정상 수준으로 돌아갑니다. 이는 AI가 불안정한 상태로 영원히 남아 있지 않도록 보장합니다.

결론

저자들은 이 방법이 AI 훈련에 대한 새로운 사고방식을 제공한다고 제안합니다. 단순히 AI가 모든 것을 완벽하게 기억하도록 강요하는 대신, 학습 과정 자체의 기하학적 구조를 바꾸는 것을 제안합니다. 생물학적 영감을 받은 '이득' 조절기를 사용함으로써, 작업 사이의 경로를 더 매끄럽게 만들 수 있습니다.

중요한 점은, 이 연구가 AI가 모든 예전 데이터를 한꺼번에 볼 수 있는 통제된 환경(이를 '결합 훈련'이라 함)에서 수행되었다는 것입니다. 이는 안정성 격차가 단순히 기억력의 문제가 아니라 학습 과정 자체의 문제임을 증명하기 위함이었습니다. 결과는 완벽한 기억력을 가지고 있더라도 AI의 뇌를 업데이트하는 방식이 중요하다는 것을 시사합니다. 비록 이 방법이 AI를 전반적으로 더 똑똑하게 만들지는 못했지만(최고의 표준 방식보다 높은 최종 점수를 얻지는 못했습니다), 그 과정은 훨씬 덜 험난하게 만들었습니다.

로봇과 AI 시스템이 중요한 안전 규칙을 잊지 않고 실시간으로 학습해야 하는 실제 환경에서, 이러한 안정성은 매우 중요합니다. 이 논문은 불확실성을 다루는 뇌의 방식을 모방함으로써, 기존의 것을 잃지 않고도 새로운 기술을 배울 수 있는 AI를 구축할 수 있다고 제안합니다.