당신이 로봇에게 동물을 인식하는 법을 가르치려 한다고 상상해 보세요. 당신은 고양이부터 시작해서, 개, 그다음에는 새를 가르칩니다. 까다로운 점은, 로봇이 새에 대해 배울 때쯤이면 고양이가 어떻게 생겼는지 잊어버리는 경향이 있다는 것입니다. 이것은 인공지능 세계에서 '파괴적 망각(catastrophic forgetting)'이라고 불리는 유명한 골칫거리입니다. 이를 해결하기 위해 과학자들은 '프롬프트 기반 학습(prompt-based learning)'이라는 영리한 기술을 개발했습니다. 로봇의 거대하고 비싼 뇌 전체를 다시 훈련시키는 대신, 그들에게 현재의 작업에 대해 어떻게 생각해야 하는지 알려주는 아주 작은 포스트잇, 즉 '프롬프트'를 주는 것입니다. 이렇게 하면 로봇은 원래의 뇌를 얼린 채 안전하게 유지하면서, 새로운 동물에 적응하기 위해 오직 포스트잇만을 바꿀 수 있습니다.

하지만 함정이 하나 있습니다. 일반적으로 더 큰 뇌가 사물을 더 잘 인식한다는 점입니다. 거대한 로봇 뇌(대형 모델)는 작고 효율적인 뇌보다 훨씬 똑똑합니다. 하지만 거대한 뇌는 일상적인 기기에서 쓰기에는 너무 느리고 에너지를 너무 많이 소비합니다. 꿈은 이 거대한 뇌의 지식을 작고 빠른 뇌로 압축하여, 작은 뇌가 무거운 무게 없이도 똑똑해지도록 만드는 것입니다. 이 과정을 '지식 증류(knowledge distillation)'라고 합니다. 보통은 공부할 수 있는 오래된 사진 뭉치가 아주 많다면 이 작업을 쉽게 할 수 있습니다. 하지만 지속적 학습(continual learning)이라는 실제 세상에서는 오래된 사진을 볼 수 없습니다. 오직 새로운 동물 사진들이 하나씩 도착할 때마다 그것들만 얻을 수 있을 뿐입니다. 이것은 독특한 퍼즐을 만들어냅니다: 어떻게 하면 작은 로봇이 거대한 뇌로부터 단계별로, 즉 한 번에 하나씩 지식을 배우면서도, 새로운 동물이 나타날 때마다 거대한 뇌의 가르침을 잊어버리지 않게 할 수 있을까요?

이것이 바로 텍사스 대학교 달라스 캠퍼스의 연구진이 발표한 새로운 논문이 다루는 정확한 퍼즐입니다. 그들은 거대한 뇌에서 작은 뇌로 지식을 압축하려고 시도하는 기존 방식들이 이 특정한 '단계별' 시나리오에서는 실패한다는 것을 발견했습니다. 그들은 작은 로봇이 선생님의 가르침을 잊어버리는 이유가, 학습을 위해 사용하는 '포스트잇'이 계속해서 교체되기 때문이라는 것을 찾아냈습니다. 이를 해결하기 위해 그들은 **지식 증류 기반 프롬프트(Knowledge Distillation based on Prompts, KDP)**라는 새로운 방법을 발명했습니다. 단순히 교체되는 포스트잇에 의존하는 대신, 그들은 로봇 곁에 영구적으로 머물며 선생님의 지식으로 향하는 전용 가교 역할을 하는 특별한 '마스터 노트'를 추가했습니다. 그들의 실험에 따르면, 이 새로운 방법은 이전의 시도들보다 작은 로봇이 훨씬 더 잘 배우고 훨씬 덜 잊게 하여, 작은 뇌의 속도로 거대한 뇌만큼 똑똑하게 구동될 수 있게 해줍니다.

문제점: "포스트잇 교체" 결함

이것이 왜 어려운지 이해하려면, 이 '프롬프트 기반' 로봇들이 어떻게 작동하는지 살펴봐야 합니다. 상상해 보세요, 로봇은 포스트잇 라이브러리를 가지고 있습니다. 고양이를 보면 '고양이 노트'를 선택하고, 개를 보면 '개 노트'를 선택합니다. 이는 로봇이 노트를 바꾸기만 하면 되기 때문에, 새로운 것을 배우면서도 이전의 것을 잊지 않기에 아주 좋습니다.

하지만 여기서 '증류(거대한 뇌로부터의 가르침)'가 무너지는 지점이 발생합니다. 연구진은 거대한 뇌를 이용해 작은 로봇을 가르치려 했을 때, 작은 로봇이 거대한 선생님으로부터 배우기 위해 '고양이 노트'를 선택한다는 것을 발견했습니다. 그런데 새로운 작업(예: 새)이 도착하면, 작은 로봇은 '고양이 노트'를 버리고 '새 노트'를 집어 듭니다. 문제는 무엇일까요? 거대한 선생님이 고양이에 대해 가르쳐준 교훈들이 바로 그 '고양이 노트' 안에 담겨 있었다는 점입니다. 일단 노트가 교체되면, 작은 로봇은 선생님이 고양이에 대해 가르쳐준 모든 것을 잊어버립니다. 연구진은 이를 **"증류 정보 망각(distillation information forgetting)"**이라고 부릅니다. 이것은 마치 새로운 단원으로 넘어갈 때마다 선생님이 숙제를 적어준 공책을 버려버리는 언어를 배우는 것과 같습니다.

연구진은 선생님의 최종 답변(logits)이나 중간 생각(features)을 살펴보는 등의 일반적인 기술들을 시도해 보았지만, '노트 교체' 메커니즘이 계속해서 판을 깨끗이 지워버리기 때문에 효과가 없었습니다. 심지어 로봇의 뇌 일부를 해제하여 영구적으로 학습하게 하는 테스트도 진행했지만, 이는 오히려 로봇이 이전 작업을 더 빨리 잊게 만들어, 학습의 목적 자체를 무색하게 만들었습니다.

해결책: "영원한 가교"

이를 해결하기 위해 연구팀은 **KD 프롬프트(Knowledge Distillation Prompt)**라는 새로운 종류의 포스트잇을 도입했습니다. 매 작업마다 교체되는 일반적인 노트와 달리, 이 KD 프롬프트는 특별합니다. 이것은 **전역적으로 접근 가능(globally accessible)**하며, 즉 로봇이 어떤 작업을 하고 있더라도 항상 곁에 머뭅니다.

이렇게 생각해 보세요:

• 일반 프롬프트: 이것은 임시 플래시카드와 같습니다. 고양이를 위해 '고양이 플래시카드'를 사용한 다음, 그것을 버리고 개를 위한 '개 플래시카드'를 집어 듭니다.
• KD 프롬프트: 이것은 로봇의 벽에 붙어 있는, 지워지지 않는 영구적인 화이트보드와 같습니다. 어떤 동물을 보고 있더라도, 로봇은 언제든 이 화이트보드에 선생님의 교훈을 적을 수 있습니다.

이 영구적인 KD 프롬프트를 로봇의 뇌에 삽착함으로써, 작은 모델은 절대 버려지지 않는, 거대한 선생님의 지혜를 저장할 전용 공간을 갖게 됩니다. 또한 그들은 로봇의 주된 임무인 동물 인식과는 별개로, 로봇이 선생님을 제대로 복사하고 있는지 확인하는 두 번째 뇌인 'KD 분류기(KD Classifier)'를 추가했습니다.

연구 결과

연구진은 이 아이디어를 두 가지 유명한 이미지 데이터 세트인 CIFAR-100(100가지 유형의 작은 이미지)과 ImageNet-R(사물의 예술적 표현 100가지 유형)에서 테스트했습니다. 그들은 로봇이 10개의 클래스를 가진 10개의 작업을 차례대로 학습해야 하는 시나리오를 설정했습니다.

그들은 자신들의 새로운 KDP 방식을 표준 지식 증류 및 특징 증류와 같은 기존 방식들과 비교했습니다. 결과는 명확했습니다:

• 기존 방식들: 표준 증류를 사용할 때, 작은 로봇의 정확도는 아주 조금 상승했을 뿐만 아니라, 오히려 도움을 받지 않았을 때보다 이전 작업들을 더 많이 잊어버렸습니다. 예를 들어, ImageNet-R 데이터 세트에서 'KD'라고 불리는 표준 방식은 평균 정확도 69.91%, 망각률 **7.64%**를 기록했습니다.
• 새로운 방식 (KDP): 이 "영원한 가교" 접근법을 사용했을 때, 작은 로봇은 훨씬 더 똑똑해졌고 훨씬 덜 잊어버렸습니다. 동일한 데이터 세트에서 KDP 방식은 평균 정확도를 **71.92%**로 높였고, 망각률은 **5.61%**로 낮추었습니다.

이것을 훨씬 더 큰 선생님(ViT-Large 모델)이 중간 크기의 학생(ViT-Base)을 가르치는 상황으로 확장했을 때, 그 격차는 더욱 벌어졌습니다. KDP 방식은 평균 정확도 78.62%, 망각률 **3.46%**를 달성하며 그들이 시도한 모든 다른 방식들을 압도했습니다.

왜 중요한가

이 논문은 이것이 단순한 미세한 조정이 아니라, 특정 유형의 학습 문제에 대한 근본적인 해결책임을 시사합니다. "새로운 작업을 배우는" 노트와 "선생님으로부터 배우는" 노트를 분리함으로써, 그들은 이전의 시도들을 괴롭혔던 망각 문제를 해결했습니다.

연구진은 여기에는 비용이 따른다는 점도 언급했습니다. 즉, 큰 선생님과 작은 학생을 동시에 훈련시켜야 하므로 더 많은 시간과 컴퓨터 메모리가 필요합니다. 하지만 일단 훈련이 끝나면, 작은 학생 모델은 바로 투입될 준비가 됩니다. 이 모델은 빠르고 효율적인 기기에서 구동될 수 있으면서도, 훨씬 더 큰 모델의 지능을 품고 있습니다.

요약하자면, 이 논문은 만약 작고 빠른 AI가 잊어버리지 않고 지속적으로 학습하기를 원한다면, 단순히 선생님의 뇌를 복사해서 붙여넣기만 해서는 안 된다는 것을 보여줍니다. 학생에게 새로운 것을 마주하더라도 선생님의 가르침을 안전하게 보관할 수 있는 영구적이고 전용된 공간을 주어야 합니다.