당신이 이 로봇에게 눈, 귀, 그리고 목소리를 통해 세상을 이해하는 법을 가르치고 있다고 상상해 보세요. '멀티모달(multimodal)' 학습이라는 토대 위에 구축된 이 로봇은 이미 강아지 사진을 '강아지'라는 단어 및 짖는 소리와 연결하는 법을 배웠습니다. 이 로봇은 서로 다른 감각들이 완벽하게 연결되는 공유된 정신 공간 속에 살고 있습니다. 하지만 현실 세계는 멈추지 않습니다. 새로운 소리, 새로운 이미지, 새로운 단어들이 매일 도착합니다. '지속적 학습(continual learning)'이라는 과제는 이 로봇이 기존의 것을 잊지 않으면서도 새로운 교훈을 흡수하도록 가르치는 것입니다. 이것은 섬세한 균형 잡기입니다. 만약 로봇이 너무 열심히 배우면 고양이를 인식하는 법을 잊어버릴 수 있고, 너무 조심스러우면 새로운 기술을 배우지 못할 수도 있습니다. 과학자들은 이 로봇을 위한 완벽한 '스위트 스팟(sweet spot)'을 찾기 위해 노력해 왔지만, 대개는 과거를 기억하는 것과 미래를 배우는 것 사이에서 단 하나의 영구적인 타협점을 찾아낸 단 하나의 최종 버전만을 만들어낼 뿐입니다.

AlphaWiSE라는 제목의 이 논문은 바로 그 문제를 다룹니다. 저자들은 로봇에게 단 하나의 '완벽한' 뇌를 선택하도록 강요하는 대신, 훈련 과정에서 만들어진 두 가지 서로 다른 뇌를 살펴보자고 제안합니다. 하나는 과거를 기억하는 데 뛰어나지만 새로운 것을 배우는 데는 느린 뇌이고, 다른 하나는 학습 속도는 빠르지만 약간 망각하는 경향이 있는 뇌입니다. 이 논문은 이 두 뇌를 단순히 스무디처럼 평균 내어 섞는 것이 아니라, 각각의 배선(wiring)을 정교하게 혼합하는 영리한 방법을 제안합니다. 그 결과, 과거의 교훈을 '조심스러운 뇌'만큼 잘 기억하면서도, 새로운 것을 '열정적인 뇌'만큼 빠르게 배우는 초강력 로봇이 탄an생합니다. 저자들은 이를 오디오, 이미지, 텍스트를 연결하는 시스템에 테스트하였으며, 이 '믹스 앤 매치(mix-and-match)' 접근 방식이 단일 뇌 버전보다 일관되게 우수한 성능을 보였음을 입증하여 더 견고하고 적응력 있는 AI를 만들어냈습니다.

문제점: "원 사이즈 피츠 올(One-Size-Fits-All)"의 함정

AI를 훈련시키는 것을 학생에게 일련의 시험을 대비해 공부시키는 것이라고 생각해 보세요. 먼저 역사를 공부합니다. 그다음에는 수학을 공부합니다. 그다음에는 과학을 공부합니다. AI의 세계에서 모델이 새로운 주제(예: 새로운 소리나 이미지 세트)를 배울 때, 종종 이전의 것들을 '망각'하곤 합니다. 이를 **파괴적 망각(catastrophic forgetting)**이라고 합니다.

이를 막기 위해 과학자들은 다양한 학습 전략을 개발했습니다. EWC나 LwF와 같은 전략은 실패하는 것을 극도로 두려워하는 학생과 같습니다. 그들은 이미 알고 있는 것을 잃지 않기 위해 뇌에 아주 작고 신중한 변화만을 주며 기존의 노트를 꽉 붙잡고 있습니다. 이 학생들은 역사를 기억하는 데는 뛰어나지만, 새로운 수학 개념을 빠르게 배우는 데는 어려움을 겪을 수 있습니다.

반면, 표준적인 **미세 조정(fine-tuning)**과 같은 전략은 새로운 자료에 머리부터 들이밀며 뛰어드는 학생과 같습니다. 이들은 새로운 수학을 매우 빠르게 배우지만, 그 과정에서 실수로 자신의 역사 노트를 지워버릴 수도 있습니다.

문제는 현실 세계에서 우리는 둘 다 잘하는 학생이 필요하다는 것입니다. 하지만 전통적인 방법들은 우리에게 단 하나의 최종적인 학생을 선택하도록 강요합니다. 우리는 '안전한' 학생을 택하거나 '빠른' 학생을 택해야 합니다. 안전한 쪽을 택하면 새로운 지식을 놓치게 됩니다. 빠른 쪽을 택하면 우리의 과거를 잃게 됩니다. 이 논문은 이러한 "하나를 선택하라"는 접근 방식이 게임을 플레이하는 잘못된 방식이라고 주장합니다.

해결책: "스마트 블렌더" (AlphaWiSE)

이 논문의 저자인 Sarthak Jain, Qiran Hu, Zhen Zhu, Yaoyao Liu는 AlphaWiSE(Adaptive Weight Interpolation)라는 새로운 아이디어를 고안해 냈습니다. 저자들은 한 명의 학생을 선택하는 대신, '안전한' 학생과 '빠른' 학생을 모두 시간 속에 얼려두기로 결정했습니다. 그들은 두 뇌를 엉망진창인 평균값으로 합치고 싶어 하지 않았습니다. 대신 각자의 장점만을 취해 새로운 학생을 만들고자 했습니다.

당신이 두 가지 서로 다른 케이크 레시피를 가지고 있다고 상상해 보세요. 레시 Recipe A는 초콜릿 맛은 완벽하지만 퍽퍽합니다. Recipe B는 촉촉하지만 초콜릿 맛이 부족합니다. 두 반죽을 무턱대고 섞는 대신, AlphaWiSE는 층별로 케이크를 살피는 마스터 셰프처럼 행동합니다.

• 초콜릿 칩(특정 소리를 처리하는 뇌의 부분)에 대해 셰프는 이렇게 말할 수 있습니다. "Recipe A에서 초콜릿을 90% 가져오자."
• 수분감(새로운 학습을 처리하는 부분)에 대해 셰프는 이렇게 말할 수 있습니다. "Recipe B에서 수분을 80% 가져오자."

이것이 AlphaWiSE의 핵심인 **텐서 단위 보간(Tensor-wise interpolation)**입니다. AI의 언어로 말하자면, '뇌'는 많은 서로 다른 레이어와 부분(이를 텐서라고 부릅니다)으로 구성되어 있습니다. AlphaWiSE는 두 뇌를 섞기 위해 단 하나의 조절 노브를 사용하지 않습니다. 대신, 뇌의 모든 개별 부분에 대해 아주 작고 구체적인 '혼합 노브'(계수)를 학습합니다.

실제 작동 방식은 다음과 같습니다:

1. 설정: 연구진은 두 개의 고정된(frozen) 모델을 가져옵니다. 하나는 표준적인 '빠른 학습자'(순차적 미세 조정)이고, 다른 하나는 '안전한 수호자'(EWC, LwF 또는 iCaRL과 같은 방법으로 훈련된 모델)입니다.
2. 메모리: 그들은 혼합 과정을 가르치기 위해 단 840개의 예시(소리, 이미지, 텍스트의 혼합)로 이루어진 아주 작은 '메모리 뱅크'를 사용합니다. 인터넷의 전체 역사가 필요한 것이 아니라, 작은 샘플만 있으면 됩니다.
3. 학습: 시스템은 이 840개의 예시를 보고 질문합니다. "이 특정 뇌 부분에 대해, 최상의 결과를 얻으려면 '빠른' 모델과 '안전한' 모델을 각각 얼마나 사용해야 하는가?" 시스템은 새로운 결합 모델이 이 예시들에서 완벽하게 수행될 때까지 혼합 노브를 조정합니다.
4. 결과: 최종 모델은 하나의 통합된 뇌입니다. 원래 모델들과 크기와 속도가 동일하므로 실행하는 데 시간이 더 걸리지 않습니다. 하지만 두 부모로부터 가장 좋은 특성만을 골라냈기에 훨씬 더 똑똑합니다.

결과: 더 나은 균형

연구팀은 오디오, 이미지, 텍스트를 연결하는 AudioCLIP이라는 시스템을 통해 이를 테스트했습니다. 그들은 AI가 과거의 데이터를 다시 볼 수 없는 상태에서(저 840개의 예시를 제외하고), 한 번에 한 단계씩 새로운 카테고리의 소리를 배워나가야 하는 환경을 시뮬레이션했습니다.

결과는 유망했습니다. 논문에 따르면 AlphaWiSE는 단일 모델 전략들을 일관되게 앞질렀습니다.

• 오디오-텍스트: '빠른 학습자'를 'EWC'(안전한 모델)와 결 조합했을 때, AlphaWiSE는 정확도(R@1, 표준 검색 점수)를 0.2900에서 0.3037로 향상시켰습니다.
• 이미지-텍스트: 이 방향에서의 개선은 더욱 눈에 띄었으며, 최고의 AlphaWiSE 조합은 단일 베이스라인보다 현저히 높은 0.4225에 도달했습니다.
• 이미지-오디오: 이 방향은 EWC 단독 모델의 0.1988에서 AlphaWile 적용 시 0.2309로 상승했습니다.

저자들은 '최적의' 혼합 방식이 로봇이 무엇을 하려 하는지에 따라 달라진다는 것을 발견했습니다. 때때로 '안전한' 모델이 뇌의 오디오 부분에 더 많이 기여하는 반면, '빠른' 모델은 이미지 부분에 더 많이 기여하기도 했습니다. 이는 뇌의 서로 다른 부분이 서로 다른 유형의 학습으로부터 혜택을 받는다는 것을 증명합니다.

이것이 왜 중요한가

이 논문은 서로 다른 훈련 방법들을 오직 하나만이 승리할 수 있는 경쟁자로 보아서는 안 된다고 주장합니다. 대신, 그것들은 주방의 서로 다른 재료와 같습니다. '안전한' 방법은 공유 공간의 기하학적 구조를 보존하며(이미지와 텍스트 사이의 관계를 안정적으로 유지함), '빠른' 방법은 새로운 데이터에 적응합니다. AlphaWiSE를 사용함으로써, 우리는 이러한 재료들을 하나의 최종 요리로 조립하여 단일 재료보다 더 나은 결과물을 만들 수 있습니다.

저자들은 또한 혼합이 어떻게 일어나는지에 대해 흥잡로운 사실을 발견했습니다. 그들은 '혼합 노브'가 무작위가 아니라는 것을 발견했습니다. 시스템은 주요 구조적 가중치(핵심적인 역할을 하는 부분)는 '안전한' 모델로부터 유지하는 경향이 있었지만, 정규화 스케일(normalization scales)과 편향(biases)(미세 조정용 다이얼)에 대해서는 '빠른' 모델로부터 많이 빌려왔습니다. 이는 '안전한' 모델이 견고한 토대를 제공하고, '빠른' 모델이 새로운 데이터에 필요한 미세 조정을 제공한다는 것을 시사합니다.

핵심 요약

AlphaWiSE는 로봇을 처음부터 만드는 새로운 방법을 발명한 것이 아닙니다. 대신, 매우 영리한 사후 훈련(post-training) 기술을 제공합니다. 이미 훈련된 두 가지 버전의 로봇을 가져와서, 그것들을 고정시킨 뒤, 아주 적은 양의 데이터만을 사용하여 이들을 어떻게 완벽하게 혼합할지 학습하는 것입니다. 그 결과물은 원래 모델만큼 실행 속도가 빠르면서도, 미래를 배우는 동시에 과거를 기억하는 능력이 훨씬 뛰어난 모델입니다.

이 논문은 이 접근 방식이 새로운 소리를 인식하거나, 새로운 신조어를 이해하거나, 새로운 물체를 식감하는 등, 이미 습득한 지식을 잃지 않으면서도 변화하는 세상에 지속적으로 적응해야 하는 AI 시스템을 구축하는 데 강력한 도구가 될 수 있음을 시사합니다. 이는 "망각의 문제"를 "혼합의 기회"로 바꾸어 놓았습니다.