당신이 로봇에게 세상의 모든 비디오 게임을 플레이하는 법을 가르치고 있다고 상상해 보세요. 옛날에 과학자들은 로봇이 이를 수행하기 위한 유일한 방법은 로봇의 머릿속에 단 하나의 초지능적인 뇌를 구축하는 것이라고 생각했습니다. 그들은 로봇에게 레벨을 입력하고, 학습하게 한 다음, 다음 레벨을 입력하는 방식을 사용했습니다. 하지만 여기 함정이 있습니다. 로봇이 새로운 게임을 배울 때마다, 이전에 배웠던 게임들을 플레이하는 법을 잊어버리는 것처럼 보였습니다. 그것은 마치 다이어리에 새로운 장을 쓰려고 하는데, 이전 페이지의 잉크가 번지고 사라지는 것과 같았습니다. "파괴적 망각(catastrophic forgetting)"이라고 알려진 이 문제는 **연속 학습(Continual Learning)**이라는 분야의 큰 골칫거리였습니다.

오랫동안 해결책은 간단해 보였습니다. 이전의 것들을 지우지 않고 새로운 게임에 맞추기 위해 로봇의 내부 뇌(그것의 "매개변수")를 미세하게 조정하기만 하면 된다는 것이었습니다. 하지만 이제 우리는 대화하고, 코드를 작성하며, 복잡한 퍼즐을 풀 수 있는 거대하고 강력한 AI 모델의 시대에 살고 있습니다. 이 모델들은 매우 크고 복적입니다. 따라서 예전의 "그저 뇌를 조정하는" 방식은 더 이상 통하지 않습니다. 우리는 새로운 사고방식이 필요합니다. 단순히 뇌를 어떻게 업데이트할 것인가를 묻는 대신, 언제 로봇이 학습해야 하는가? 지식을 어디에 보관해야 하는가? 그리고 어떻게 스스로를 업데이트해야 하는가?를 물어야 합니다.

**"전환기의 연속 학습(Continual Learning in Transition)"**이라는 제목의 이 논문은 이 새로운 영역을 위한 지도와 같습니다. 저자들은 로봇의 뇌가 학습이 일어나는 유일한 장소라는 생각에서 벗어나고 있다고 주장합니다. 그들은 AI가 인간처럼 변화하는 세상에 적응할 수 있는 진정한 일반 지능(General Intelligence)이 되기 위해서는, 로봇의 전체 시스템을 바라봐야 한다고 제안합니다. 그것은 단지 뇌에 관한 문제가 아닙니다. 그것은 로봇의 공책, 도구 상자, 그리고 규칙 책에 관한 것입니다. 이 논문은 방대한 양의 최신 연구를 조사하여, 학습이 로봇이 업무에 투입되기 전에 일어나는 단일한 사건이 아님을 보여줍니다. 대신 학습은 로브트가 투입되기 전, 투입되는 동안, 그리고 심지어 투입된 후에도 일어나는 연속적인 여정이며, 뇌뿐만 아니라 외부 메모리와 도구들을 사용하여 일어납니다.

세 가지 큰 질문: 언제, 어디서, 어떻게

저자들은 이 모든 다양한 방법들을 세 가지 간단한 질문을 사용하여 정리하는 새로운 방식을 제안합니다. 이것은 마치 로봇이 학습하는 방식을 담은 거대한 도서관을 정리하는 것과 같습니다.

1. 언제: 학습의 타임라인
옛날에는 학습이 하나의 큰 블록으로 일어났습니다. 모델을 훈련시킨 다음, 일을 하러 보냈고 그것으로 끝이었습니다. 모델은 고정되었습니다.

• 새로운 관점: 이제 학습은 단거리 경주가 아니라 마라톤입니다. 학습은 세 가지 뚜렷한 단계로 일어납니다:
  • 사전 학습(Pre-training): 로봇은 특정 업무를 시작하기도 전에 인터넷 전체를 읽는 것처럼 방대한 데이터 스트림으로부터 학습합니다.
  • 사후 학습(Post-training): 초기 학습 후에 로봇은 미세 조정(fine-tuning)을 거칩니다. 로봇은 지시를 따르거나, 예의를 갖추거나, 특정 퍼즐을 푸는 법을 배웁니다. 이것은 전문적인 훈련 캠프와 같습니다.
  • 추론 시간(Inference-time, "지금 당장"): 이것이 큰 변화입니다. 로봇은 일하는 동안 학습합니다. 만약 새로운 상황에 직면하거나 피드백을 받는다면, 로봇은 즉석에서 스스로를 업데이트할 수 있습니다. 이것은 시험을 보기 전에 공부만 하는 학생이 아니라, 시험을 치르는 동안에도 계속 배우고 답을 조정하는 학생과 같습니다.

2. 어디서: 지식의 저장
전통적으로 모든 지식은 로봇의 뇌(내부 매개변수) 안에 저장되었습니다. 새로운 사실을 추가하려면 뇌를 다시 써야 했습니다.

• 새로운 관점: 뇌는 더 이상 유일한 저장 단위가 아닙니다. 저자들은 로봇이 뇌 밖에서 사용하는 모든 것을 뜻하는 **"하네스(Harness, 장구)"**라는 개념을 도입합니다.
  • 메모리(Memory): 로봇이 들고 다니는 공책을 상상해 보세요. 로봇은 뇌를 바꾸지 않고도 여기에 사실, 대화, 또는 경험을 적을 수 있습니다. 나중에 무언가를 기억하기 위해 이 공책을 읽을 수 있습니다.
  • 기술(Skills): 이것은 도구 상자 안에 있는 도구들로 생각할 수 있습니다. 새로운 기술을 뇌에 직접 코딩하는 대신, 로봇은 새로운 도구(예: 코드 생성기나 계산기)를 집어 들어 사용할 수 있습니다. 심지어 진행하면서 새로운 도구를 직접 만들 수도 있습니다.
  • 프로토콜(Protocols): 이것은 로봇이 따르는 규칙 책이나 스크립트입니다. 로봇의 뇌에 게임의 규칙을 하드코딩하는 대신, 규칙은 로봇이 읽고 업데이트할 수 있는 종이 위에 적힐 수 있습니다.
  • 변화: 논문은 능력이 분산되고 있음을 시사합니다. 그것은 더 이상 뇌 안에만 머물지 않습니다. 뇌, 공책, 도구 상자, 그리고 규칙 책 전체에 걸쳐 분산되어 있습니다.

3. 어떻게: 업데이트 방법
로봇은 실제로 어떻게 학습할까요?

• 기존 방식 (Off-Policy): 로봇은 다른 사람이 쓴 교과서와 같은 정적인 데이터셋으로부터 학습합니다. 로봇은 오래된 예시들을 살펴보고 그것들에 맞추려고 노력합니다. 이는 새로운 데이터가 기존 데이터와 충돌할 수 있기 때문에 종종 망각을 초래합니다.
• 새로운 방식 (On-Policy): 로봇은 자신의 행동으로부터 학습합니다. 무언가를 시도해 보고, 어떤 일이 일어나는지 확인하며, 그 구체적인 경험으로부터 배웁니다. 이것은 매뉴얼을 읽는 것이 아니라 실제로 자전거를 타고 넘어지면서 배우는 것과 같습니다. 이는 로봇이 일관성을 유지하고 덜 잊어버리도록 돕습니다.
• 그래디언트를 넘어서 (Beyond Gradients): 또한 표준적인 "수학적" 학습 방식(역전파)을 사용하지 않는 방법들도 있습니다.
  • 모델 병합(Model Merging): 서로 다르게 훈련된 두 개의 뇌를 가져와서 재학습 없이 하나의 슈퍼 브레인으로 수학적으로 결합하는 것을 상상해 보세요.
  • 프롬프트 진화(Prompt Evolution): 뇌를 바꾸는 대신, 뇌에 주는 지시 사항(프롬프트)을 바꿉니다. 로봇은 당신이 자신에게 말하는 방식을 진화시킴으로써 학습합니다.
  • 제로 오더(Zeroth-Order): 이것은 로봇이 오류의 정확한 수학적 기울기를 계산할 필요 없이, 추측하고 확인하며 학습한다는 것을 의미하는 멋진 표현입니다.

왜 이것이 중요한가: 거시적 관점

저자들은 우리가 전환점에 서 있다고 제안합니다. 우리는 "파괴적 망각"을 해결하는 것이 단지 뇌를 업데이트하는 더 나은 수학적 트릭을 찾는 것이라고 생각했습니다. 하지만 이제 그들은 해결책이 훨씬 더 크다고 주장합니다. 그것은 **시스템 수준의 적응(system-level adaptation)**에 관한 것입니다.

그들은 단순히 로봇의 "공책"(메모리)을 더 크게 만들거나 더 많은 "도구"(기술)를 주는 것만으로는 충분하지 않으며, 로봇이 그것들을 스스로 관리할 수 없다면 소용없다고 지적합니다. 현재는 인간이 종종 이 공책과 도구들을 수동으로 업데이트해야 합니다. 논문은 AI가 인간처럼 적응할 수 있는 "인공 일반 지능(AGI)"에 도달하려면, 로봇이 자신의 메모리, 기술, 규칙을 자동으로 관리할 수 있어야 한다고 제안합니다.

또한 논문은 몇 가지 과제를 강조합니다. 예를 들어, 로봇이 "공책"(컨텍스트 윈도우)에 너무 많이 의존하면, 공책이 너무 꽉 찼을 때 무언가를 잊어버릴 수 있습니다. 만약 "뇌"에 너무 많이 의존한다면, 오래된 것을 배울 때 새로운 것을 잊어버릴 수 있습니다. 이상적인 미래는 로봇이 언제 자신의 공책에 적을지, 언제 새로운 도구를 만들지, 그리고 언제 자신의 뇌를 영구적으로 업데이트할지를 아는 시스템입니다.

다음 단계는 무엇인가?

저자들은 신중하면서도 낙관적입니다. 그들은 우리가 모든 것을 해결했다고 주장하는 것이 아닙니다. 실제로 그들은 이러한 많은 새로운 방법들이 아직 초기 단계에 있다고 지적합니다. 우리는 지식(뇌, 공책, 도구 사이)을 원활하게 이동시킬 수 있는 완벽한 시스템을 아직 가지고 있지 않습니다.

그들은 AI 연구의 미래가 단순히 뇌를 더 크게 만드는 것에 관한 것이어서는 안 된다고 제唆합니다. 대신, 우리는 이 모든 서로 다른 부분들을 어떻게 조율할지 알아내야 합니다. 그것은 마치 도시를 건설하는 것과 같습니다. 단순히 더 큰 집(뇌)을 짓는 것이 아니라, 도로, 도서관, 발전소(하네스)를 건설하고 이들이 어떻게 함께 작동하는지 알아내야 합니다.

요약하자면, 이 논문은 "하나의 뇌, 하나의 업데이트"의 시대는 끝났음을 말해줍니다. 학습의 미래는 AI가 자신의 내부 뉴런부터 외부 도구에 이르기까지 시스템의 모든 부분을 사용하여, 끊임없이 변화하는 세상에 적응하는 역동적이고 다층적인 댄스입니다. 이것은 망가진 기억을 고치려는 시도에서, 모든 경험과 함께 성장하는 살아있는 시스템을 구축하는 것으로의 전환입니다.