Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA

끊임없이 성장하는 학습 기계

당신에게 세상의 모든 것을 알고 있는 아주 똑똑한 새 친구가 생겼다고 상상해 보세요. 그 친구는 매우 영리하지만, 만약 당신이 어제 출시된 새로운 앱이나 지난주에 생긴 개인적인 습관에 대해 묻는다면 막막해할 것입니다. 그들은 당신과의 구체적인 대화로부터 배울 수 없는데, 왜냐하면 그들의 뇌가 시간에 박제되어 있기 때문입니다. 이것이 현재 대부분의 인공지능이 가진 한계입니다. 그들은 한 번 훈련되어 배포되면, 그저 자신이 아는 것을 반복할 뿐, 일상적인 경험을 통해 진정으로 성장하지 못합니다.

이 문제를 해결하기 위해 컴퓨터 과학 분야에서 노력하는 학문은 **지속 학습(Continual Learning)**이라고 불립니다. 이것은 마치 학생이 학교를 졸업하지 않고 계속 다니도록 가르치는 것과 같습니다. 단순히 교과서를 암기하고 기말고사를 치는 대신, 진정으로 지능적인 에이전트라면 모든 상호작용, 모든 실수, 그리고 새로 익힌 모든 도구로부터 배우는 동시에, 자신이 누구인지와 무엇을 잘하는지를 기억해야 합니다. 연구자들이 던지는 핵심 질문은 이것입니다: 어떻게 하면 단순히 무언가를 '아는' 것이 아니라, 실제로 그것을 '경험'하고 시간이 흐름에 따라 개인 비서로서 더 나아지는 AI를 만들 수 있을까?

여기서 Macaron-V1이 등장합니다. 이것은 '경험적(experiential)'인, 즉 실생활의 상호작용으로부터 배우고 배포된 후에도 계속해서 개선되는 방식으로 설계된 새로운 AI 모델 제품군입니다. 이 모델을 개발한 Mind Lab의 연구자들은 AI를 진정으로 똑똑하게 만들기 위해서는 거대한 뇌에 더 많은 데이터를 쏟아붓는 것만으로는 부족하다는 점을 깨달았습니다. 대신 환경에 적응하고 전문화된 조력자들과 협업할 수 있는 시스템이 필요합니다. 그들은 AI를 단일하고 정적인 뇌가 아니라, 도구를 교체하고 자기 개선의 루프 속에서 스스로의 지침을 다듬을 수 있는 유연한 팀으로 취급하는 시스템을 구축했습니다.

Macaron-V1 팀: 얼어붙은 뇌와 교체 가능한 도구 상자

변하지 않는 책들을 간직한 거대하고 매우 똑똑한 도서관(이하 "기본 모델")을 상상해 보세요. 그 도서관은 너무나 방대하고 잘 정리되어 있어서 거의 모든 것을 알고 있습니다. 하지만 도서관은 그저 도서관일 뿐입니다. 그것은 당신을 구체적으로 어떻게 도와야 할지는 모릅로습니다. 이를 유용하게 만들기 위해, Macaron-V1은 이 도서관 위에 "전문가 어댑터"라는 층을 추가합니다. 이 어댑터들은 도서관의 머리에 끼울 수 있는 서로 다른 안경이나 도구 상자와 같습니다.

한 쌍의 안경은 채팅(L0)을 위한 것이고, 다른 하나는 과업을 수행하는 에이전트 역할(L1)을 위한 것이며, 세 번째는 코딩(L2), 네 번째는 사용자 인터페이스 설계(L3)를 위한 것입니다. 이 설정은 **Mixture-of-LoRA (MoL)**라고 불립니다. 새로운 기술을 배우고 싶을 때마다 전체 거대 도서관을 다시 훈련시키는 대신, 그냥 새로운 안경을 바꿔 끼우거나 기존의 것을 미세하게 조정하기만 하면 됩니다. 메인 도서관은 얼어붙은 상태로 안전하게 유지되며, 전문가들이 힘든 일을 대신 수행합니다. 이는 AI가 한순간에는 '채팅' 성격을 가졌다가도 다음 순간에는 '코딩' 성격으로 변할 수 있으며, 이 과정에서 핵심 지식을 잊거나 혼란을 겪지 않음을 의미합니다.

시스템은 어떤 전문가를 호출할지 결정하는 스마트한 "프록시(Proxy, 마치 접수원과 같은 역할)"를 사용합니다. 당신이 질문을 던지면, 접수원은 질문을 읽고 코더가 필요한지, 디자이너가 필요한지, 아니면 그냥 채팅 친구가 필요한지를 파악하여 즉시 적절한 전문가로 전환합니다. 이 과정은 매우 빠르게 일어나서 당신은 전환을 거의 느끼지 못할 정도입니다. 논문에 따르면 이 시스템은 적절한 전문가를 선택하는 데 있어 놀라운 정확도(약 99%)를 보이며, 지연 시간을 아주 조금만 추가할 뿐 성능을 크게 저하시키지 않습니다.

자기 개선 루프: 뇌가 아닌 지침을 튜닝하기

Macaron-V1의 진짜 마법은 단순히 이러한 전문가들을 보유하고 있다는 점이 아니라, 시스템이 성능을 최적화하는 방식에 있습니다. 연구자들은 MindForge라고 불리는 "재귀적 자기 개선(recursive self-improvement)" 루프를 실행하는 시스템을 구축했습니다. AI가 레벨을 플레이하고, 실패하면, 게임이 자동으로 규칙을 다시 쓰거나 AI에게 다시 시도할 수 있는 새로운 전략 가이드를 주는 비디오 게임을 상상해 보세요.

작동 방식은 다음과 같습니다:

1. 발견(Discovery): AI는 자신이 아직 할 수 없는 것이 무엇인지 살펴보고, 스스로를 위한 더 어려운 도전 과제를 만듭니다.
2. 확장(Expansion): AI는 시뮬레이션 환경(샌드박스 같은 곳)에서 이러한 도전 과제들을 해결하려고 시도합니다. 만약 실패한다면, 시스템은 단순히 "틀렸다"라고 말하는 데 그치지 않습니다. 왜 실패했는지 분석합니다. 지침이 불분اد했나요? 도구가 누락되었나요?
3. 업데이트(Update): 만약 AI가 지침이나 도구(하네스, harness)를 변경함으로써 성공하는 방법을 찾아낸다면, 그것을 기록합니다. 만약 실제 기술 자체를 더 잘해야 한다면, 새로운 버전의 전문가 어댑터를 훈련시킵니다.

논문은 이 모델을 기본 AI가 전혀 해결할 수 없었던 122개의 어려운 과제 세트에 대해 테스트했습니다. 보고서에 기술된 특정 실험에서, 모델의 뇌는 **완전히 얼어붙은 상태(completely frozen)**로 유지되었습니다. 즉, 내부 가중치는 변경되지 않았습니다. 대신, 시스템은 완벽한 조합의 지침, 도구, 설정을 찾기 위해 **구성 검색(configuration search)**을 사용했습니다. 지침과 도구라는 외부적인 설정만을 미세하게 조정함으로써, 그들은 시스템이 100%의 과제(122개 중 122개)를 통과할 수 있게 하는 구성을 찾아냈습니다.

이 실험이 증명하는 바를 명확히 하는 것이 중요합니다: 이는 시스템이 이러한 과제들에 대해 완전한 **구성 검색 커버리지(configuration-search coverage)**를 달{% 수 있음을 입증합니다. 즉, AI는 이미 문제를 해결할 수 있는 잠재적 능력을 갖추고 있었지만, 그것을 끌어내기 위한 적절한 환경이나 프롬프트가 필요했을 뿐이라는 뜻입니다. 이 실험은 설정을 바꾸는 것이 효과적임을 보여주기 위해 "확장" 단계를 분리하여 보여준 것이지, 모델이 해당 특정 지침 없이도 일반화될 수 있는 방식으로 기술을 '학습'했다는 것을 증로하거나, 모델의 실제 가중치가 업데이트되는 전체 자기 개선 루프를 테스트한 것은 아닙니다.

"살아있는" 벤치마크: 실세계의 지능 테스트

Macaron-V1이 실제로 개인 비서로서 뛰어난지 확인하기 위해, 연구자들은 Macaron ChatBench와 Macaron LivingBench라는 새로운 테스트를 만들었습니다. 이것들은 단순한 객관식 퀴즈가 아닙니다.

• ChatBench는 AI가 로봇이 아닌 실제 사람과 대화하는 것처럼 자연스럽고 공감 능력 있는 대화를 할 수 있는지 테스트합니다. AI가 사용자의 기분을 이해하는지, 정직함을 유지하는지, 그리고 대화를 진전시키는지 확인합니다.
• LivingBench는 실생활의 시뮬레이션입니다. AI가 여행 계획을 짜는 당신의 개인 비서라고 상상해 보세요. "세계"는 주변에서 변화합니다: 비행기가 지연되고, 가격이 오르고, 당신이 갑자기 마음을 바꿉니다. 이 테스트는 AI가 상황에 맞춰 계획을 수정하고, 정보를 검증하며, 당신을 안심시킬 수 있는지 확인합니다.

이 테스트들에서 Macaron-V1-Venti(거대 모델인 744B 버전)는 매우 높은 점수를 기록했으며, 개인 지능과 코딩 분야에서 여러 최고 수준의 모델들을 앞질렀습니다. 예를 들어, UI4A-Bench(인터페이스 설계)에서 87.8점을 기록했는데, 그다음으로 높은 점수는 약 75.9점이었습니다. 또한 복잡한 도구 사용을 테스트하는 PinchBench에서는 94.0점을 기록했습니다.

결과: 우리가 아는 것과 여전히 미스터리인 것

결과는 유망하지만, 논문은 과도한 낙관론을 경계하고 있습니다. 시스템은 테스트된 영역에서 훌륭하게 작동합니다:

• 적응성: 구성 검색을 통해 지침과 도구를 변경함으로써 어려운 과제 세트의 100%를 통과하는 구성을 성공적으로 찾아냈으며, 이는 적절한 설정을 찾는 것이 뇌를 재훈련하지 않고도 성능을 높이는 강력한 방법임을 입증합니다.
• 협업: "Mixture-of-LoRA" 접근 방식이 효과적입니다. AI는 정신적 혼란 없이 채팅, 코딩, 디자인 모드 사이를 효과적으로 전환할 수 있습니다.
• 효efficiency: 메인 뇌를 얼어붙은 상태로 유지하고 작은 전문가 도구들만 불러옴으로써, 시스템은 엄청난 양의 컴퓨터 메모리를 절약합니다(네 개의 별도 거대 모델을 실행할 때보다 약 74% 적게 사용).

그러나 논문은 아직 알지 못하는 부분도 지적합니다.

• 장기적 학습: 시스템이 루프를 통해 개선될 수는 있지만, 논문은 이 시스템이 이전의 과업들을 망가뜨리지 않고(이를 '파괴적 망각'이라 함) 영원히 이 과정을 지속할 수 있는지 증명하지 못했습니다. 우리는 구성 검색을 통한 개선의 잠재력을 측정했을 뿐, 연속적인 파라미터 업데이트의 장기적 안정성은 여전히 미지의 영역입니다.
• 집단 지성: 이 시스템은 동일한 팀에 의해 훈련된 전문가들을 사용합니다. 서로 다른 팀이나 사용자로부터 온 전문가들(예: 한 회사의 챗봇과 다른 회사의 코딩 봇)이 함께 협업하는 아이디어는 미래의 목표이지, 이번 테스트의 대상이 아닙니다.
• 실제 배포: 테스트는 통제된 시뮬레이션 환경에서 수행되었습니다. 이 시스템이 실제 인터넷의 혼돈이나 수백만 명의 고유한 요구를 가진 사용자들을 어떻게 다룰지는 아직 알 수 없습니다.

결론

Macaron-V1은 단순히 무언가를 '아는' 것이 아니라 '경험하는' AI를 향한 대담한 발걸음입니다. 얼어붙은 안정적인 뇌와 교체 가능한 전문가 도구, 그리고 문제를 해결하기 위해 스스로의 지침을 끊임없이 다시 쓰는 시스템을 결합함으로써, 연구자들은 이전의 그 어떤 모델보다 더 적응력이 뛰어난 모델을 구축했습니다. 이것은 AI에게 스위스 아미 나이프를 쥐여주고, 즉석에서 새로운 도구를 발명할 수 있는 능력을 준 것과 같습니다.

논문은 이 접근 방식이 효과적임을 보여줍니다: 어려운 과제를 해결하고, 더 나은 인터페이스를 설계하며, 복잡한 대화를 기존의 리더들보다 더 잘 처리합니다. 하지만 이는 시작일 뿐이라는 점도 상기시켜 줍니다. 모든 상호작️으로부터 배우고, 결코 잊지 않으며, 영원히 학습하는 AI라는 꿈은 여전히 완성되어 가는 과정에 있습니다. "마카롱"은 구워졌지만, 진정한 끝없는 학습을 위한 레시피는 여전히 완벽을 향해 가고 있습니다.