당신이 아주 작고 똑똑한 로봇에게 좋은 이야기를 하는 법을 가르치려 한다고 상상해 보세요. 당신은 그저 로봇이 돌아다니며 추측하게 내버려 두지 않을 것입니다. 먼저 훌륭한 이야기의 몇 가지 예시를 보여준 다음, 로봇이 직접 자신의 이야기를 써보게 하고, 마지막으로 로봇이 얼마나 잘했는지에 따라 엄지손가락을 위로 올리거나(좋아요) 아래로 내릴(싫어요) 것입니다. 이 피드백을 통해 컴퓨터가 학습하도록 가르치는 과정은 "강화 학습(Reinforcement Learning)"이라고 불립니다. 보통 이 방식은 수십억 개의 "뉴런"(파라미터)을 가진 거대하고 똑똑한 컴퓨터에서 가장 잘 작동합니다. 하지만 만약 이 똑똑한 로봇을 스마트폰이나 스마트워치 같은 주머니 속의 작은 기기에 넣고 싶다면 어떻게 될까요? 이런 기기들은 거대한 컴퓨터를 감당할 수 없으므로, 우리는 "소형 언어 모델(Small Language Models, SLM)"—수억 개의 뉴런만을 가진 아주 작은 버전—을 사용해야 합니다. 과학자들이 던진 핵심 질문은 이것입니다. 이 작은 로봇들이 이 피드백 방식을 사용하여 더 좋은 이야기를 하는 법을 배울 수 있을까요, 아니면 그저 혼란에 빠져 고장 나 버릴까요?

이 논문은 바로 그 문제에 대해 깊이 파고듭니다. 연구진은 다섯 가지 서로 다른 작은 로봇(7천만 개에서 4억 1천만 개의 뉴런 범위)을 PPO라고 불리는 인기 있는 훈련 방식으로 가르치려고 시도했습니다. 그들은 이 방식이 거대한 컴퓨터에서는 잘 작동하지만, 작은 모델들에게는 세 가지 매우 구체적이고 교활한 방식으로 문제를 일으킨다는 것을 발견했습니다. 로봇이 포기하게 만드는 대신, 그들은 로봇이 넘어지기 전에 잡아줄 "안전망"을 구축했습니다. 그들은 성공의 비결이 단순히 로봇을 크게 만드는 것이 아니라, 피드백 훈련을 시작하기 전에 로봇이 이미 말을 꽤 잘할 수 있어야 한다는 점을 발견했습니다. 만약 로봇이 이미 유창하다면, 작은 피드백 루프는 마법처럼 작동합니다. 하지만 그렇지 않다면, 로봇은 그저 제자리에서 바퀴만 헛돌게 됩니다.

작은 로봇의 큰 고군분투

소형 언어 모델(SLM)을 아주 젊고 의욕 넘치는 견습생이라고 생각해 보세요. 만약 이 견습생에게 기술을 가르치고 싶다면, 먼저 완벽한 예시 몇 가지를 보여주어야 합니다(이것을 "지도 미세 조정" 또는 "SFT"라고 합니다). 그런 다음, 그들이 연습하게 하고 그들이 얼마나 잘했는지에 따라 점수를 줍니다(이것이 "강화 학습" 또는 "RL"입니다). 거대한 견습생들(수십억 개의 파라미터를 가진 거대 AI 모델들)에게 이 피드백 루프는 순조로운 항해와 같습니다. 하지만 우리의 7천만에서 5억 개 파라미터를 가진 작은 견습생들에게, 연구진은 이 피드백 루프가 종종 재난 구역으로 변한다는 것을 발견했습니다.

연구진은 다섯 가지의 작은 모델과 세 가지 유형의 글쓰기 작업(동화 만들기, 뉴스 요약, 역사 쓰기 등)을 조합하여 15가지의 서로 다른 실험을 진행했습니다. 그들은 작은 로봇들이 학습할 것이라고 기대했지만, 대신 훈련을 실패하게 만드는 세 가지 보이지 않는 벽에 계속 부딪혔습니다.

벽 #1: 침묵의 동결 (The Silent Freeze)
당신이 견습생에게 "연습해 봐!"라고 말했는데, 실수로 그들의 손에 자물쇠를 채워 움직이지 못하게 했다고 상상해 보세요. 로봇은 배우려고 노력하지만, 실제로 변화하는 뇌의 부분(이를 "LoRA 파라미터"라고 부릅니다)이 소프트웨어에 의해 잠겨버립니다. 로봇은 배우고 있다고 생각하지만, 실제로는 손이 묶여 있기 때문에 똑같은 실수를 반복하고 있을 뿐입니다. 연구진은 우리가 사용하던 소프트웨어 도구에서 이 현상이 소리 없이 발생했다는 것을 발견했습니다.

벽 #2: 수학적 폭발 (The Math Explosion)
작은 로봇들은 공간을 절약하는 데 뛰어나기 때문에, 종종 "단축된" 방식의 수학(bfloat16이라 불림)을 사용합니다. 하지만 로봇이 이전과 비교하여 얼마나 개선되었는지 계산하려고 할 때, 숫자가 너무 커지거나 계산이 너무 정밀해지면 이 단축 방식이 깨져버립니다. 이는 마치 1피트(약 30cm)까지만 측정할 수 있는 자로 달까지의 거리를 재려는 것과 같아서, 숫자가 넘쳐나 시스템이 충돌하게 됩니다. 이 현상은 특히 로봇의 뉴런이 2억 개 미만일 때 발생했습니다.

벽 #3: 패닉의 소용돌이 (The Panic Spiral)
때때로 로봇이 너무 높거나 너무 낮은 점수를 받으면 패닉에 빠집니다. 로봇은 행동을 너무 급격하게 바꾸려다가 횡설수설하거나 똑같은 단어를 계속 반복하기 시작합니다. 이를 "정책 붕괴(policy collapse)"라고 합니다. 이는 마치 학생이 나쁜 성적을 받자, 교과서를 내팽개치고 무작위 알파벳을 소리 지르며 외치는 것과 같습니다.

안전망과 "유창성" 규칙

연구진은 단순히 문제점을 지적하는 데 그치지 않고, 세 층의 안전망을 구축하여 이를 해결했습니다.

1. 리셋 버튼: 묶인 손을 해결하기 위해, 그들은 "병합 및 재초기화(merge-and-reinitialize)"라는 기술을 사용했습니다. 그들은 견습생의 현재 지식을 뇌 속에 접어 넣은 다음, 연습할 수 있도록 새롭고 잠기지 않은 손을 부여했습니다.
2. 큰 자: 수학적 폭발을 막기 위해, 그들은 로봇이 훈련의 까다로운 부분 동안 "전정밀도(full precision)" 수학(float32)을 사용하도록 강제하여 숫자가 너무 커지지 않도록 했습니다.
3. 안전 가드: 패닉의 소용돌이를 막기 위해, 그들은 가드레일을 추가했습니다. 만약 로봇의 점수가 너무 요동치면, 가드레일이 개입하여 숫자를 부드럽게 다듬고, 만약 로봇이 이상하게 행동하기 시작하면 시스템은 비디오 게임의 "되돌리기(Undo)" 기능처럼 즉시 마지막 안전했던 순간으로 되돌아갑니다.

하지만 가장 흥ante로운 발견은 단순히 안전망을 만든 것이 아니라, **"용량-헤드룸 가설(Capacity-Headroom Hypothesis)"**이라 불리는 새로운 규칙이었습니다.

로봇의 뇌를 양동이라고 생각해 보세요. "헤드룸(여유 공간)"은 양동이 윗부분의 빈 공간입니다. 연구진은 피드백 훈련이 작동하려면, 피드백을 붓기 전에 양동이에 좋은 언어가 이미 대부분 차 있어야 한다는 것을 발견했습니다. 구체적으로, 로봇은 혼란도(perplexity)가 20 미만일 정도로 충분히 "유창"해야 합니다.

만약 로봇이 이미 유창하다면(Perplexity < 20), 피드백 루프는 아름답게 작동합니다. 로봇은 더 좋은 이야기를 쓰는 법을 배우고, 점수가 올라갑니다. 하지만 만약 로봇이 여전히 말문이 막혀 있다면(Perplexity > 20), 피드백 루프는 도움이 되지 않습니다. 오히려 상황을 악화시키거나 아무런 효과가 없습니다. 이는 마치 아이가 연필을 제대로 쥐지도 못하는데 빨간 펜으로 소설 쓰는 법을 가르치려는 것과 같습니다. 펜을 잡는 법조차 모른다면 교정은 도움이 되지 않습니다. 연구진은 단순히 로봇을 크게 만드는 것(더 많은 뉴런을 추가하는 것)이 로봇이 아직 유창하지 않다면 문제를 해결해주지 못한다는 것을 발견했습니다. 핵심은 피드백을 시작하기 전에 로봇이 먼저 좋은 화자가 되도록 보장하는 것이었습니다.

결과: 작지만 강력함

그들이 이 해결책들을 적용하고 "유창성 규칙"을 따랐을 때, 결과는 인상적이었습니다.

• 안정성: 안전망을 사용하고 유창한 로봇으로 시작한 15가지의 모든 실험은 충돌 없이 완료되었습니다.
• 성능: 유창하게 시작한 작은 로봇들(예: 4억 1천만 뉴로 모델)은 훨씬 더 좋은 이야기를 쓰는 법을 배웠습니다. 동화 테스트에서 한 로봇은 점수가 엄청나게 향상되었으며, 훨씬 더 많은 데이터로 훈련된 기존의 "지시 이행(instruction-following)" 모델들조차 능가했습니다.
• 효efficiency: 이 작은 로봇들은 거대 모델들보다 훨씬 적은 훈련 데이터를 사용하여 이 높은 품질을 달성했습니다.

하지만 논문은 무엇이 효과가 없었는지도 주의 깊게 명시하고 있습니다. 만약 로봇이 높은 혼란도(20 이상)를 가지고 시작했다면, 훈련은 개선을 가져오지 못했습니다. 사실, 특정 어려운 주제에 대해서는 훈련이 오히려 성능을 약간 떨어뜨리기도 했습니다. 이는 작은 로봇을 피드백 루프에 그냥 던져놓고 잘 되기를 바랄 수는 없으며, 반드시 먼저 준비가 되었는지 확인해야 한다는 것을 증명합니다.

이것이 미래에 의미하는 바

이 논문은 우리가 온디바이스 에이전트(on-device agents)를 갖기 위해 반드시 점점 더 큰 컴퓨터를 만들 필요는 없다고 제안합니다. 대신, 우리는 작은 것들을 훈련하는 더 똑똑한 방법을 알아야 합니다. 작은 로봇들을 고장 나게 만드는 기술적 결함들을 고치고, 피드백 훈련을 시작하기 전에 유창성을 확보함으로써, 우리는 그것들이 우리의 휴대폰이나 워치에서 실행될 수 있을 만큼 강력하게 만들 수 있습니다.

연구진은 누구나 시도해 볼 수 있도록 모든 코드, 작은 로봇 모델, 그리고 훈련 스크립트를 공유했습니다. 또한, 이 로봇들이 향후 더 길고 다단계적인 대화를 처리할 수 있도록 하는 "전방 호환적(forward-compatible)" 시스템을 구축했지만, 그 부분은 아직 테스트하지 않았습니다. 주요 교훈은 명확합니다. 작은 AI에게는 원시적인 크기보다 안정성과 좋은 시작점이 더 중요하다는 것입니다. 만약 당신이 작은 로봇에게 탄탄한 기초와 안전망을 제공한다면, 그것은 놀라운 일을 해낼 수 있습니다.