Why the Third Axis Is Freedom

위대한 AI 추측 게임

로봇에게 그림 그리는 법을 가르치고 있다고 상상해 보세요. 인공지능의 세계에서 이는 보통 "생성적 훈련(generative training)"이라는 과정을 통해 이루어집니다. 로봇은 이미지를 만들려고 시도하고, 만약 그 이미지가 보여준 예시와 다르다면 "벌점"이나 낮은 점수를 받게 됩니다. 로봇은 이 벌점을 최소화하고 싶어 하므로, 예시를 최대한 완벽하게 복사하도록 학습합니다. 하지만 여기에 함정이 있습니다. 만약 로봇이 단순히 가장 흔한 정답 하나만을 내뱉는 법을 배운다면, 특정 사물을 복사하는 데는 매우 능숙해질 수 있지만, 새롭거나 다른 것을 다루는 데는 형편없어질 수 있습니다. 로봇은 창의적인 예술가가 되기보다는 경직된 앵무새가 되어버립니다.

오랫동안 과학자들은 어떻게 하면 이러한 모델들을 더 유연하게 만들 수 있을지 고민해 왔습니다. 그들은 "탐색적 모델링(Explorative Modeling)"이라는 기술을 발견했습니다. 로봇에게 단 하나의 추측만 요구하는 대신, 한 번에 여러 개의 추측을 하라고 요구하는 것입니다. 예를 들어, 열 개의 서로 다른 그림을 그리라고 하는 식입니다. 그런 다음, 정답에 가장 가까운 단 하나만을 벌하고 나머지 아홉 개는 무시합니다. 이는 로봇이 더 넓은 범위의 아이디어를 머릿속에 유지하도록 강제하여, 그중 하나가 정답이 되기를 기대하는 방식입니다. 이 아이디어는 최근 AI 훈련의 새로운 "세 번째 축"이라고 불리며, 여러 가지 "모드(mode)"나 버전의 답을 보유하는 능력이 AI를 더 똑똑하게 만드는 핵심이라고 제안되었습니다.

하지만 많은 아이디어를 보유하는 것이 곧 똑똑하다는 뜻일까요? 이 논문은 더 깊은 질문을 던집니다. 마법은 추측의 숫자에 있는 것일까요, 아니면 로봇이 선택할 수 있는 자유에 있는 것일까요? 저자는 단순히 모델이 만드는 추측의 수를 세는 것만으로는 충분하지 않다고 주장합니다. 대신, 진짜 비밀은 "자유(freedom)"에 있습니다. 여기서 자유란, 모델이 규칙을 어기지 않으면서 정답이 될 수 있는 방법이 얼마나 다양한지를 의미합니다. 이것은 로봇이 단 열 가지 옵션 중에서 하나를 고르도록 강요받는 것과, 비록 현재는 몇 가지만 사용하고 있더라도 방대한 가능성의 도서관에서 선택할 수 있도록 허용되는 것의 차이입니다. 이 논문은 단순히 추측의 총량이 아니라, 이 "자유"가 실제로 AI의 학습을 돕는 것인지 탐구합니다.

세 번째 축은 숫자가 아니라 자유다

저자인 마이클 티모시 베넷(Michael Timothy Bennett)은 이 "세 번째 축"에 대해 새로운 시각을 제시합니다. 그는 기존의 "생성적 표현력(generative expressivity, 많은 모드를 보유하는 능력)"이라는 개념이 흥미롭기는 하지만, 사실은 본질을 흐리는 것(red herring)이라고 주장합니다. 이야기의 진짜 주인공은 바로 자유입니다.

모델의 행동을 게임의 규칙이라고 생각해 보세요. "약한" 규칙은 당신을 많이 제한하지 않는 규칙입니다. 예를 들어, "어떤 색의 셔츠를 입어도 좋다"라는 규칙은 수백만 가지의 가능성을 허용하므로 약한 규칙입니다. 반면 "빨간 셔츠를 입어야 한다"라는 규칙은 단 하나의 선택지만 남기므로 강한 규칙입니다. 베넷은 최고의 AI 모델이란 여전히 정답이면서도 규칙을 최대한 "약하게" 유지하는 모델이라고 주장합니다. 이 "약함"이 바로 그가 자유라고 부르는 것입니다. 그것은 모델이 여전히 상상할 수 있는 호환 가능한 완성본의 양입니다. 만약 모델이 너무 경직되어 있다면(너무 강하다면), 세상이 변할 때 실패할 수 있습니다. 만약 자유롭다면(약하다면), 단 하나의 좁은 경로에 자신을 가두지 않았기 때문에 새로운 상황에 적응할 수 있습니다.

이 논문은 "세 번째 축"이 단순히 모델이 생성할 수 있는 출력의 수(모드 수)에 관한 것이라는 생각에 도전합니다. 베넷은 모델이 이론적으로 엄청나게 많은 출력을 허용할 수 있음에도 불구하고, 그중 하나만을 사용한다면 일반화 능력이 매우 떨어질 수 있음을 보여줍니다. 반대로, 허용된 출력의 집합이 작더라도 그들에게 주의를 고르게 분산시킨다면 믿을 수 없을 정도로 강력할 수 있습니다. 이 논문은 자유가 모델의 형태(파라미터나 레이어의 수)가 아니라 모델의 함수(실제로 무엇을 하는가)의 속성임을 수학적으로 증명합니다. 모델의 크기나 데이터의 양을 변경할 수 있지만, 모델 행동의 "자유"가 동일하게 유지된다면, 일반화 능력 또한 동일하게 유지됩니다.

"Best-of-K"의 마법

그렇다면 이 자유를 어떻게 얻을 수 있을까요? 이 논문은 모델이 $K$개의 후보를 생성하고 그중 최선을 고르는 방식인 **탐색적 모델링(Explorative Modeling, XM)**을 살펴봅니다. 저자는 이 과정이 정확히 어떻게 작동하는지에 대한 수학적 공식을 도출합니다.

당신이 어두운 방 안에서 특정 열쇠를 찾고 있다고 상상해 보세요.

• 만약 한 번만 찾는다면($K=1$), 열쇠가 바로 옆에 있어도 놓칠 수 있습니다.
• 만약 열 번을 찾는다면($K=10$), 열쇠를 찾을 확률은 올라갑니다.

논문은 이 "열 번을 찾는" 과정이 모델의 자유를 확대하는 돋보기 역할을 한다고 보여줍니다. 이것은 새로운 자유를 무에서 유로 창조하는 것이 아니라, 모델이 넓은 "허용 프로필(permission profile)"을 갖도록 보상하는 것입니다. 만약 모델이 많은 출력을 허용한다면(높은 자유도), "Best-of-K" 과정은 좋은 일치를 찾아낼 가능성이 훨씬 높습니다. 만약 모델이 경직되어 단 하나의 출력만을 허용한다다면, 열 번을 찾아도 모든 열 번의 추측이 아마도 똑같이 지루한 결과일 것이기에 큰 도움이 되지 않습니다.

저자는 $K$(추측의 수)를 늘림에 따라 훈련 과정이 자연스럽게 모델을 더 "약하게"(더 자유롭게) 밀어붙인다는 것을 증명합니다. 모델은 단 하나의 사물을 완벽하게 복사하려고 노력하는 것을 멈추고, 더 넓은 범위의 가능성을 포괄하는 법을 배우기 시작합니다. 이는 타겟(모델이 학습하려는 대상)들이 모두 같지 않을 때 특히 두드러집니다. 어떤 타겟은 드물고 어떤 타겟은 흔하다면, 작은 $K$는 모델이 흔한 것들에만 집중하게 만듭니다. 하지만 $K$가 커질수록, 모델은 드문 것들에도 주의를 기울여야 하며, 결국 모든 유효한 옵션에 걸쳐 자신의 "허용"을 분산시키게 됩니다.

실험: 이론을 시험에 들게 하다

이 논문은 수학의 영역에만 머물지 않고, 이 이론이 실제 신경망의 세계에서도 통하는지 확인하기 위해 두 가지 주요 실험을 수행합니다.

실험 1: 더 많은 추측이 모델을 더 자유롭게 만드는가?
연구진은 서로 다른 $K$ 값(1에서 32까지)을 가진 AI 모델들을 훈련시켰습니다. 그리고 모델이 실제로 생성할 수 있는 서로 다른 유효한 출력의 수를 세어 훈련된 모델의 "자유도"를 측정했습니다.

• 결과: $K$를 높게 설정했을 때, 모델들은 눈에 띄게 더 자유로워졌습니다. 예를 들어, 균등한 타겟(uniform targets) 조건에서 $K$를 1에서 8로 늘렸을 때 "평균 로그 자유도(mean log freedom)"가 약 8.3 증가했습니다. 모델들은 단순히 추측을 더 잘하게 된 것이 아니라, 더 많은 유효한 가능성을 포함하도록 자신들의 "허용 프로필"을 실제로 확장했습니다. 이는 이 훈련 방식이 "추측"이라는 예산을 실제적인 기능적 자유로 성공적으로 전환했음을 확인시켜 줍니다.

실험 2: 더 "자유로운" 모델을 선택하는 것이 더 나은 결과를 낳는가?
여기서 연구진은 여러 모델을 훈련시킨 후, 게임의 규칙이 약간 바뀐 새로운 상황에서 사용할 최적의 모델을 골라야 했습니다. 그들은 두 가지 선택 방식을 비교했습니다.

1. 자식 검증(Child-Validation): 원래의 훈련 데이터(자식 작업)에서 가장 성적이 좋았던 모델을 선택함.
2. 자유도 선택(Freedom Selection): 원래 데이터에서 절대적으로 최고는 아닐지라도, "자유도" 점수가 가장 높은 모델을 선택함.

• 결과: "자유도 선택" 방식이 30번 중 29번 승리했습니다. 자유도를 기준으로 선택된 모델들은 새로운 균형 잡힌 데이터에서 훨씬 더 나은 성능을 보였습니다(적중률이 약 0.317에서 0.389로 향상됨). 이는 자유도를 기준으로 선택하는 것이, 비록 특정 데이터에 대해서는 약간 덜 완벽해 보일지라도, 더 견고하고 변화에 적응력이 높은 모델을 선택하는 방법임을 시사합니다.

거시적 관점: 수단과 목적

논문은 도구와 목표 사이의 명확한 구분을 제시하며 마무리됩니다.

• **탐색(K번의 추측)**은 수단입니다. 그것은 메커니즘이자 예산이며, 모델이 주변을 둘러보도록 강제하는 방법입니다.
• 자유는 목적입니다. 그것은 모델을 유능하게 만드는 실제적인 속성입니다.

저자는 "생성적 표현력"(많은 모드를 갖는 것이 목표라는 생각)은 자유를 나타내는 대리 지표(proxy)일 뿐이라고 주장합니다. 그것은 가능성을 세는 방법이지만, 그 가능성들이 어떻게 사용되는지에 대한 미묘한 차이를 놓치고 있습니다. 모델은 높은 모드 수를 가질 수 있지만, 그것들을 제대로 활용하지 못한다면 여전히 경직될 수 있습니다. 진정한 일반화는 자유로부터 옵니다. 즉, 모델이 수많은 호환 가능한 미래에 대해 열려 있는 능력에서 옵니다.

결론적으로, 이 논문은 AI 훈련의 "세 번째 축"은 언제나 자유였다고 제안합니다. 탐색적 모델링과 같은 새로운 방법들은 모델을 덜 제약받고, 덜 경직되며, 미래에 닥칠 어떤 일에도 대비할 수 있도록 훈련시키는 영리한 방법일 뿐입니다. 더 많은 추측을 통해 훈련한다는 것은, 단순히 AI에게 더 잘 추측하는 법을 가르치는 것이 아니라, 더 자유로워지는 법을 가르치는 것입니다.