당신이 로봇에게 이야기를 쓰거나 수학 문제를 푸는 법을 가르치려 한다고 상상해 보세요. 오랫동안 이 작업을 수행하는 가장 좋은 방법은 로봇에게 인간이 책을 읽는 것처럼 왼쪽에서 오른쪽으로 한 번에 한 단어씩 엄격하게 말하도록 가르치는 것이었습니다. 이것을 "자기회귀적(autoregressive)" 생성이라고 부릅니다. 이 방식은 잘 작동하지만, 다소 경직되어 있습니다. 만약 로봇이 첫 문장에서 실수를 하면, 그 실수를 바탕으로 나머지 이야기를 계속 써 내려가거나 처음부터 다시 시작해야 합니다. 인간 편집자처럼 중간을 쓰는 동안 앞부분을 고치기 위해 쉽게 되돌아갈 수 없습니다.

최근 과학자들은 "마스크 확산 모델(Masked Diffusion Model)"이라는 새로운 유형의 AI를 발견했습니다. 이것은 마치 "빈칸 채우기" 게임과 같습니다. 단어를 하나씩 쓰는 대신, AI는 몇몇 단어가 숨겨진(마스킹된) 문장을 보고 그 단어들이 무엇인지 추측합니다. 이 AI는 어떤 숨겨진 단어든 언제든지 볼 수 있기 때문에, 문장의 앞부분을 고치고, 그다음 끝부분을 고치고, 그다음 중간을 고치는 등 원하는 순서대로 자유롭게 움직일 수 있어야 합니다. 이를 "임의 순서 추론(any-order inference)"이라고 합니다. 이는 프로그래머가 전체적인 그림과 세부 사항 사이를 빈번하게 오가는 코딩과 같은 복잡한 작업에 완벽한 도구처럼 들립니다. 하지만 여기에는 함정이 있습니다. AI가 이 작업을 할 '능력'이 있다고 해서 반드시 그렇게 '행동'한다는 뜻은 아닙니다.

이 논문은 왜 이 강력한 "빈칸 채우기" 로봇들이 자유가 있음에도 불구하고 왜 종종 기존의 "왼쪽에서 오른쪽으로" 쓰는 로봇처럼 똑같은 틀에 박힌 행동을 하는지 조사합니다. 텍사스 대학교 오스틴과 하버드 대학교 연구진은 "위치 불확실성(positional uncertainty)"이라는 숨겨진 함정을 발견했습니다. 그들은 AI가 필요한 단어(예: 컴퓨터 프로그램의 특정 함수)가 무엇인지는 알 수 있어도, 그 단어가 최종 문장의 '어디'에 들어가야 하는지에 대해서는 혼란을 겪는다는 것을 발견했습니다. 위치를 확신하지 못하기 때문에, AI는 안전하게 예측 가능한 방식으로 빈칸을 채우며, 원래 의도했던 비선형적인 사고를 놓치게 됩니다.

이 문제를 해결하기 위해 연구진은 단순히 로봇의 자신감을 조절한 것이 아니라, 두 가지 새로운 초능력을 부여했습니다. 첫 번째는 로봇에게 가위와 풀을 주는 것과 같습니다. 고정된 수의 빈칸에 갇히는 대신, 로봇은 새로운 아이디어를 위한 공간을 만들기 위해 어디든 새로운 빈칸을 삽입하여 전체 문장을 이동시킬 수 있습니다. 두 번째 초능력은 로봇에게 개별 단어가 아닌 "덩어리(chunk)"나 "문단" 단위로 생각하도록 가르치는 것입니다. 단어를 하나씩 추측하는 대신 의미의 큰 블록을 한꺼번에 추측함으로써, 세부 사항에 매몰되지 않고 다음에 어떤 큰 아이디어를 구축할지 결정할 수 있게 합니다.

연구진은 이 아이디어들을 컴퓨터 코딩과 수학 문제에 테스트했습니다. 그들은 이 새로운 방법들을 사용했을 때 로봇이 실제로 인간 프로그래머처럼 생각하며, 작업물을 정교하게 다듬기 위해 코드의 여러 부분 사이를 앞뒤로 오가기 시작했다는 것을 발견했습니다. 이는 더 나은 결과로 이어졌으며, 로봇이 이전보다 더 많은 문제를 정확하게 해결하게 했습니다. 이 논문은 AI가 진정으로 인간처럼 추론하게 하려면, 단순히 임의의 순서로 움직일 수 있는 '능력'을 갖추는 것을 넘어, 움직이는 것이 자연스럽고 쉬운 선택이 되도록 설계해야 한다고 제안합니다.

문제점: "고정된 캔버스"의 함정

연구진은 왜 이러한 "빈칸 채우기" 모델(마스크 확산 모델, MDM)이 기대에 미치지 못하는지 살펴보기 시작했습니다. 이론적으로 MDM은 시퀀스의 어떤 토큰이든 언제든지 드러낼 수 있어야 합니다. 파이썬 프로그램을 작성하라고 하면, 함수 이름을 쓰고, 루프(loop)로 점프했다가, 다시 변수 정의로 돌아가는 등 인간처럼 무작위적인 순서로 작성할 수 있어야 합니다.

그러나 연구진이 모델의 동작을 관찰했을 때, 실망스러운 점을 발견했습니다. 모델이 어떤 순서로든 선택할 수 있는 자유가 있음에도 불구하고, 거의 항상 기존의 방식처럼 왼쪽에서 오른쪽으로 빈칸을 채우는 방식을 택했습니다. 저자들은 이를 "인과적 붕괴(causal collapse)"라고 부릅니다. 이는 마치 도시 전체의 지도를 가지고 있으면서도 지름길을 무시한 채 한 블록씩 차례대로 걸어가는 것과 같습니다.

논문은 이것이 단순한 나쁜 습관이 아니라, 모델이 구축된 방식의 근본적인 결함이라고 주장합니다. 문제는 바로 위치 불확실성입니다. 레고 성을 만든다고 상상해 보세요. 당신은 "타워" 조각이 필요하다는 것을 알고 있습니다. 하지만 아직 벽을 쌓지 않았기 때문에 타워가 정확히 어디에 들어갈지는 아직 모릅니다. 지금 타워를 배치하려고 하면 엉뚱한 곳에 둘 수도 있습니다.

표준 MDM에서 "캔버스"(토큰의 시퀀스)는 고정되어 있습니다. 모델은 "이 'return' 문구를 여기에 넣을까, 아니면 저기에 넣을까?"를 결정해야 합니다. 만약 모델이 'return' 문구가 필요하다는 것은 알지만, 그것이 루프 안에 속할지 루프 뒤에 올지 확신하지 못한다면, 그 확신은 가능한 모든 위치로 분산됩니다. 확신이 분산되면 모델은 앞선 단어를 명확히 따르는 단순한 단어를 배치할 때보다 'return' 문구를 배치하는 것에 대해 "덜 확신하게" 됩니다. 따라서 안전을 위해 모델은 쉬운 로컬 단어들을 먼저 채워 넣으며, 결과적으로 스스로를 왼쪽에서 오른쪽으로 가는 순서에 가두게 됩니다. 논문은 모델이 매우 똑똑하더라도 고정된 격자 형태의 캔버스가 조기 결정을 내리도록 강요한다는 것을 보여줍니다.

해결책 1: FlexMDM (가위와 풀)

"이걸 어디에 두어야 하지?"라는 문제를 해결하기 위해 첫 번째 솔루션인 FlexMDM이 등장했습니다. 이 접근 방식은 고정된 캔버스의 규칙을 바꿈으로써 게임의 규칙을 변경합니다.

종이에 이야기를 쓰고 있는데, 처음에 정해진 줄에 갇히는 대신 마법의 지우개와 풀을 가지고 있다고 상상해 보세요. 문장을 썼는데 중간에 새로운 문단을 넣어야 한다는 것을 깨달았다면, 마법처럼 그 자리에 새로운 공간을 삽입할 수 있습니다. 그러면 이전에 쓴 단어들이 옆으로 밀려나며 자리를 잡습니다.

FlexMDM은 정확히 이 작업을 수행합니다. 이 방식은 모델이 생성 과정 중에 새로운 토큰(또는 마스크)을 삽입할 수 있도록 허용합니다. 모델이 토큰을 드러내기로 결정했을 때, 최종 시퀀스에서의 영구적인 위치를 확정할 필요가 없습니다. 나중에 모델이 더 많은 공간이나 다른 구조가 필요하다고 판단하면, 새로운 간격을 삽입할 수 있고, 이전에 드러낸 토큰들은 새로운 올바른 위치로 이동합니다.

이 간단한 변화는 "위치 불확실성"의 덫을 깨뜨립니다. 모델은 더 이상 "이곳이 맞는 자리인가?"를 걱정할 필요가 없습니다. 자리가 움직일 수 있기 때문입니다. 연구진은 이를 통해 모델이 훨씬 더 인간다운 방식으로 코드를 생성할 수 있음을 발견했습니다. 한 줄을 완전히 끝내기 전에 다음 줄을 시작하는 대신, 함수 이름을 초안으로 작성한 뒤, 루프를 쓰기 위해 점프했다가, 다시 돌아와 함수의 세부 사항을 채우는 식의 작업이 가능해졌습니다. 연구진은 코드의 "트리(tree)" 구조를 분석하여 FlexMDM이 표준 모델과 달리 코드의 서로 다른 브랜치 사이를 훨씬 더 활발하게 오간다는 것을 측정했습니다.

연구진은 70억 개의 파라미터를 가진 모델(Dream-Coder)을 사용하여 이 방법을 미세 조정했습니다. HumanEval 및 MBPP와 같은 코딩 벤치마크에서, 이 새로운 "유연한" 모델은 특히 여러 번의 시도(Pass@16)를 허용했을 때 원본 모델보다 더 뛰어난 성능을 보였습니다. 이는 모델이 캔버스를 재배치할 수 있게 함으로써 더 창의적인 해결책을 탐색할 수 있음을 보여주었습니다.

해결 solution 2: LatentMDM (덩어리로 생각하기)

두 번째 솔루션인 LatentMDM은 다른 접근 방식을 취합니다. 개별 단어의 위치와 싸우는 대신, 모델이 생각하는 수준 자체를 바꿉니다.

친구에게 영화를 설명한다고 상해 보세요. 단어 하나하나로 설명하려고 하면("그 남자가 걸어갔다, 그다음 멈췄다, 그다음 쳐다봤다...") 전체적인 그림을 전달하기 어렵습니다. 하지만 "장면(scene)"이나 "덩로(chunk)" 단위로 설명하면("먼저, 주인공이 방에 들어온다. 그다음, 악당을 본다. 마지막으로, 그들이 싸운다.") 훨씬 쉽습니다. "싸움 장면부터 이야기하자"라고 말하면서, 정작 입장 장면에서 사용될 정확한 단어들에 대해서는 걱정할 필요가 없습니다.

LatentMDM은 토큰을 의미적 세그먼트(코드 라인이나 논리적 블록과 같은)로 그룹화하고, 각 세그그먼트를 "잠재 공간(latent space)"(압축된 추상적 의미 표현) 내의 하나의 단위로 취급함으로써 이를 수행합니다. 토큰을 하나씩 추측하는 대신, 모델은 다음으로 어떤 세그먼트를 드러낼지를 결정합니다.

이것은 "위치 불확실성"을 개별 단어 수준에서 전체 아이디어 수준으로 이동시킵니다. 모델은 특정 단어가 5번 슬롯에 들어갈지 6번 슬롯에 들어갈지 고민할 필요 없이, "다음으로 '루프' 세그먼트를 쓰겠다"라고 결정하기만 하면 됩니다. 세그먼트 단위가 더 크기 때문에, 모델은 내부의 정확한 단어들이 아직 결정되지 않았더라도 아이디어의 순서에 대해서는 훨씬 더 높은 확신을 가질 수 있습니다.

연구진은 TinyGSM이라는 수학 데이터셋을 사용하여 이 방법을 통해 1억 2,500만 개의 파라미터를 가진 작은 모델을 처음부터 학습시켰습니다. 그들은 이 모델이 표준 모델들과 달리 세그먼트를 비선적인 순서로 드러낼 수 있다는 것을 발견했습니다. 실제로 LatentMDM은 수학 문제에서 표준 모델은 물론 일부 더 큰 자기회귀 모델보다 더 뛰어난 성능을 보였으며, 속도 또한 더 빨랐습니다. 이는 "덩어리" 단위로 생각함으로써 모델이 세부 사항에 빠지지 않고 효율적으로 해결 경로를 찾아낼 수 있음을 시사합니다.

이것이 의미하는 바

이 논문은 임의 순서 추론을 위한 '인터페이스'(어떤 빈칸이든 선택할 수 있는 능력)를 갖추는 것만으로는 충분하지 않다는 결론을 내립니다. 모델의 내부 메커니즘 또한 이를 지원해야 합니다. 만약 모델이 단어의 고정된 격자에 갇혀 있다면, 위치에 대한 실수에 대한 두려움 때문에 자연스럽게 왼쪽에서 오른쪽으로 가는 순서로 붕괴될 것입니다.

격자를 유연하게 만들거나(FlexMDM), 더 큰 덩어리로 생각하게 함으로써(LatentMDM), 연구진은 AI가 진정으로 "왼쪽에서 오른쪽으로" 가는 습관에서 벗어날 수 있음을 보여주었습니다. 이 모델들은 단순히 텍스트를 생성하는 것이 아니라, 인간이 실제로 생각하고 복잡한 것을 구축하는 방식—앞뒤로 오가고, 아이디어를 다듬고, 최종 해결책에 도달하기 전 다양한 경로를 탐색하는 방식—을 모방하여 구조적으로 생성합니다.

저자들은 이것이 유망한 단계이지, 모든 AI 추론 문제에 대한 최종 해결책은 아니라는 점을 분명히 합니다. 이 아이디어들을 주로 코딩과 수학에 테스트했으며, 결과는 강력했지만, 이러한 "임의 순서" 행동이 다른 유형의 작업이나 더 큰 규모에서도 작동하는지 확인하기 위해서는 더 많은 연구가 필요하다고 제안합니다. 그러나 핵심 메시지는 명확합니다. AI가 인간처럼 추론하게 만들려면, 단순히 타자기처럼 글을 쓰도록 강요하는 것이 아니라 건축가처럼 생각할 수 있도록 해주어야 합니다.