당신이 범죄가 일어나는 영화를 보며 미스터리를 풀려는 탐정이라고 상상해 보십시오. 당신은 용의자가 달리는 몇 초간의 영상을 보았고, 당신의 임무는 그가 정확히 한 시간 후에 어디에 있을지, 혹은 그 짧은 영상만으로 그의 인생 전체의 패턴이 어떠할지를 예측하는 것입니다. 이것이 바로 **동역학적 시스템 재구성(Dynamical Systems Reconstruction)**의 과제입니다. 현실 세계에서 거의 모든 것은 시간이 흐름에 따라 변화합니다. 날씨, 주식 시장, 심장 박동, 혹은 은하계의 소용돌이 같은 것들 말이죠. 과학자들은 이를 "동역학적 시스템(dynamical systems)"이라고 부릅니다. 오랫동안 이러한 시스템의 미래를 예측하기 위해, 연구자들은 각 특정 문제에 맞춰 거대하고 복잡한 컴퓨터 모델을 구축해야 했습니다. 마치 새로운 춤을 배울 때마다 그 춤에 딱 맞는 맞춤형 로봇을 새로 만드는 것과 같았습니다.

최근에는 "파운데이션 모델(Foundation Models)"이라는 새로운 물결(매우 똑똑하고 모든 것을 아는 AI 학생과 같은 존재)이 등장했습니다. 이 모델들은 수백만 개의 서로 다른 시간 여행 이야기들을 학습했습니다. 이 모델들에게 이름 모를 새로운 시스템의 아주 작은 조각을 보여주면, 그 시스템에 대해 배운 적이 없더라도 미래를 추측해 낼 수 있습니다. 이것을 **제로샷 학습(zero-shot learning)**이라고 합니다. 이는 마치 학생에게 고양이와 개 사진을 보여준 뒤, 생물학 수업을 듣지도 않았는데 호랑이 사진을 건네주자 호랑이가 어떻게 움직일지 맞히게 하는 것과 같습니다. 하지만 여기에는 함정이 있습니다. 이 AI 모델들은 '블랙박스'와 같습니다. 훌륭한 답을 내놓지만, 아무도 그것이 어떻게 그 답을 도출했는지 알지 못합니다. 너무 거대하고 복잡해서 내부의 톱니바퀴가 어떻게 돌아가는지 들여다볼 수가 없습니다. 메커니즘을 이해하지 못한다면, 그들이 단순히 추측을 하고 있는 것인지 아니면 암기하고 있는 것인지 확신할 수 없으며, 모델을 더 단순하거나 신뢰할 수 있게 만들 수도 없습니다.

이 논문은 대담한 질문을 던집니다. 혼돈스러운 시스템의 미래를 예측하기 위해 정말로 거대하고 복잡한 AI가 필요할까요? 아니면 그 거대한 모델 안에 동일한 작업을 수행하는 작고 단순한 트릭이 숨겨져 있는 것일까요? 저자들은 강력하고 최첨단인 AI인 DynaMix를 가져와서 양파 껍질을 벗기듯 층층이 벗겨내기 시작했습니다. 그들은 예측을 만드는 데 필요한 "최소한의" 핵심 성분이 무엇인지 찾고자 했습니다. 그들은 단순히 더 작은 모델을 만들려는 것이 아니라, 이러한 시스템이 작동하는 근본적인 논리를 이해하고자 했습니다. 만약 그들이 복잡한 행동을 설명할 수 있는 단순한 규칙을 찾아낸다면, 예측의 이유가 결과만큼이나 중요한 의학이나 기후 과학 같은 중요한 분야에서 과학자들이 AI의 예측을 신뢰하는 데 도움이 될 수 있습니다.

거대한 해체: 거대 AI에서 두 숫자의 규칙으로

저자들은 복잡한 시스템의 미래를 예측하기 위해 "전문가 혼합(mixture of experts)" 방식을 사용하는 정교한 AI인 DynaMix에서 시작했습니다. 이것은 마치 1만 명의 작은 전문가 팀과 같습니다. 각 전문가는 데이터를 서로 다른 각도에서 바라보고, 다음 단계에 대해 투표하며, 최종 결정을 내리기 위해 복잡한 투표 시스템을 사용합니다. 매우 잘 작동하지만, 무겁고 이해하기 어렵습니다.

연구팀은 "이 부분을 제거하면 어떻게 될까? 저 부분을 단순화하면 어떨까?"라고 자문하며 "반복적인 감소(iterative reduction)" 과정을 시작했습니다. 그들은 복잡한 신경망, 화려한 어텐션 메커니즘, 그리고 딥러닝 레이어들을 하나씩 제거해 나갔습니다. 놀랍게도 모델은 망가지지 않았습니다. 오히려 더 단순해졌음에도 불구하고 여전히 제 역할을 훌륭히 수행했습니다.

그들은 결국 DynaBase라고 부르는 모델에 도달했습니다. 이것은 "순수한 본질"입니다. 너무나 단순해서 단 두 개의 숫자(파라미터)인 $\alpha$와 $\beta$만 있으면 냅킨 위에 적어 내려갈 수 있을 정도입니다.

DynaBase가 어떻게 작동하는지 간단한 비유를 들어 설명하겠습니다.
공이 다음에 어디로 굴러갈지 예측하려고 한다고 가정해 봅시다. 당신에게는 공이 이전에 머물렀던 위치의 지도(이것이 당신의 "컨텍스트"입니다)가 있습니다.

1. 쌍둥이 찾기: 모델은 현재 공이 있는 위치를 보고, 지도에서 그곳과 가장 닮은 지점("최근접 이웃")을 찾습니다.
2. 그다음에 무슨 일이 일어났는지 확인: 모델은 지도상의 그 쌍둥이 지점 바로 다음에 어떤 일이 일어났는지 확인합니다.
3. 마법의 혼합: 모델은 세 가지 요소를 섞어서 다음 단계를 예측합니다.
   • 현재 공의 위치.
   • "쌍둥이" 지점의 위치.
   • "쌍둥이의 다음 단계"의 위치.

두 숫자 $\alpha$와 $\beta$는 이 레시피를 조절합니다. 이 숫자들은 현재 위치와 과거 기록에 각각 얼마만큼의 가중치를 줄 것인지를 결정합니다. 레시피를 제대로 맞춘다면, 모델은 날씨와 같은 혼돈스러운 시스템이나 심장 박동과 같은 주기적인 시스템을 놀라운 정확도로 예측할 수 있습니다.

위대한 발견: 핵심은 "레시피"에 있다

가장 놀라운 발견은 이 작은 두 숫자의 모델이 거대하고 복잡한 AI 모델만큼, 혹은 어떤 경우에는 그보다 더 뛰어난 성능을 보였다는 점입니다. 하지만 진짜 마법은 이 숫자들의 의미에 있습니다.

저자들은 이 두 숫자가 시스템 행동의 전체적인 성격을 제어한다는 것을 발견했습니다. 그들은 다음과 같은 가능성의 "스펙트럼"을 찾아냈습니다:

• "흉내 내기" 모드 ($\alpha = 0$): 레시피를 0으로 설정하면, 모델은 단순히 과거를 복사합니다. 지도를 보고 일치하는 곳을 찾은 뒤, "좋아, 다음 단계는 예전의 그 매치 이후에 일어났던 것과 똑같아"라고 말합니다. 이를 **컨텍스트 패러팅(context parroting)**이라고 합니다. 이는 단순하고 반복되는 루프에는 잘 작동하지만, 새로운 복잡한 패턴을 만들어내지 못하기 때문에 혼돈스러운 시스템에서는 처참하게 실패합니다.
• "흐름" 모드 ($\alpha = 1$): 레씨피를 1로 설정하면, 모델은 강물에 떠 있는 잎사귀처럼 시스템의 흐름을 완벽하게 모방합니다. 이는 매끄럽고 반복되는 순환을 포착합니다.
• "혼돈" 모드 ($\alpha > 1$): 이것이 핵심적인 폭로입니다. 저자들이 레시피를 1보다 약간 큰 값(구체적으로는 1.01 근처)으로 조정하자, 모델은 갑자기 혼돈스럽게 행동하기 시작했습니다. 모델은 단순히 과거를 복사하는 데 그치지 않고, 그들이 예측하려 했던 혼돈스러운 시스템과 똑같이 보이는, 새롭고 예측 불가능하면서도 유계된(bounded) 패턴을 생성해 냈습니다.

이 논문은 거대 AI의 성공 비결이 그 거대한 크기가 아니라, 이 특정한 "혼돈 레시피"($\alpha \approx 1.01$)를 우연히 학습했다는 점을 시사합니다. 거대 모델은 이 단순한 규칙을 찾아내기 위한 복잡한 방법이었을 뿐입니다.

학습이 중요하다: 당신이 요구하는 것이 곧 얻게 되는 것이다

논문은 또한 모델을 어떻게 가르치느냐에 따라 학습 결과가 달라진다는 것을 발견했습니다.

• 만약 모델이 바로 다음 단계를 완벽하게 예측하도록 훈련시킨다면(단기 예측), 모델은 "흉내 내는 존재(parrot)"가 되는 경 경향이 있습니다. 모델은 안전한 길을 택하여 알려진 경로를 고수하며, 실제 시스템의 거칠고 혼돈스러운 본질을 포착하는 데 실패합니다.
• 만약 모델이 (단순히 다음 단계가 아니라) 시스템의 장기적인 형태를 올바르게 재구성하도록 훈련시킨다면, 모델은 자연스럽게 "혼돈 레시피"($\alpha > 1$)를 찾아내고 진정한 복잡한 행동을 생성하는 법을 배웁니다.

이는 왜 일부 AI 모델이 장기 예측에서 실패하는지를 설명해 줍니다. 그들은 다음 1초를 완벽하게 맞추도록 훈련되었기 때문에, 시간이 흐를수록 지루하고 반복적인 모습이 되는 것입니다. 혼돈스러운 세상의 미래를 예측하려면, 단순히 다음 단계를 맞히는 것이 아니라 그 장기적인 춤을 이해하도록 훈련시켜야 합니다.

결론

저자들은 복잡한 시스템의 미래를 예측하기 위해 백만 달러짜리 슈퍼컴퓨터가 필요하지 않다는 것을 보여줍니다. 그저 과거를 살펴보고, 유사한 순간을 찾고, 거기에 약간의 "발산(divergence, 매번 경로를 약간 다르게 만드는 것)"을 섞는 단순한 규칙만 있으면 됩니다.

그들은 이 단순한 두 파라미터 모델인 DynaBase가 다음을 할 수 있음을 증명했습니다:

1. 거대하고 복잡한 AI 모델의 성능과 대등하거나 이를 능가함.
2. 단순히 복사된 것이 아닌, 실제처럼 보이는 혼돈스러운 행동을 생성함.
3. 며칠간의 컴퓨팅 파워를 들이는 대신, 단순한 수학을 사용하여 순식간에 학습됨.

이 논문은 결론적으로 이러한 파운데이션 모델의 "마법"은 마법이 아니라는 점을 시사합니다. 그것은 눈앞에 숨겨져 있던 단순하고 우아한 수학적 트릭입니다. 모델을 가장 단순한 형태로 축소함으로써, 저자들은 단순히 더 작은 AI를 만든 것이 아니라, 블랙박스를 투명하고 이해 가능한 도구로 바꾸어 모델이 어떻게 작동하는지에 대한 명확한 창을 열어주었습니다. 이는 많은 과학적 문제에 있어, 가장 강력한 해결책은 가장 큰 것이 아니라, 레시피를 제대로 맞춘 가장 단순한 것일 수 있음을 시사합니다.