Chaos in reason: How chain-of-thought LLMs can look for an answer

강물이 흐르는 모습을 상상해 보세요. 때때로 물은 기차가 선로를 달리는 것처럼 매끄럽고 예측 가능한 선을 따라 움직입니다. 하지만 다른 때는 소용돌이를 일으키고, 바위에 부딪히며, 완전히 무작위적인 방식으로 튀어 오르기도 합니다. 과학의 세계에는 겉보기에는 무작위로 보이지만 실제로는 엄격한 규칙을 따르는 시스템을 연구하는 **카오스 이론(chaos theory)**이라는 특별한 분야가 있습니다. 핵심 아이디어는 "초기 조건에 대한 민감성"입니다. 이렇게 생각해 보세요. 울퉁불퉁한 언덕 위의 공을 아주, 아주 미세하게 살짝 건드린다면, 그 공은 이전과 같은 경로로 굴러갈 수도 있고, 완전히 다른 경로를 택할 수도 있습니다. 카오스 시스템에서는 그 작은 자극이 증폭되어, 비록 언덕의 규칙은 변하지 않았음에도 불구하고 최종 결과는 완전히 달라지게 됩니다.

이제, 거대한 컴퓨터 두뇌인 **대규모 언어 모델(LLM)**이 이야기를 쓰거나 수학 문제를 풀려고 노력한다고 상상해 보세요. 이 모델들은 똑똑하기로 유명하지만, 그 내부에서 실제로 어떻게 "생각"하는지는 아무도 정확히 알지 못합니다. 과학자들은 궁금해해 왔습니다. 이 컴퓨터의 사고 과정이 잔잔하고 곧은 강물 같을까요? 아니면 시작 단어의 아주 작은 변화가 전체 이야기를 다른 길로 보내버리는 저 거칠고 소용돌이치는 강물과 같을까요? 이 논문은 한 가지 큰 질문을 던집니다. AI의 내부 작동 방식이 실제로 카오스적인가?

연구진들은 이 AI를 물리 실험처럼 다루기로 했습니다. 그들은 단순히 AI에게 질문을 던진 것이 아니라, AI의 내부 "생각"(숨겨진 상태라고 불리는 것들)이 어떻게 움직이고 변화하는지를 관찰했습니다. 그들은 카오스의 전형적인 징후들을 찾아냈습니다: 시작점의 작은 변화가 답을 요동치게 만드는가? 그 패턴들이 카오스 시스템의 유명한 소용돌이 모양을 띠는가? 그리고 AI의 어느 부분이 이 격렬한 행동을 유발하는가?

위대한 AI 롤러코스터

과학자들은 특정 AI 모델을 가져와 프롬프트(시작 문장)를 주었습니다. 그러고 나서 그들은 아주 교묘한 일을 저질렀습니다. 그 프로프트의 쌍둥이 버전을 만들되, 인간은 결코 알아차릴 수 없을 정도로 미세한 양만큼 첫 번째 "생각"을 바꾸었습니다. 그리고 두 버전의 AI가 글을 쓰도록 내버려 두었습니다.

처음에 두 AI는 정확히 같은 단어들을 써 내려갔습니다. 마치 두 대의 자동차가 고속도로에서 나란히 달리는 것 같았습니다. 하지만 그러다 갑자기 마법적이면서도 무서운 일이 일 일어났습니다. 갑자기 한 AI가 다른 AI와 다른 단어를 선택한 것입니다. 단 하나의 단어가 바뀌자, 두 AI는 완전히 다른 방향으로 튀어나가 전혀 다른 이야기를 쓰기 시작했습니다. 시작 부분의 작고 보이지 않는 자극이 거대한 차이로 성장한 것입니다.

이것이 바로 카오스의 특징입니다. 이 논문은 AI의 내부 역학이 실제로 카오스적이라고 제안합니다. 연구진은 AI의 "생각"이 단순히 천천히 멀어지는 것이 아니라, 종종 가까이 머물다가 갑자기 도약하듯 멀어진다는 것을 발견했습니다. 이는 마치 빽빽한 숲속을 걷는 두 명의 등산객과 같습니다. 그들은 1마일 정도는 함께 걸을 수 있지만, 한 명이 느슨한 돌을 밟아 미끄러지는 순간 갑자기 서로 완전히 다른 계곡에 있게 됩니다. 논문은 이를 "간헐적이고 도약적인 발산(intermittent, jump-like divergence)"이라고 부릅니다.

늘리고 접기

그렇다면 무엇이 AI를 이렇게 행동하게 만드는 걸까요? 연구진은 탐정처럼 기계의 톱니바퀴 내부를 들여다보며 어떤 부분이 책임을 지고 있는지 찾아냈습니다. 그들은 AI의 층(layers) 사이에서 일어나는 매혹적인 줄다리기를 발견했습니다:

1. 늘리는 것들(The Stretchers): **셀프 어텐션(Self-Attention)**과 **피드 포워드 네트워크(Feed-Forward Network)**라고 불리는 AI의 두 주요 부분은 거대한 고무줄처럼 작동합니다. 이들은 정보를 가져와서 늘립니다. 만약 작은 오류나 작은 변화가 있다면, 이 부분들은 그것을 증폭시켜 점점 더 크게 만듭니다. 이것이 카오스의 "늘리는" 부분입니다.
2. 접는 것들(The Folders): 하지만 고무줄이 영원히 늘어난다면 AI는 엉망진창이 되어 폭발해 버릴 것입니다. 다행히도 정규화(Normalization) 층이라 불리는 다른 부분들이 있습니다. 이들은 늘어난 고무줄을 다시 접어서 안으로 집어넣는 손 역할을 하며, 모든 것이 안전하고 제한된 크기 안에 머물도록 유지합니다. 이들은 AI가 미쳐 날뛰는 것을 막아줍니다.
3. 잔차 연결(The Residual Connection): 이것은 정보가 늘어나고 접힌 후에도 정보를 앞으로 전달하는 안전망이나 컨베이어 벨트와 같습니다.

논문은 이 끊임없는 순환 때문에 마법이 일어난다고 제안합니다. AI는 정보를 늘리고(작은 변화를 크게 만들고), 다시 접어서 정리하며(체계적으로 유지하며), 이 과정을 반복합니다. 이 "늘리고 접는(stretch-and-fold)" 춤은 날씨 패턴이나 이중 진자처럼 실제 세상의 카오스 시스템이 작동하는 방식과 정확히 일치합니다.

생각의 지도

이 카오스를 더 명확하게 보기 위해, 과학자들은 "재귀 플롯(Recurrence Plots)"을 그렸습니다. AI의 생각이 지나온 경로를 그리는 지도를 그린다고 상상해 보세요. 만약 AI가 단순한 무작위 소음이었다면, 지도는 오래된 TV의 노이즈처럼 보였을 것입니다. 만약 완벽하게 예측 가능하다면 직선처럼 보였을 것입니다. 하지만 과학자들이 만든 지도는 카오스의 상징인 유명한 로렌츠 끌개(Lorenz attractor), 즉 나비 모양의 패턴을 띠고 있었습니다.

그들은 AI의 층에 대해 흥미로운 점을 발견했습니다. 초기 층(AI 사고의 시작 부분)은 단지 단어들을 섞는 듯한 무작위 소음에 가까웠습니다. 하지만 정보가 AI의 더 깊은 곳으로 이동할수록, 패턴은 더 구조적이고 카오스적으로 변했습니다. 가장 "깊은" 부분의 AI가 이 카오스적인 춤의 가장 강력한 징후를 보였습니다. 이는 마치 AI가 처음에는 엉망으로 쌓인 레고 블록으로 시작했다가, 무언가를 만들어가는 과정에서 카오스가 스스로를 복잡한 프랙탈 구조(아무리 확대해도 비슷해 보이는 형태)로 조직화하는 것과 같습니다.

이것이 왜 중요한가?

이 논문은 AI의 미스터리를 "풀었다"고 주장하거나, 이것이 고쳐야 할 버그라고 말하는 것이 아닙니다. 대신, 이러한 카오스적 행동이 오히려 하나의 '특징'일 수 있다고 제서합니다. "카오스의 가장자리(edge of chaos)"에서 작동하는 시스템은 정보를 처리하는 데 매우 뛰어나다고 알려져 있습니다. 이들은 작은 변화에 반응할 만큼 민다면(이는 AI가 창의적이고 유연하게 만드는 데 도움을 줌), 동시에 일관성을 유지할 만큼 안정적입니다(따라서 단순히 횡설수설하는 것을 방지함).

연구진은 셀프 어텐션(Self-Attention) 메커니즘이 이 카오스의 주요 동력임을 발견했습니다. 이것은 문장의 모든 단어를 살펴보고 어떤 단어가 중요한지 결정하는 AI의 부분입니다. 모든 단어를 복잡하고 비선형적인 방식으로 연결함으로써, 작은 자극이 큰 변화로 성장할 수 있는 완벽한 환경을 조성합니다.

결국, 이 논문은 AI를 경직된 계산기가 아니라, 질서와 카오스의 가장자리에서 춤추는 살아 숨 쉬는 시스템으로 묘사합니다. AI가 "생각"할 때, 그것은 시작 부분의 속삭임이 끝부분에서는 외침이 될 수 있는 복잡하고 고차원적인 풍경을 항해하고 있다는 것을 시사합니다. 그리고 저자들은 바로 그것이 AI가 놀라울 정도로 인간과 유사한 추론을 할 수 있게 만드는 방법이라고 제안합니다.