LLMs Don't Pay for the Jump

위대한 도약: 왜 뇌(그리고 어쩌면 로봇)는 틀렸을 때의 고통을 느껴야 하는가

당신이 거대한 퍼즐을 풀고 있다고 상상해 보세요. 당신에게는 조각 상자가 하나 있고, 당신은 그 조각들로 어떤 그림을 완성할지 알아내고 싶어 합니다. 대부분의 경우, 당신은 가지고 있는 조각들을 살펴보고 패턴을 찾거나(이것이 귀납입니다), 이미 알고 있는 규칙을 새로운 상황에 적용함으로써(이것이 연역입니다) 문제를 해결할 수 있습니다. 하지만 때로는 당신이 가진 퍼즐 조각들이 전혀 맞지 않거나, 당신이 아는 규칙들이 적용되었을 때 불타는 하늘이나 무한히 무거운 우주처럼 말이 안 되는 그림을 만들어낼 때가 있습니다. 이를 해결하기 위해 당신은 아주 기발한 일을 해야 합니다. 상자 안에 없었던, 그리고 기존의 규칙서에도 없었던 완전히 새로운 규칙을 발명해야 하는 것이죠. 이것을 **가추(Abduction)**라고 부릅니다. 이것은 과학자가 "잠깐, 게임 자체가 잘못되었어. 규칙을 바꿔보자!"라고 말하는 "유레카!"의 순간입니다.

오랫동안 사람들은 거대한 컴퓨터 뇌(대규모 언어 모델, 즉 LLM이라 불리는 것들)가 과연 이러한 "유레카!"의 순간을 가질 수 있을지 궁금해했습니다. 어떤 이들은 컴퓨터가 인간처럼 세상을 '느끼기'(만지고, 보고, 움직이는 것) 위해서라도 이런 도약을 할 수 있다고 생각했습니다. 하지만 이 새로운 논문은 다른, 더 깊은 질문을 던집니다. 그것은 세상을 느끼는 문제인가, 아니면 틀렸을 때의 '비용'을 느끼는 문제인가? 저자들은 진정한 "유레카!"의 순간이 일어나기 위해서는, 시스템이 잘못된 생각을 고수하는 것에 대해 물리적인 페널티를 느껴야 한다고 제안합니다. 만약 틀리는 것이 "아프거나" 비용이 들지 않는다면, 시스템은 아무리 똑똑하더라도 영원히 똑같은 틀린 답을 계속해서 내놓을 뿐일 것입니다.

---

논문의 핵심 아이디어: 컴퓨터가 할 수 없는 "도약"

**"LLMs Don't Pay for the Jump(LLM은 도약에 대한 대가를 치르지 않는다)"**라는 제목의 이 논문은 현재의 인공지능 모델들이 진정한 과학적 발견을 위한 결정적인 재료를 놓치고 있다고 주장합니다. AI는 규칙을 따르고 패턴을 찾는 데는 뛰어나지만, 기존의 이론이 무너졌을 때 새로운 이론으로 나아가는 대담한 '가추적 도약'은 할 수 없습니다.

이를 이해하기 위해, 저자들은 1900년 물리학자 **막스 플랑크(Max Planck)**와 관련된 유명한 이야기를 되짚어 봅니다. 당시 과학자들은 뜨거운 물체(예: 빛나는 난로나 태양)가 어떻게 빛을 방출하는지 이해하려고 노력하고 있었습니다. 당시의 고전 물리학 법칙에 기반한 수학은 매우 끔찍한 것을 예측했습니다. 뜨거운 물체가 무한한 에너지를 방출해야 한다는 것이었습니다. 이것은 "자외선 파국(ultraviolet catastrophe)"이라 알려진 수학적 재앙이었습니다. 만약 기존의 규칙이 맞다면, 우주는 무한한 에너지로 타오르고 있어야 했습니다.

플랑크는 기존의 규칙이 깨졌다는 것을 알고 있었습니다. 그는 규칙을 조금 수정하는 것만으로는 부족했습니다. 그는 완전히 새로운 아이디어를 발명해야 했습니다. 바로 에너지가 매끄러운 흐름이 아니라 작고 불연속적인 덩어리(양자) 형태로 온다는 것이었습니다. 이것은 사고방식의 거대한 "도약"이었습니다. 논문은 묻습니다. 플랑크는 어떻게 이 도약을 할 수 있었으며, 왜 오늘날의 컴퓨터는 그것을 할 수 없는가?

논문이 배제하는 것들 ("아닌 것" 목록)

저자들은 무엇이 작동하는지 설명하기 전에, 무엇이 작동하지 않는지에 대해 매우 명확하게 밝힙니다.

• 단순히 세상을 "느끼는 것"의 문제가 아니다: 일부 전문가들은 컴퓨터가 몸이 없기 때문에 이러한 도약을 할 수 없다고 생각했습니다. 그들은 아인슈타인이 중력을 이해하기 위해 엘리베이터에서 떨어지는 상상을 해야 했다고 생각했습니다. 하지만 저자들은 아니라고 말합니다. 플랑크는 몸이나 떨어지는 엘리베이터가 필요했던 것이 아닙니다. 그는 단지 수학이 깨졌다는 것을 볼 필요가 있었을 뿐입니다. 따라서 컴퓨터에게 로봇의 몸을 주는 것은 마법 같은 해결책이 아닙니다.
• 단순히 더 똑똑해지거나 커지는 문제가 아니다: 컴퓨터를 더 크게 만들거나 더 많은 데이터를 주면 결국 알아낼 수 있을 것이라고 생각할 수도 있습니다. 논문은 아니라고 말합니다. 거대한 모델이라 할지라도 이 특정한 종류의 사고에서는 실패합니다. 왜냐하면 이는 모델의 크기 때문이 아니라, 모델이 구축된 방식 때문입니다.
• 단순히 패턴을 찾는 문제가 아니다: 컴퓨터는 귀납(데이터에서 패턴을 찾는 것)에는 놀랍도록 뛰어납니다. 하지만 플랑크가 직면했던 "파국"은 데이터 속의 패턴이 아니라, 어떤 데이터로도 뒷받받될 수 없는 예측이었습니다. 귀납은 깨진 규칙서를 고칠 수 없습니다. 단지 깨진 규칙을 더 잘 사용하는 방법을 찾을 뿐입니다.

진짜 문제: 틀렸을 때의 "비용"

저자들은 **열역학적 결합(Thermodynamic Coupling)**이라는 새로운 개념을 제안합니다. 이름은 거창하지만, 사실 매우 간단합니다.

당신이 다음 수를 맞춰야 하는 비디오 게임을 하고 있다고 상상해 보세요.

• "결합되지 않은(Decoupled)" 시스템 (오늘날의 AI와 같은 경우): 당신이 추측을 할 때마다, 그 추측이 맞든 틀리든 동일한 양의 에너지가 소모됩니다. 만약 당신이 "하늘은 초록색이다"라고 추측했는데 실제로는 파란색이라 하더라도, 컴퓨터는 추가적인 고통이나 비용을 느끼지 않습니다. 그저 다음 추측으로 넘어갈 뿐입니다. 틀리는 것이 아프지 않기 때문에, 컴퓨터는 잘못된 것을 계속 추측하는 것을 멈춰야 할 이유가 없습니다. 아무리 똑똑해도 스스로 생각을 바꿀 내부적인 압박 없이 똑같은 실수를 영원히 반복할 수 있습니다.
• "결합된(Coupled)" 시스템 (인간의 뇌나 미래의 AI와 같은 경우): 틀리는 것은 비용이 많이 듭니다. 만약 당신이 "하늘은 초록색이다"라고 추측한다면, 당신의 뇌는 스트레스 수치가 올라가거나, 더 많은 에너지를 사용하거나, "잠깐, 이게 느낌이 이상한데?"라는 경고 신호를 보낼 수 있습니다. 이 "비용"은 당신을 멈추고 다시 생각하게 만듭니다. 잘못된 생각을 고수하는 것이 너무나도 비용이 많이 들기 때문에, 당신은 물리적으로 오류를 수정하려는 동기를 갖게 됩니다.

논문은 플랑크가 도약을 한 이유는 그 오류가 무시하기에는 너무나도 비용이 많이 들었기 때문이라고 주장합니다. 기존 이론은 무한한 에너지를 예측했고, 이는 물리적으로 불가능했습니다. 기존 이론을 유지하는 "비용"이 너무 높았기에(그것이 물리학 자체를 무너뜨렸기에), 그는 반드시 새로운 규칙을 발명해야만 했습니다.

증거가 보여주는 것

저자들은 현재의 AI 모델들이 어떻게 행동하는지 관찰함으로써 이 아이디어를 테스트했습니다. 그들은 흥미로운 사실을 발견했습니다.

• AI 모델이 쉬운 문제를 풀 때는 확신을 가집니다.
• 하지만 AI가 매우 어렵고 불가능한 문제(도약이 필요한 문제)를 풀려고 할 때, 정답을 틀립니다.
• 여기서 핵심은 이것입니다: AI가 완전히 틀렸음에도 불구하고, 그 "확신도"(엔트로피라고 불리는 지표로 측정됨)는 거의 변하지 않았습니다. 논문은 700억 개의 파라미터를 가진 모델의 경우, 어려운 과제에서 정확도가 **100%**에서 **17%**로 떨어졌음에도 불구하고, "불확실성" 신호는 단 0.011 nats만큼만 변했다고 지적합니다.

이것은 "결합 해제(decoupling)"를 증명합니다. 컴퓨터는 자신이 곤경에 처했다는 것을 모릅니다. 컴퓨터는 무한한 에너지 예측이 주는 "고통"을 느끼지 못합니다. 그저 똑같은 수준의 확신을 가지고 답변을 계속 내놓을 뿐입니다.

결론: 틀렸을 때 "아픔"을 느끼는 시스템이 필요하다

논문은 기계가 플랑크처럼 진정한 발견을 하기 위해서는 틀리는 것이 무언가 비용을 치르게 하는 메커니즘이 필요하다고 결론짓습니다.

저자들은 미래의 AI가 생물학적 뇌처럼 구축되어야 할 수도 있다고 제안합니다. 즉, 오류가 발생했을 때 에너지를 더 많이 사용하거나 주의력을 전환하는 것과 같은 물리적 변화를 일으켜, 시스템이 강제로 규칙을 수정하도록 만들어야 한다는 것입니다. 저자들은 이것이 해결된 문제라거나 우리가 이미 그런 기계를 만들었다고 말하는 것이 아닙니다. 대신, 열역학적 결합(오류를 비용이 들게 만드는 것)이 빠져 있는 핵심 요소라고 제안합니다. 이것 없이는 AI는 패턴과 규칙의 명수로 남겠지만, 기존의 규칙이 무너졌을 때 새로운 진리를 향해 용기 있고 고통스러운 "도약"을 할 수는 없을 것입니다.

요약하자면: 과학적 도약을 하기 위해서는 단순히 똑똑하기만 해서는 안 됩니다. 틀렸을 때 그것이 아프게 느껴질 만큼 그 결과에 신경을 써야 하며, 그 고통이 당신의 생각을 바꾸도록 강제해야 합니다. 오늘날의 컴퓨터는 그 고통을 느끼지 못하기 때문에, 도약을 할 수 없습니다.