당신은 일련의 똑똑한 로봇들(대규모 언어 모델, 즉 LLM)이 거대하고 다단계적인 퍼즐을 풀려고 애쓰는 모습을 지켜보고 있다고 상상해 보세요. 그런데 이상한 점을 발견했습니다. 어떤 때는 천재 같다가도, 어떤 때는 자기 발에 걸려 넘어지기도 합니다. 일반적인 설명은 "음, 어떤 퍼즐은 그냥 더 어렵기 때문이야"라는 것입니다.

하지만 이 논문은 이렇게 말합니다. "잠깐만요! 그게 전부가 아닙니다."

모나쉬 대학교(Monash University) 연구진은 이 로봇들이 단순히 퍼즐이 어려워서 실패하는 것이 아니라고 주장합니다. 대신, 이 로봇들에게는 계획을 세우는 데 있어 완전히 다른 두 가지 뇌 기능이 있으며, 이 기술들은 전혀 다른 속도로 성장한다는 것입니다.

기계 속에 든 두 개의 뇌

계획을 세우는 것을 집을 짓는 것에 비유해 봅시다. 이 논문은 LLM이 도구 상자에 두 가지 서로 다른 도구를 가지고 있다고 제안합니다.

1. "벽돌공" (운영적 추론 - Operational Reasoning): 이것은 특정 벽돌 하나를 보고 "이게 여기에 딱 맞나? 여기 놓으면 다음에 무슨 일이 일어날까?"라고 묻는 능력입니다. 이는 국소적이고 단계적인 논리에 관한 것입니다.
2. "설계사" (구조적 열거 - Structural Enumeration): 이것은 전체 설계도를 보고 "우리가 실제로 지붕까지 도달할 수 있을까? 목표에 도달하기 위해 반드시 거쳐야 하는 이정표는 무엇일까?"라고 묻는 능력입니다. 이는 큰 그림과 목표를 향한 경로를 보는 것에 관한 것입니다.

이 논문의 주요 발견은 이 두 가지 기술이 동일한 것이 아니라는 점입니다. "벽돌공" 기술을 조금 더 키운다고 해서 부족한 "설계사" 기술을 보완할 수 없습니다. 만약 로봇이 큰 그림을 보는 데 서툴다면, 개별 벽돌을 놓는 능력이 아무리 뛰어나도 소용이 없습니다. 연구진은 이를 "비보상적(non-compensatory)" 관계라고 부릅니다. 즉, 한쪽의 강점이 다른 쪽의 약점을 메울 수 없다는 뜻입니다.

위대한 실험: 크기 vs 지능

이를 증명하기 위해, 연구팀은 단순히 로봇들에게 퍼즐을 풀게 한 것이 아니라, **문항 반응 이론(Item Response Theory)**이라는 엄격한 "성적표" 시스템을 적용했습니다(이는 학생이 무엇을 알고 무엇을 모르는지 정확하게 매핑하는 정교한 방법입니다). 그들은 세 가지 서로 다른 로봇 제품군(Qwen, Gemma, Granite)을 세 가지 조건 하에서 테스트했습니다:

• 직접 답변 (Direct): 그냥 정답을 말하기.
• 생각의 사슬 (Chain-of-Thought, CoT): 단계별로 "생각을 밖으로 내뱉으며" 진행하기.
• 스크래치패드 (Scratchpad): 로봇이 메모를 작성하고 막다른 길에 다다랐을 때 되돌아갈 수 있게 해주는 특별한 도구.

여기 반전이 있습니다:
로봇을 더 크게 만들거나(파라미터 수를 늘림), 더 많은 시간 동안 "생각"하게 했을 때(더 긴 추론 흔적을 남김), "벽돌공" 기술은 눈에 띄게 좋아졌습니다. 로봇들은 벽돌을 훨씬 더 빠르게 배치하고 즉각적인 단계를 확인하게 되었습니다.

하지만 "설계사" 기술은 어땠을까요? 그것은 정확히 그대로였습니다. 로봇이 아무리 커지거나 더 많은 시간을 들여 "생축을 밖으로 내뱉으며" 생각하더라도, 큰 그림을 보거나 목표를 향한 올바른 경로를 찾는 능력은 변함없이 형편없는 수준에 머물러 있었습니다.

이 논문은 "모델이 커지면 모든 것이 좋아진다"라는 아이디어를 명시적으로 부정합니다. 연구진은 단순히 모델의 규모를 키우거나 더 많은 추론 단계를 추가하는 것이 "설계사" 문제를 해결해주지 못한다는 것을 발견했습니다. 그것은 마치 화가에게 더 큰 캔버스와 더 좋은 붓을 주는 것과 같습니다. 꽃(벽돌)은 더 잘 그릴 수 있겠지만, 여전히 집(구조)을 짓는 법은 모르는 것과 같습니다.

"객관식" vs "자유 서술"의 마법

연구의 가장 흥미롭고 드러내는 부분이 많은 부분은 로봇들에게 어떻게 답을 요구하느냐와 관련되어 있습니다.

연구진이 로봇들에게 객관식 질문(예: "정답이 A, B, C 중 무엇인가요?")을 주었을 때, 로봇들은 "설계사" 과제에서 천재처럼 보였습니다. 하지만 스스로 답을 **생성(generate)**해야 할 때(직접 써 내려가야 할 때), 동일한 과제에 대한 성능이 거의 0에 가깝게 폭락했습니다.

논문은 "설계사" 과제의 경우, 로봇이 마음 깊은 곳에서는 정답을 알고 있지만, 그 지식을 문장으로 번역하는 데 매우 서투르다고 제사합니다. 이는 시험 문제에서 정답을 가리킬 수는 있지만, 에세이를 쓰라고 하면 얼어붙는 학생과 같습니다. 연구진은 이 격차를 측정했으며, 가장 어려운 "설계사" 과제에서 객관식과 자유 서술 사이의 차이가 매우 크다는 것(그들의 척도에서 최대 0.82점)을 발견했습니다.

이것이 의미하는 바와 그렇지 않은 바

이 논문은 "우리가 AI 계획하기를 해결했다!"라거나 "로봇이 고장 났다"라고 말하는 것이 아닙니다. 대신 우리가 엉뚱한 것을 보고 있었다고 제안합니다.

• 증명한 것: 연구진은 1,040개의 서로 다른 계획 퍼즐을 세 가지 로봇 제품군을 대상으로 측정하여 명확한 2차원 구조를 찾아냈습니다. 그들은 "벽돌공" 기술은 크기에 따라 향상되지만, "설계사" 기술은 그렇지 않다는 것을 보여주었습니다.
• 부정한 것: 계획하기가 단순히 모델이 커짐에 따라 좋아지는 하나의 단일 기술이라는 아이디어에 반박했습니다. 또한, 단순히 로봇에게 "스크래치패드"(메모를 적을 공간)를 주는 것이 "벽돌공" 과제에는 도움이 되었지만, "설계사" 문제를 마법처럼 해결해주지는 못했다는 점도 보여주었습니다.
• "아마도" (가설): 논문은 자신들이 오픈 소스 모델만을 테스트했다는 점을 언급합니다. 따라서 다른 회사의 비밀스럽고 초강력한 모델은 다른 종류의 "설계사" 뇌를 가지고 있을 가능성을 100% 확신할 수는 없습니다. 하지만 테스트한 세 가지 제품군을 기준으로 볼 때, 이 패턴은 일관적입니다.

호기-심 많은 십 대를 위한 요약

당신이 비디오 게임 캐릭터를 훈련시키고 있다고 상상해 보세요. 당신은 레벨을 반복해서 깨고 캐릭터에게 더 좋은 갑옷을 입혀주고 있습니다(모델 스케일링). 그래서 캐릭터는 개별적인 공격을 피하는 능력(운영적 추론)은 아주 좋아졌습니다. 하지만 최종 보스를 어떻게 이겨야 하는지(공격 패턴 이해)는 여전히 알지 못합니다.

이 논문은 우리에게 이렇게 말하고 있습니다: "똑같은 갑옷만 계속 강화하지 마세요! 보스를 잡는 기술을 고치려면 완전히 다른 종류의 훈련이 필요합니다."

저자들은 만약 우리가 AI의 계획 능력을 향상시키고 싶다면, 단순히 더 큰 모델이나 더 긴 생각 시간을 기다리기만 해서는 안 된다고 제 싶합니다. 우리는 어떻게 하면 "설계사" 기술을 구체적으로 가르칠 수 있을지 알아내야 합니다. 왜냐면 현재의 AI는 크기와 시간만으로는 돌파할 수 없는 벽에 부딪혀 있기 때문입니다.