The Metacognitive Bottleneck: Japanese Riddles Reveal Fundamental Limits of Machine Insight and Self-Evaluation in Reasoning AI

당신이 로봇에게 미스터리를 해결하는 법을 가르치려 한다고 상상해 보세요. 당신은 가장 어려운 부분이 단순히 사실을 아는 것, 예를 들어 사전이나 역사책을 암기하는 것이라고 생각할 수도 있습니다. 하지만 '추론'이라는 더 까다로운 종류의 사고가 있습니다. 이는 문제를 바라보고, 자신의 첫 번째 추측이 틀렸음을 깨달은 뒤, 갑자기 완전히 새로운 방식으로 답을 보는 것을 의미합니다. 이것은 마치 퍼즐 조각 더미를 보며 조각들이 맞지 않는다고 생각하다가, 갑자기 자신이 조각 하나를 거꾸로 들고 있었다는 사실을 깨닫는 것과 같습니다. 과학자들은 이를 '통찰(insight)'이라고 부릅니다.

이제, 로봇이 이 일을 할 수 있는지 테스트하고 싶다고 상상해 봅시다. 단순히 수학 시험을 줄 수는 없습니다. 로봇은 수학에 능숙하지만, 그저 훈련 데이터에서 본 정답을 암기하고 있는 것일 수도 있기 때문입니다. 이럴 때는 그들이 창의적으로 생각하고 스스로의 작업을 검토하도록 강제하는 테스트가 필요합니다. 여기서 '메타인지(metacognition)'라는 개념이 등장합니다. 메타인지를 로봇의 내부 감독관이라고 생각해 보세요. 그것은 "잠깐, 방금 정답을 찾았지만, 여기서 멈춰야 할지 아니면 계속 찾아봐야 할지 잘 모르겠어"라고 말하는 뇌의 일부분입니다. 만약 로봇이 자신의 감독관을 믿지 못한다면, 해결책을 찾아내더라도 스스로를 설득하지 못해 결국 틀린 답을 내놓을 수도 있습니다.

이것이 바로 일본의 한 연구팀이 조사하고자 했던 내용입니다. 그들은 다음과 같은 의문을 가졌습니다. "우리의 가장 똑똑한 AI 모델들이 실제로 이런 종류의 창의적 사고 능력이 향상되고 있는 것인가, 아니면 단지 유사한 질문을 많이 봐서 정답을 맞히는 요령이 좋아진 것인가?" 이를 알아내기 위해 그들은 특별한 테스트를 만들었고, 일본의 수수께끼를 통해 기계가 어떻게 생각하는지에 대한 놀라운 사실을 발견했습니다.

---

수수께끼 테스트: AI는 "아하!" 모먼트를 해결할 수 있는가?

미즈모토 마사하루(Masahuro Mizumoto)와 그의 팀이 이끄는 연구진은 일본의 고전적인 어린이 수수께끼 유형인 '나조나조(nazonazo)'를 사용하기로 결정했습니다. 이것들은 일반적인 "다리가 네 개고 짖는 동물은?" 같은 수수께끼가 아닙니다. 이 수수께끼들은 언어유희, 글자의 분해, 또는 숫자를 새로운 방식으로 보는 법에 의존하는 까다로운 말장난형 퍼즐입니다. 이 퍼즐들은 당신의 뇌가 벽에 부딪히는 '교착 상태(impasse)'를 경험하게 만든 뒤, 답이 딱 들어맞는 "아하!" 모먼트를 경험하게끔 설계되었습니다.

연구팀은 **나조나조 벤치마크(NazoNazo Benchmark)**라는 새로운 기준을 구축했습니다. 그들은 201개의 수수께끼를 모았습니다. 테스트의 공정성과 신선함을 보장하기 위해, 실제 인간과 비교할 120개를 선정했습니다. 그들은 126명의 사람에게 이 수수께끼를 풀게 했고, 인간은 약 **52.9%**를 맞혔습니다. 이것이 과학자들이 로봇을 측정할 '인간의 기준점'이 되었습니다.

그다음, 그들은 2023년에서 2025년 사이에 출시된 38개의 다양한 거대 언어 모델(화려한 AI 뇌들)을 테스트에 투입했습니다. 그들은 AI가 인터넷에서 답을 검색하거나 외부의 도움을 받지 못하도록 하여, 오직 자신의 "머릿속"에 있는 정보만으로 문제를 해결하게 했습니다.

결과: 로봇들은 여전히 진흙탕에 빠져 있다

결과는 다소 충격적이었습니다. 가장 똑똑하다고 여겨지는 '추론' 모델들조차도 수수께끼의 약 **17.6%**만을 맞혔습니다. 더 단순한 모델들은 **7.6%**라는 훨씬 낮은 성적을 기록했습니다.

인간보다 세 배 이상 높은 정확도를 보인 인간과 비교해 보면 차이가 극명합니다. 대부분의 모델이 심각하게 고전하는 동안, 한 모델이 눈에 띄는 예외로 두드러졌습니다: 바로 GPT-5였습니다. 이 모델은 평가 대상 중 가장 성능이 높고 최근에 출시된 모델이었으며, 그 정확도는 인간의 성능 범위 안에 들어왔습니다. 그러나 연구진은 이 겹침이 AI가 통계적으로 인간과 동등하다는 것을 증в하는 것은 아니지만, 이 모델이 인간의 범위에 근접한 유일한 모델임을 보여준다고 언급했습니다. 다른 거의 모든 모델에게 있어, AI는 그 창의적인 도약을 하는 데 어려움을 겪고 있었습니다.

연구진은 또한 수수께끼 자체에 대해서도 흥미로운 점을 발견했습니다. 인간의 경우, 수수께끼의 난이도가 완만한 언덕(가우스 분포)처럼 고르게 분포되어 있었습니다. 하지만 AI의 경우, 점수가 매우 낮은 값 쪽으로 심하게 치우쳐 있었습니다. AI는 쉬운 문제도 틀리고 어려운 문제도 틀렸으며, 중간이나 높은 수준의 성능을 보이는 모델은 거의 없었습니다. 이는 AI가 실제로 '생각'하며 문제를 푸는 것이 아니라, 그저 추측하고 있다는 것을 시사합니다.

진짜 문제: 스스로 답을 부정하는 로봇

이 이야기에서 가장 매혹적인 부분은 바로 여기입니다. 연구진은 단순히 최종 답변만 본 것이 아니라, AI의 '사고 로그(thought logs)'를 들여다보았습니다. 이것은 AI가 생각하는 동안 작성하는 단계별 메모입니다.

그들은 **"검증 실패(verification failure)"**라고 부르는 특정한 실패 양상을 발견했습니다.

당신이 열쇠를 찾고 있다고 상상해 보세요. 소파 밑을 보았더니 열쇠가 있습니다! 당신은 열쇠를 집어 듭니다. 하지만 그때, 당신의 내면의 목소리가 말합니다. "잠깐, 이게 정말 거기 있는 게 맞나? 혹시 모르니 주방도 한번 확인해 보자." 당신은 주방으로 가서 둘러보지만 열쇠를 찾지 못하고, 다시 돌아와서 이렇게 말합니다. "열쇠를 잃어버린 것 같아."

이것이 바로 AI가 하고 있던 행동이었습니다. 많은 경우, AI는 사고 과정 중에 정답을 생성했습니다. 올바른 해결책을 적어 내려갔습니다. 하지만 그러고 나서, "좋아, 이게 답이야"라고 말하는 대신, 계속해서 탐색을 이어가고, 스스로를 의심하며, 결국 틀린 답을 선택했습니다.

이 현상은 놀라울 정도로 자주 발생했습니다:

• 한 모델의 경우, 오답을 냈을 때의 **39.34%**에서 이런 일이 일어났습니다.
• 또 다른 모델에서는 **30.57%**의 비율로 나타났습니다.
• 가장 뛰어난 모델들조차 5.24%에서 39.34% 사이의 범위를 보이며 이 문제를 겪었습니다.

AI는 마치 범인을 찾아냈음에도 불구하고, 자신의 증거를 믿지 못해 엉뚱한 사람을 체포하기로 결정하는 형사 같았습니다. 연구진은 이를 "메타인지적 병목 현상(metacognitive bottleneck)"이라고 부릅니다. 로봇은 해결책을 찾을 수는 있지만, 그것을 믿고 멈춰 서서 확언할 수는 없는 것입니다.

이것이 미래에 의미하는 바

이 논문은 문제가 단순히 AI를 더 똑똑하게 만들거나 더 많은 데이터를 주는 것에 있지 않다고 제안합니다. 문제는 이 모델들이 자신의 작업물을 검토하는 데 서투르다는 점입니다. 그들은 아이디어를 생성하는 데는 뛰어나지만, 언제 멈춰서 "그래, 이게 맞아"라고 말해야 하는지는 잘 모릅니다.

연구진은 몇 가지 가설도 배제했습니다. 그들은 AI가 인터넷에서 수수께끼를 단순히 암기한 것이 아님을 보여주었는데, 만약 그랬다면 훨씬 더 높은 점수를 받았을 것이기 때문입니다. 또한 AI가 생각하는 언어(일본어 대 영어)를 바꾸는 것도 큰 도움이 되지 않는다는 것을 발견했으며, 이는 문제가 단순히 언어 능력보다 더 깊은 곳에 있음을 증명합니다.

그렇다면 결론은 무엇일까요? 우리는 때때로 퍼즐을 풀 수 있는 기계를 만들었지만, 그것이 풀렸을 때 인정할 수 있는 자신감은 갖추지 못했습니다. AI를 진정으로 똑똑하게 만들기 위해서는, 단순히 생각하는 법뿐만 아니라 자신의 생각을 믿는 법도 가르쳐야 할지도 모릅니다. 그때까지, 까다로운 수수께끼에 있어서는 호기심 많은 인간 십 대가 여전히 로봇을 이길 가능성이 높습니다.