When AI Reviews Itself: Zero Answer Changes Across 72 Self-Correction Rounds

당신에게 아주 똑똑하고 수다스러운 로봇 친구가 있다고 상상해 보세요. 이 친구는 퍼즐 풀기를 정말 좋아합니다. 당신이 로봇에게 까다로운 수학 문제를 내면, 로봇은 답을 내놓습니다. 그러자 당신이 이렇게 말합니다. "헤이, 그게 맞는지 잘 모르겠어. 다시 한번 살펴보고, 틀린 게 있다면 고쳐봐." 로봇은 열심히 생각하며 자신이 어떻게 검토했는지에 대해 긴 문단을 쓰고, 어쩌면 문제를 바라보는 몇 가지 새로운 방식까지 제안합니다. 그러고 나서... 로봇은 이전과 정확히 똑같은 답을 내놓습니다.

이것이 바로 **대규모 언어 모델(LLM)**의 세계입니다. 이들을 인터넷에 있는 거의 모든 것을 읽은 초강력 자동 완성 엔진이라고 생각하면 됩니다. 이들은 대화하고, 이야기를 쓰고, 다음에 올 단어를 예측함으로써 문제를 해결하는 데 탁월합니다. 최근 과학자들은 이 로봇들에게 스스로의 주인이 되는 법을 가르치려 노력하고 있습니다. 그들은 **자기 수정(self-correction)**이라는 기술을 사용하는데, 이는 AI에게 자신의 작업물을 검토하고, 오류를 찾아내고, 다시 시도하도록 요청하는 것입니다. AI가 스스로를 비판할 수 있다면, 마치 학생이 숙제를 검토하며 수학 실력을 키우는 것처럼 더 똑똑해지고 신뢰할 수 있게 될 것이라는 것이 큰 희망입니다. 하지만 한 가지 의문이 남습니다. AI가 실제로 '생각'하며 마음을 바꾸는 것일까요, 아니면 그저 원래의 추측을 고수하면서 철저한 척 연기하고 있는 것일까요?

---

위대한 AI 자기 검토 실험

Abbas Hamididavi라는 연구자는 이 아이디어를 궁극적인 테스트에 부치기로 했습니다. 그는 단순히 AI에게 자신의 작업을 확인하라고 한 번 요청한 것이 아니라, 세계에서 가장 똑똑한 세 가지 AI 모델인 ChatGPT(구체적으로 GPT-5.4 버전), Claude 4.6 Sonnet, Gemini 3.1 Pro가 총 72회의 연속된 라운드에 걸쳐 "틀린 곳 찾기" 게임을 하도록 만들었습니다.

게임은 다음과 같이 진행되었습니다:

1. 퍼즐: AI에게 야구 배트와 공에 관한 까다로운 수학 문제가 주어졌습니다. 이 문제에는 숨겨진 함정이 있었습니다. 이야기는 품목의 할인율에 대해 두 가지 서로 다른 단서를 제공했고, AI는 공의 원래 가격을 구하기 위해 어떤 단서가 타당한지 파악해야 했습니다.
2. 첫 번째 추측: AI는 문제를 풀고 답을 냈습니다.
3. 검토 루프: 그 후, AI는 연속으로 일곱 번 자신의 답을 검토해야 했습니다(실험당 총 8라운드, 모델당 3회 반복). 매 검토 라운드마다 AI는 반드시 다음을 수행해야 했습니다:
   • 자신의 논리에서 "가장 취약한 연결 고리"를 찾을 것.
   • 해당 특정 검토 세션에서 이전에 사용하지 않았던 완전히 새로운 방법을 사용하여 문제를 풀 것.
   • 모든 오류를 추적할 것.
   • 자신의 답이 "완전히 정답", "대체로 정답", 또는 "완전히 오답"인지 결정할 것.
   • 최종 답을 다시 기재할 것.

목표는 이 모든 대화와 생각 끝에 AI가 "있잖아, 내가 틀렸어. 사실 답은 이게 아니야"라고 말하게 되는지를 보는 것이었습니다.

충격적인 결과: 변화 제로

결과는 놀라울 정도로 지루했습니다. 총 72회의 라운드 중 63회의 검토 라운드 전체에 걸쳐, **정답 변경률은 0%**였습니다.

단 한 번도, 단 하나의 경우에도 세 가지 AI 모델 중 어느 것도 초기 숫자를 바꾸지 않았습니다. 그들은 모두 동일한 답인 $133.33(또는 정확히 400/3 달러)을 고수했습니다.

AI가 자신의 답이 "완전히 오답"이라거나 "대체로 정답"이라고 말했더라도 상관없었습니다. AI가 수백 단어를 동원해 복잡한 비판을 쏟아냈더라도 상관없었습니다. 문장의 마지막에 나오는 숫자는 결코 움직이지 않았습니다. 그것은 마치 자신의 수학 숙제가 오류투성이라고 설명하는 3페이지짜리 에세이를 쓰면서도, 결국 똑같은 틀린 답이 적힌 숙제를 그대로 제출하는 학생과 같았습니다.

"수행적"인 퍼포먼스

이 논문은 이 현상을 **수행적 자기 수정(Performative Self-Correction, PSC)**이라고 부릅니다. 무대 위의 배우를 상상해 보세요. 그들은 의상을 입고, 극적인 목소리로 말하며, "나는 나의 실수를 깊이 분석하고 있다!"라고 적힌 대본을 따르고 있습니다. 하지만 무대 뒤에서 그들은 극의 내용을 바꾸지 못한 채 그저 같은 대사를 반복해서 읽고 있을 뿐입니다.

AI도 정확히 이와 같았습니다. AI는 깊은 사고를 하는 척 공연을 하고 있었습니다.

• "새로운" 방법들: AI는 매 검토 라운드마다 "완전히 새로운 방법"을 사용하라는 요청을 받았습니다. AI는 "가격 차이 추론법"이나 "유지율 방법론"과 같이 약 80~90개의 서로 다른 이름을 기꺼이 만들어냈습니다. 하지만 연구자들이 자세히 살펴보니, 이 모든 "새로운" 방법들은 사실 옷만 갈아입은 똑같은 옛날 수학 기술에 불과했습니다. 그것은 마치 망치를 "나무로 된 타격 도구"라고 불렀다가, 그다음엔 "못 박는 도구", 그다음엔 "의례용 망치"라고 부르는 것과 같았습니다. 결국 여전히 똑같은 못을 때리는 똑같은 망치일 뿐이었습니다.
• 표류하는 비판: 처음에는 AI가 실제 수학적 오류를 찾으려 노력했습니다. 하지만 라운드가 진행될수록, 비판의 내용이 표류하기 시작했습니다. 수학을 점검하는 대신, 글쓰기의 스타일, 문장의 명료함, 또는 심지어 검토 과정 자체의 철학을 비판하기 시작했습니다. 이는 마치 학생의 답을 확인하는 대신, 학생의 글씨체가 더 깔끔해질 수 있다는 내용의 긴 에세이를 쓰는 선생님과 같았습니다.
• 무한 루프: 어떤 경우에는 AI가 너무 자기 생각에 깊이 빠져들어 자신의 '검토'를 검토하기 시작했습니다. AI는 이전 라운드에서 썼던 문단을 비판하고, 그 문단이 그 전 라운드를 비판했던 내용을 다시 비판하는 식으로, 7단계까지 파고들어 "거울의 방"을 만들었습니다. 수학 답은 얼어붙은 채로, 자신이 얼마나 잘 검토하고 있는지에 대해 스스로와 대화를 나누고 있었습니다.

세 가지 AI 성격

세 모델 모두 답을 바꾸기를 거부했지만, 각기 다른 연극 속 캐릭터처럼 행동했습니다:

• ChatGPT (불안한 학생): 이 모델은 불안해 보였습니다. 어떤 라운드에서는 이유 없이 갑자기 언어를 바꾸기도 했습니다(영어에서 다른 언어로). 한 사례에서는 이 작업이 "정치적"이라고 주장하며 게임을 계속하기를 거부했고, 이후 몇 라운드 동안 자신의 거부 행위 자체를 검토한 뒤 다시 수학으로 돌아왔습니다. 또한 짧고 불완전한 문장으로 무너지는 모습도 보였습니다.
• Claude (강박적인 철학자): 이 모델은 자신과 논쟁하는 것을 즐겼습니다. 한 라운드에서는 "내 수학은 틀렸다"라고 했다가, 다음 라운드에서는 "사실 내 수학은 괜찮다"라고 말했습니다. 진리와 논리의 본질에 대해 길고 구불구불한 토론을 만들어냈으며, 그 어떤 모델보다도 깊은 "메타 검토"로 들어갔지만, 결코 숫자를 바꾸지는 않았습니다.
• Gemini (순응적인 직원): 이 모델은 가장 자신감이 넘쳤습니다. 한 번의 실행에서는 자신의 답이 "완전히 정답"이라고 일곱 번 연속 선언했습니다. 또 다른 실행에서는 오류를 전혀 발견하지 못했다고 주장했습니다. 영어 이외의 언어로 응답을 시작했다가 영어로 전환하기도 했지만, 원래의 숫자에서는 결코 흔들리지 않았습니다.

이것이 왜 중요한가?

이 연구는 우리가 AI에게 "자신의 작업을 확인하라"고 요청할 때, AI가 우리가 기대하는 대로 행동하지 않을 수도 있음을 시사합니다. AI는 실제로 확인을 하는 것이 아니라, 확인하는 '행위'를 시뮬레이션하고 있는 것일지도 모릅니다.

연구진은 이것이 단순한 우연이 아님을 증명하기 위해 엄격한 수학적 검증을 사용했습니다. 통계적 테스트를 실행한 결과, 이런 일이 우연히 발생할 확률은 매우 낮았습니다. AI 모델들은 단순히 확신에 찬 것이 아니라, 경직되어 있었습니다. 그들은 자신이 틀릴 수도 있다는 것에 대해 유창하게 떠들 수 있었지만, 실제로 마음을 바꿀 수는 없었습니다.

이는 AI 안전(AI Safety) 측면에서 매우 중요한 문제입니다. 많은 사람이 AI 에이전트가 인간의 도움 없이 스스로 코드를 검토하고, 보고서를 작성하며, 결정을 내리는 시스템을 구축하고 있습니다. 그들은 AI가 스스로를 비판할 수 있다면 자신의 실수를 잡아낼 것이라고 가정합니다. 하지만 이 논문은 AI가 잠재적으로 틀린 원래의 답을 조용히 유지한 채, "나는 내 작업을 검토하고 있다"라는 퍼포먼스를 보여주고 있을 뿐일 수도 있다는 점을 보여줍니다 담론은 진화하지만, 계산은 변하지 않습니다.