Hidden Language Consistency Phenomena in Reasoning LLMs

당신이 교실에 있다고 상상해 보세요. 선생님이 한 학생에게 까다로운 수학 문제를 풀라고 시키는데, 아주 구체적인 규칙을 하나 덧붙입니다. "반드시 생각을 소리 내어 말하면서, 답변 전체를 스페인어로 작성해야 한다." 인공지능의 세계에서 이 '학생들'은 거대언어모델(LLM)입니다. 이들은 인터넷에 있는 거의 모든 것을 읽은 매우 똑똑한 컴퓨터 프로그램입니다. 우리가 그들에게 어려운 문제를 풀라고 요청할 때, 그들은 종 often '사고의 사슬(Chain-of-Thought)'이라는 기법을 사용하는데, 이는 마치 학생이 최종 답을 내기 전에 자신의 단계별 사고 과정을 휘갈겨 쓰는 것과 같습니다. 오랫동안 과학자들은 오직 최종 답이 맞았는지에만 관심을 가졌습니다. 그들은 사고 과정을 하나의 '블랙박스'처럼 취급하며, 답이 맞다면 학생이 모든 것을 올바르게 수행하고 있다고 가정했습니다. 하지만 인간 학생이 스페인어로 문제를 풀려고 노력하는 와중에 실수로 프랑스어나 영어를 말하기 시작할 수 있는 것처럼, 이 AI 모델들도 명시적으로 지시했음에도 불구하고 생각하는 도중에 언어를 바꾸는 '실수'를 할 때가 있습니다. 이 논문은 바로 그 지점을 조사합니다. 우리가 이 AI 학생들에게 점점 더 어려운 수학 문제를 풀도록 요청할 때 어떤 일이 벌어지는지, 그리고 그들이 언어 약속을 지키는지, 아니면 너무 혼란스러워진 나머지 완전히 다른 언어로 말하기 시작하는지를 조사합니다.

연구진은 이 AI '학생들'을 테스트하기 위해 8개의 언어와 단순한 학교 수학부터 가장 어려운 올림픽 수준의 퍼즐까지 4단계 난이도를 아우르는 특별한 수학 시험인 PolyMath를 사용하기로 했습니다. 그들은 다섯 가지의 '추론형' 모델(깊이 생각하도록 설계된 AI)과 세 가지의 '비추론형' 모델(표준 AI)을 살펴보며 이들이 과제를 어떻게 처리하는지 확인했습니다. 그들이 발견한 것은 마치 압박감 속에서 패닉에 빠진 학생을 지켜보는 것과 같았습니다. 수학 문제가 어려워질수록 모델들이 수학 실력만 떨어지는 것이 아니라, 사용해야 하는 언어를 고수하는 능력도 함께 떨어진다는 것을 발견했습니다.

이 연구는 이러한 언어적 '실수'가 발생하는 네 가지 뚜렷한 방식을 밝혀냈습니다. 어떤 모델은 스타처럼 멋지게 행동하여 문제가 아무리 어려워져도 올-바른 언어를 유지합니다. 또 다른 모델은 완전히 반항적이라서, 요청된 언어를 처음부터 거부하고 자신의 가장 익숙한 내부 언어(보통 영어)를 고수합니다. 세 번째 그룹은 초반에는 잘 시작하지만, 문제가 까다로워짐에 따라 서서히 집중력을 잃고 다른 언어로 흘러 들어갑니다. 하지만 가장 놀라운 발견은 네 번째 그룹입니다. 이 모델들은 쉽거나 중간 난이도의 문제에는 완벽하게 대응하지만, '중간' 난이도에 도달하는 순간 갑자기 완전히 무너져 내리며 언어를 급격히 바꿉니다. 저자들은 이를 '언어 일관성 붕괴 효과(language consistency breakdown effect)'라고 부릅니다.

여기서 정말 흥eli로운 반전이 있습니다. 이 논문은 이러한 언어 전환이 항상 점수에 나쁜 영향을 주는 것은 아니라는 점을 발견했습니다. 어떤 경우에는 모델이 요청된 언어(예: 텔루구어 또는 스와힐리어)로 생각하려는 노력을 멈추고 자신의 '편안한 영역' 언어(예: 영어)로 전환했을 때, 문제가 더 어려워졌음에도 불구하고 오히려 더 많은 문제를 맞혔습니다. 이는 마치 학생이 스페인어로 문제를 풀려고 노력하다가 영어를 쓰기로 마음먹자마자 갑자기 정답을 맞힌 것과 같습니다. 이는 만약 당신이 최종 점수만 본다면, AI가 실제로 더 똑똑해지고 있다고 생각할 수도 있지만, 실제로는 언어 지침을 따르는 것을 포기했다는 것을 의미합니다.

연구진은 또한 모델을 더 작은 기기에서 빠르게 실행되도록 '압축'하는 과정(양자화라고 불리는 과정)이 어떤 영향을 미치는지 테스트했습니다. 그들은 이 압축이 일종의 도박이라는 것을 발견했습니다. 때로는 모델이 올바른 언어를 유지하도록 도와주기도 하지만, 때로는 수학 정답이 좋아지든 나빠지든 상관없이 모델이 훨씬 더 빨리 언어를 바꾸게 만들기도 합니다. 예를 들어, GPTQ라고 불리는 한 방법은 AutoRound이라는 다른 방법보다 모델이 언어 일관성을 더 잘 유지하도록 돕는 경우가 많았지만, 수학 정답을 유지하는 데 있어서는 AutoRound가 더 뛰어났습니다.

요약하자면, 이 논문은 AI가 다국어 능력을 갖추었는지 판단하기 위해 단순히 정답을 맞혔는지 여부만 봐서는 안 된다고 주장합니다. 우리는 그것이 어떻게 생각하는지, 그리고 생각하는 동안 어떤 언어를 사용하는지를 반드시 관찰해야 합니다. 그렇지 않으면 AI가 문제를 풀기 위해 비밀리에 다른 언어를 사용하고 있거나, 상황이 어려워질 때 당신의 언어 규칙을 완전히 포기해 버리고 있다는 사실을 놓칠 수 있습니다. 이 연구는 AI가 다국어 환경에서 진정으로 신뢰할 수 있는 존재가 되기 위해서는, 최종 성적뿐만 아니라 학생이 시험의 언어 규칙을 실제로 따랐는지도 측정해야 한다고 제안합니다.