당신이 로봇에게 퍼즐을 푸는 법을 가르치고 있다고 상상해 보세요. 인공지능의 세계에서 이 로봇들은 "대규모 언어 모델(LLM)"이라고 불립니다. 이들은 거의 모든 책을 다 읽은 초열정적인 학생들과 같습니다. 이들은 이야기를 쓰고, 코드를 디버깅하고, 심지어 고등학교 교과서에 나올 법한 수학 문제까지 풀 수 있는 것으로 유명합니다. 하지만 여기 함정이 있습니다. 학생이 연습 시험에서 'A'를 받았다고 해서 게임의 규칙을 진정으로 이해했다는 뜻은 아닙니다. 만약 시험 문제를 아주 조금만 바꾼다면—예를 들어 숫자 하나를 더 추가하거나 단어의 순서를 바꾼다면—그 학생은 갑자기 당황하며 이상하고 예측 불가능한 방식으로 실패할 수도 있습니다. 과학자들은 이를 "취약성(brittleness)"이라고 부릅니다. 이는 마치 완벽해 보이지만 부드러운 미풍에도 무너질 수 있는 카드 집과 같습니다.

이런 현상이 왜 발생하는지 이해하기 위해, 연구자들은 이 모델들이 새로운 기술을 어떻게 "학습"하는지 살펴봅니다. 보통 우리는 그들이 인간처럼 학습하기를 바랍니다. 즉, 다음 단계로 넘어가기 전에 기초를 탄탄히 쌓으며 단계별로 학습하는 것이죠. 예를 들어, 숫자를 더하는 법을 배울 때 인간은 맨 끝(일의 자리)에서 시작하여, 숫자가 너무 커질 때 발생하는 "올림"(carry)을 처리하고, 그다음 십의 자리, 백의 자리 순으로 나아가는 법을 배웁니다. 이것은 논리적이고 계층적인 사고 방식입니다. 하지만 만약 로봇이 규칙을 완전히 다른 순서로 배운다면 어떻게 될까요? 만약 큰 숫자들을 먼저 배우고 작은 숫자들을 나중에 배우거나, 혹은 모든 것을 한꺼번에 배우려고 한다면 어떨까요? 이 논문은 이 미스터리를 파헤치며, 단순한 수학 퍼즐을 이용해 이 디지털 두뇌들이 실제로 어떻게 기술을 키워나가는지 관찰합니다. 그리고 이들이 인간의 이해와는 사뭇 다른, 학습처럼 보이지만 실제로는 그렇지 않은 '지름길'을 택하고 있을지도 모른다는 사실을 밝혀냅니다.

---

산산조각 난 퍼즐: AI는 수학을 거꾸로 배운다

이 연구에서 위스콘신 대학교 매디슨 캠퍼스의 연구진은 추측하는 대신 직접 관찰하기로 했습니다. 그들은 작은 규모의 단순한 AI 모델(트랜스포머라고 불리는)을 합성 산술 작업, 즉 숫자를 더하고 곱하는 연습을 반복하도록 훈련시켰습니다. 하지만 단순히 마지막에 정답을 맞히는지 확인하는 것에 그치지 않고, 숫자를 한 자리씩 뜯어보며 학습 과정을 슬로우 모션으로 관찰했습니다. 그들은 모델이 규칙을 어떻게 파악하는지 알고 싶었습니다.

그들이 발견한 것은 마치 아이가 신발 끈부터 묶으려다가 나중에야 발가락이 들어갈 곳을 찾아 헤매는 모습을 보는 것과 같았습니다. 연구진은 이 AI 모델들이 인간과는 다른 방식으로 수학을 배운다는 것을 발견했습니다. 모델은 아래(일의 자리)에서 시작해 위로 올라가는 대신, 종종 가장 높은 자릿수부터 학습했습니다.

네 개의 큰 숫자를 더한다고 상상해 보세요. 인간은 일의 자리를 보고, 숫자를 합친 뒤, 남는 것을 십의 자리로 올리고, 이런 식으로 진행할 것입니다. 그러나 AI는 처음에는 일의 자리를 완전히 무시하는 것처럼 보였습니다. AI는 천의 자리와 백의 자리에 집중하여 그 숫자들을 완벽하게 학습하는 동안, 일의 자리는 엉망인 상태로 남겨두었습니다. 그것은 마치 전체 물건의 개수가 몇 개인지는 알지도 못한 채, 일단 더미의 전체 크기부터 짐작하려는 것과 같았습니다. 연구진은 이 현상을 **"산산조각 난 구성성(shattered compositionality)"**이라고 부릅니다. 이는 모델이 카드 집을 만들려고 하는데, 기초를 다지기도 전에 지붕부터 쌓아 올린 뒤 나중에 기초가 따라잡기를 바라는 것과 같습니다.

"상관관계"라는 지름길

왜 이렇게 똑똑한 AI가 이런 어처구니없는 행동을 할까요? 논문은 그 답이 AI가 훈련 데이터를 바라보는 방식에 있다고 제안합니다. 인간은 원인과 결과의 관계를 이해하며 수학을 배웁니다. "이 일의 자리 숫자 두 개를 더하면 십이 되니까, 1을 올림해야 해." 하지만 AI는 "통계적 매칭" 게임을 하는 것처럼 보입니다. AI는 데이터를 보고 "어떤 숫자들끼리 자주 같이 나타나는가?"를 묻습니다.

연구진은 정답의 높은 자릿수가 입력 숫자의 높은 자릿수와 매우 강력하게 연결되어 있다는 것을 발견했습니다. 이는 낮은 자릿수에서 어떤 일이 벌어지든 상관없이 나타나는 패턴입니다. 이는 매우 강력하고 눈에 잘 띄는 신호입니다. AI는 이 쉽고 명확한 패턴에 먼저 달려듭니다. 왜냐하면 그것이 데이터에서 가장 뚜렷한 신호이기 때문입니다. 이는 용의자의 차를 보고 바로 범인이라고 단정 짓는 형사와 같습니다. 다른 모든 단서는 무시한 채 말이죠. AI는 '빨간 차'라는 규칙(높은 자릿수)을 가장 찾기 쉬운 상관관계이기 때문에 먼저 학습합니다. 높은 자릿수를 마스터한 후에야 비로소 복잡하고 까다로운 낮은 자릿수의 규칙을 파악하려고 시도합니다.

이를 증ament하기 위해 연구진은 "방해" 실험을 진행했습니다. 그들은 훈련 데이터에서 천의 자리 숫자를 뒤섞어 무작위로 만들었습니다. 그러자 갑자기 AI는 낮은 자릿수를 전혀 학습하지 못하게 되었습니다. AI는 갇혀버린 것입니다. 이는 AI가 수학 규칙을 논리적인 순서로 배우는 것이 아니라, 높은 자릿수에 의존하여 나머지 퍼즐을 풀고 있었다는 것을 증명했습니다. 높은 자릿수가 없으면 학습 과정 전체가 무너졌습니다.

병렬 학습의 혼돈

AI가 여러 가지 기술을 동시에 배우려고 할 때 문제는 더욱 복잡해집니다. 숫자를 정렬하거나 비교하는 작업에서 AI는 여러 규칙을 동시에 배우려고 시도합니다. 이는 마치 학생이 자전거 타기, 저글링, 피아노 연주를 동시에 배우려고 하는 것과 같습니다. 때때로 이러한 기술들은 서로 방해를 합니다.

연구진은 AI가 이러한 기술들을 동시에 배울 때 "혼합 오류(mixing errors)"가 발생한다는 것을 발견했습니다. 이름을 정렬하는 상황을 상상해 보세요. 인간은 이름의 길이를 먼저 확인하고, 그다음 첫 글자, 그다음 두 번째 글자를 확인할 것입니다. 하지만 AI는 혼란을 겪을 수 있습니다. 한 이름의 첫 글자와 다른 이름의 마지막 글자를 가져와서, 세상에 없는 엉뚱한 단어를 만들어낼 수도 있습니다. 논문은 이를 "혼합 오류"라고 부릅니다. 이는 마치 양파를 써는 법과 당근을 다지는 법을 각각 따로 배운 요리사가, 샐러드를 만들라는 요청을 받았을 때 실수로 양파 그릇에 당근을 넣고 당근 그릇에 양파를 넣어 기괴하고 먹을 수 없는 혼합물을 만드는 것과 같습니다.

이러한 병렬 학습은 취약한 시스템을 만듭니다. 만약 당신이 훈련 때 본 것과 약간 다른 문제, 예를 들어 리스트에 숫자를 하나 더 추가하는 문제를 던져준다면, AI는 무너지고 맙니다. 병렬로 배웠던 기술들이 서로 충돌하면서, 모델은 입력값들을 뒤섞어 놓은 엉망진창인 답을 내놓게 됩니다.

더 크거나 더 똑똑해지면 해결될까?

당신은 이렇게 생각할지도 모릅니다. "알겠어요, 그럼 작은 모델들이 그냥 헷ful한 거 아닌가요? 뉴스에 나오는 거대하고 강력한 AI 모델들은 어떤가요? 아니면 인간처럼 생각을 적어 내려갈 수 있는 '연습장(scratchpad)'을 주면 어떨까요?"

연구진은 이 부분도 테스트했습니다. 그들은 훨씬 더 큰 모델(최대 1억 개의 파라미터)을 훈련시켰고, 거대한 사전 학습 모델인 Pythia-1B를 이 수학 작업에 맞춰 미세 조정(fine-tuning)하기도 했습니다. 또한 모델에게 최종 답을 내놓기 전 수학 문제의 단계를 적을 수 있는 "연습장"을 제공하는 실험도 했습니다.

결과는 어땠을까요? 변한 것은 없었습니다.

거대 모델들조차도 숫자를 잘못된 순서로 배웠습니다. 연습장을 가진 모델들도 여전히 높은 자릿수를 우선시하며 낮은 자릿수에서 어려움을 겪었습니다. 연습장은 모델이 정답을 더 빨리 맞히도록 도와주기는 했지만, 근본적인 학습 스타일을 고쳐주지는 못했습니다. 모델들은 여전히 진정한 단계별 논리를 배우기보다는 "상관관계 지름길"을 택하고 있었습니다. 이는 단순히 AI를 더 크게 만들거나 더 많은 도구를 준다고 해서 자동으로 인간처럼 생각하게 되는 것이 아님을 시사합니다. "산산조각 난 구성성"은 특정 작은 모델의 버그가 아니라, 이 모델들이 데이터로부터 학습하는 방식 자체에 내재된 근본적인 특성인 듯합니다.

시사점

이 논문은 놀라운 능력을 갖추었지만 근본적으로 우리와는 다른 AI의 모습을 그려냅니다. AI는 인간의 수학처럼 보이는 문제를 풀 수 있지만, 우리와는 다른 내부 규칙을 가지고 수행합니다. 논리적이고 단계적인 알고리즘을 따르는 것이 아니라, 통계적 패턴의 지도를 따라가고 있는 것입니다. 패턴이 완벽할 때 AI는 빛을 발합니다. 하지만 패턴이 조금이라도 바뀌거나 데이터가 지저질 경우, AI의 "산산조각 난" 학습 방식은 발목을 잡게 됩니다.

연구진은 AI가 고장 났거나 쓸모없다고 말하는 것이 아닙니다. 우리가 AI를 더 잘 신뢰하기 위해서는 그것이 어떻게 학습하는지를 이해해야 한다고 말하는 것입니다. 만약 우리가 현실 세계처럼 문제가 결코 완벽하지 않고 데이터가 끊임없이 변하는 환경에서 신뢰할 수 있는 AI를 원한다면, AI가 혼란스러운 병렬식 질주를 하는 대신, 인간처럼 안정적인 계층 구조를 구축하며 기술을 쌓아 올릴 수 있도록 가르치는 방법을 찾아내야 합니다. 그때까지 우리는 이 디지털 학생들에게 연습했던 것과 아주 조금이라도 다른 문제를 풀라고 요구할 때 주의를 기울여야 할 것입니다.