Classification of integers based on residue classes via modern deep learning algorithms

숫자의 마법과 기계의 한계

당신이 숫자가 적힌 거대한 돌 더밀을 분류해야 하는 게임을 하고 있다고 상상해 보세요. 어떤 돌은 "짝수"(두 개의 똑같은 더미로 나눌 수 있음)이고, 어떤 돌은 "홀수"(하나의 돌이 남음)입니다. 인간에게 이것은 아주 쉬운 일입니다. 우리는 그저 마지막 자릿수만 보면 됩니다. 만약 그 숫자가 2, 4, 6, 8, 또는 0이라면 우리는 그것이 짝수라는 것을 압니다. 하지만 게임이 더 까다로워진다면 어떨까요? 만약 돌을 3, 7 또는 다른 소수로 나눌 수 있는지에 따라 분류해야 한다면요? 인간에게는 이럴 때 쓰는 특별한 기술이 있습니다. 예를 들어, 모든 자릿수를 더해서 그 합계가 3으로 나누어지는지 확인하는 식이죠. 이것은 우리가 초등학교 시절에 배웠던 일종의 비밀 코드와 같습니다.

이제 이 돌 분류 게임을 아주 똑똑한 로봇에게 넘겨준다고 상상해 보세요. 당신은 이렇게 생각할지도 모릅니다. "로봇이 시를 쓰거나 자동차를 운전할 정도로 똑똑하다면, 숫자 규칙에 따라 돌을 분류하는 것도 할 수 있겠지, 그렇지 않을까?" 이것이 바로 머신러닝(Machine Learning) 분야에서 과학자들이 던지는 핵심 질문입니다. 머신러l닝은 컴퓨터에게 규칙 책을 주는 대신, 수백만 개의 사례를 보여주며 가르치는 것과 같습니다. 컴퓨터는 스스로 패턴을 찾아냅니다. 또한, 가장 적합한 로봇 두뇌를 자동으로 선택해 주는 마법 상자 같은 "AutoML" 도구도 있고, 세상의 거의 모든 텍스트를 학습하여 마치 모든 것을 아는 것처럼 보이는 "대규모 언어 모델(LLM)"도 있습니다. 하지만 여기에는 함정이 있습니다. 컴퓨터가 크고 똑똑하다고 해서 인간처럼 숫자의 논리를 이해한다는 뜻은 아닙니다. 그것은 그저 답을 암기하거나 추측하는 것일 수도 있습니다.

위대한 숫자 분류 실험

이 연구에서 펜실베이니아 대학교와 필라델피아 어린이 병원의 연구진은 이 첨단 로봇들을 테스트하기로 했습니다. 그들은 현대적인 딥러닝 알고리즘, 자동화된 도구, 그리고 심지어 세계에서 가장 유명한 챗봇들이 숫자 규칙을 명시적으로 듣지 않고도 작은 소수(2, 3, 7 등)로 숫자를 나누는 규칙을 찾아낼 수 있는지 확인하고 싶었습니다.

설정: 로봇에게 새로운 언어를 가르치다
연구진은 서로 다른 유형의 컴퓨터 두뇌에 숫자를 입력하기 시작했습니다. 하지만 여기서 반전이 있습니다. 그들은 숫자를 서로 다른 "언어"나 형식으로 입력했습니다.

• 원래 숫자 (Raw Numbers): 숫자 그 자체 (예: 123).
• 이진법 (Binary): 전등 스위치가 켜지거나 꺼지는 것과 같은, 컴퓨터의 모국어인 0과 1 (예: 0과 1).
• 자릿수 리스트 (Digit Lists): 숫자를 개별 부분으로 나누는 것 (1, 2, 3).
• 자릿수 합계 (Digit Sums): 자릿수를 모두 더하는 것 (1+2+3 = 6).

그들은 세 가지 유형의 시스템에 이러한 입력값들을 테스트했습니다:

1. 심층 신경망 (Deep Neural Networks): 인간의 뇌를 모방하려고 노력하는 복잡한 수학적 층들.
2. AutoML 플랫폼: 최적의 솔루션을 자동으로 찾아내기로 되어 있는 빅테크 기업(Amazon, Google, Microsoft)의 자동화 시스템.
3. 대규모 언어 모델 (LLMs): 모든 것을 알고 있는 듯한 GPT-4, LLaMA, Falcon과 같은 유명한 AI 챗봇.

충격적인 결과: 로봇들이 막히다
결과는 "와우"와 "이런"이 섞여 있었습니다.

연구진이 로봇들에게 원래 형태(그냥 숫자 123)로 숫자를 주었을 때, 딥러닝 모델과 AutoML 도구들은 형편없었습니다. 그들은 짝수/홀수 판별에서 약 50%, 3로 나누기 규칙에서 33%의 정답률을 보이며 무작위로 찍는 수준이었습니다. 마치 로봇들이 눈을 가리고 다트를 던지는 것과 같았습니다. "마법 상자"(AutoML)는 숫자를 바라보는 방식을 알지 못했기 때문에 완전히 실패했습니다. 즉, 패턴을 드러내는 방식으로 숫자를 바라보는 법을 몰랐던 것입니다.

하지만 연구진이 특징 공학(Feature Engineering)—즉, 로봇에게 더 좋은 힌트를 주는 멋진 방법—을 사용했을 때, 로봇들은 갑자기 천재가 되었습니다.

• 숫자를 이진법(0과 1)으로 변환했을 때, 로봇들은 즉시 짝수/홀수 규칙을 100% 정확도로 찾아냈습니다. 이진법의 마지막 자릿수가 곧 정답이기 때문입니다.
• 연구진이 자릿수의 합(3으로 나누기 위해 인간이 사용하는 기술)을 제공했을 때, 로봇들 역시 100%의 정확도를 달 বাম습니다.

그러나 가장 흥-미로운 점은 다음과 같습니다: 로봇들은 규칙을 스스로 "학습"한 것이 아니었습니다. 그들은 단지 인간이 다른 형식으로 정답을 제공했기 때문에 성공한 것이었습니다. 이 연구는 이러한 정교하게 설계된 힌트 없이는, 아무리 거대하고 복잡한 신경망이라 할지라도 패턴을 찾아낼 수 없음을 보여주었습니다.

푸리에 급수 (The Fourier Series): 수학적 지름길
연구진은 딥러닝에 의존하지 않는 다른 접근 방식도 시도했습니다. 그들은 **푸리에 급수 회귀(Fourier series regression)**라고 불리는 방법을 사용했습니다. 이것을 숫자의 리듬을 찾는 특수한 파동 패턴 도구라고 생각하면 됩니다. 3이나 7로 나누는 것은 반복되는 패턴(예를 들어 3 또는 7개의 음표마다 반복되는 노래)을 만들기 때문에, 이 수학적 도구는 매우 적은 예시만으로도 정답을 완벽하게 예측할 수 있었습니다. 이는 빠르고 단순하며, 테스트된 경우(mod 3 및 mod 7)에서 100% 정확도를 보여주어, 때로는 거대하고 복잡한 AI보다 단순하고 고전적인 수학 기술이 더 효과적임을 증명했습니다.

챗봇들: 똑똑하지만 갈피를 못 잡다
마지막으로, 연구진은 유명한 챗봇(ChatGPT 및 오픈 소스 모델들)에게 규칙을 설명해 보라고 요청했습니다.

• 2나 3과 같이 작은 숫자에 대해서는 챗봇들이 가끔 정답을 말할 수 있었습니다.
• 하지만 연구진이 더 큰 소수(7, 11, 23 등)에 대해 묻자, 챗봇들은 환각(hallucination) 현상을 보이기 시작했습니다. 그들은 잘못된 규칙을 만들거나, 틀린 수학을 제시하거나, 단순히 "modulo 연산자를 사용하라"(컴퓨터가 풀어야 할 수학을 그대로 알려주는 것)고 말하며 일관되게 부정확하고 유익하지 않은 답변을 내놓았습니다. 심지 even 최신 모델인 GPT-4조차도 이 문제를 해결하는 컴퓨터 프로그램을 설계하라는 요청을 받았을 때 효율적인 솔루션을 만들어내지 못했습니다. 적절한 "특징 공학"이나 최적의 알고리즘을 찾아내지 못했습니다.

핵심 요약

이 논문의 주요 교훈은 슈퍼 컴퓨터를 갖는 것만으로는 충분하지 않으며, 문제를 어떻게 바라봐야 하는지 가르쳐야 한다는 것입니다.

연구진은 "특징 공학"—즉, 숨겨진 패턴을 드러내는 형식으로 원시 데이터를 변환하는 인간의 행위—이 여전히 가장 중요한 단계라는 것을 발견했습니다. 우리가 "AutoML"(모델을 대신 골라주는 기계)과 "LLM"(세상의 거의 모든 단어를 아는 기계)의 시대에 살고 있음에도 불구하고, 이러한 도구들은 스스로 수학 규칙을 마법처럼 발견할 수 없습니다. 이들은 인간이 "이봐, 자릿수를 봐, 혹은 이진법을 봐, 아니면 다 더해봐"라고 말해주기를 기다립니다.

이러한 인간의 안내 없이는, 세계에서 가장 발전된 AI라 할지라도 사전을 통째로 외웠지만 산수는 할 줄 모르는 학생과 같습니다. 이 연구는 AI가 강력하긴 하지만, 원시 데이터를 풀 수 있는 퍼즐로 바꾸기 위해서는 여전히 인간의 통찰력에 크게 의존하고 있다는 결론을 내립니다. 로봇은 빠르지만, 여다 여전히 우리가 손전등을 비춰주기를 필요로 합니다.