당신이 초지능 로봇에게 인간의 언어를 말하는 법을 가르치려 한다고 상상해 보십시오. 단순히 산더미 같은 책, 뉴스 기사, 채팅 로그를 로봇의 뇌에 쏟아붓고 로봇이 스스로 문법 규칙과 논리를 깨우치기를 바랄 수도 있을 것입니다. 이것이 오늘날 대부분의 현대 AI가 작동하는 방식이지만, 이는 마치 체스 규칙을 한 번도 배우지 못한 채 사람들이 말을 움직이는 모습만 관찰하며 체스를 배우려는 것과 같습니다. 최근 과학자들은 다른 기술을 시도했습니다. 로봇에게 실제 언어를 입력하기 전에, 괄호의 균형을 맞추거나 숫자를 정렬하는 것과 같은 '기호'로 만들어진 '가짜' 데이터로 연습하게 하는 것입니다. 이는 로봇에게 단 하나의 문장을 보기 전에 일련의 논리 퍼즐을 풀 수 있는 기회를 주는 것과 같습니다. 여기서 핵심적인 질문은, 이 예비 훈련이 로봇이 인간의 언어를 더 빠르고 더 잘 배우도록 실제로 도와주는가, 아니면 그저 시간 낭비인가 하는 점입니다.

"Logic Before Language(언어보다 앞선 논리)"라는 제목의 이 논문은 그 질문을 깊이 있게 파고듭니다. 셰필드 대학교의 연구진은 단순한 기호 게임 대신 엄격한 단계별 수학적 증명인 형식 논리를 가르침으로써 AI 모델에게 더 나은 '예비 훈련'을 제공할 수 있는지 확인하고 싶었습니다. 그들은 AI에게 논리 퍼즐을 먼저 가르쳤을 때, AI가 인간의 언어를 훨씬 더 빠르고 효과적으로 이해하고 사용한다는 것을 발견했습니다. 그것은 마치 로봇이 갑자기 구조에 대한 '근육 기억'을 발달시킨 것과 같았습니다. 모델은 더 빨리 학습했을 뿐만 아니라, 정보가 조직되는 방식(또는 내부 컴퓨터 구성 요소)이 더 효율적이고 압축적으로 변했습니다. 이는 모델을 더 똑똑하게 만들었을 뿐만 아니라, 지능을 잃지 않으면서도 크기를 줄이기 쉽게 만들었는데, 이는 소형 기기에서 AI를 구동하는 데 있어 매우 중요한 일입니다.

기존 예비 훈련의 문제점

한동안 과학자들은 AI 모델을 "사전-사전 학습(pre-pretrain)"시키기 위해 노력해 왔습니다. 사전-사전 학습을 본격적인 훈련이 시작되기 전의 '입소 교육(boot camp)'이라고 생각하십시오. 과거의 이러한 입소 교육은 단순한 과제들을 사용했습니다. 어떤 것들은 (( ))나 [ ]와 같이 괄호를 맞추는 '디크 언어(Dyck languages)'를 사용했습니다. 다른 것들은 숫자 목록을 정렬하는 알고리즘 과제를 사용했습니다. 이러한 과제들은 AI가 규칙을 따르도록 가르치기는 하지만, 연구진은 이것들이 너무 협소하다고 주장합니다. 그것들은 마치 음악가에게 음계만을 연주하도록 가르치는 것과 같습니다. 손가락의 민첩성에는 도움이 될지 모르지만, 교향곡을 작곡하거나 노래의 감정을 이해하는 법을 가르쳐주지는 못합니다. 이러한 기존 방식들은 실제 인간 언어가 가진 복잡하고 무질서하며 아름다운 구조를 놓치고 있습니다.

게다가 이전 연구들은 규모가 작았습니다. 연구진은 모델을 비교적 적은 양의 데이터(100억 단어 미만)로 훈련시켰으며, 이로 인해 과학자들은 이 기술이 대규모 데이터(1000억 단어와 같은)로 모델을 훈련할 때도 여전히 작동할지 의문을 가졌습니다.

새로운 전략: 논리 입소 교육

이 논문의 저자들은 **논리 사전-사전 학습(Logic-PPT)**이라 불리는 새로운 종류의 입소 교육을 제안했습니다. 단순히 괄호를 맞추거나 숫자를 정렬하는 대신, 그들은 AI에게 **형식적 논리 도출(formal logical derivations)**을 가르쳤습니다.

당신이 탐정이라고 상상해 보십시오. 당신에게는 일련의 단서(전제)와 해결해야 할 미스터리(목표)가 있습니다. 당신은 단순히 답을 추측할 수 없습니다. 단서로부터 해결책에 도달하기 위해 엄격한 연역 규칙을 사용해야 합니다.

• 설정: AI에게 "만약 비가 오면 땅이 젖는다"와 "지금 비가 오고 있다"와 같은 사실 목록이 주어집니다.
• 과제: AI는 "땅이 젖는다"와 같은 다음 논리적 단계를 파악해야 하며, 그 새로운 사실을 사용하여 최종 목표에 도달해야 합니다.
• 규모: 연구진은 247개의 서로 다른 논리 규칙( "A이면 B이다" 및 "모든 X는 Y이다" 등을 포함)으로 구성된 거대한 라이브러리를 만들고 수백만 개의 논리 퍼즐을 생성했습니다.

그들은 2억 5,400만 개의 파라미터를 가진 AI 모델을 이 논리 퍼즐로 먼저 훈련시켰습니다. 그런 다음, 그 모델의 '두뇌'를 가져와 1,000억 단어의 실제 텍스트(FineWeb-Edu 데이터셋)를 이용한 표준 훈련 과정으로 전이시켰습니다. 그들은 이 "Logic-PPT" 모델을 처음부터 시작하거나 기존의 더 단순한 예비 훈련(숫자 정렬이나 괄호 맞추기 등)을 거친 모델들과 비교했습니다.

발견한 내용: 더 빠르고, 더 똑똑하며, 더 가볍게

결과는 놀라울 정도로 명확하고 흥-미로웠습니다.

1. "스피드 런(Speed Run)" 효과
Logic-PPT 모델은 인간의 언어를 현저히 빠르게 배웠습니다. 다양한 언어 작업에서 정확도 80%에 도달하는 경주에서, Logic-PPT 모델은 처음부터 시작한 표준 모델보다 **360억 개의 토큰(단어)**을 덜 사용하고 그 지점에 도달했습니다. 이는 마치 Logic-PPT 모델이 이미 준비 운동을 마쳤기 때문에 마라톤의 첫 몇 마일을 건너뛴 것과 같았습니다. 1,000억 토큰의 훈련이 끝났을 때, Logic-PPT 모델은 17가지의 다양한 언어 작업 세트에서 **87.4%**의 정확도를 기록하며 다음으로 우수한 방법을 여유 있게 따돌리고 명확한 승자가 되었습니다.

2. 더 조직화된 두뇌
연구진은 단순히 점수만 본 것이 아니라, 모델이 어떻게 생각하는지 보기 위해 모델의 '두뇌' 내부를 들여다보았습니다. 그들은 Logic-PPT 모델이 매우 특정한 내부 구조를 발달시켰다는 것을 발견했습니다.

• 낮은 랭크의 기하학(Lower-Rank Geometry): 옷이 사방에 던져져 있는 지저도한 방과 옷이 깔끔하게 접혀 쌓여 있는 방을 상상해 보십시오. Logic-PPT 모델의 내부 표현은 깔끔하게 쌓여 있는 방과 같았습니다. 데이터가 "낮은 랭크" 공간으로 조직되었는데, 이는 모델이 정보를 저장하기 위해 더 적고 효율적인 방향을 사용하고 있음을 의미합니다.
• 스펙트럼 집중(Spectral Concentration): 손전등 빛을 생각해 보십시오. 표준 모델은 빛을 사방으로 흩뿌릴 수 있습니다. 하지만 Logic-PPT 모델은 빛을 좁고 밝은 빔으로 집중시켰습니다. 이 "스펙트럼 집중"은 모델이 정보를 처리하는 데 있어 더 효율적임을 의미했습니다. 이 조직화된 구조는 시작 단계에서만 나타나는 것이 아니라, 1,000억 단어의 텍스트로 훈련을 마친 후에도 일관되게 유지되었습니다.

3. 압축의 마법 (가지치기/Pruning)
이것은 아마도 가장 실용적인 발견일 것입니다. Logic-PPT 모델의 두뇌는 매우 깔끔하게 조직되어 있었기 때문에, "가지치기(pruning)"에 매우 강한 내성을 보였습니다. 가지치기는 나무를 더 작고 빠르게 만들기 위해 부분을 잘라내는 것과 같습니다. 보통은 가지를 너무 많이 치면 나무가 죽습니다(AI가 제대로 작동하지 않게 됩니다).

• 연구진은 모델의 연결을 최대 **40%**까지 제거하는 방식으로 이를 테스트했습니다.
• 표준 모델과 단순 정렬 과제로 훈련된 모델들은 성능이 급격히 떨어졌습니다.
• 그러나 Logic-PPT 모델은 끈질겼습니다. 33%의 희소성(연결의 33%가 사라진 상태)에서도 전체 모델과 동일한 성능을 유지했습니다. 40%의 희소성에서도 단 **14.4%**의 성능 저하만을 보였는데, 이는 다른 모델들이 훨씬 더 많은 성능을 잃은 것과 대조적입니다. 마치 Logic-PPT 모델은 몸무게의 3분의 1을 줄여도 마라톤을 완주할 수 있는 아주 튼튼한 골격을 구축한 것과 같았습니다.

이것이 왜 중요한가

이 논문은 AI에게 언어를 가르치기 전에 엄격하고 추상적인 논리 규칙을 가르침으로써, 우리가 단순히 출발을 앞당기는 것이 아니라 AI의 두뇌가 구축되는 방식 자체를 근본적으로 바꾸고 있다고 시사합니다. 이는 모델이 더 빨리 배우고, 언어를 더 깊이 이해하며, 물리적으로 더 효율적으로 실행되도록 만듭니다.

연구진은 자신들이 특정 모델 크기(254백만 파라미터)와 특정 데이터셋을 대상으로 테스트했다는 점을 유념할 필요가 있다고 주의를 기울였습니다. 그들은 이것이 모든 AI 문제를 해결한다고 주장하거나, 모든 가능한 언어나 작업에 대해 테스트한 것이 아닙니다. 그러나 1,000억 토큰 훈련 과정에서 얻은 증거는 "언어보다 앞선 논리(Logic Before Language)"가 강력한 전략임을 강력하게 시사합니다. 로봇에게 인간처럼 말하는 법을 가르치기 전에, 수학자처럼 생각하는 법을 가르치는 것이 도움이 될 수 있다는 사실이 밝혀진 것입니다.