🤖 machine learning

Procedural Pretraining: Warming Up Language Models with Abstract Data

본 논문은 형식 언어와 알고리즘으로 생성된 추상적 구조화된 데이터의 소량에 언어 모델을 처음 노출시키는 '절차적 사전 학습'이 표준 자연어 사전 학습에 비해 추론 능력을 크게 향상시키고 수렴 속도를 가속화하며 계산 비용을 줄인다는 것을 보여준다.

원저자: Liangze Jiang, Zachary Shinnick, Anton van den Hengel, Hemanth Saratchandran, Damien Teney

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Liangze Jiang, Zachary Shinnick, Anton van den Hengel, Hemanth Saratchandran, Damien Teney

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 글은 "절차적 사전 학습: 추상적 데이터로 언어 모델을 워밍업하다"라는 논문을 쉬운 언어와 창의적인 비유를 사용하여 설명한 것입니다.

핵심 아이디어: 실제 시험 전의 '두뇌 체조'

역사학의 대가가 되기 위해 재능은 있지만 경험이 부족한 학생을 훈련한다고 상상해 보세요. 일반적인 방법은 인터넷이라는 거대한 역사 서적 도서관을 그 학생에게 건네주며 "모든 것을 읽어라"라고 말하는 것입니다.

이 논문의 저자들은 다른 접근법을 제안합니다. 역사 서적을 펼치기 전에, 학생에게 몇 주 동안 논리 퍼즐, 수학 연습, 패턴 게임을 시킵니다. 그들은 이를 **"절차적 사전 학습 (Procedural Pretraining)"**이라고 부릅니다.

핵심 아이디어는 인간 아기가 복잡한 철학을 배우기 전에 블록을 쌓고 간단한 게임을 배우는 것과 마찬가지로, AI 모델도 실제 세계를 암기하기 전에 추상적이고 규칙 기반의 데이터로 '생각'하는 연습을 먼저 한다면 더 잘 학습할 수 있다는 것입니다.

'절차적 데이터 (Procedural Data)'란 무엇인가?

절차적 데이터를 생각할 때, 스토리도, 등장인물도, 그림도 없는 비디오 게임 레벨로 상상해 보세요. 그것은 순수한 규칙일 뿐입니다.

게임: "여기 숫자 목록이 있다. 이제 정렬해라." 또는 "여기 괄호 문자열 (( ))이 있다. 균형이 맞도록 만들어라."
목적: AI 는 괄호가 무엇을 의미하는지 (그것은 단지 기호일 뿐임) 배우는 것이 아닙니다. 규칙을 따르는 법, 목록을 추적하는 법, 또는 패턴을 찾는 법을 배우는 것입니다.

이 논문은 괄호 균형을 맞추거나 카드 덱을 섞는 것과 같은 간단한 컴퓨터 알고리즘으로 생성된 데이터를 사용하여 AI 에게 이러한 기본적인 '생각 근육 운동'을 가르칩니다.

주요 발견 사항 ('마법' 같은 결과)

연구자들은 이 아이디어를 테스트하여 세 가지 놀라운 사실을 발견했습니다.

1. 조금만 해도 효과가 큽니다

논리 퍼즐로 역사 서적을 대체할 필요는 없습니다. 단지 작은 '워밍업'만 있으면 됩니다.

비유: AI 를 마라톤 주자로 상상해 보세요. 연구자들은 주자가 실제 트랙 (실제 인터넷 데이터) 을 달리기 전에 트레드밀 (추상적 논리 퍼즐) 에서 총 훈련 거리의 **0.1% 에서 0.3%**만 달린다면, 전체 경기를 더 빠르고 잘 달릴 수 있음을 발견했습니다.
결과: 이 작은 '논리 워밍업'을 받은 모델들은 거대한 인터넷 데이터의 30% 에서 45% 적게 사용하여 동일한 양의 지식을 학습했습니다. 마치 훈련 비용에 할인을 받는 것과 같습니다.

2. 특정 '두뇌 결함'을 고칩니다

이 논문은 이 워밍업이 특정 어려운 작업에 도움이 되는지 테스트했습니다.

"건초더미 속의 바늘" 테스트: 100 페이지 분량의 책을 읽고 "42 페이지의 세 번째 단어는 무엇인가?"라고 묻는 상황을 상상해 보세요. 대부분의 AI 모델은 이를 어려워합니다. 끝에 도달할 때쯤이면 시작 부분을 잊어버리기 때문입니다.
해결책: AI 가 'Dyck 시퀀스'(특정 유형의 균형 잡힌 괄호 퍼즐) 로 워밍업을 받았을 때, 그 바늘을 찾아내는 능력이 **정확도 10% 에서 98%**로 급증했습니다.
교훈: 서로 다른 논리 게임은 서로 다른 두뇌 근육을 고칩니다. 어떤 게임은 기억력을 돕고, 다른 게임은 수학을 돕습니다.

3. '두뇌'는 특정 방에서 학습합니다

연구자들은 이 새로운 기술이 어디에 존재하는지 보기 위해 AI 의 '두뇌'(내부 레이어) 를 들여다보았습니다. 그들은 AI 의 두뇌에 두 가지 주요 유형의 방이 있음을 발견했습니다.

"어텐션 (Attention)" 방: 이는 AI 의 눈과 같습니다. 문장의 서로 다른 부분을 보고 어떻게 연결되는지 살펴봅니다. 논문은 코딩(매우 구조화된 작업) 의 경우, '어텐션' 방이 논리 퍼즐로부터 가장 많은 것을 학습했다고 발견했습니다.
"MLP" 방: 이는 사실이 저장되는 AI 의 기억고와 같습니다. 놀랍게도, 자연어(이야기 쓰기 등) 의 경우, 'MLP' 방이 논리 퍼즐로부터 가장 큰 혜택을 받았습니다.
결론: 논리 워밍업은 두뇌 전체를 일반적으로 '더 똑똑하게' 만든 것이 아니라, 두뇌의 특정 부분에 특정 도구를 구축한 것입니다.

기술을 어떻게 결합했는가

연구자들은 서로 다른 유형의 논리 퍼즐을 섞어보기도 했습니다.

비유: 수학은 뛰어나지만 기억력은 나쁜 학생과, 기억력은 뛰어나지만 수학은 나쁜 학생이 있다고 상상해 보세요. 연구자들은 그들을 함께 공부하게 하는 대신, 한 학생의 '수학 두뇌'와 다른 학생의 '기억 두뇌'를 가져와서 꿰매어 붙였습니다.
결과: 이 '프랑켄슈타인' 모델은 원래 두 학생 중 어느 것보다 모든 면에서 더 뛰어났습니다. 이는 서로 다른 훈련 세션에서 최고의 '논리 두뇌'를 섞어 맞추면 더 나은 AI 를 구축할 수 있음을 시사합니다.

요약: 왜 이것이 중요한가?

이 논문은 현재의 AI 모델이 지식(사실) 과 추론(생각하는 방법) 을 동시에 학습하려고 시도하기 때문에 혼란이 생긴다고 주장합니다.

절차적 사전 학습을 사용하면 본질적으로 "단순하고 지루한 규칙을 사용하여 AI 에게 먼저 생각하는 법을 가르치자. 일단 그 생각 도구를 갖추면, 실제 세계의 사실을 학습하는 것이 훨씬 더 빠르고 효율적일 것이다"라고 말하는 것입니다.

이는 AI 의 아키텍처를 변경하거나 새로운 알고리즘을 발명할 필요 없이 AI 를 더 똑똑하게 만들고, 훈련 비용을 절감하며, 기억력을 향상시키는 간단하고 가벼운 방법입니다. 그것은 단지 하루를 더 잘 시작하는 방법일 뿐입니다.

기술적 요약: 절차적 사전 학습: 추상 데이터로 언어 모델을 워밍업하다

문제 제기

현재의 대규모 언어 모델 (LLM) 은 웹 규모의 의미론적 말뭉치에 대한 사전 학습 과정에서 지식과 추론 능력을 동시에 습득합니다. 이러한 '얽힌 학습 (entangled learning)'은 주요 한계점으로 지목되며, 종종 모델이 체계적인 추론 절차보다는 표면적인 휴리스틱에 의존하게 만듭니다. 이 논문은 이러한 얽힘을 추상적 알고리즘 기술의 습득과 풍부한 의미론적 지식의 습득을 분리함으로써 완화할 수 있다고 주장합니다. 다루는 핵심 문제는 인간이 복잡한 추론 전에 간단한 논리를 학습하는 것과 유사하게, 추상적이고 구조화된 데이터로 언어 모델을 효율적으로 '워밍업'하여 이후 의미론적 지식 습득을 용이하게 하는 방법입니다.

방법론

저자들은 **절차적 사전 학습 (Procedural Pretraining)**을 제안합니다. 이는 표준 의미론적 데이터 (자연어, 코드, 수학) 에 대한 사전 학습 전에, 간단한 알고리즘 (형식 언어, 세포 자동자, 규칙 기반 프로세스) 으로 생성된 비의미론적 데이터에 모델을 노출시키는 초기 '사전 - 사전 학습 (pre-pretraining)' 단계입니다.

실험 설정

모델: 2 층의 소형 진단 모델에서 최대 13 억 파라미터의 대형 모델까지 확장된 GPT-2 유형의 디코더 전용 트랜스포머.
절차적 데이터 유형:
- 시퀀스 변환: SET(중복 제거), REVERSE(반전), IDENTITY(항등), UNION(합집합), SORT(정렬), DELETE(삭제).
- 메모리 연산: STACK(푸시/팝 연산 시뮬레이션).
- 형식 언어: K-DYCK(중첩된 균형 괄호) 및 K-DYCK SHUFFLE.
- 세포 자동자: ECA Rule 110.
학습 체계:
- 가산 설정 (Additive Setting): 고정된 의미론적 토큰 ( $T_2$ ) 에 다양한 절차적 토큰 ( $T_1$ ) 을 추가하여 성능 향상을 측정.
- 대체 설정 (Substitutive Setting): 의미론적 토큰을 줄이는 대신 소량의 절차적 토큰을 추가하여 기준선 성능과 일치시키고, 데이터 효율성을 평가.
- 전이 메커니즘:
  - 전체 모델 전이 (Full-model transfer): 모든 가중치 사용.
  - 선택적 전이 (Selective transfer): 주의 (Attention) 층 또는 MLP 층만 전이하여 유용한 정보가 어디에 위치하는지 국소화.

진단 접근법

저자들은 절차적 사전 학습을 통해 얻은 능력을 탐지하기 위해 특정 알고리즘 작업을 진단 도구로 사용합니다:

메모리 회상: Haystack(수염 속 바늘 찾기).
산술: 덧셈, 역순 덧셈, 곱셈.
논리 처리: 정렬.

주요 기여 및 결과

1. 특정 알고리즘 기술 향상

서로 다른 형태의 절차적 데이터는 고유한 알고리즘 기술을 향상시킵니다. 예를 들어:

Dyck 시퀀스는 문맥 회상을 크게 향상시킵니다 (HAYSTACK 정확도가 10% 에서 98% 로 급증).
ECA Rule 110은 역순 덧셈에 유익합니다.
SET 및 UNION 연산은 정렬 및 집합 연산을 돕습니다.
구조적 필요성: 절차적 시퀀스를 셔플링하여 토큰 분포는 유지하되 구조를 제거하면 성능이 기준선 수준으로 떨어집니다. 이는 토큰 자체뿐만 아니라 데이터의 구조가 결정적임을 확인시켜 줍니다.

2. 사전 학습 정보의 국소화

절차적 사전 학습의 이점은 모델 아키텍처 전체에 균일하게 분포되어 있지 않습니다:

Attention 층: 순수 코드 (JAVACORPUS) 와 같은 구조화된 언어 무관 도메인 및 특정 알고리즘 작업 (예: HAYSTACK) 에 중요합니다. 어떤 경우에는 전체 모델 전이보다 Attention 층만 전이하는 것이 더 나은 성능을 보였습니다.
MLP 층: 자연어 도메인 (WIKITEXT, C4) 에 더 유익합니다. 이는 MLP 가 종종 사실적 지식 저장과 연관되지만, 사실 정보가 없는 절차적 데이터가 언어 작업에 대해 MLP 를 향상시킨다는 점에서 주목할 만합니다.
하이브리드 도메인: 언어와 구조가 결합된 데이터셋 (문서화된 코드, 비공식 수학) 의 경우 전체 모델 전이가 최적입니다.

3. 데이터 효율성 및 성능 향상

절차적 사전 학습은 표준 사전 학습을 보완하는 경량이고 데이터 효율적인 방법입니다:

최소 오버헤드: **0.1% – 0.3%**의 절차적 토큰 (예: 200 만~400 만 토큰) 만 추가해도 표준 사전 학습 기준선을 크게 능가합니다.
대체: 절차적 데이터는 모델이 훨씬 적은 의미론적 토큰으로 동일한 손실 값에 도달할 수 있게 합니다:
- C4(언어): 원본 데이터의 55% 만 필요.
- CODEPARROT(코드): 원본 데이터의 67% 만 필요.
- DEEPMIND-MATH(수학): 원본 데이터의 86% 만 필요.
확장성: 이러한 이점은 모델 크기를 13 억 파라미터까지, 데이터 크기를 105 억 토큰까지 확장할 때에도 지속되고 일관되게 유지됩니다.

4. 하류 작업 유용성

사전 학습 퍼플렉시티와 알고리즘 기술의 향상은 하류 작업으로 전이됩니다:

코드 생성: 절차적 워밍업을 거친 모델은 기준선이 완전히 실패하는 MBPP(코드 생성) 작업에서 무작위 이상의 정확도를 보입니다.
추론: 미세 조정 후에도 상식 추론 (ARC-Easy, HellaSwag) 과 문법적 이해 (BLiMP) 에서 개선 효과가 지속됩니다.

5. 메커니즘 및 조합

메커니즘: 이점은 단순한 일반적인 주의 sharpening 이나 가중치 재조정 (rescaling) 이 아니라 정밀한 가중치 구조에 인코딩됩니다.
조합: 논문은 이점이 가산적임을 보여줍니다. 서로 다른 절차적 데이터 유형을 혼합하거나 다른 사전 학습 모델의 가중치를 외과적으로 결합 (예: SET 모델의 Attention + ECA 모델의 MLP) 하면 여러 작업에서 우수한 성능을 발휘합니다.

중요성 및 주장

이 논문은 절차적 사전 학습이 LLM 성능을 향상시키고 사전 학습을 가속화하는 간단하고 경량인 수단이라고 주장합니다. 그 주요 중요성은 다음과 같습니다:

지식과 추론의 분리: 세계 지식을 습득하기 전에 모델에 '알고리즘적 추론 사전 지식 (algorithmic reasoning prior)'을 주입하는 경로를 제시하여, 현재 모델을 제한하는 지식과 추론의 얽힘 문제를 해결할 가능성을 엽니다.
데이터 효율성: 고성능 모델을 학습하는 데 필요한 계산 비용 (FLOPs) 과 데이터 양을 획기적으로 줄이는 방법을 제공합니다.
모듈성: 트랜스포머 아키텍처의 서로 다른 구성 요소 (MLP 대 Attention) 가 서로 다른 유형의 귀납적 편향 (의미론적 대 구조적) 에 특화될 수 있음을 밝혀, 모듈형 사전 학습 전략을 위한 길을 엽니다.

저자들은 한계에 대해 겸손하게 언급하며, 실험에 사용된 모델이 13 억 파라미터까지로 최첨단 LLM 보다 작으며, 여러 절차적 데이터 유형을 결합하는 것은 현재 추가 최적화가 필요한 개념 증명 단계임을 지적합니다. 그러나 그들은 이 발견이 LLM 의 추론 능력 습득을 개선하기 위한 유망한 데이터 기반 경로를 제공한다고 단언합니다.