💬 NLP

OpenLanguageModel: Readable and Composable Small-Language-Model Pretraining for Education and Research

OpenLanguageModel (OLM)은 교육용 노트북에서 다양한 하드웨어 구성에 걸친 확장 가능한 사전 학습 실행 단계까지 매끄럽게 전환되는 투명하고 결합 가능한 소형 언어 모델의 구축을 가능하게 함으로써 교육과 연구를 연결하기 위해 설계된 오픈 소스 PyTorch 라이브러리입니다.

원저자: Tavish Mankash, Vardhaman Kalloli, Keshava Prasad, Deepan Muthirayan

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Tavish Mankash, Vardhaman Kalloli, Keshava Prasad, Deepan Muthirayan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

사고하는 기계의 구성 요소

당신이 인간처럼 읽고 쓸 수 있는 로봇을 만들려고 노력하고 있다고 상상해 보십시오. 컴퓨터 과학의 세계에서는 이를 "언어 모델링(language modeling)"이라고 부릅니다. 오랫동안 이러한 로봇들은 거대한 블랙박스 형태의 마천루와 같았습니다. 작동은 하지만, 엘리베이터가 층 사이를 정확히 어떻게 이동하는지는 아무도 몰랐으며, 막대한 예산을 가진 소수의 전문가들만이 그것들을 구축할 수 있었습니다. 이들이 어떻게 작동하는지 이해하려면 보통 화이트보드 위의 복잡한 도표를 들여다봐야 했고, 실제로 하나를 구축하려면 도표와는 전혀 닮지 않은 수천 줄의 혼란스러운 코드를 작성해야 했습니다.

당신이 곧 읽게 될 논문은 특정한 문제를 다룹니다. 어떻게 하면 이 언어 모델들을 교실이나 한 명의 연구자가 이해할 수 있을 만큼 작게 만들면서도, 실제 데이터로부터 학습할 수 있을 만큼 강력하게 만들 것인가 하는 문제입니다. 이 논문은 "소형 언어 모델(Small Language Models, SLMs)"에 초점을 맞춥니다. 이것들을 AI 세계의 "레고 세트"라고 생각하십시오. 이들은 단어의 규칙(단어를 처리하는 법, 실수로부터 배우는 법, 컴퓨터에서 실행되는 법)을 가르쳐 줄 만큼 충분히 크지만, 한 사람이 그 전체를 손에 쥐고 모든 개별 브릭을 볼 수 있을 만큼 충분히 작습니다. 목표는 학생이 뇌의 그림을 그리는 것과 과학자가 실제 뇌를 훈련시키는 것 사이의 간극을 메우는 것이며, 아이디어를 설명하기 위해 사용된 코드가 그것을 구축하는 데 사용되는 코드와 정확히 일치하도록 보장하는 것입니다.

AI를 읽기 쉽게 만드는 마법 키트

**OpenLanguageModel (OLM)**을 만나보십시오. OLM을 흐름을 놓치지 않게 해주는 마법 같은 설명서라고 생각할 수 있습니다. 보통 과학자들이 복잡한 AI를 설계할 때, 그들은 서로 다른 부분들이 어떻게 연결되는지를 보여주는 아름답고 명확한 도표를 그립니다. 하지만 그들이 그것을 구축하기 위해 컴퓨터 코드를 작성할 때, 그 명확함은 종종 숨겨진 지시사항들의 엉킨 덩어리로 사라져 버립니다. OLM은 코드가 도표와 똑같이 보이게 함으로써 이 문제를 해결합니다.

이 라이브러리에서 AI의 "배선"은 숨겨져 있지 않습니다. 만약 당신이 "잔차(Residual)" 연결(이는 원래의 메시지에 새로운 메시지를 더해 아무것도 유실되지 않게 한다는 멋진 표현입니다)이 어떻게 작동하는지 보고 싶다면, 코드 속에서 단순하고 읽기 쉬운 블록으로 바로 확인할 수 있습니다. 이는 마치 완성된 성의 모습뿐만 아니라 각 브릭이 다음 브릭에 어떻게 끼워지는지를 보여주는 레고 세트를 가진 것과 같습니다. 당신은 한 손에는 설명서를 들고 다른 한 손에는 실제 브릭을 든 채, 둘이 완벽하게 일치하는 것을 확인할 수 있습니다.

교실에서 슈퍼컴퓨터까지
OLM의 가장 멋진 점은 "학습"과 "실행" 중 하나를 선택하도록 강요하지 않는다는 것입니다.

학생을 위해: 당신은 노트북을 열어 GPT-2와 같은 모델을 보고, 교과서 도표처럼 명확하게 배치된 그 구조를 볼 수 있습니다. 단어가 모델에 들어온 순간부터 예측이 될 때까지의 경로를 추적할 수 있습니다.
연구자를 위해: 모델을 이해했다면, 그 동일한 코드를 그대로 가져가 강력한 훈련 시스템에 연결할 수 있습니다. 실제 데이터(예: 교육용 웹사이트의 방대한 라이브러리)를 입력하고, 고속 훈련 엔진을 켜서 모델이 학습하는 과정을 지켜볼 수 있습니다.
실험자를 위해: 만약 당신이 새로운 아이디어, 예를 들어 "모델이 단어에 주의를 기울이는 방식을 바꾸면 어떻게 될까?"를 테스트하고 싶다면, 기계 전체를 다시 만들 필요가 없습니다. 전구를 갈아 끼우듯 아주 작은 구성 요소 하나만 교체하면 되고, 나머지 시스템은 완벽하게 계속 작동합니다.

"오토 트레이너(Auto-Trainer)"와 하드웨어
OLM에는 AutoTrainer라는 스마트한 조수가 함께 옵니다. 모델을 가지고 있고 그것을 훈련시키고 싶다고 가정해 봅시다. 당신은 트레이너에게 "여기 내 모델이 있고, 여기 내 데이터가 있으며, 여기 내 컴퓨터가 있다"라고 말합니다. 그러면 트레이너는 당신의 기기(단일 노트북이든, 강력한 그래픽 카드든, 혹은 여러 대의 그래픽 카드 묶음이든)를 살펴보고 훈련을 실행하는 최적의 방법을 자동으로 찾아냅니다. 트레이너는 작업을 여러 프로세서로 나누거나, 전원이 꺼져도 진행 상황을 잃지 않도록 저장하는 등의 번거로운 세부 사항들을 처리합니다. 이는 당신이 작은 언덕을 걷고 있든 높은 산을 오르고 있든, 당신의 특정 지형을 탐색하는 법을 정확히 아는 투어 가이드가 있는 것과 같습니다.

성능 증명
저자들은 단순히 이것을 만들고 잘 되기를 바란 것이 아니라, 신뢰할 수 있는지 확인하기 위해 혹독한 검증 과정을 거쳤습니다.

정확도 체크: 그들은 OLM의 모델들을 동일한 모델의 다른 유명한 독립 버전들과 비교했습니다. 결과는 믿기 힘들 정도로 근접했습니다. 즉, 그들의 "사고" 차이는 백만 분의 일 미만이었습니다. 이는 두 명의 요리사가 같은 레시피를 따라 하여 똑같은 맛의 요리를 만들어내는 것과 같습니다.
속도와 규모: 그들은 OLM이 얼마나 잘 확장되는지 테스트했습니다. 그들은 약 3억 4,800만 개의 파라미터(모델의 복잡도를 나타내는 척도)를 가진 모델을 한 대, 두 대, 그리고 네 대의 강력한 그래픽 카드로 훈련시켰습니다. 네 대의 카드를 사용했을 때, 시스템은 가능한 최대 효율의 **90.6%**에 달하는 효율을 보여주었습니다. 이는 시스템이 에너지를 낭비하지 않고 더 빠르게 작업을 수행하기 위해 추가적인 전력을 매우 잘 활용한다는 것을 의미합니다.
사용자 체감: 그들은 시스템을 사용한 20명의 사람들에게 피드백을 받았습니다. 사용 용이성에 대한 평균 점수는 100점 만점에 73.8점이었습니다. 모든 사용자가 아키텍처가 이해 가능하다고 동의했으며, 대부분은 OLM에서 모델을 수정하는 것이 다른 도구들보다 훨씬 쉽다고 느꼈습니다.

이것이 왜 중요한가
이 논문은 코드를 읽기 쉽게 유지하고 이를 훈련 도구와 연결함으로써, 우리가 AI 연구를 민주화할 수 있다고 제안합니다. 이를 통해 학생은 기초를 배울 수 있고, 교사는 개념을 시연할 수 있으며, 연구자는 혼란스러운 코드의 바다에서 길을 잃지 않고도 새로운 아이디어를 테스트할 수 있습니다. 저자들은 단순한 도표에서부터 완전히 훈련된 작동하는 시스템까지 추적할 수 있으며, 심지어 단 하나의 부품을 교체하여 어떤 일이 일어나는지 확인하는 것까지, 이 모든 것을 하나의 일관된 오픈 소스 패키지 안에서 할 수 있음을 보여줍니다.

요약하자면, OpenLanguageModel은 하나의 다리입니다. 이것은 AI를 가르치는 데 사용하는 단순하고 명확한 도표와, 우리가 구축하는 데 사용하는 복잡하고 강력한 엔진을 연결하며, 진지한 과학을 하고 싶다고 해서 반드시 이해도를 희생할 필요는 없다는 것을 증명합니다. 이것은 "이것이 기계가 작동하는 방식이며, 당신만의 버전을 만드는 방법은 바로 이것이다"라고 말해주는 툴킷입니다.

기술 요약: OpenLanguageModel (OLM)

문제 정의

소형 언어 모델(SLM)은 자연어 처리 분야에서 이론적 이해와 실질적 응용 사이의 간극을 메울 수 있는 독특한 기회를 제공한다. 거대 모델들은 종종 복잡하고 불투명한 코드베이스 뒤에 내부 메커니즘을 숨기는 반면, 교육용 도구들은 진지한 실험에 필요한 견고함이 부족한 경우가 많다. 따라서 통합된 프레임워크에 대한 필요성이 존재한다. 핵심적으로 해결하고자 하는 문제는 모델 아키텍처 이해(종종 다이어그램과 단순화된 코드로 가르쳐짐)와 프로덕션급 사전 학습(토큰화, 데이터 스트리밍, 분산 학습 및 하드웨어 최적화 처리가 필요함) 사이의 단절이다. 기존 솔루션들은 넓은 모델 접근성을 우선시하면서 투명성이 떨어지거나(예: Hugging Face Transformers), 응집력 있는 가독성 있는 아키텍처 레이어 없이 특정 연구 분야에만 집중하는(예: LitGPT, Pico) 경향이 있다.

방법론

저자들은 언어 모델의 "기계적 구조"를 가시적으로 유지하면서도 완전한 사전 학습 스택을 제공하도록 설계된 오픈 소스 PyTorch 라이브러리인 **OpenLanguageModel (OLM)**을 소개한다. 이 방법론은 세 가지 기둥을 기반으로 구축된다:

객체 그래프로서의 아키텍처:
OLM은 표준 torch.nn.Module 객체를 사용하여 모델 아키텍처를 표현한다. 숨겨진 설정 파일이나 불투명한 클래스 대신, 아키텍처는 결합 가능한 조합기(combinators)를 통해 정의된다:
- Block (블록): 순서가 있는 ModuleList.
- Residual (잔차): $x + f(x)$ 를 계산한다.
- Repeat (반복): 팩토리로부터 독립적으로 매개변수화된 레이어를 생성한다.
- Parallel (병렬): 병합 전 여러 브랜치를 통해 입력을 전달한다.
  이러한 설계는 실행 가능한 코드가 교육에 사용되는 구조적 다이어그램을 그대로 반영하도록 보장한다. 예를 들어, GPT-2 모델은 잔차 어텐션(residual attention)과 피드포워드 블록의 스택으로 직접 정의되며, Llama 스타일 모델은 RMSNorm, RoPE, SwiGLU와 같은 특정 컴포넌트로 교체된다.
통합 사전 학습 스택:
이 라이und는 읽기 쉬운 모델 정의를 AutoTrainer를 통해 완전한 학습 생태계와 연결한다. 이 구성 요소는 다음을 처리한다:
- 데이터: Hugging Face 토크나이저 통합을 포함한 로컬 및 스트리밍 데이터셋(예: FineWeb-Edu).
- 최적화: 혼합 정밀도(BF16), 그래디언트 누적(gradient accumulation), 클리핑, 학습률 스케줄링.
- 하드웨어 인지: CPU, 단일 GPU 또는 단일 노드 멀티 GPU 환경의 자동 감지. 가용 메모리와 모델 풋프린트에 따라 실행 전략(standard, DDP 또는 FSDP)을 동적으로 선택한다.
모듈형 연구 워크플로우:
시스템은 주변 시스템을 방해하지 않고 "로컬" 아키텍처 변경을 허용하도록 설계되었다. 사용자는 잔차 경로, 정규화, 데이터 파이프라인, 옵티마이저를 그대로 둔 채 단일 컴포넌트(예: Grouped-Query Attention을 ALiBi로 교체)를 교체할 수 있다.

주요 기여

가독성 및 결합 가능한 코드베이스: OLM은 9개 모델 제품군(GPT-2, Llama 2/3, Qwen 2.5, Phi-3/4, Gemma 2, OLMo, OPT 포함)에 걸쳐 27개의 프리셋을 제공한다. 코드 구조를 통해 사용자는 모델을 다이어그램에서 실행 가능한 정의로 직접 추적할 수 있다.
엔드 투 엔드 SLM 사전 학습: 이 라이브러리는 토큰화, 데이터 스트리밍, 혼합 정밀도 학습, 체크포인팅 및 하드웨어 인지 스케일링을 단일 워크플로우로 통합하여, 교육용 노트북에서 완전한 사전 학습 실행으로의 전환을 가능하게 한다.
교육 및 연구 통합: 문서와 코드는 사용자의 성장에 맞춰 구조화되어 있으며, LM의 기초(토큰, 임베딩)에서 시작하여 아키텍처 연구 및 분산 학습으로 나아간다.
정확성 및 효율성 검증: 논문은 시스템의 참조 구현에 대한 충실도와 스케일링 능력을 경험적으로 검증한다.

결과

저자들은 네 가지 차원에서 검증을 제시한다:

커버리지 및 충실도:
- 9개 모델 제품군의 축소된 구성들이 포워드 패스, 파라미터 카운팅, 비트 단위 체크포인트 라운드 트립 체크를 통과했다.
- 수치적 동일성: 독립적인 Hugging Face 구현의 가중치를 OLM 변형 모델(GPT-2, Llama 3, Qwen 2.5)로 복사했을 때, 최대 절대 로짓 차이는 $3.58 \times 10^{-7}$ 이었고, 최대 손실 차이는 $4.77 \times 10^{-7}$ 이었다. 그래디언트 코사인 유사도는 0.9999999999998 이상을 유지했다.
로컬 아키텍처 편집:
- 6가지 다운스트림 작업(예: 병렬 잔차, MoE, 어텐션 교체)에 대한 코드 복잡도 비교에서, OLM은 LitGPT 및 Pico보다 현저히 적은 줄의 코드를 요구했다.
- 매칭된 4가지 작업에 대해, OLM 스크립트는 평균 117행이었으며, 이는 LitGPT의 171행, Pico의 195행과 대조적이다.
스케일링 효율성:
- 348M 파라미터 규모의 Llama-3 스타일 모델을 1, 2, 4개의 A100 GPU에서 학습시켰다.
- 처리량(throughput)은 17,785에서 64,427 tokens/s로 스케일링되었다.
- 4-GPU 실행은 이상적인 단일 GPU 베이스라인 대비 90.6%의 약한 스케일링(weak-scaling) 효율을 달면서, 피크 메모리 사용량은 GPU당 10.47 GB로 안정적이었다.
사용자 경험:
- 20명의 사용자를 대상으로 한 설문 조사에서 평균 시스템 사용성 척도(SUS) 점수 73.8을 기록했다.
- 응답자의 100%가 아키텍처를 이해할 수 있으며 OLM이 PyTorch 생태계 내에서 자연스럽게 느껴진다고 동의했다.
- 20명 중 19명이 아키텍처 변경이 국소적이라는 데 동의했으며, 17명 중 14명이 다른 프레임워크에 비해 OLM에서 아키텍처 수준의 변경이 더 쉽다고 답했다.

의의 및 주장

논문은 OLM이 흔히 별개로 취급되는 세 가지 목표, 즉 모델의 이해, 진지한 실행, 그리고 국소적 연구를 성공적으로 통합했다고 주장한다.

학생 및 교육자에게: 코드가 다이어그램을 직접 반영하는, 제1원리로부터의 언어 모델 구축을 가능하게 한다.
실무자에게: 데이터 스트리밍과 하드웨어 최적화를 자동으로 처리하는, 읽기 쉬운 "레시피 같은" 사전 학습 접근 방식을 제공한다.
연구자에게: 전체 학습 루프나 데이터 파이프라인을 다시 작성하는 오버헤드 없이 신속하고 국소적인 컴포넌트 실험(절제 연구)을 가능하게 한다.

저자들은 OLM을 거대 파운데이션 모델 학습의 대체재가 아니라, 언어 모델링의 전체 워크플로우를 강의실, 단일 워크스테이션 또는 집중적인 연구 프로젝트의 범위 안으로 가져오는 도구로 포지셔닝한다. 논문은 모델을 설명하는 데 사용되는 코드가 모델을 학습시키고 수정하는 데 사용되는 코드와 동일해야 함을 강조한다.

인정된 한계점:
저자들은 수치적 동일성이 축소된 모델에서 테스트되었으며, 스케일링 연구는 단일 노드에서 합성 토큰을 사용했고, 사용자 설문 조사는 광범위한 커뮤니티보다는 최근 사용자들을 대상으로 한 편의 샘플임을 언급했다. 향후 연구는 완전한 품질, FSDP 및 멀티 노드 학습에 대한 검증을 확장하는 것을 목표로 한다.