💻 computer science

L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling

이 논문은 단일 NVIDIA L20 GPU와 13B 토큰을 사용하여 완전히 학습된 135M 파라미터 언어 모델에 대한 감사 가능한 사례 연구인 L20-Edu-135M을 제시하며, 이 모델이 SmolLM2와 같은 대규모 모델에는 뒤처지지만 최소한의 토큰 예산 대비 경쟁력 있는 성능을 달elle 성하고 자원 제한적인 환경에서의 RLVR의 특정 실패 모드를 강조한다는 점을 입증한다.

원저자: Yin Li

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yin Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 한 명의 요리사, 하나의 주방, 하나의 레시피

인공지능(AI)의 세계를 거대한 요리 경연 대회라고 상상해 보세요. 보통 승자는 64명의 일류 셰프(GPU)와 무한한 식재료(데이터)를 갖추고 수백만 시간 동안 요리하는 대형 레스토랑들입니다. 이들은 매우 똑똑한 "소형 언어 모델(작은 AI 두뇌)"을 만들어냅니다.

이 논문은 다른 질문을 던집니다: "단 한 명의 평범한 셰프가 단 하나의 소박한 주방에서 경쟁력 있는 작은 AI 두뇌를 만들 수 있을까? 그리고 우리가 시도했을 때 어떤 일이 벌어질까?"

저자인 Yin Li는 단 하나의 NVIDIA L20 그래픽 카드(강력하지만 단일한 컴퓨터 칩)를 사용하여 이 도전에 나섰습니다. 그 결과물이 바로 L20-Edu-135M이라는 모델입니다. 이는 AI 세계에서는 작지만, 13억 5천만 개의 파라미터를 가진 "두뇌"입니다. 이 프로젝트의 목표는 제한된 자원으로 어디까지 도달할 수 있는지 확인하는 것이었습니다.

재료: 정성을 다한 요리

AI 세계에서 "데이터"는 음식입니다. 대부분의 거대 모델은 수조 개의 단어를 먹습니다. 이 모델은 약 130억 개의 단어만을 먹었습니다. 적은 양을 보충하기 위해, 셰프는 식재료의 품질에 극도로 까다로웠습니다.

메뉴: 모델은 고품질의 교육용 웹 텍텍스트인 "FineWeb-Edu"와 수학, 코딩, 추론 퍼즐이 섞인 특별한 "혼합물"을 먹었습니다.
품질 관리 (체 거르기): 요리하기 전, 셰프는 나쁜 재료를 걸러내야 했습니다. 다음과 같은 것들을 제거하기 위해 디지털 체를 사용했습니다:
- 중복: 만약 같은 문장이 세 권의 책에 등장한다면, 하나만 남겼습니다.
- 쓰레기: 너무 짧거나, 숫자로 가득 차 있거나, 의미 없는 텍스트.
- 오염: 모델이 나중에 채점받을 테스트 질문을 실수로 "암기"하지 않도록 주의했습니다.
- 비유: 수프를 만든다고 상상해 보세요. 바닷물을 통째로 들이붓는 대신, 가장 좋은 채소를 신중하게 고르고, 깨끗이 씻고, 나중에 고명으로 쓸 것들과 섞이지 않도록 썩은 것을 골라내는 것과 같습니다.

요리 과정: 3단계

학습은 세 가지 뚜렷한 단계로 진행되었습니다:

기초 과정 (사전 학습 - Pretraining): 모델은 언어가 어떻게 작동하는지 배우기 위해 100억 단어의 교육용 텍스트를 읽었습니다. 이 과정은 단일 칩에서 약 72시간이 걸렸습니다.
전문 과정 (지속적 사전 학습 - Continued Pretraining): 모델은 기술을 연마하기 위해 수학, 코딩, 추론에 특화된 또 다른 30억 단어를 읽었습니다.
최종 다듬기 (지시어 튜닝 - Instruction Tuning): 모델에게 지시사항을 따르는 법(채팅봇처럼)을 가르쳤습니다. 하지만 저자는 채팅을 가르치는 것이 원래의 언어 능력을 약간 떨어뜨린다는 점을 발견했습니다.
- 해결책: **가중치 보간(Weight Interpolation)**이라는 기술을 사용했습니다. "순수 언어 전문가"와 "채팅 전문가"를 가져와서 그들의 두뇌를 섞는다고 상상해 보세요. 그들은 **87.5%**의 언어 전문가와 **12.5%**의 채팅 전문가를 혼합했을 때 최상의 균형을 만든다는 것을 발견했습니다.

결과: 성과는 어떠했나?

모델은 여섯 가지 다양한 퍼즐(독해 및 논리 문제 등)로 테스트되었습니다.

점수: 0.4150 (1.0 만점 기준)을 기록했습니다.
비교:
- 몇 년 전의 유사한 크기의 구형 모델들을 이겼습니다.
- 하지만 64대의 슈퍼 컴퓨터를 가진 팀이 훈련시킨 현대적인 "슈퍼 모델들"(SmolLM-135M 및 SmolLM2-135M)은 이기지 못했습니다.
- 함정: 이 슈퍼 모델들은 이 단일 칩 모델보다 46배에서 154배 더 많은 데이터를 먹었습니다.
- 시사점: 이 단일 칩 모델은 슈퍼 모델들의 데이터 예산 중 단 **2%**만을 사용하면서도, 그 성능의 **87%**에 도달했습니다. 이 경연의 우승자는 아닐지라도, 솔로 셰프로서는 매우 인상적인 러너업(준우승자)입니다.

"앗!" 하는 순간: 수학 실험

저자는 RLVR(검증 가능한 보상을 통한 강화 학습)이라는 기술을 사용하여 모델이 수학(특히 GSM8K 테스트)을 더 잘하도록 가르치려 시도했습니다.

아이디어: 모델이 수학 답을 맞힐 때마다 보상을 주어, 더 깊이 생각하도록 유도하는 것입니다.
결과: 실패했습니다. 모델은 오히려 수학 실력이 더 나빠졌습니다.
왜? 모델은 이미 수학을 너무 못해서 "보상"을 거의 받지 못했습니다. 긍정적인 피드백이 없으니 모델은 그저 혼란스러워할 뿐이었습니다.
비유: 아이가 수학 문제를 맞힐 때만 금메달을 주어 수학을 가르치려는 것과 같습니다. 만약 아이가 한 번도 맞히지 못한다면, 금메달을 받을 수 없고, 결국 아이는 노력을 멈추거나 좌절하게 됩니다. 논문은 작은 모델의 경우, 이 고급 훈련법을 사용하기 전에 "준비 운동"(더 나은 초기 기술)이 필요하다고 결론지었습니다.

이것이 왜 중요한가?

이 논문은 세계에서 가장 똑똑한 AI를 만들었다고 주장하는 것이 아닙니다. 대신, 이것은 투명성 보고서이자 개념 증명입니다.

감사가 가능함 (Auditable): 한 대의 기계와 한 명의 사람에 의해 수행되었기 때문에, 우리는 정확히 무슨 일이 일어났는지 알 수 있습니다. 데이터, 설정, 그리고 실수까지도 말이죠.
접근 가능함 (Accessible): 독립적인 연구자들이 거액의 예산 없이도 진지한 소형 모델 연구를 할 수 있다는 것을 증명합니다. 단 하나의 강력한 노트북이나 서버만 있어도 가능합니다.
경계를 설정함 (Sets Boundaries): 우리에게 한계를 명확히 보여줍니다. 즉, "하나의 GPU로 여기까지는 올 수 있지만, 더 멀리 가고 싶다면 반드시 더 많은 데이터와 컴퓨팅 파워가 필요하다"라고 말해줍니다.

요-약

L20-Edu-135M을 매우 잘 정리되고 효율적인 집밥이라고 생각하세요. 64명의 셰프가 차려낸 만찬을 상대로 미슐랭 스타를 따낼 수는 없겠지만, 올바른 재료, 세심한 손질, 그리고 스마트한 기술이 있다면 한 사람이 몇 년 전보다 훨씬 더 맛있고 영양가 있는 식사를 만들 수 있다는 것을 증명합니다. 이것은 AI 연구에 있어서 효율성과 정직함의 승리입니다.

기술 요약: L20-Edu-135M

문제 정의
소형 언어 모델(SLM)은 낮은 추론 비용 덕분에 로컬 배포에 매력적이지만, 135M 파라미터 급에서 경쟁력 있는 성능을 달old기 위해서는 통상적으로 막대한 계산 자원이 필요하다. SmolLM 및 SmolLM2와 같은 최첨단 모델들은 대규모 GPU 클러스터(예: 64개의 H100)에서 수천억에서 수조 개의 토큰을 사용하여 학습된다. 이는 독립 연구자들이 접근하기 어려운 학습 파이프라인이다. 본 논문은 자원이 제한된 특정 질문을 다룬다: 완전하고 감사 가능한, 경쟁력 있는 135M급 사전 학습 및 사후 학습 루프를 단일 범용 데이터 센터 GPU(NVIDIA L20)에서 실행할 수 있는가? 그리고 이러한 환경에서의 구체적인 실패 모드와 트레이드오프는 무엇인가?

방법론
본 연구는 단일 NVIDIA L20(48GB)에서 처음부터 학습된 134.5M 파라미터 디코더 전용 트랜스포머인 L20-Edu-135M을 중심으로 한다. 방법론은 타당성, 회귀 제어, 소규모 강화 학습에 관한 세 가지 연구 질문을 중심으로 구조화되어 있다.

아키텍처: 이 모델은 기존의 얕고 넓은(shallow-wide) 베이스라인과 달리, "깊고 얇은(deep-thin)" Llama 스타일 설계(30개 레이어, 576 히든 사이즈, 9개의 쿼리/3개의 KV 헤드)를 채택하였으며, 임베딩 결합(tied embeddings)과 그룹 쿼리 어텐션(GQA)을 사용한다.
학습 파이프라인:
- 1단계 (사전 학습): FineWeb-Edu로부터 약 100억 개의 토큰으로 학습되었으며, 피크 학습률은 $4 \times 10^{-4}$ , bfloat16 정밀도 및 PyTorch SDPA를 사용하였다.
- 4단계 (지속 사전 학습): 교육, 코드, 수학 및 추론에 집중하는 큐레이션된 30억 토큰 혼합 데이터를 사용하였다. 소스는 DCLM, Dolmino, FineMath를 포함한다.
- 데이터 거버넌스: 엄격한 "4단계 데이터 게이트"가 구현되었다. 여기에는 교차 소스 MinHash/LSH 근접 중복 제거, 세그먼트 수준의 클리닝, 품질 필터링, 그리고 표준 벤치마크(ARC, HellaSwag 등)에 대한 벤치마크 오염 검사(13-gram 매칭 및 LCS 중첩 거부 방식 사용)가 포함된다.
- 사후 학습: 모델은 지시문 데이터(instruction data)에 대해 지도 미세 조정(SFT)을 거쳤다. 베이스 벤치마크에서의 성능 저하를 완화하기 위해, 저자들은 4단계 베이스 모델과 SFT 체크포인트 간의 가중치 보간(weight interpolation) 기법( $\theta_\alpha = (1-\alpha)\theta_{base} + \alpha\theta_{SFT}$ )을 사용하였다.
- RLVR: GSM8K에 대해 GRPO 스타일의 최적화를 사용하는 직접적인 검증 가능한 보상으로부터의 강화 학습(RLVR) 실험이 수행되었다.

주요 기여
본 논문은 최첨단(SOTA) 주장이라기보다 시스템 및 데이터 효율성 사례 연구로서 다섯 가지 구체적인 기여를 제시한다:

단일 GPU 레시피: 최적화된 구성을 통해 단일 L20 GPU에서 약 49k 토큰/초의 처리량을 달성하며 135M 모델의 전체 학습 루프를 문서화하였다.
엄격한 데이터 게이트: 교차 소스 중복 제거, 세그먼트 클리닝, 명시적인 벤치마크 오염 방지를 결고한 엄격한 4단계 게이트를 구현하였으며, 감사 가능성을 위해 거부 횟수를 기록하였다.
보간을 통한 회귀 제어: 베이스 모델의 성능을 보존하기 위한 메커니즘으로서 SFT 가중치 보간을 평가하였다. 선택된 릴리스는 보간 계수 $\alpha=0.875$ (SFT 가중치 87.5%, 베이스 가중치 12.5%)를 사용한다.
통제된 벤치마킹: 공정한 비교를 위해 모든 모델에 동일한 프로토콜을 사용하는 6개 태스크 하네스(ARC-Challenge/Easy, HellaSwag, LAMBADA, PIQA, WinoGrande)에 대한 제로샷 평가를 수행하였다.
부정적 RLVR 결과: 직접적인 GRPO 스타일의 RLVR이 GSM8K에 대한 정확한 일치(exact-match) 정확도를 감소시킨 실패 사례를 기록하였다. 이는 검증 가능한 보상만으로는 충분한 콜드 스타트 역량이 없으면 불충분하다는 것을 시사한다.

결과

벤치마크 성능: L20-Edu-135M은 6개 태스크 하네스에서 평균 점수 0.4150을 기록하였다. 이는 오래된 100M–160M 베이스라인(예: GPT-2 Small, OPT-125M, Pythia-160M)보다는 우수하지만, 현대적인 데이터 중심 모델인 SmolLM-135M(0.4767) 및 SmolLM2-135M(0.4917)에는 크게 뒤처진다.
토큰 효율성 맥락: 이 모델은 SmolLM-135M 성능의 87.1%에 도달하기 위해 단 130억 개의 토큰만을 사용하였다. 이는 SmolLM-135M에서 보고된 토큰 예산(6000억 개)의 약 **2.17%**에 해당한다. 저자들은 이 비율이 기술적(descriptive)인 것이지, 더 우수한 스케일링 법칙의 증거는 아니라고 언급하였다.
보간의 효능: 전체 SFT는 베이스 벤치마크 평균을 약간 저하시켰다(0.4141 대비 0.4137). $\alpha=0.875$ 에서의 보간은 평균을 0.4150으로 회복시켜 실질적인 회귀 제어 수단임을 보여주었다.
RLVR 결과: GSM8K에 대한 직접적인 RLVR은 정확한 일치 정확도를 베이스라인인 1.82%에서 1.59%(192 토큰 완성) 및 1.21%(320 토큰 완성)로 감소시켰다. 저자들은 이를 그룹 상대적 보상으로부터 이득을 얻기에 모델의 초기 추론 능력이 부족한 희소 보상 콜드 스타트 문제 때문이라고 분석하였다.

의의 및 주장
본 논문은 L20-Edu-135M을 최첨단 성과가 아닌 감사 가능한 자원 제한적 사례 연구로 명시적으로 규정한다. 주요 의의는 다음과 같다:

타당성 입증: 완전하고 경쟁력 있는 SLM 연구 루프(사전 학습, 큐레이션, SFT, 평가)가 단일 48GB GPU에서 실행 가능하다는 것을 증명하였다.
소규모에서의 데이터 위생: 적은 토큰 예산에서는 제한된 학습 신호의 낭비를 막기 위해 엄격한 중복 제거 및 오염 제어가 매우 중요하다는 점을 강조하였다.
사후 학습 트레이드오프: 소형 모델에 대한 지시문 튜닝은 베이스 역량을 유지하기 위해 보간(interpolation)과 같은 회귀 방지 전략이 필요함을 보여준다.
RLVR의 한계: 직접적인 RLVR이 더 강력한 콜드 스타트 데이터나 더 큰 모델 용량 없이는 효과적이지 않을 가능성이 높다는 구체적인 "중단/진행(stop/go)" 기준을 제공하였다.

저자들은 이 모델이 46배에서 154배 더 많은 토큰으로 학습된 현대적인 135M 시스템에는 미치지 못하지만, 접근 가능한 GPU 시간당 한계 이득에 집중하는 연구자들에게 의미 있는 운영 지점을 설정해 준다고 결론지었다. 이는 세심한 엔지니어링을 통해 달성 가능한 것과 엄격하게 규모(scale)를 요구하는 것을 구분하는 작업이다.