MachineLearningLM: Scaling Many-shot In-context Learning via Continued Pretraining
이 논문은 수천 개의 구조적 인과 모델 (SCM) 을 기반으로 한 지속적 사전 학습을 통해 일반 LLM 에 많은 수의 예제를 활용한 기계학습 능력을 부여하면서도 기존 대화 능력을 유지하는 'MachineLearningLM' 프레임워크를 제안하고, 이를 통해 기존 모델 대비 뛰어난 성능과 많은-shot 학습의 확장성을 입증했습니다.
원저자:Haoyu Dong, Pengkun Zhang, Mingzhe Lu, Yanzhen Shen, Guolin Ke
기존의 거대 언어 모델 (LLM, 예: GPT-4, Qwen 등) 은 **세상의 모든 지식을 가진 '만능 천재 학생'**과 같습니다. 역사, 과학, 문학은 다 잘하지만, 막상 표 (Table) 형태의 숫자 데이터를 보고 패턴을 찾아 예측하는 일 (예: "이 고객의 소득과 직업으로 대출 승인 여부를 예측하세요") 을 시키면, 몇 가지 예시만 보여줘도 잘 못합니다.
왜? 이 학생은 "문장"으로 된 지식을 배우는 데 특화되어 있어서, "숫자"와 "표"라는 새로운 언어를 배우는 데는 약점이 있기 때문입니다. 게다가 예시를 10 개만 보여줘도 금방 지쳐서 (학습이 멈추거나) 엉뚱한 답을 내놓습니다.
2. 해결책: "수학 특강을 시킨 MACHINELEARNINGLM"
저자들은 이 '만능 천재 학생'에게 표 (Tabular Data) 를 읽는 법을 가르치는 특수 훈련을 시켰습니다. 이것이 바로 MACHINELEARNINGLM입니다.
훈련 방식 (시뮬레이션): 실제 데이터가 아닌, 컴퓨터가 만든 수백만 개의 가상의 수학 문제를 풀게 했습니다. 마치 실제 시험 전에 모의고사를 수만 번 치르면서 "숫자 패턴"을 몸으로 익힌 것입니다.
선생님 (랜덤 포레스트): 훈련 초기에는 **랜덤 포레스트 (RF)**라는 전통적인 통계 모델이 '선생님' 역할을 했습니다. 이 선생님이 "이렇게 추론하면 정답이다"라고 가르쳐 주면, 학생이 그 방식을 따라 배우는 것입니다. (지식 전수)
결과: 훈련을 마친 학생은 기존의 지식을 잃지 않으면서도, 표 데이터를 보고 **수천 개의 예시 (Many-shot)**를 볼수록 정확도가 쑥쑥 올라가는 놀라운 능력을 갖게 되었습니다.
3. 기술적 마법: "공간을 아껴서 더 많은 예시를 넣는 방법"
기존에는 표 데이터를 텍스트로 길게 적어 넣으면 메모리 (화면) 가 금방 꽉 찼습니다. 하지만 이 연구는 세 가지 지혜를 발휘했습니다.
표로 정리하기: "이 사람의 나이는 20, 성별은 남..."이라고 문장으로 쓰지 않고, **"20, 남"**처럼 콤마로만 깔끔하게 정리했습니다. (문장 대신 표)
숫자 압축하기: "1.2345" 같은 복잡한 소수점을 "1234" 같은 정수로 바꿔서, 한 글자 (토큰) 로만 처리되게 만들었습니다. (숫자 압축)
한 번에 여러 문제 풀기: 한 번에 질문 하나만 하는 게 아니라, 한 번에 50 개의 문제를 한꺼번에 내서 풀게 했습니다. (배치 처리)
이 덕분에 화면 공간 (컨텍스트) 을 3~6 배 더 효율적으로 쓰게 되어, 같은 공간에 이전보다 훨씬 많은 예시 데이터를 넣을 수 있게 되었습니다.
🚀 주요 성과: "왜 이것이 중요한가?"
예시 수가 많을수록 똑똑해짐 (Many-shot Scaling):
보통 AI 는 예시를 10 개만 줘도 더 이상 잘하지 못합니다. 하지만 이 모델은 예시를 8 개에서 1,024 개까지 늘릴수록 정확도가 계속 올라갑니다.
비유: "수학 문제를 10 개만 풀면 지치지만, 이 학생은 1,000 문제를 풀면 풀수록 더 똑똑해집니다."
전통적인 통계 모델과 경쟁 가능:
별도의 복잡한 학습 없이, 랜덤 포레스트 (전통적인 통계 모델) 수준의 정확도를 달성했습니다.
특히 금융, 의료, 생물학 등 다양한 분야에서 기존 최고의 AI 들보다 약 15% 더 높은 성능을 보였습니다.
기존 능력은 그대로 유지:
숫자 학습을 시켰다고 해서 "시사 뉴스"나 "일상 대화" 능력이 떨어지지 않았습니다. 여전히 만능 천재로 남았습니다.
💡 결론: "표 데이터의 새로운 시대"
이 논문은 **"거대 언어 모델이 이제 표 (Table) 데이터도 잘 다룰 수 있다"**는 것을 증명했습니다.
과거: 표 데이터를 분석하려면 별도의 통계 프로그램을 써야 했다.
현재: AI 에게 표 데이터를 보여주면, 수천 개의 예시를 보고 스스로 패턴을 찾아 예측해 준다.
미래: 이 기술이 발전하면, 복잡한 엑셀 파일이나 데이터베이스를 AI 에게 던져주기만 하면, AI 가 데이터 분석가처럼 즉시 인사이트를 찾아줄 날이 올 것입니다.
한 줄 요약:
"기존 AI 가 숫자 표를 못 봤다면, 이제 수백만 개의 가상 문제를 풀고 훈련받은 AI가 되어, 수천 개의 예시를 보고도 점점 더 똑똑해지는 시대가 왔습니다!"
MACHINELEARNINGLM: 구조적 인과 모델 (SCM) 기반의 대규모 합성 데이터로 구동되는 컨텍스트 내 머신러닝 (ICL) 의 확장
이 논문은 MACHINELEARNINGLM이라는 새로운 프레임워크를 제안하며, 이는 일반 목적의 대규모 언어 모델 (LLM) 이 경사 하강법 (Gradient Descent) 없이도 수백에서 수천 개의 예시 (Many-shot) 를 통해 표형 데이터 (Tabular Data) 의 머신러닝 태스크를 효과적으로 학습하고 예측할 수 있도록 합니다.
1. 문제 정의 (Problem)
기존의 LLM 은 방대한 세계 지식과 추론 능력을 갖추고 있지만, 표준 머신러닝 태스크 (특히 표형 데이터 분류) 에서 다음과 같은 한계를 보입니다:
Many-shot 학습의 실패: 소수의 예시 (Few-shot) 에서는 잘 작동하지만, 예시 수가 증가할수록 (Many-shot) 성능이 정체되거나 오히려 감소하는 현상이 발생합니다.
표면적 패턴 의존: LLM 은 데이터의 인과적 메커니즘이나 통계적 의존성을 학습하기보다, 예시의 표면적 패턴이나 형식적 단서에 의존하여 예측하는 경향이 있습니다.
전용 모델의 한계: TabPFN, TabICL 등 표형 데이터 전용 모델은 강력한 성능을 보이지만, LLM 의 일반적인 세계 지식, 텍스트 이해 능력, 멀티모달 입력 처리 능력을 활용하지 못합니다.
2. 방법론 (Methodology)
저자들은 LLM 의 일반 능력을 유지하면서 표형 데이터 예측 능력을 강화하기 위해 연속 전학습 (Continued Pretraining) 기반의 접근법을 제시합니다.
2.1 합성 데이터 생성 (Pretraining Corpus Synthesis)
구조적 인과 모델 (SCM) 기반: 수백만 개의 합성 태스크를 생성하기 위해 SCM 을 활용합니다. 이는 DAG(방향성 비순환 그래프) 구조와 다양한 함수 (tanh, ReLU, 트리 기반 모델 등) 를 결합하여 다양한 특징 유형, 분포, 라벨 생성 메커니즘을 가진 태스크를 생성합니다.
다양성 확보: 이 방식은 실제 데이터와 겹치지 않도록 보장하며 (Out-of-Distribution), 다양한 샷 수 (8~1,024 개) 와 특징 차원을 포함합니다.
2.2 랜덤 포레스트 (RF) 시뮬레이션 웜업 (Warm-up)
지식 증류 (Knowledge Distillation): 직접적인 합성 태스크 학습은 모델 붕괴 (Model Collapse) 를 초래할 수 있으므로, 먼저 **랜덤 포레스트 (RF)**를 '교사 (Teacher)' 모델로 사용합니다.
일관성 필터링: 초기 학습 단계에서는 RF 가 정답과 일치하는 예시만 선별하여 학습시키고, 이후에는 모델이 스스로 컨텍스트 내 학습 (ICL) 을 수행하도록 전환합니다. 이는 RF 의 해석 가능한 의사결정 규칙을 모델이 학습하는 데 도움을 줍니다.
2.3 토큰 효율적인 프롬프팅 (Token-Efficient Prompting)
컨텍스트 윈도우의 제한을 극복하고 더 많은 예시를 포함하기 위해 세 가지 설계 선택을 적용합니다:
표형 인코딩 (Tabular Encoding): 긴 자연어 설명 대신 콤마로 구분된 간결한 표 형식을 사용하여 토큰 수를 대폭 줄입니다.
정수 기반 숫자 인코딩: 소수점과 부호를 제거하고 숫자를 [0, 999] 범위의 정수로 정규화합니다. 이는 토큰화 시 분열을 방지하고 (예: "1.11"이 여러 토큰이 되는 것 방지) 토큰 효율을 높입니다.
시퀀스 레벨 배치 예측 (Batch Prediction): 하나의 시퀀스 내에 여러 개의 테스트 예시 (Query) 를 묶어 한 번의 순전파 (Forward Pass) 로 모두 예측합니다. 이는 지시어 (Instruction) 및 컨텍스트 오버헤드를 분산시켜 처리량을 극대화합니다.
2.4 추론 시 안정성 (Inference Robustness)
순서 강건성 (Order-Robustness): 예시 순서가 성능에 미치는 영향을 줄이기 위해, 예시 순서를 무작위로 섞은 여러 변형 (V=5) 을 생성하여 모델의 확률을 가중 평균 (Self-consistency) 하는 방식을 사용합니다.
3. 주요 기여 (Key Contributions)
범용 LLM 의 Many-shot ICL 능력 강화: 아키텍처 변경 없이 LoRA(저랭크 적응) 만을 사용하여 Qwen-2.5-7B 모델을 MACHINELEARNINGLM 으로 변환했습니다.
SCM 기반 합성 전학습: 실제 데이터 누출 없이 수백만 개의 다양한 인과적 메커니즘을 가진 합성 태스크로 모델을 학습시켜, OOD(Out-of-Distribution) 일반화 능력을 확보했습니다.
토큰 효율성 혁신: 표형 인코딩과 정수 정규화를 통해 컨텍스트 윈도우당 예시 수를 3~6 배 증가시켰고, 배치 추론을 통해 처리량을 50 배 이상 향상시켰습니다.
일반 능력 보존: 머신러닝 태스크에 특화되었음에도 불구하고, 일반 대화 (Chat) 및 지식 추론 능력 (MMLU 점수) 을 유지했습니다.
4. 실험 결과 (Results)
성능 향상: 금융, 물리학, 생물학, 의료 등 다양한 도메인의 OOD 표형 분류 태스크에서 기존 LLM (Qwen-2.5-7B) 대비 평균 **약 15%**의 정확도 향상을 보였습니다.
SOTA 모델 대비 우위: 많은 샷 (High-shot) 설정 (128~1,024 개) 에서 GPT-5-mini 보다 평균 약 12%, o3-mini 보다 약 16% 높은 성능을 기록했습니다.
Many-shot 확장 법칙 (Scaling Law): 예시 수가 8 개에서 1,024 개로 증가함에 따라 정확도가 단조롭게 증가하는 명확한 확장 법칙을 보였습니다. (기존 LLM 은 예시 수가 늘어나도 성능 향상이 미미하거나 정체됨)
전통적 ML 모델과의 비교: 8~512 샷 구간에서 랜덤 포레스트 (Random Forest) 수준의 정확도를 달성했으며, 일부 태스크에서는 RF 를 능가했습니다.
일반성 유지: MMLU 벤치마크에서 0-shot 기준 73.2%, 50-shot 기준 75.4% 의 정확도를 기록하여 일반 목적 LLM 의 능력을 유지함을 입증했습니다.
5. 의의 및 의의 (Significance)
새로운 패러다임 제시: LLM 이 외부 도구나 경사 하강법 없이도 "컨텍스트 내에서 머신러닝을 수행 (Do ML in context)"할 수 있음을 증명했습니다.
실용적 적용 가능성: 별도의 파인튜닝 없이도 다양한 표형 데이터 태스크에 즉시 적용 가능하며, 멀티모달 (텍스트 + 숫자) 입력을 자연스럽게 처리할 수 있어 실제 산업 환경에서의 활용도가 높습니다.
미래 연구 방향: 이 연구는 LLM 의 일반적 추론 능력과 수치 모델링 능력을 결합하여, 에이전트 메모리 활용, 해석 가능성 증대, 그리고 더 복잡한 시계열/예측 태스크로 확장할 수 있는 기반을 마련했습니다.
요약하자면, MACHINELEARNINGLM 은 합성 데이터 전학습과 효율적인 프롬프팅 기법을 통해 LLM 이 표형 데이터의 머신러닝 태스크에서 기존 전용 모델과 경쟁할 수 있는 강력한 Many-shot 학습 능력을 갖추도록 한 획기적인 연구입니다.