Train Once, Answer All: Many Pretraining Experiments for the Cost of One

이 논문은 단일 사전학습 실행 내에서 여러 실험을 동시에 수행하여 대규모 언어 모델 연구에 필요한 막대한 계산 비용을 획기적으로 절감하면서도 다양한 데이터 영향과 모델 행동을 정밀하게 분석할 수 있는 새로운 방법론을 제시합니다.

핵심

이 논문은 **"한 번의 훈련으로 모든 답을 얻자: 하나의 훈련 비용으로 여러 실험을 동시에 수행하는 방법"**이라는 제목의 연구입니다.

대형 언어 모델 (LLM) 을 연구할 때 가장 큰 걸림돌은 엄청난 계산 비용입니다. 마치 새로운 자동차 엔진을 개발할 때마다, 한 가지 실험 (예: 연료 효율 테스트) 을 위해 엔진을 새로 조립하고, 또 다른 실험 (예: 브레이크 성능 테스트) 을 위해 다시 엔진을 새로 조립해야 한다면 어떨까요? 시간과 돈이 너무 많이 들겠죠.

이 논문은 이 문제를 해결하기 위해 **"한 번의 엔진 조립으로 모든 테스트를 동시에 수행하는 방법"**을 제안합니다.

---

🚗 핵심 비유: '만능 실험실 자동차'

이 논문의 아이디어를 쉽게 이해하기 위해 자동차 테스트에 비유해 보겠습니다.

1. 기존의 방식: "하나씩 따로 테스트"

기존 연구자들은 한 번의 훈련 (엔진 조립) 에 오직 하나의 실험만 넣었습니다.

• 실험 A (데이터 오염 테스트): 엔진을 조립할 때 A 실험용 부품만 넣어서 조립하고, A 실험 결과를 봅니다.
• 실험 B (기억력 테스트): 다시 엔진을 해체하고, 이번엔 B 실험용 부품만 넣어서 조립하고, B 실험 결과를 봅니다.
• 문제점: 이렇게 하면 10 가지 실험을 하려면 엔진을 10 번이나 새로 조립해야 합니다. 비용이 천문학적으로 듭니다.

2. 이 논문의 방식: "한 번에 모든 테스트"

저자들은 **"왜 한 번에 여러 실험을 동시에 하지?"**라고 질문했습니다.

• 새로운 접근: 엔진을 한 번만 조립합니다. 하지만 조립하는 과정에서 A 실험 부품, B 실험 부품, C 실험 부품... 총 10 가지의 실험용 부품을 동시에 엔진 안에 넣습니다.
• 결과: 엔진이 한 번 완성되면, A, B, C... 모든 실험의 결과를 한 번에 확인할 수 있습니다. 마치 한 번의 주행으로 연비, 브레이크, 핸들링, 소음 등 모든 테스트를 끝내는 것과 같습니다.

---

🔬 이 논문이 실제로 한 일

저자들은 실제로 27 억 개의 파라미터 (매개변수) 를 가진 AI 모델을 훈련시키면서, 동시에 10 가지의 서로 다른 실험을 진행했습니다.

이 10 가지 실험 중에는 다음과 같은 것들이 있었습니다:

1. 지식 습득: "가상의 새로운 사실 (예: 화성 정부의 역사)"을 얼마나 자주 보여줘야 AI 가 기억하는가?
2. 수학 추론: 간단한 수학 문제를 섞어주면 AI 가 더 어려운 문제도 풀 수 있을까?
3. 데이터 오염: 시험 문제의 정답을 훈련 데이터에 살짝 섞으면, AI 가 시험을 잘 볼까? (그리고 나중에 잊어버릴까?)
4. 기억과 프라이버시: AI 가 훈련 데이터의 비밀 (비밀 번호 같은 것) 을 얼마나 잘 기억해 내는가?
5. 위조 방지 (워터마킹): 데이터에 보이지 않는 '수학적 낙인'을 찍어, 이 데이터가 훈련에 사용되었는지 감별할 수 있는가?

놀라운 결과:

• 동시 실행 가능: 10 가지 실험을 동시에 해도, 각 실험의 결과가 따로 했을 때와 거의 똑같았습니다. 서로 간섭하지 않는다는 뜻입니다.
• 성능 유지: 실험들을 섞어 넣었다고 해서 AI 의 전체적인 성능이 떨어지거나 훈련이 불안정해지지 않았습니다. 마치 여러 가지 부품을 추가해도 차가 여전히 잘 달리는 것과 같습니다.
• 비용 절감: 10 번의 훈련을 할 필요 없이 1 번으로 모든 결론을 얻었습니다.

---

🛡️ 중요한 질문: "서로 섞이면 안 되는데?"

가장 큰 우려는 **"A 실험이 B 실험의 결과를 망가뜨리지 않을까?"**였습니다.
예를 들어, "수학 문제"를 많이 넣어서 AI 가 수학 실력을 키우면, "기억력 테스트" 결과가 왜곡될 수 있을까요?

저자들은 이를 확인하기 위해 **CPDT(지속적 사전 학습 의존성 테스트)**라는 새로운 방법을 개발했습니다.

• 비유: "이 부품들을 한 번에 넣었을 때, 서로 부딪혀서 엔진이 고장 나지 않는지 미리 시뮬레이션해 보는 것"입니다.
• 결과: 10 가지 실험은 서로 완전히 독립적이었습니다. 서로 영향을 주지 않고 각자의 역할을 잘 수행했습니다.

---

💡 이 연구의 의미와 결론

이 논문은 AI 연구계에 다음과 같은 큰 변화를 가져올 수 있습니다:

1. 과학적 엄밀성: 이제 연구자들은 거대한 AI 모델을 훈련시킬 때, "한 번의 기회"를 아끼지 않고 여러 가지 과학적 질문을 동시에 던질 수 있습니다.
2. 비용 효율성: 연구 예산이 부족한 대학이나 소규모 연구팀도, 거대 기업과 같은 규모의 실험을 할 수 있게 됩니다.
3. 협력의 장: 서로 다른 연구자들이 각자 관심 있는 실험 (예: A 팀은 보안, B 팀은 수학) 을 하나의 훈련 과정에 합쳐서, 함께 결과를 얻을 수 있습니다.

한 줄 요약:

"AI 를 훈련시킬 때, 한 번의 비용으로 여러 가지 실험을 동시에 해보자. 서로 방해하지도 않고, 결과도 정확하며, 훨씬 더 똑똑하고 효율적인 연구가 가능해집니다!"

이 연구는 마치 **"한 번의 여행으로 여러 나라의 명소를 모두 방문하는 방법"**을 찾아낸 것과 같습니다. 이제 AI 연구는 훨씬 더 빠르고, 저렴하며, 다양해질 것입니다.

기술 요약

논문 요약: TRAIN ONCE, ANSWER ALL (ICLR 2026)

이 논문은 대규모 언어 모델 (LLM) 의 훈련 데이터와 모델 행동 간의 관계를 연구하기 위한 제어된 사전 훈련 (Controlled Pretraining) 실험의 계산 비용 문제를 해결하기 위해 제안된 새로운 방법론을 다룹니다. 저자들은 단일 훈련 런 (training run) 내에서 여러 개의 독립적인 실험을 동시에 수행하여, 기존에 각 실험마다 별도의 모델을 훈련해야 했던 높은 계산 비용을 획기적으로 줄이는 방식을 제시합니다.

1. 문제 정의 (Problem)

• 계산 비용의 장벽: LLM 의 행동 (데이터 오염, 중독, 기억 등) 을 연구하기 위해 통제된 사전 훈련 실험을 수행하는 것은 매우 유망한 접근법이지만, 매번 모델을 처음부터 (from scratch) 훈련해야 하므로 막대한 계산 자원이 필요합니다.
• 연구의 비효율성: 단일 연구 프로젝트에서 얻어지는 통찰이 전체 모델 훈련 비용을 정당화하기에 충분하지 않은 경우가 많아, 많은 연구가 제한적으로 수행되거나 불가능해집니다.
• 기존 방식의 한계: 기존 연구는 하나의 훈련 런당 하나의 실험만 수행하는 것이 표준이었습니다.

2. 방법론 (Methodology)

저자들은 **"한 번 훈련하여 모든 답을 얻기 (Train Once, Answer All)"**라는 개념을 도입했습니다.

• 동시 실험 수행: 단일 훈련 런 동안 여러 개의 독립적인 실험을 병렬로 수행합니다. 이는 모델이 여러 작업을 동시에 학습하는 다중 작업 학습 (Multitask Learning) 의 특성을 활용하여, 서로 다른 작업에 대해 독립적으로 개입 (intervention) 할 수 있다는 아이디어에 기반합니다.
• 실험 설계:
  • 모델: OLMo-2 계열 모델 (최대 27 억 파라미터) 을 사용했습니다.
  • 데이터: 총 2100 억 토큰 (210B tokens) 으로 훈련되었으며, 실험을 위해 훈련 데이터의 약 1.8% (37 억 토큰) 를 수정하거나 추가했습니다.
  • 10 가지 실험: 지식 습득, 수학적 추론, 벤치마크 오염, 기억 패턴, 텍스트verbatim 기억, 가우시안 워터마킹, 사전 훈련 중독 (Poisoning), 망각 곡선, MUSE-News, IID 교체 등 10 가지 서로 다른 실험을 동시에 수행했습니다.
• 실험 간 의존성 검증 (CPDT): 여러 실험을 동시에 수행할 때 한 실험이 다른 실험의 결과에 영향을 미치지 않는지 확인하기 위해 **지속적 사전 훈련 의존성 테스트 (Continual Pretraining Dependence Testing, CPDT)**라는 새로운 기법을 제안했습니다. 이는 중간 체크포인트를 사용하여 각 실험의 데이터가 다른 실험의 결과에 미치는 영향을 측정하는 방법입니다.

3. 주요 기여 (Key Contributions)

1. 다중 실험 병렬화 프레임워크: 단일 훈련 런 내에서 여러 독립적인 사전 훈련 실험을 수행하는 방법을 제안하고, 27 억 파라미터 모델까지 확장 가능성을 입증했습니다.
2. 기존 연구 결과의 재현 (Replication): 단일 훈련 런에서 5 개의 기존 연구 (데이터 오염, 기억, 중독, 망각 등) 의 결과를 성공적으로 재현하여, 동시 실험이 개별 실험의 결과를 왜곡하지 않음을 증명했습니다.
3. 새로운 실험 수행: 지식 습득 (동적 데이터 조절), 수학적 추론 (길이 일반화), 데이터 워터마킹 (프라이버시 감사) 에 대한 3 가지 새로운 실험을 수행하여 방법론의 유용성을 입증했습니다.
4. CPDT 기법 제안: 실험 간의 상호 의존성을 사전 훈련 전에 테스트할 수 있는 새로운 방법론을 제시하여, 다중 실험의 타당성을 검증하는 도구를 마련했습니다.
5. 오픈 소스 및 재현성: OLMo-2/3 모델을 사용한 실험을 위한 Python 패키지를 공개하고, 모든 코드와 체크포인트를 오픈하여 재현성을 보장했습니다.

4. 주요 결과 (Results)

• 실험 재현성: 벤치마크 오염, 기억 패턴, 중독 (Poisoning),verbatim 기억, 망각 곡선 등 5 가지 기존 연구의 결과가 단일 훈련 런에서도 동일하게 재현되었습니다. 예를 들어, 희귀 토큰 (Rare Token) 이 가장 강력한 프라이버시 누출을 일으킨다는 Panda et al. (2025) 의 결과를 확인했습니다.
• 새로운 발견:
  • 지식 습득: 제어 알고리즘을 통해 훈련 데이터 내 사실적 지식의 빈도를 동적으로 조정하여, 모델이 훈련 종료 시점에 특정 지식을 습득하도록 유도할 수 있음을 보였습니다.
  • 수학적 추론: 제한된 양의 추론 문제만으로도 모델의 추론 능력이 향상되었으며, 훈련 중 본 적 없는 더 긴 단계 (Length Generalization) 의 문제에도 일반화되는 경향을 보였습니다.
  • 워터마킹: 가우시안 워터마킹이 훈련 데이터의 출처를 감사 (Audit) 하는 데 효과적이며, 훈련 후기 데이터가 모델 상태에 더 큰 영향을 미친다는 '최근성 편향 (Recency Bias)'을 발견했습니다.
• 실험 간 상호작용: CPDT 를 통해 10 가지 실험 간의 상호 의존성이 통계적으로 유의미하지 않음을 확인했습니다. 벤치마크 간에는 의존성이 존재하지만, 제어된 실험들 사이에는 의존성이 거의 없었습니다.
• 훈련 역학 및 성능 영향: 실험을 포함했음에도 불구하고 모델의 전체적인 훈련 손실 (Train/Validation Loss), 가중치 노름 (Weight Norm), 그리고 일반 벤치마크 성능은 실험이 없는 베이스라인 모델과 거의 동일했습니다. 이는 실험이 모델의 전반적인 학습 역학에 미치는 영향이 미미함을 의미합니다.
• 모델 크기 확장: 1.5B 에서 2.7B 파라미터 모델까지 실험을 확장했을 때, 실험 효과는 모델 크기가 커질수록 더 뚜렷하게 나타났으나, 실험의 독립성은 유지되었습니다.

5. 의의 및 결론 (Significance)

• 계산 효율성: 이 연구는 LLM 연구의 진입 장벽을 낮추는 획기적인 방법론을 제시합니다. 연구자들은 제한된 컴퓨팅 예산으로도 여러 가지 과학적 질문을 동시에 검증할 수 있게 되었습니다.
• 과학적 엄밀성: 통제된 실험을 통해 데이터와 모델 행동 간의 인과 관계를 규명하는 데 있어, 기존 방식보다 훨씬 효율적이고 엄밀한 접근이 가능해졌습니다.
• 실용성: 실험들이 모델의 전반적인 성능을 저하시키지 않고 독립적으로 작동한다는 점은, 실제 모델 개발 과정에서도 다양한 개입을 동시에 테스트할 수 있음을 시사합니다.
• 미래 전망: 이 접근법은 더 많은 동시 실험을 가능하게 할 수 있으며, 비지도 다중 작업 학습이 서로 다른 작업에 대한 동시 개입을 어떻게 용이하게 하는지에 대한 추가 연구의 기초를 제공합니다.

요약하자면, 이 논문은 **"한 번의 훈련으로 여러 실험을 수행할 수 있다"**는 것을 입증함으로써, 대규모 언어 모델 연구의 계산적 비효율성을 해결하고 더 많은 연구가 동시에 진행될 수 있는 새로운 패러다임을 제시했습니다.