🤖 AI

Learning What to Predict: Downstream-Guided Task Design for Continued Pretraining

이 논문은 소수의 다운스트림 예시를 가이드로 삼아 경량화된 태스크 디자이너를 활용하여 단계별 자기지도 학습 타겟을 생성함으로써, 일반적인 목적의 표현력을 붕괴시키거나 다운스트림 레이블로 학습자를 직접 업데이트하지 않고도 특정 역량을 위한 지속적 사전 학습을 최적화하는 프레임워크인 V-pretraining을 소개한다.

원저자: Shuqi Ke, Giulia Fanti

게시일 2026-06-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shuqi Ke, Giulia Fanti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 아주 똑똑하지만 매우 어린 학생(AI 모델)에게 세상을 읽고 이해하는 법을 가르치고 있다고 상상해 보세요(당신에게는 라벨이 없는 방대한 책의 도서관(라벨 없는 데이터)이 있습니다).

보통 우리가 이 학생을 가르치는 방식은 고정되고 반복적인 훈련을 주는 것입니다: "이 문장을 읽고 다음 단어를 맞춰봐." 우리는 이 과정을 수백만 번 반복합니다. 문제는 학생이 다음 단어를 맞추는 데는 아주 능숙해질 수 있지만, 정작 당신이 정말 중요하게 생각하는 기술, 예를 들어 수학 문제를 풀거나 복잡한 논리를 이해하는 능력은 향상되지 않을 수도 있다는 점입니다.

이를 해결하기 위해, 선생님들은 보통 수업을 중단하고 학생에게 테스트를 치르게 한 뒤, 어디서 틀렸는지 확인하고 나서 이렇게 말합니다: "자, 이제 다른 책 목록으로 이번 학기를 처음부터 다시 시작하자." 이는 느리고 비용이 많이 들며, 학생은 현재의 학습 세션이 실제로 기말고사를 통과하는 데 도움이 되고 있는지 알 수 없는 '맹목적인' 상태가 됩니다.

V-pretraining은 학생을 바꾸지 않고 게임의 규칙을 바꾸는 새로운 교수법입니다.

두 명의 등장인물: 학생과 코치

이 논문은 두 가지 뚜렷한 역할을 가진 시스템을 소개합니다:

학습자 (학생): 이것이 AI 모델입니다. 이 학생은 "정답지"(테스트 문제)를 직접 보는 것이 엄격히 금지되어 있습니다. 학생은 오직 드릴(다음 단어 예측하기 또는 마스킹된 이미지 재구성하기)을 해결하려고 노력함으로써만 배웁니다.
태스크 디자이너 (코치): 이것은 작고 가벼운 조력자입니다. 코치의 유일한 임무는 학생이 곧 수행할 현재의 "드릴"을 살펴보고 다음과 같이 묻는 것입니다: "만약 학생이 지금 이 특정 드릴을 수행한다면, 그것이 나중에 수학 시험을 통과하는 데 도움이 될까?"

작동 원리: "만약에"라는 이름의 수정구슬

여기에 마법 같은 기술이 있습니다. 코치는 학생이 아직 보지 못한 실제 수학 문제들의 작은 묶음(피드백 세트)을 가지고 있습니다.

코치는 학생이 공부하려는 무작위 텍스트 페이지를 살펴봅니다.
코치는 질문합니다: "만약 내가 이 페이지를 제시하는 방식을 바꾼다면—예를 들어 특정 단어를 강조하거나 타겟 정답을 약간 수정한다면—그 특정한 변화가 학생의 뇌를 수학 문제를 푸는 데 도움이 되는 방향으로 업데이트하게 만들까?"
코치는 이 아이디어에 대한 "가치 점수"를 계산합니다. 이것은 마치 수정구슬처럼 다음과 같이 예측하는 것과 같습니다: "이 특정 학습 세션을 수행하는 것은 학생의 미래 수학 오류를 X만큼 줄여줄 것이다."
점수가 높으면, 코치는 그 드릴을 더 유용하게 만들기 위해 드릴을 수정합니다(태스크 구성).
결정적으로: 학생은 수학 문제를 절대 보지 못합니다. 학생은 오직 코치가 만든 수정된 드릴만을 봅니다. 수학 문제는 코치를 훈련하는 데만 사용될 뿐, 학생을 훈련하는 데 사용되지 않습니다.

비유: 내비게이션 시스템

AI 모델을 긴 어두운 고속도로를 달리는 자동차(사전 학습)라고 생각해 보세요.

표준 학습: 자동차는 단순히 차선 표시(다음 단어를 맞추라는 고정된 규칙)를 따라 앞으로 달려갑니다. 자동차는 자신이 목적지(수학 시험)를 향해 가고 있는지, 아니면 막다른 길로 가고 있는지 알지 못합니다.
V-pretraining: 조수석에는 **GPS 내비게이터 (코치)**가 앉아 있습니다. GPS는 목적지(수학 시험)에 대한 지도를 가지고 있습니다.
- GPS는 자동차를 운전하지 않습니다.
- GPS는 자동차에게 직접 "좌회전하라"고 말하지 않습니다.
- 대신, GPS는 자동차가 보는 도로 표지판을 미묘하게 조정합니다. 예를 들어, 표지판을 "직진"에서 "직진하되 앞의 커브에 집중하라"로 바꿀 수 있습니다.
- 자동차는 여전히 표지판에 따라 스스로 운전하지만, 표지판이 목적지를 향하도록 조정되었기 때문에 자동차는 결국 더 나은 곳에 도착하게 됩니다.

무엇을 발견했는가?

연구진은 이 방법을 두 가지 유형의 AI에 대해 테스트했습니다: 언어 모델(글을 쓰는 모델)과 시각 모델(이미지를 보는 모델)입니다.

언어 분야: 그들은 코치를 훈련시키기 위해 1,024개의 작은 수학 문제 세트를 사용했습니다. 학생 AI는 이 문제들을 직접 보여주지 않았습니다. 그럼에도 불구하고, 훈련 후 AI는 표준 방식과 비교했을 때 수학 문제를 해결하는 능력(특히 GSM8K 벤치마크에서)이 33% 향상되었습니다. AI는 일반적인 언어 구사 능력을 잃지 않으면서 이 성과를 달랐습니다.
시각 분야: 그들은 AI가 이미지를 학습하는 데 이 방법을 사용했습니다. 코치는 세그멘테이션(객체 분할)과 깊이(거리감)를 위해 라벨링된 이미지 세트를 사용했습니다. 결과는 어떠했을까요? AI는 해당 특정 작업들을 더 잘 수행하게 되었을 뿐만 아니라, 일반적인 사물(고양이나 개 등)을 인식하는 능력도 이전만큼 잘 유지했습니다.

이것이 왜 중요한가

이 논문은 V-pretraining이 "거친 피드백 루프(coarse feedback loop)"를 해결하기 때문에 획기적이라고 주장합니다. 거대한 학습 과정이 끝날 때까지 기다려 성공 여부를 확인하는 대신, V-pretraining은 학습의 설계 자체에 단계별 피드백을 제공합니다.

이것은 요리사에게 이렇게 말하는 것과 같습니다: "음식을 다 만든 다음 소금이 필요한지 맛을 보지 마세요. 대신, 맛을 보는 사람이 요리사가 채소를 썰고 있는 동안 옆에서 '이 양파에는 소금을 한 꼬집 넣으세요'라고 속삭여서, 요리사가 전체 음식을 다 먹어보지 않고도 완벽한 요리를 완성할 수 있게 하세요."

핵심 요점: 특정 데이터(수학이나 의료 영상 등)를 AI에게 직접 암기하도록 강요하지 않고도, 그 데이터를 활용해 AI가 학습하는 방식을 안내함으로써 범용 AI를 특정 기술에 훨씬 더 능숙하게 만들 수 있습니다.

기술 요약: 무엇을 예측할 것인가: 지속적 사전 학습을 위한 다운스트림 가이드 기반 태스크 설계

1. 문제 정의

지속적 사전 학습(Continued pretraining)은 파운데이션 모델을 새로운 도메인(예: 수학적 추론 또는 밀집 시각 예측)에 적응시키기 위한 표준적인 방법입니다. 그러나 현재의 관행은 **거친 피드백 루프(coarse feedback loop)**에 의존하고 있습니다. 최적화 단위는 단일 자기 지도 학습 업데이트(예: 다음 토큰 예측 또는 마스크된 재구성)이지만, 선택 단위는 다운스트림 벤치마크로 평가되는 전체 사전 학습 과정입니다.

실무자들은 일반적으로 체크포인트를 평가하고, 데이터 혼합 방식이나 목적 함수를 수동으로 수정하며, 학습을 다시 시작합니다. 이 과정은 개별 사전 학습 업데이트가 특정 다운스트림 역량에 기여하는지 여부를 알지 못하는 "맹목적인" 상태로 만듭니다. 미세 조정(SFT, RL)은 다운스트림 레이블을 사용하여 학습자를 직접 업데이트하지만, 이는 자기 지도 학습 업데이트를 대체하는 것이지 이를 가이드하는 것이 아닙니다. 본 논문은 다음과 같은 질문을 던집니다: 검증 가능한 소수의 다운스트림 예시가 학습자를 직접 감독하지 않으면서도, 일반화 능력을 해치지 않고 목표 역량을 향상시키기 위해 지속적 사전 학습 과정 중 단계별 피드백을 제공할 수 있는가?

2. 방법론: V-pretraining

저자들은 학습 과정을 두 가지 구성 요소로 분리하는 V-pretraining(Value-based pretraining) 프레임워크를 소개합니다.

학습자(The Learner): 레이블이 없는 스트림에 대한 자기 지도 손실(self-supervised loss)을 통해서만 학습됩니다. 이 모델의 파라미터( $\theta$ )는 다운스트림 그래디언트에 의해 절대 업데이트되지 않습니다.
태스크 디자이너(The Task Designer): 레이블이 없는 배치에 대해 자기 지도 태스크(예: 타겟 또는 뷰 선택)를 동적으로 구성하는 경량 모듈( $\phi$ )입니다.

핵심 메커니즘:
디자이너는 다운스트림 레이블을 포함하는 작은 피드백 세트( $D_{fb}$ )를 사용하여 후보 자기 지도 업데이트의 "가치(value)"를 추정합니다.

그래디언트 정렬(Gradient Alignment): 제안된 자기 지도 업데이트의 그래디언트를 $g_{pre}$ 라 하고, 피드백 세트에 대한 다운스트림 손실의 그래디언트를 $g_{down}$ 이라 합니다.
가치 목적 함수(Value Objective): 논문은 다운스트림 손실의 1차 변화량이 내적 $V = g_{down}^\top g_{pre}$ 로 근사된다고 가정합니다.
학습 루프:
1. 디자이너는 현재 레이블이 없는 배치를 위한 태스크(예: 소프트 타겟 분포 또는 특정 뷰)를 구성합니다.
2. 디자이너는 $V$ 를 최대화하도록 업데이트됩니다(즉, 자기 지도 그래디언트를 다운스트림 손실을 줄이는 방향과 일치시킵니다).
3. 구성된 타겟 또는 뷰에는 detach(stop-gradient 적용)가 수행됩니다.
4. 학습자는 이 분리된(detached) 타겟을 사용하여 표준 자기 지도 손실로 업데이트됩니다.

구현 사례:

언어(Language): 디자이너는 다음 토큰 예측을 위한 **적응형 top-K 소프트 타겟(adaptive top-K soft targets)**을 학습합니다. 하드한 원-핫(one-hot) 타겟 대신, 디자이너는 게이팅 상수(gating constant)에 의해 가중치가 부여된 작은 후보 세트(실제 토큰 및 top- $K-1$ 모델 예측 포함)에 대한 확률 분포를 출력합니다.
비전(Vision): 디자이너는 DINO 스타일의 자기 지도 학습을 위한 **인스턴스별 뷰 또는 마스크(instance-wise views or masks)**를 학습하여, 다운스트림 밀집 예측 작업(세그멘테이션, 깊이 추정)에 더 잘 부합하도록 입력 크롭(crop)이나 증강(augmentation)을 수정합니다.

3. 주요 기여

개념적 기여: 본 논문은 다운스트림 가이드 기반의 지속적 사전 학습을 **학습 가능한 태스크 구성(learnable task construction)**으로 재정의합니다. 이는 학습자에게는 간접적(태스크 구성을 통해)이지만 디자이너에게는 직접적인 가이드 채널을 도입하여, 자기 지도 업데이트를 감독 학습 업데이트로 대체하는 문제를 피합니다.
알고리즘적 기여: 다운스트림 개선의 1차 대리물(surrogate) 역할을 하는 계산 효율적인 단계별 목적 함수( $g_{down}^\top g_{pre}$ )를 제안합니다. 이는 전체 사전 학습 궤적을 미분해야 하는 어려움(이중 최적화, bilevel optimization)을 피합니다.
경험적 기여: 실제 실행 시간(wall-clock time)을 맞춘 광범 sel 실험을 통해, V-pretraining이 일반적인 표현 능력을 무너뜨리지 않으면서 목표 역량을 향상시킨다는 것을 입증했습니다.

4. 실험 결과

저자들은 언어 및 비전 모달리티에 대해 계산량(compute-matched) 실험(동일한 실행 시간, 하드웨어 및 초기 조건)을 수행했습니다.

언어 (수학적 추론):

설정: 1,024개의 GSM8K 예시를 피드백으로 사용하여 Qwen 모델을 NuminaMath-CoT 데이터로 지속적 사전 학습함.
결과: V-pretraining은 GSM8K Pass@1을 유의미하게 향상시켰습니다.
- Qwen2.5-0.5B: 단일 실행 시 +7.4 포인트 상승 (22.20 $\to$ 29.60), 상대적 개선율 33%.
- Qwen1.5-4B: 56.48에서 58.98로 향상.
일반화: 이 방법은 광범적인 역량을 해치지 않았습니다. 4B 및 7B 모델의 MMLU 점수는 안정적으로 유지되었으나, 0.5B 모델은 약간의 하락을 보였는데, 이는 작은 학습자가 좁은 피드백에 더 민데이션(sensitive)함을 시사합니다.

비전 (밀집 예측):

설정: ADE20K(세그멘테이션) 및 NYUv2(깊이 추정)를 피드백으로 사용하여 ImageNet-1K 상에서 DINOv3 백본을 지속적 자기 지도 학습함.
결과:
- ADE20K: ViT-L 기준 mIoU가 51.33에서 52.40으로 향상됨.
- NYUv2: ViT-L 기준 RMSE가 0.5752에서 0.5522로 감소함.
- 일반화: ImageNet 선형 분류 정확도가 유지되거나 약간 향상되었으며, 이는 모델이 전역적 인식 능력을 희생하면서 밀집 작업에 과적합되지 않았음을 나타냅니다.
- 전이(Transfer): Oxford/Paris 데이터셋에 대한 인스턴스 검색 성능이 대부분의 프로토콜에서 개선되어, 표현 능력이 견고하게 유지됨을 확인했습니다.

절제 연구 및 대조군(Ablations and Controls):

데이터 오염 제거(Decontamination): 학습 스트림에서 GSM8K/MATH의 유사 중복 데이터를 제거해도 이점이 사라지지 않았으며, 이를 통해 단순 암제(memorization) 가능성을 배제했습니다.
지름길 차단(Shortcut Ruling): 이 이점은 일반적인 스무딩(smoothing), 자기 증류(self-distillation) 또는 무작위 노이즈에 의한 것이 아닙니다. 무작위 피드백이나 균등 스무딩을 사용한 변형 모델들은 정렬된 V-pretraining보다 성능이 낮았습니다.
오버헤드: 태스크 디자이너는 토큰 처리량(throughput)을 약 9.4% 감소시키고 피크 메모리를 약 16.4% 증가시키지만, 이러한 비용은 실행 시간 매칭 비교 시 고려되었습니다.

5. 의의 및 주장

본 논문은 V-pretraining이 직접적인 사후 학습(SFT 또는 RL과 같은) 방식에 대한 계산 효율적인 보완책을 제공한다고 주장합니다.

효율성: 이는 지속적 사전 학습 단계 중에 다운스트림 역량 신호를 주입할 수 있게 하여, 향후 고비용의 다운스트림 미세 조정을 줄일 수 있는 가능성을 열어줍니다.
메커니즘: 다운스트림 피드백이 학습자 자체(모델이 어떻게 업데이트되는가)가 아닌, 자기 지도 태스크의 구성(무엇을 예측할 것인가)을 가이드할 수 있음을 보여줍니다.
신중함: 저자들은 가치 목적 함수가 장기적인 수렴 정리(long-horizon convergence theorem)가 아닌, 국소적인 1단계 보장(즉각적인 다운스트림 개선의 하한선을 최대화)을 제공한다는 점을 명시했습니다. 또한, 이 방법이 작은 모델을 좁은 태스크로 과하게 유도할 수 있으며, 정렬 신호가 노이즈가 섞일 수 있음을 인정했습니다.

요약하자면, V-pretraining은 소수의 다운스트림 예시가 파운데이션 모델의 일반화 특성을 유지하면서도 특정 역량을 향상시키기 위해 "무엇을 예측할 것인가"라는 측면을 효과적으로 가이드할 수 있음을 입증합니다.