💻 computer science

Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining

이 논문은 개별 예시가 최종 모델 파라미터까지의 거리를 얼마나 줄이는지를 정량화함으로써 훈련 데이터의 영향을 측정하는 태스크 불가지론적(task-agnostic) 방법을 소개하며, 이를 통해 다양한 모델 구성에 걸쳐 문학 관련 데이터는 초기 사전 훈련을 주도하는 반면 STEM 데이터는 후기 단계에서 더 큰 영향력을 갖게 된다는 점을 밝혀낸다.

원저자: Yuto Nishida, Hirokazu Kiyomaru, Yusuke Oda, Takashi Kodama, Chaoran Liu, Daisuke Kawahara, Yusuke Miyao, Max Müller-Eberstein, Masaru Isonuma

게시일 2026-08-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuto Nishida, Hirokazu Kiyomaru, Yusuke Oda, Takashi Kodama, Chaoran Liu, Daisuke Kawahara, Yusuke Miyao, Max Müller-Eberstein, Masaru Isonuma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 인간처럼 말하는 법을 가르치려 한다고 상상해 보세요. 단순히 책 한 권을 주는 것이 아니라, 인터넷 전체를 로봇의 뇌에 쏟아붓는 것입니다. 이 과정을 "사전 학습(pretraining)"이라고 하며, 이는 오늘날 우리가 사용하는 AI 모델의 토대가 됩니다. 하지만 여기서 까다로운 문제가 발생합니다. 로봇이 학습을 마친 후, 어떤 특정한 문장이나 이야기가 가장 중요했는지 아무도 알 수 없다는 점입니다. 로봇이 특정 위키피디아 문서 덕분에 수학을 잘하게 된 걸까요? 아니గా 특정 소설 덕분에 시를 쓸 수 있게 된 걸까요?

과학자들은 "만약 내가 이 문장 하나를 제거한다면, 로봇이 수학 문제를 풀거나 시를 쓰는 것과 같은 특정 테스트에서 실력이 떨어질까?"라고 질문하며 이 답을 찾으려 노력해 왔습니다. 이것은 마치 케이크를 이미 다 먹고 난 뒤에, 어떤 재료가 그 맛을 좋게 만들었는지 알아내려는 것과 같습니다. 문제는 AI 모델이 단 하나의 테스트가 아니라 '모든 것'에 능숙해야 한다는 점입니다. 만약 수학 실력만을 확인한다면, 로봇이 다른 데이터로부터 유머 감각을 배웠다는 사실을 놓칠 수도 있습니다. 그렇다면, 특정 테스트를 강요하지 않고도 로파 로봇의 뇌가 시간이 흐름에 따라 어떻게 변하는지 관찰할 수 있을까요?

이 논문은 특정 테스트를 필요로 하지 않고 로봇이 배우는 과정을 관찰하는 영리한 새로운 방법을 소개합니다. 연구진은 "이 문장이 로봇이 수학 퀴즈를 통과하는 데 도움이 되었는가?"라고 묻는 대신, "이 문장이 로bot이 최종적으로 완성된 뇌에 도달하는 데 도움이 되었는가?"라고 물었습니다. 그들은 로봇의 최종 상태를 지도 위의 목적지로 취급했습니다. 로봇이 새로운 문장을 읽을 때마다, 로봇은 아주 작은 발걸음을 내디뎠습니다. 연구진은 이 발걸음이 로봇을 결승선에 더 가깝게 이동시켰는지, 아니면 실수로 뒤로 물러나게 했는지를 측정했습니다.

그들은 이 방법을 유명한 AI 모델 제품군 18가지 버전에 적용하여, 154개의 서로 다른 체크포인트(마치 로봇의 뇌를 찍은 스냅샷과 같은 단계)를 통해 학습 과정을 지켜보았습니다. 그들이 발견한 것은 로봇의 "식단"이 성장함에 따라 어떻게 변하는지에 대한 매혹적인 이야기였습니다.

로봇이 학습을 막 시작한 아주 초기 단계에는, 문학과 이야기에서 온 문장들이 가장 도움이 되었습니다. 이들이 로봇을 최종 형태에로 밀어 올린 "최고의 기여자"였습니다. 그것은 마치 로봇이 먼저 인간의 이야기와 감정을 이해해야 하는 것처럼 보였습니다. 그러나 학습이 계속되어 중기 및 후기 단계로 접어들면서 이야기는 바뀌었습니다. 가장 중요해진 문장들은 더 이상 이야기가 아니라, STEM 분야(과학, 기술, 공학, 수학)의 내용이었습니다.

연구진은 명확한 "교차점(crossover)"을 목격했습니다. 초반에는 책과 문학이 주인공이었지만, 후반에는 과학과 컴퓨터에 관한 기술적 데이터가 무대의 조명을 독차지했습니다. 이는 로봇이 단순히 마지막에 "어려운" 것들을 배우는 것이 아니라, 실제로 특정한 학습 순서가 필요하다는 것을 시사합니다. 로봇은 먼저 인간의 언어와 이야기라는 토대를 구축해야 하며, 그 후에야 비로소 자신의 잠재력을 완전히 발휘하기 위해 복잡하고 기술적인 데이터를 필요로 한다는 것입니다.

저자들은 또한 그들의 방법이 얼마나 신뢰할 수 있는지 확인했습니다. 그들은 자신들의 "결승점까지의 거리" 측정법을 기존의 "테스트 점수" 방식과 비교했는데, 기존 방식은 어떤 테스트를 선택하느냐에 따라 매우 다른 답을 내놓는다는 것을 발견했습니다. 만약 수학을 테스트했다면 수학 데이터가 내내 중요하다고 생각했을 것이고, 이야기를 테스트했다면 이야기가 내내 중요하다고 생각했을 것입니다. 그러나 그들의 새로운 방식은 테스트한 모든 모델에서 일관된 패턴을 보여주었으며, 이는 이야기에서 과학으로의 이러한 변화가 단순히 테스트 방식에 따른 우연이 아니라, AI 모델이 학습하는 방식의 실제적이고 근본적인 부분임을 시사합니다.

따라서 핵심적인 결론은, AI를 훈련시키는 것은 단순히 무작위로 섞인 데이터를 먹이는 것이 아니라는 점입니다. 그것은 마치 하나의 "커리큘럼(교육 과정)"과 같습니다. 이 논문은 "최적의" 데이터는 AI가 학습 과정 중 어느 단계에 있느냐에 따라 달라진다고 제안합니다. 초반에는 이야기가 필요하고, 나중에는 과학이 필요합니다. 이는 우리가 더 나은 AI를 만드는 방식에 대해 새로운 생각을 하게 해줍니다. 어쩌면 우리는 로봇에게 이야기를 먼저 먹이고, 복잡한 수학은 그들이 준비되었을 때 아껴두어야 할지도 모릅니다.

기술 요약: 언어 모델 사전 학습 전반에 걸친 태스크 불가지론적 학습 데이터 영향력 측정

문제 정의
언어 모델(LM)의 학습 데이터 영향력을 측정하는 기존 방법들은 일반적으로 특정 테스트 포인트에 대한 손실(loss)이나 특정 다운스트림 벤치마크의 성능과 같은 태스크 특화된 타겟에 의존한다. 이러한 접근 방식은 특정 목표에는 유용하지만, 단일 태스크를 최적화하기보다는 광범위하고 일반적인 능력을 개발하는 것을 목표로 하는 사전 학습(pretraining) 맥락에서는 상당한 한계에 직면한다. 전체 사전 학습 궤적 동안 모델의 일반적인 능력을 대표할 수 있는 다운스트림 태스크나 검증 세트를 선택하는 것은 매우 어렵다. 또한, 특정 태스크에 대한 중간 체크포인트 성능과 결부된 영향력 추정치는, 초기 체크포인트가 해당 태스크를 아직 완전히 해결하지 못했더라도 관련 능력을 갖추고 있을 수 있기 때문에, 단계별로 일관성이 떨어지고 비교하기 어렵다.

방법론
저자들은 주어진 사전 학습 실행의 최종 파라미터( $\theta^*$ )를 향해 개별 학습 예시가 모델을 얼마나 이동시키는지를 기준으로 정의된 태스크 불가지론적 학습 데이터 영향력 측정법을 제안한다.

영향력의 정의: 미니 배치 $B_t$ 의 영향력은 현재 파라미터 $\theta_t$ 와 최종 사전 학습된 파라미터 $\theta^*$ 사이의 제곱 $L_2$ 거리 감소량으로 정량화된다. 수학적으로, $Cont(B_t) = \|\theta^* - \theta_t\|_2^2 - \|\theta^* - \theta_{t+1}\|_2^2$ 이다. 이는 $2\Delta_t^\top(\theta^* - \theta_t) - \|\Delta_t\|_2^2$ 로 확장되며, 첫 번째 항은 최종 파라미터를 향한 방향과의 정렬도를 측정하고, 두 번째 항은 업데이트의 제곱 노름(norm)에 대해 페널티를 부여한다.
예시 수준의 분해: 표준 확률적 경사 하강법(SGD)을 가정할 때, 미니 배치의 영향력은 개별 예시의 기여도로 분해된다. 예시 $x_k^t$ 의 영향력은 $Cont(x_k^t) = 2\Delta_{t,k}^\top(\theta^* - \theta_t) - \Delta_{t,k}^\top \Delta_t$ 로 정의된다. 이 공식은 미니 배치 내 예시들 간의 상호작용을 고려한다.
체크포인트 기반 근사: 대규모 사전 학습 시 모델을 처음부터 다시 학습시키지 않고도 이 방법을 실행 가능하게 만들기 위해, 저자들은 주기적으로 저장된 체크포인트를 사용하는 근사법을 도출한다. 매 단계에서 업데이트를 계산하는 대신, 체크포인트 구간의 시작( $\theta_c$ )과 끝( $\theta_{c'}$ )에서의 파라미터를 사용하여 상태 $\theta_t$ 와 업데이트 $\Delta_t$ 를 근사한다. 이를 통해 공개된 체크포인트를 이용한 사후(post-hoc) 영향력 추정이 가능하다.

주요 기여

태스크 불가지론적 재정의: 본 논문은 특정 다운스트림 태스크나 검증 세트에 대한 의존성을 제거하고, 최종 파라미터를 향한 진행 과정 측면에서 사전 학습 전반의 학습 데이터 영향력을 재정의한다.
체크포인트 기반 추정: 저자들은 모델을 처음부터 다시 학습시키지 않고도 중간 체크포인트로부터 예시 수준의 영향력을 추정할 수 있게 하는 실용적인 근사법을 도출한다.
경험적 특성화: 본 연구는 데이터 유형에 따른 체계적이고 단계 의존적인 변동을 밝혀냄으로써, 사전 학습 과정 중 데이터 기여도의 진화를 규명한다.
신뢰성 분석: 제안된 분석이 체크포인트 근사, 참조 엔드포인트, 그리고 다양한 모델 구성(크기, 초기화, 데이터 순서)에 대해 신뢰성을 갖추고 있음을 입증한다.

실험 결과
이 방법은 70M에서 12B 파라미터 규모의 모델을 다루는 Pythia 및 PolyPythia 스위트의 18개 구성을 대상으로 적용되었으며, 각 실행당 154개의 체크포인트를 활용하였다.

기여 역학(Contribution Dynamics): 평균 기여도는 초기 학습 단계를 지나 유의미하게 증가하여 약 40k 스텝에서 정점에 도달한 후 점진적으로 감소한다. 표준 편차 또한 유사한 패턴을 따른다. 주목할 점은, "반대자(opponent)" 예시(최종 파라미터로부터 멀어지게 만드는 음의 기여를 가진 예시)의 비율이 초기 및 중기 단계에서는 낮게(<1%) 유지되다가, 후기 단계에서는 8~10%까지 상승한다는 것이다.
텍스트 난이도: 높은 퍼플렉시티(PPL)를 가진 텍스트(모델에게 더 어려운 텍스트)는 사전 학습의 중기 단계 동안 정규화된 기여도에서 더 큰 비중을 차지하는 반면, 초기 및 후기 단계에서는 난이도 수준에 따라 기여도가 더 고르게 분포된다.
도메인 전환 (Crossover): 영향력 있는 데이터 도메인의 체계적인 시간적 변화가 관찰되었다:
- 초기 학습: 문학 관련 데이터(예: 도서, 취미)가 최종 파라미터를 향한 궤적과 더 강하게 정렬된다.
- 후기 학습: STEM 관련 데이터(예: 과학, 컴퓨터 및 전자 공학)가 궤적과 점점 더 정렬된다.
- 이러한 질적인 교차 현상은 모델 규모에 따라 전환 시점은 다를 수 있으나, 다양한 모델 구성에서 광범위하게 일관되게 나타난다(더 큰 모델일수록 전환이 더 일찍 나타남).
검증: 체크포인트 기반 근사는 더 작은 모델에서 재학습을 통해 계산된 정확한 예시 수준 기여도와 강한 상관관계(후기 단계에서 피어슨 $r > 0.94$ )를 보인다. 결과는 가중치 초기화 및 데이터 순서의 변화에도 견고하지만, 데이터 순서가 초기화보다 약간 더 많은 변동을 유발한다.
태스크 특화 방법과의 비교: 선택된 검증 도메인에 따라 귀속 패턴이 크게 달라지는 기존의 TracIn 스타일 분석과 달리, 제안된 태스크 불가지론적 척도는 특정 다운스트림 타겟에 관계없이 문학에서 STEM으로의 교차 현상을 일관되게 드러낸다.

의의 및 주장
본 논문은 사전 학습 과정 동안 영향력이 있는 데이터가 어떻게 변하는지에 대한 실행 가능한 궤적 수준의 관점을 제공한다고 주장한다. 영향력 분석을 특정 다운스트림 태스크로부터 분리함으로써, 저자들은 기존의 태스크 특화 분석을 보완하는 관점을 제시한다.

연구 결과는 최종 파라미터로 강력하게 이동시키는 학습 예시들이 사전 학습 전반에 걸쳐 정적이지 않음을 시사한다. 이러한 발견은 사전 학습 데이터 구성 및 커리큘럼 설계에 대한 단계 인식적(stage-aware) 접근 방식을 촉발한다. 특히, 후기 단계에서 STEM 데이터에 대한 할당을 늘리는 최근의 LLM 사전 학습 레시피에 대한 경험적 근거를 제공한다. 저자들은 자신의 연구가 단일 데이터 혼합물을 전체 과정 동안 동일하게 적합한 것으로 취급하기보다, 학습 단계에 따라 데이터 구성을 조정하는 더 미세한 사전 학습 전략을 가이드하는 도구로서 기능한다고 위치시킨다.

저자들은 인과적 주장에 대해서는 신중한 태도를 유지하며, 본 분석이 데이터 혼합을 변경했을 때의 직접적인 인과 효과를 확립하기보다는 학습 과정에 따라 기여도가 어떻게 변하는지를 특징짓는 것임을 명시한다. 또한, 제곱 파라미터 공간 거리에 의존함에 따라 발생하는 민감도(파라미터화에 민데한 점)와 실제로는 적응형 옵티마이저를 사용함에도 불구하고 분해를 위해 SGD를 가정했다는 점 등의 한계점도 인정한다.

유사한 논문