🤖 machine learning

Influence Dynamics and Stagewise Data Attribution

이 논문은 특이 학습 이론(singular learning theory)에 기반한 단계별 데이터 기여도 프레케임워크를 도입하여, 훈련 데이터의 영향력이 동적이고 비단조적이며, 장난감 모델(toy models)과 거대 언어 모델 모두에서 의미론적 계층 구조의 점진적 학습과 일치하는 특정 변화와 부호 반전을 나타낸다는 점을 밝힌다.

원저자: Jin Hwa Lee, Matthew Smith, Maxwell Adam, Jesse Hoogland

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jin Hwa Lee, Matthew Smith, Maxwell Adam, Jesse Hoogland

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 타이밍이 전부다

아이에게 뒤섞인 장난감 상자를 분류하는 법을 가르친다고 상상해 보세요.

기존의 방식 (정적 관점): 훈련 데이터를 분석하는 전통적인 방법들은 특정 장난감(예: 빨간색 블록)이 아이의 학습에 미치는 영향은 그 장난감을 언제 보여주든 항상 일정하다고 가정합니다. 이는 "빨간 블록은 색깔을 배우는 데 항상 도움이 된다"라고 말하는 것과 같습니다.
새로운 방식 (단계별 관점): 이 논문은 이것이 틀렸다고 주장합니다. 실제로 그 빨간 블록의 효과는 수업의 단계에 따라 극적으로 변합니다.
- 초기 단계: 빨간 블록을 보여주는 것은 아이가 "색깔이 빨갛다"라는 것을 배우는 데 도움을 줍니다.
- 중간 단계: 만약 "동물"과 "탈것"의 차이를 가르치려고 하는 와중에 계속 빨간 블록을 보여준다면, 그것은 오히려 아이를 혼란스럽게 만들 수 있습니다.
- 후기 단계: 나중에 더 세밀한 디테일을 가르칠 때, 그 똑같은 빨간 블록이 다시 매우 중요해질 수 있습니다.

저자들은 이를 **단계별 데이터 귀속(Stagewise Data Attribution)**이라고 부릅니다. 그들은 AI가 어떻게 학습하는지 이해하기 위해서는 단순히 최종 결과만을 보는 것이 아니라, 학습 과정이라는 '영화'를 봐야 한다고 주장합니다. 즉, 마지막 장면(프레임)만 봐서는 안 된다는 것입니다.

문제점: 기존 도구들이 실패하는 이유

이 논문은 "영향력"(하나의 데이터가 모델을 얼마나 변화시키는지)을 측정하는 현재의 도구들이 단순하고 예측 가능한 시스템을 위해 만들어졌다고 설명합니다. 이 도구들은 학습 과정이 매끄러운 직선이라고 가정합니다.

하지만 신경망(AI의 두뇌)은 무질서합니다. 신경망은 마치 주변 지형이 계속 변하는 골짜기와 언덕이 가득한 풍경과 같습니다. 저자들은 **단일 학습 이론(Singular Learning Theory)**을 사용하여 AI 학습이 매끄럽지 않으며, 단계(stages) 또는 **단계(phases)**를 거쳐 일어난다는 점을 설명합니다.

비유: 자전거 타기를 배우는 과정을 생각해 보세요. 처음에는 비틀거립니다 (1단계). 그러다 갑자기 균형을 잡습니다 (상전이/phase transition). 그 후에는 회전하는 법을 배웁니다 (2단계). 길 위의 조약돌이 당신에게 미치는 영향은, 당신이 비틀거릴 때와 회전할 때가 완전히 다릅니다. 기존의 도구들은 조약돌의 효과가 변하지 않는 것처럼 취급하는데, 이는 복잡한 AI를 이해하는 데 있어 재앙과 같습니다.

해결책: 역동적인 렌즈

저자들은 **베이지안 영향 함수(Bayesian Influence Function, BIF)**라는 새로운 도구를 제안합니다.

메타포: 이 도구는 AI의 두뇌를 단 한 장의 스냅샷으로 찍는 대신, 비디오를 촬영합니다. 이 도구는 특정 데이터 포인트의 "중요도"가 어떻게 상승하고 하락하는지, 어떻게 '도움이 되는 존재'에서 '해로운 존재'로 바뀌는지, 그리고 결정적인 순간에 어떻게 급증하는지를 추적합니다.

그들은 이러한 학습 단계 동안 세 가지 구체적인 현상이 일으로 일어날 것이라고 예측합니다:

부호 반전 (Sign Flips): 데이터 하나가 어떤 순간에는 "친구"(도움이 됨)였다가 다음 순간에는 "적"(해로움)이 될 수 있습니다.
날카로운 정점 (Sharp Peaks): 모델이 기어를 바꾸는 결정적인 순간(상전이)에 영향력이 갑자기 엄청난 수준으로 치솟을 수 있습니다.
비단조성 (Non-Monotonicity): 영향력은 단순히 올라가거나 내려가는 것이 아니라, 복잡한 패턴을 그리며 꿈틀대고, 정점을 찍고, 떨어집니다.

증명 1: 토이 모델 (동물 수업)

이를 테스트하기 위해 저자들은 동물과 식물 데이터셋으로 훈련된 간단하고 통제된 AI 모델을 사용했습니다.

설정: 모델은 계층 구조를 학습해야 했습니다: 첫째, "생물 vs 무생물". 둘히, "동물 vs 식물". 셋째, "포유류 vs 조류". 마지막으로, "개 vs 고양이".
발견: 그들은 시간이 흐름에 따라 모델이 "개" 샘플을 어떻게 바라보는지 관찰했습니다.
- 초기에는: "개" 샘플은 모델이 "참새"(둘 다 동물임)에 대해 배우는 데 도움을 주었습니다. 영향력은 양수였습니다 (도움이 됨).
- 나중에는: 모델이 "포유류"와 "조류"를 구분하려고 시도할 때, "개" 샘플은 오히려 "참새"의 학습을 방해하기 시작했습니다. 영향력의 부호가 반전되었습니다.
- 정점: 모델이 "포유류"와 "조류"를 분리하는 데 어려움을 겪는 바로 그 순간에 영향력이 급증했습니다.
시사점: 데이터 포인트 자체가 변한 것이 아니라, 학습의 단계가 변했고, 그로 인해 데이터의 역할이 완전히 바뀌었습니다.

증명 2: 실제 언어 모델 (문법 수업)

저자들은 이 이론이 실제 세상에서도 통하는지 확인하기 위해 대규모 언어 모델(텍за를 쓰는 모델들)을 테스트했습니다. 그들은 모델이 특정 구조적 패턴, 예를 들어 귀납(induction)(만약 "A" 다음에 "B"가 한 번 나타났다면, 다시 "B" 다음에 "A"가 나올 수 있다는 것을 인식하는 것)을 어떻게 학습하는지 살펴보았습니다.

발견: 그들은 "귀납 토큰"(모델이 패턴을 포착하도록 돕는 단어들)의 영향력이 단순히 서서히 증가하는 것이 아님을 발견했습니다.
- 영향력은 낮게 유지되었습니다.
- 그러다 훈련 중 특정 시점(약 30,000 스텝)에 급격히 치솟았습니다.
- 이 급증은 모델이 "귀납 회로"(패턴 매칭을 위한 내부 메커니즘)를 "발견"하는 것으로 알려진 시점과 완벽하게 일치했습니다.
시사점: 모델은 문법을 직선적으로 배우지 않았습니다. 특정 "아하!(aha!)" 모먼트가 있었고, 그 순간 특정 데이터가 믿을 수 없을 정도로 영향력이 커졌다가 그 이후에는 그 영향력이 사라지거나 변했습니다.

이것이 왜 중요한가

이 논문은 우리가 "어떤 데이터 포인트가 가장 중요한가?"라고 묻는 것을 멈추고, **"이 데이터 포인트들이 언제 가장 중요한가?"**라고 묻기 시작해야 한다고 결론짓습니다.

비유: 오케스트라를 지휘하는 지휘수를 상상해 보세요. 만약 당신이 "어떤 악기가 가장 중요한가요?"라고 묻는다면, 그 답은 매 초마다 바뀔 것입니다. 바이올린은 멜로디를 위해 필수적이지만, 드럼은 리듬을 위해 필수적입니다. 만약 당신이 최종 녹음본만 본다면, 드럼이 곡의 전반부 동안은 조용했다는 사실을 놓칠 수도 있습니다.
목표: 이러한 "단계"를 이해함으로써, 우리는 AI가 어떻게 학습하는지 더 잘 이해할 수 있고, 특정 시점에 발생하는 오류를 디버깅할 수 있으며, 잠재적으로 적절한 시점에 적절한 데이터를 제공하는 더 나은 훈련 일정(커리큘럼)을 설계할 수 있습니다.

요약하자면: AI 학습은 단 하나의 문장이 아니라, 여러 장(chapter)으로 이루어진 이야기입니다. 그 이야기를 이해하려면 당신이 지금 어느 장에 있는지 알아야 합니다.

기술 요약: 영향력 역학 및 단계별 데이터 귀속 (Influence Dynamics and Stagewise Data Attribution)

문제 정의

현재의 훈련 데이터 귀속(Training Data Attribution, TDA) 방법들, 특히 영향 함수(Influence Functions, IFs)는 훈련 과정 전반에 걸쳐 특정 훈련 샘플이 모델의 행동에 미치는 영향이 정적이고 전역적이라는 가정하에 작동한다. 이러한 관점은 일반적인 통계 모델 분석에서 유래된 것으로, 심층 신경망의 발달 역학을 설명하지 못한다. 신경 신경망은 고립되지 않은 임계점과 비가역적 헤시안(non-invertible Hessians)을 가진 퇴화된 손실 지형(degenerate loss landscapes)을 보유하고 있어, 고전적 IF가 요구하는 정규성 가정을 위반한다. 결과적으로, 기존 방법들은 모델이 학습함에 따라 데이터 샘플의 역할이 어떻게 진화하는지를 포착하지 못하며, 초기 학습 단계에서는 도움이 되었던 샘플이 후기 단계에서는 해롭거나 무의별해질 수 있다는 사실을 간과한다.

방법론

저자들은 **단일 학습 이론(Singular Learning Theory, SLT)**에 기반한 단계별 데이터 귀속(Stagewise Data Attribution) 프레임워크를 제안한다. 이 방법론은 세 가지 주요 구성 요소로 이루어진다:

이론적 프레임워크 (SLT 및 베이지안 영향력):
- 본 논문은 확률적 최적화 도구(SGD 등)의 학습 궤적을 이상적인 베이지안 학습 과정으로 모델링한다.
- 고전적 IF를 **베이지안 영향 함수(Bayesian Influence Functions, BIF)**로 대체한다. 단일 최솟값에서의 역 헤시안에 의존하는 고전적 IF와 달리, BIF는 관측 가능량(observable)의 사후 기대값(posterior expectation)의 변화를 측정한다. 이는 샘플의 손실과 관측 가능량 사이의 음의 공분산으로 정의된다: $BIF(z_i, \phi) = -Cov_{p(w|D)}(\ell_i(w), \phi(w))$ .
- 이 공식은 "헤시안 프리(Hessian-free)" 방식이며, 퇴화된 지형에서도 잘 정의될 뿐만 아니라 수렴 시점이 아닌 훈련 궤적상의 어느 지점에서도 적용 가능하다.
분석적 분해:
- 전체 공분산 법칙(Law of Total Covariance)을 사용하여, 저자들은 영향력을 "단계 내(Within-Phase)" 성분과 "단계 간(Between-Phase)" 성분으로 분해한다.
- 저자들은 상전이(phase transitions)(사후 확률 질량이 두 개의 서로 다른 솔루션 $U$ 와 $V$ 사이에서 나뉘는 지점) 동안 "단계 간" 항이 지배적일 것이라고 예측한다. 이는 비단조적 역학을 초래하며, 특히 사후 확률 $\pi_U \approx \pi_V \approx 0.5$ 일 때 영향력의 급격한 피크와 부호 반전(sign flips)을 일으킨다.
경험적 검증:
- 토이 모델: 계층적 의미론적 데이터셋(Saxe et al., 2019a)으로 훈련된 2층 심층 선형 네트워크를 사용한다. 저자들은 사후 확률을 추정하고 국소적 BIF를 계산하기 위해 확률적 경사 랑제빈 역학(SGLD)을 사용한다. 이들은 이러한 발견을 분석적 방법과 Leave-One-Out (LOO) 재훈련 실험을 통해 검증한다.
- 대규모 언어 모델: The Pile 데이터셋으로 훈련된 Pythia 언어 모델을 대상으로 실험을 수행한다. 저자들은 특정 구문 클래스(예: 구분자, 유도 패턴)의 영향력 역학을 훈련 체크포인트 전반에 걸쳐 추적하기 위해 토큰 단위 BIF를 계산한다.

핵심 기여

영향력에 대한 발달적 프레임워크: 본 논문은 영향 함수를 단계적 발달과 연결하는 이론적 프레임워크를 도입한다. 저자들은 영향력이 정적이지 않고 비단조적으로 변화하며, 발달적 상전이 단계에서 부호 반전과 급격한 피크를 보인다고 주장한다.
제어된 시스템에서의 검증: 저자들은 계층적 특징 학습 모델을 통해 구체적인 개념 증명을 제공하며, 영향력의 동적 변화가 데이터의 계층적 구조(예: 동물 vs 식물, 그 다음 포유류 vs 조류를 구분하는 과정)의 순차적 학습과 직접적으로 매핑됨을 입증한다.
언어 모델에 대한 확장 가능한 적용: 본 논문은 이러한 현상이 규모가 커져도 발생함을 보여준다. 구조적 요소(구분자 및 유도 패턴 등)에 대한 토큰 수준의 영향 함수가 유도 회로(induction circuits) 형성이라는 알려진 발전 단계와 일치하여 비단조적인 변화를 겪음을 보여준다.

결과

비단조적 역학: 토이 모델에서 "개(dog)" 샘플이 "참새(sparrow)" 샘플에 미치는 영향은 광범위한 범주(동물 vs 식물)를 학습하는 초기 단계에서는 음수(도움이 됨)였으나, 더 세밀한 구분(포유류 vs 조류)을 학습하는 후기 단계에서는 양수(해로움)가 되었다.
상전이와의 상관관계: 다차원 척도법(MDS)으로 시각화된 모델의 은닉 표현 브랜칭 포인트(branching points)와 영향력의 피크가 정확히 일치함을 관찰하였다. 이는 서로 다른 의미론적 계층의 수준을 학습하는 단계 사이의 전이를 나타낸다.
인과적 창(Causal Windows): 절제(Ablation) 실험 결과, BIF가 최대 영향력을 할당하는 시간 창 동안 데이터를 제거했을 때 가장 큰 손실 차이가 발생함을 발견하였다. 이는 영향력이 시간 의존적이며, 특정 데이터 포인트가 특정 발달 단계 동안에만 학습을 주도한다는 것을 확인시켜 준다.
언어 모델 결과: Pythia 모델에서 유도 패턴 토큰의 영향력은 급격히 상승했다가 이후 하락하는 모습을 보였으며, 이는 유도 회로 형성의 알려진 타임라인(약 30k 스텝 부근에서 피크)과 일치한다. 마찬가지로, 좌우 구분자 간의 관계에서도 부호 반전이 관찰되었으며, 이는 모델이 텍스트 구조를 처리하는 방식의 질적 변화를 나타낸다.

의의 및 주장

본 논문은 지점 기반(point-wise) 귀속에서 단계별(stagewise) 데이터 귀속으로의 근본적인 전환을 주장한다.

정적 점수를 넘어서: 저자들은 훈련 종료 시점에 데이터 포인트에 단일한 전역적 영향력 점수를 부여하는 것은 불완전하며 잠재적으로 오해의 소지가 있는 그림을 제공한다고 주장한다. 샘플의 중요성은 모델의 발달 단계와 분리될 수 없다.
암묵적 커리큘럼의 메커니즘: 이러한 결과는 신경망이 어떻게 "암묵적 커리큘럼(implicit curriculum)"을 채택하는지에 대한 메커니즘을 시사한다. 서로 다른 데이터 포인트들이 서로 다른 시점에 영향력을 발휘함으로써, 모델이 특정 시점에 특정 구조를 우선시하도록 하는 자기 조직화된 학습 스케줄을 효과적으로 생성한다.
한계 및 향arian 방향: 저자들은 자신들의 프레임워크가 베이지안 학습(SLT)과 비평형 SGD 역학 사이의 연결 고리에 의존하고 있으며, 이는 여전히 이론적 간극으로 남아 있음을 인정한다. 또한, 향후 연구가 행동적 귀속을 넘어, 이러한 동적 영향력이 내부 회로와 특징을 어떻게 형성하는지에 대한 기계론적 설명으로 나아가야 한다고 언급한다.

결론적으로, 본 논문은 데이터가 무엇인지를 아는 것만큼이나 데이터가 언제, 왜 중요한지를 이해하는 것이 중요하다는 점을 강조하며, 심층 신경망의 학습 과정을 디버깅, 해석 및 잠재적으로 제어하기 위한 새로운 관점을 제공한다.