기술적 요약: 두 개의 시계와 혁신 창

문제 제기

유한한 데이터셋으로 훈련된 생성 모델은 근본적인 긴장 관계에 직면해 있습니다. 즉, 이들의 훈련 목표 (예: 확산 모델의 점수 매칭 또는 자기회귀 모델의 다음 토큰 예측) 는 잠재된 모집단 분포가 아닌 경험적 훈련 분포로 수렴한다는 점입니다. 현실성은 암기를 통해 달성될 수 있지만, 모델이 분포를 정의하는 잠재 규칙을 진정으로 학습했는지 여부를 판단하는 것은 여전히 어렵습니다. 자연 데이터에서는 규칙 기반 일반화와 정확한 암기를 구별하는 것이 어렵습니다. 본 논문은 다음과 같은 질문을 통해 이 문제를 다룹니다: 생성 모델은 언제 분포의 진정한 규칙을 학습하며, 언제 훈련 샘플을 재생산하기 시작하는가?

방법론

저자들은 규칙 충족, 신규성, 그리고 암기를 정밀하게 측정하기 위해 통제된 합성 프레임워크를 사용합니다.

• 작업: 주요 테스트베드는 이진 이미지에서의 **그룹 단위 패리티 (group-level parity)**입니다. 각 이미지는 크기 $G$인 그룹들로 나뉘며, 각 그룹은 짝수 패리티 제약을 만족해야 합니다. 매개변수 $G$는 규칙 복잡성 (상호작용 차수) 을 조절하는 직접적인 조절 장치 역할을 합니다.
• 모델: 이 연구는 다양한 크기 ($N$) 와 모델 용량을 가진 데이터셋으로 훈련된 **확산 트랜스포머 (DiT)**와 **자기회귀 트랜스포머 (GPT)**를 활용합니다.
• 지표:
  • 규칙 정확도: 패리티 제약을 만족하는 생성 샘플의 비율.
  • 암기 비율: 훈련 데이터와 정확히 일치하는 생성 샘플 (또는 그룹) 의 비율.
  • 혁신 창 (Innovation Window): 생성물이 규칙을 준수하지만 암기된 것은 아닌 (신규한) 시간 간격 $[\tau_{rule}, \tau_{mem}]$.
• 동역학적 분석: 저자들은 다음을 사용하여 훈련 동역학을 해부합니다:
  • 샘플별 상태 추적 (무효, 규칙 위반, 유효 - 신규, 유효 - 암기).
  • 다양한 노이즈 스케일 ($\sigma$) 에 따른 디노이징 점수 매칭 (DSM) 손실 분석.
  • 불리언 초입방체 (Boolean hypercube) 의 슬라이스 상에서 학습된 벡터장과 끌개 분지 (attractor basins) 의 시각화.

주요 기여 및 결과

1. 생성 훈련의 두 개의 시계

본 논문은 생성 훈련을 지배하는 두 가지 명확한 시간 척도를 식별합니다:

• $\tau_{rule}$ (규칙 학습 시간): 생성 샘플이 처음으로 규칙을 준수하게 되는 단계.
• $\tau_{mem}$ (암기 시간): 모델이 훈련 샘플을 재생산하기 시작하는 단계.

이 두 시계는 서로 다른 요인에 의해 지배됩니다:

• $\tau_{rule}$는 **규칙 복잡성 ($G$)**이 증가함에 따라 단조 증가하며 (단위당 $G$ 증가 시 약 한 자릿수만큼 지연됨), 모델 용량이 증가함에 따라 감소합니다. 이는 데이터셋 크기 $N$에 대해 거의 불변입니다.
• $\tau_{mem}$는 규칙 복잡성에 대해 거의 불변이지만, 데이터셋 크기 ($N$) 에 대해 거의 선형적으로 증가합니다 (DiT 의 경우 $\tau_{mem} \approx 35 N^{1.14}$). 또한 더 큰 모델 용량에 의해 가속화됩니다.

2. 혁신 창

간격 $[\tau_{rule}, \tau_{mem}]$은 혁신 창으로 정의되며, 이 기간 동안 모델은 규칙을 준수하지만 암기되지 않은 (신규한) 샘플을 생성합니다.

• 확장/축소: 이 창은 더 큰 데이터셋 (암기를 지연시킴) 에 따라 넓어지고, 더 높은 규칙 복잡성 (규칙 학습을 지연시킴) 에 따라 좁아집니다.
• 폐쇄: 높은 복잡성 ($G \ge 9$) 이나 작은 데이터셋의 경우, $\tau_{rule} \ge \tau_{mem}$가 되어 혁신 창이 완전히 사라집니다. 이러한 경우, 모델은 이미 암기를 시작한 후에야 규칙을 학습한 것처럼 보이며, 이는 관찰된 정확도가 일반화가 아닌 검색에 의해 주도됨을 의미합니다.

3. 벡터장을 통한 기작적 통찰

DiT 모델의 학습된 점수를 해부하면 최적화 지형에서의 상응하는 진화를 드러냅니다:

• 초기 단계: 모델은 불리언 초입방체에서 생성을 학습하며, 꼭짓점들을 끌개로 변환합니다.
• $\tau_{rule}$ 부근: 규칙을 준수하는 샘플에 대한 끌기가 크게 확장되어 규칙 위반 모서리들을 억제합니다. 유효한 샘플 (훈련 및 홀드아웃 모두) 의 분지들이 대칭적으로 확장됩니다.
• $\tau_{mem}$ 부근: 특정 훈련 샘플의 분지들이 더 확장되어 인근의 홀드아웃 유효 영역을 침범합니다. 학습된 벡터장은 홀드아웃 샘플에 대한 더 나쁜 디노이저가 되어, 노이즈가 추가된 샘플이 유효한 신규 점에 더 가깝더라도 암기된 훈련 지점을 가리킵니다.
• 노이즈 스케일 의존성: 이러한 전이는 불리언 초입방체上的 데이터 포인트 간의 기하학적 거리에 해당하는 특정 중간 노이즈 스케일 ($\sigma \in [0.2, 2.0]$) 에서 발생합니다.

4. 다른 아키텍처 및 작업으로의 일반화

• 자기회귀 모델 (GPT): GPT 모델은 동일한 두 시계 구조를 보입니다. 그러나 동급 크기의 DiT 보다 학습과 암기가 더 빨라 혁신 창이 더 짧습니다. GPT 에서의 암기 전환은 더 급격하게 발생합니다.
• 다른 규칙: 동역학은 다른 이진 규칙 (예: 정확히-$K$, 행-$K$) 과 조합 퍼즐 (라틴 사각형, 스도쿠) 로 확장됩니다.
  • 복잡성 형태: 고차 패리티는 어렵지만, 글로벌 카운트 제약 (정확히-$K$) 은 빠르게 학습됩니다. 이는 제약의 형태 (곱셈적 상호작용 대 덧셈적 합) 가 전역성 자체보다 난이도를 더 결정함을 시사합니다.
  • 중첩된 제약: 스도쿠와 같은 작업은 비등방성 학습 (행이 열보다 먼저 학습됨) 과 단순 패리티에 비해 지연된 유효성을 보입니다.

중요성 및 주장

본 논문은 생성 모델이 언제 그리고 어떻게 진정한 혁신과 암기를 나타내는지에 대한 통합적이고 예측 가능한 설명을 제공한다고 주장합니다.

• 동역학적 설명: 정적 평가를 넘어 모델이 복잡한 규칙을 학습하지 못하는 이유를 설명합니다. 즉, 규칙을 학습하는 데 필요한 시간이 데이터를 암기하는 데 필요한 시간을 초과할 때 혁신 창이 닫힙니다.
• 아키텍처적 한계: 결과는 현재 확산 아키텍처가 고차 곱셈적 상호작용 (높은 $G$ 패리티) 에 어려움을 겪고 있음을 시사하며, 이는 추상적 추론 규칙 (예: RAVEN 행렬) 이나 물리적 보존 법칙 학습의 어려움의 근원일 수 있습니다.
• 미래의 방향: 저자들은 복잡한 제약에 대한 규칙 학습을 개선하기 위해서는 단순히 데이터나 모델 크기를 확장하는 것이 아니라, 아키텍처 수정 (예: 글로벌 브로드캐스팅, 구조화된 곱셈적 상호작용) 또는 커리큘럼 학습 전략이 필요할 수 있다고 제안합니다.

이 연구는 현재 생성 모델의 근본적인 한계를 규명합니다. 즉, 그들의 귀납적 편향이 고차 글로벌 규칙과 잘 정렬되지 않아 "혁신 창"이 닫혔을 때 암기에 의존하게 된다는 것입니다.