기술 요약: 생성형 이미지 사전학습 재고찰

문제 제기

자연어 처리에서 자기회귀적 다음 토큰 예측이 성공을 거두었음에도 불구하고, 비전을 위한 다음 픽셀 예측 패러다임은 인기가 감소해 왔습니다. 현대적 접근법은 종종 원시 픽셀 시퀀스의 계산적 부담을 완화하기 위해 이미지 토크나이저 (예: VQ-VAE, VQGAN) 를 활용한 다단계 생성 또는 패치 수준의 학습을 선호합니다. 그러나 근본적인 질문은 여전히 답이 나지 않았습니다: 다음 픽셀 예측을 확장하는 데 우리는 얼마나 멀리 떨어져 있는가?

본 논문은 비전을 위한 통합 프레임워크로서 자기회귀적 다음 픽셀 예측의 확장 특성을 조사합니다. 저자들은 세 가지 핵심 과제를 다룹니다:

1. 의미 밀도: 픽셀은 언어 토큰보다 훨씬 적은 의미 정보를 담고 있어, 다른 확장 법칙이 필요할 수 있습니다.
2. 공간 복잡성: 픽셀은 순차적으로 모델링하기 어려운 복잡한 공간적 의존성을 보입니다.
3. 해상도 확장성: 예측의 복잡도는 이미지 해상도에 따라 제곱으로 증가하여 고해상도 모델링을 계산적으로 불가능하게 만듭니다.

본 연구는 원시 픽셀 모델링이 예측 가능한 확장 법칙을 따르는지, 이러한 법칙이 작업 (인식 대 생성) 간에 어떻게 다른지, 그리고 현재 및 예상 컴퓨팅 예산을 고려할 때 이 접근법이 실현 가능한지 여부를 규명하는 것을 목표로 합니다.

방법론

실험 설정

• 모델 아키텍처: 저자들은 RMSNorm, 1D RoPE, 게이트드 선형 유닛 (GEGLU) 을 갖춘 표준 트랜스포머 아키텍처 계열을 활용합니다. 1 천만 개에서 4 억 4,900 만 개 파라미터까지 다섯 가지 모델 규모를 테스트합니다.
• 데이터셋: 사전학습은 더 균일한 ImageNet ILSVRC 2012 대신, 개방형 세계의 시각적 빈도를 반영하는 긴 꼬리 분포를 가진 대규모 데이터셋인 JFT-300M에서 수행됩니다.
• 학습 목적: 자기회귀적 다음 픽셀 예측 ($Pr(x_i | x_{<i})$) 을 위한 표준 부정 로그 가능도입니다.
• 확장 전략: 이 연구는 계산 최적 구성을 식별하기 위해 IsoFLOP 프로파일 (Hoffmann et al., 2022 참조) 을 사용합니다. 고정된 컴퓨팅 예산에 대해 저자들은 모델 깊이와 너비를 변화시켜 최적의 토큰 대 파라미터 비율을 찾습니다.
• 해상도: 실험은 16×16, 32×32, 64×64 해상도에서 수행됩니다. 계산적 실용성으로 인해 32×32 해상도가 광범위한 실험을 위한 주요 기준선으로 사용됩니다.

평가 지표

서로 다른 목적에 따른 확장 추세를 평가하기 위해 저자들은 세 가지 고유한 지표를 평가합니다:

1. 다음 픽셀 예측 손실: 주요 학습 목적입니다.
2. ImageNet 분류 정확도: 표현의 품질을 평가하기 위해 선형 프로빙 (백본을 고정하고 선형 헤드를 학습) 을 통해 측정합니다.
3. 생성 기반 완성 품질: **프레체 거리 (FD)**를 사용하여 측정합니다. 이미지 상단 절반을 공간적 프롬프트로 사용하고, 모델이 하단 절반을 자기회귀적으로 예측합니다.

주요 발견 및 결과

1. 텍스트에 비해 원시 픽셀의 비효율성

원시 픽셀에 대한 학습은 언어 토큰에 대한 학습보다 훨씬 비효율적입니다.

• 토큰 대 파라미터 비율: 계산 최적 성능을 달성하기 위해 원시 픽셀 모델은 언어 모델보다 파라미터당 10~20 배 더 많은 토큰이 필요합니다. 언어 모델은 종종 토큰/파라미터 비율이 약 20 인 반면, 픽셀 모델은 400 을 초과하는 비율이 필요합니다.
• 함의: 단일 픽셀은 단어 (예: "고양이") 에 비해 최소한의 의미 정보만을 포함하므로, 효과적인 표현을 학습하기 위해 모델 크기에 비해 훨씬 더 많은 양의 데이터가 필요합니다.

2. 작업 의존적 확장 전략

최적의 확장 전략은 보편적이지 않으며, 고정된 해상도 (32×32) 에서조차 목표 지표에 따라 크게 달라집니다.

• 분류 대 생성:
  • 분류: 최적의 확장은 모델 크기와 데이터 크기가 유사한 비율로 성장하는 균형을 선호합니다 ($N_{opt} \propto C^{0.56}$, $D_{opt} \propto C^{0.44}$).
  • 생성: 이미지 생성을 위한 최적의 확장은 데이터 중시 접근법을 요구합니다. 데이터셋 크기는 모델 크기보다 3~5 배 더 빠르게 성장해야 합니다 ($N_{opt} \propto C^{0.49}$, $D_{opt} \propto C^{0.51}$).
• 결론: 다음 픽셀 손실이나 분류에 최적화된 확장 전략은 이미지 생성에는 비최적입니다. 생성 작업은 고차 의존성과 긴 꼬리 시각 분포를 포착하기 위해 방대하고 다양한 데이터를 요구합니다.

3. 해상도 의존적 확장 변화

이미지 해상도가 증가함에 따라 최적의 확장 전략은 데이터와 모델 크기의 균형에서 더 큰 모델을 중시하는 방향으로 이동합니다.

• 모델 대 데이터: 더 높은 해상도 (예: 64×64) 에서 픽셀당 최적 파라미터 수는 급격히 증가하는 반면, 최적 이미지 수 (데이터) 는 훨씬 더 느리게 증가합니다.
• 근거: 더 높은 해상도는 본질적으로 더 낮은 해상도의 하위 시퀀스로부터 정보를 포함합니다. 충분한 양의 데이터가 확보되면 새로운 데이터 포인트의 한계적 가치는 감소하며, 시각적 구조의 복잡성은 미세한 질감과 전역 구조를 모델링하기 위해 더 큰 모델 용량을 요구합니다.
• 성능: 해상도를 32×32 에서 64×64 로 높이면 생성 품질 (프레체 거리) 에서 상당한 향상을 가져오지만, ImageNet 분류 정확도에서는 한계적 이득만 제공합니다.

4. 실현 가능성 전망

저자들은 데이터 기반 이론적 추정을 통해 경쟁력 있는 성능 (80% ImageNet 정확도 및 프레체 거리 < 100) 을 달성하기 위한 요구 사항을 전망합니다.

• 컴퓨팅 병목 현상: 다음 픽셀 예측 확장의 주요 장벽은 데이터 가용성이 아닌 컴퓨팅입니다. 인터넷상의 방대한 시각 데이터 양을 고려할 때, 데이터 요구 사항은 제한 요인이 아닙니다.
• 타임라인: 최첨단 AI 모델의 학습 컴퓨팅이 연평균 4~5 배 성장한다고 가정할 때, 저자들은 픽셀 단위 모델링이 향후 5 년 이내에 실현 가능해질 것으로 예측합니다.
• 전망: $10^{24}$ FLOPs 에서 모델은 이론적으로 64×64 해상도에서 약 85% 의 ImageNet 정확도와 약 93 의 프레체 거리에 도달할 수 있으며, 이는 약 800 억 파라미터의 모델 크기와 64×64 해상도에서 약 5 억 장의 이미지를 요구합니다.

중요성 및 주장

본 논문은 인식 및 생성 작업 모두에 걸쳐 원시 다음 픽셀 예측의 확장 법칙에 대한 최초의 엄격하고 대규모 분석을 제공한다고 주장합니다.

• 패러다임 재평가: 이 연구는 다음 픽셀 예측이 본질적으로 확장 불가능하거나 열등하다는 개념에 도전합니다. 대신 컴퓨팅 예산과 데이터 대 파라미터 비율이 올바르게 조정된다면, 이 패러다임이 예측 가능한 멱법칙 확장을 따른다는 것을 보여줍니다.
• 통합 비전 모델: 이 발견은 단일 엔드투엔드 프레임워크가 비전 인식과 생성을 통합할 수 있음을 시사하지만, 두 작업 간 최적 컴퓨팅 할당은 크게 다르다는 점을 강조합니다.
• 미래 생존 가능성: 이 연구는 현재 고해상도 원시 픽셀 모델링에 대한 컴퓨팅 요구 사항은 실용적이지 않지만, 컴퓨팅 성장 추세가 가까운 미래에 이 접근법이 통합 비전 모델을 위한 실현 가능하고 경쟁력 있는 경로가 될 것임을 시사한다고 결론지으며, 이는 복잡한 토크나이징 방식의 필요성을 불필요하게 만들 수 있다고 봅니다.

저자들은 신중한 어조를 유지하며, 그들의 전망이 멱법칙 지수의 안정성에 의존하며, 경험적 검증이 현재 64×64 해상도까지로 제한되어 있음을 인정합니다. 또한 이러한 해상도 이상의 확장성을 탐구하고 객체 감지와 같은 더 복잡한 하위 작업 전반에 걸쳐 확장 추세를 통합하기 위해서는 추가 연구가 필요하다고 지적합니다.