On the Power of Foundation Models

양 원 (Yang Yuan) 의 논문 "On the Power of Foundation Models"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 기초 모델 (foundation models) 시대의 근본적인 질문에 답합니다: 무한한 고품질 데이터, 무한한 계산 능력, 그리고 전제 작업 (pretext task) 에서 영구 일반화 오차를 보장하는 완벽한 학습 알고리즘을 가진 무한히 큰 모델이 주어졌을 때, 그러한 모델이 어떤 하향 작업 (downstream task) 이든 해결할 수 있을까요?

표현, 최적화, 일반화에 관한 기존 심층 학습 이론들은 특정 데이터 분포, 네트워크 아키텍처, 또는 유한한 자원을 가정하는 경향이 있어 이 질문에 답하기에 부족합니다. 저자들은 한계가 모델의 학습 능력에 있는 것이 아니라, 오히려 작업 자체의 구조적 표현에 있다고 주장합니다. 핵심 문제는 전제 작업 (pretext task) 에 의해 유도된 구조에 근거하여 기초 모델이 어떤 하향 작업을 해결할 수 있는지를 결정하는 것입니다.

2. 방법론: 범주론적 프레임워크

저자들은 기초 모델을 분석하기 위한 주요 수학적 도구로 **범주론 (Category Theory)**을 활용합니다. 이 접근 방식은 특정 신경망 아키텍처나 손실 함수가 아닌 데이터 포인트 간의 구조적 관계에 초점을 맞춘 "모델 무관 (model-oblivious)"한 관점을 가능하게 합니다.

정의된 주요 개념:

• 기초 모델 유도 범주 ($C_f$): 기초 모델 $f: D \to H$(데이터를 표현으로 매핑) 은 다음과 같은 범주를 유도합니다:
  • 대상 (Objects): 표현 동치에 대한 데이터 포인트 (즉, $f(X) = f(X')$이면 $X \sim X'$).
  • 사상 (Morphisms): "데이터 무관 판독 (data-oblivious readout)" $k_f$와 전제 작업의 연산에서 유도된 합성 사상 (예: 대비 학습을 위한 특징 공간의 이동, 또는 언어 모델을 위한 토큰 추가) 으로 정의됩니다.
• 요네다 매장 (Yoneda Embedding, $h_C$): 이 논문은 요네다 보조정리를 활용하여 모델의 표현 $f(X)$를 표현 가능 함자 (representable functor) $h_C(X) = \text{Hom}_C(X, \cdot)$로 해석합니다. 이는 내부 특징 공간을 함자 범주 ($C^\vee$) 로 매핑하여 데이터의 구조적 관계를 효과적으로 인코딩합니다.
• 작업 표현: 하향 작업은 함자 $T \in C^\vee$로 정의됩니다. 작업을 해결한다는 것은 모델이 $T(X)$와 동형인 출력을 생성할 수 있음을 의미합니다.

3. 주요 기여 및 결과

이 논문은 **프롬프트 튜닝 (Prompt Tuning)**과 **파인 튜닝 (Fine Tuning)**이라는 두 가지 적응 전략 하에서 기초 모델의 능력에 관한 세 가지 주요 정리를 수립합니다.

A. 프롬프트 튜닝의 한계 (정리 3)

• 결과: 기초 모델이 프롬프트 튜닝을 사용하여 하향 작업 $T$를 해결할 수 있는 필요충분조건은 작업 $T$가 전제 작업에 의해 유도된 범주 내에서 **표현 가능 (representable)**한 것입니다.
• 함의: 프롬프트 튜닝은 전제 작업의 구조적 풍부함에 의해 엄격하게 제한됩니다. 전제 작업 (예: 회전 예측) 이 단순한 군 구조만 유도한다면, 모델 크기와 관계없이 프롬프트만으로는 복잡한 하향 작업 (예: 시맨틱 분할) 을 해결할 수 없습니다.
• 계 1 (Corollary 1): 구체적으로, 회전 예측 전제 작업은 유도된 범주가 필요한 구조적 복잡성이 부족하기 때문에 프롬핑을 통한 분류나 분할과 같은 콘텐츠 수준 작업 해결 능력을 보장하지 않습니다.

B. 파인 튜닝의 힘 (정리 5)

• 결과: 프롬프트 튜닝과 달리, 파인 튜닝에는 그러한 구조적 제한이 없습니다. 기초 모델이 전제 작업을 해결하는 데 필요한 최소한의 힘을 가지고 (대칭성까지) 있으며, 하향 작업에 충분한 자원 (데이터 및 계산) 이 제공된다면, 이론적으로 범주 $C^\vee$ 내에 정의된 어떤 하향 작업이든 해결할 수 있습니다.
• 메커니즘: 파인 튜닝은 모델이 요네다 확장 정리를 통해 사전 학습된 표현 공간을 특정 목표 작업 공간으로 매핑하는 확장 함자 (extension functor) 를 학습할 수 있게 합니다.
• 의의: 이는 기초 모델의 "병목 현상"이 파인 튜닝 능력 자체가 아니라 전제 작업의 품질에 있음을 시사합니다. 풍부한 전제 작업은 풍부한 범주 $C$를 생성하며, 이는 다시 해결 가능한 하향 작업의 공간을 확장합니다.

C. 일반화 및 멀티모달 학습 (정리 6 및 7)

• 결과: 이 논문은 구조 학습에 대한 일반화 정리를 제시합니다. 두 범주 (예: 텍스트와 이미지) 사이에 "특정 정렬 함자 (feature-aligned functor)"가 존재한다면, 소스 범주의 구조적 정보가 목표 범주의 특징 공간에 보존됩니다.
• "보이지 않는" 객체에 대한 적용: 이는 CLIP 이나 DALL-E 2 와 같은 모델이 학습 데이터에 존재하지 않는 객체 (예: "아보카도 의자") 를 생성하거나 인식할 수 있는 이유를 설명합니다. 모델은 텍스트와 이미지 범주 간의 **구조적 관계 (사상)**를 학습합니다. 텍스트 범주에서 "아보카도 의자"라는 텍스트가 유효한 합성이라면, 특정 정렬 함자는 이 구조를 이미지 범주의 해당 (잠재적으로 보이지 않는) 객체로 매핑합니다.
• 합성 정리 (정리 7): 이 프레임워크는 범주 체인으로 확장되어 언어 A $\to$ 언어 B $\to$ 이미지와 같이 이질적인 도메인을 연결하는 멀티모달 모델이 함자를 합성하는 방식을 설명합니다.

4. 의의 및 영향

1. 데이터/아키텍처에서 구조로의 전환: 이 논문은 이론적 초점을 데이터 양이나 네트워크 깊이가 아닌 작업의 대수적 구조로 이동시킵니다. 기초 모델의 "힘"은 단순히 파라미터 수가 아니라 유도하는 범주에 의해 결정된다고 주장합니다.
2. 전제 작업 설계에 대한 이론적 정당성: 이는 **자기 지도 학습 (SSL)**을 위한 엄격한 수학적 프레임워크를 제공합니다. 특정 전제 작업이 다른 작업보다 더 잘 작동하는 이유를 설명합니다: 더 풍부한 사상을 유도하는 범주를 생성하여 더 넓은 범위의 하향 작업을 가능하게 하기 때문입니다.
3. "제로샷 (Zero-Shot)" 능력에 대한 설명: 요네다 기반 프레임워크는 기초 모델이 단순한 통계적 상관관계가 아닌 범주 내 구조적 합성으로 간주함으로써 보이지 않는 개념으로 일반화 (구성적 일반화) 하는 방식을 공식적으로 설명합니다.
4. 프롬핑과 파인 튜닝의 구분: 프롬프트 엔지니어링 (표현 가능성에 제한됨) 과 파인 튜닝 (자원과 사전 학습된 범주의 풍부함에만 제한됨) 사이의 이론적 경계를 명확히 합니다.

결론

이 논문은 무한한 자원을 가진 경우에도 기초 모델의 작업 해결 능력은 전제 학습 중 학습된 범주적 구조에 근본적으로 제약을 받는다고 주장합니다. 프롬프트 튜닝은 이 범주 내에서 구조적으로 표현 가능한 작업으로 제한되는 반면, 파인 튜닝은 해당 구조 공간 내의 모든 작업을 해제할 수 있습니다. 또한, 이 프레임워크는 멀티모달 학습이 본질적으로 서로 다른 범주 간의 함자 정렬이며, 구조적 합성을 통해 새로운 보이지 않는 객체의 생성과 인식을 가능하게 함을 보여줍니다.