기술적 요약: OOD 일반화를 위한 식별성 편향으로서의 특징 공학

1. 문제 제기

심층 신경망은 학습 데이터의 지지 (support) 내에서의 보간 (interpolation) 에 탁월하지만, 분포 외 (OOD) 외삽 (extrapolation) 에서는 빈번히 실패합니다. 보편적 근사 정리 (Universal Approximation Theorem) 는 보간 능력을 보장하지만, 수학적으로 보장된 외삽은 여전히 해결되지 않은 문제입니다.

이 연구에서 규명한 핵심 문제는 **관측적 동등성 (observational equivalence)**입니다. 임의의 유한한 학습 창 $W$에서, 무수히 많은 데이터 생성 과정 (DGPs) 이 $\epsilon$-관측적으로 동등 (허용 오차 $\epsilon$ 내에서 구별 불가능) 할 수 있지만, $W$ 밖에서는 임의로 발산할 수 있습니다. 따라서 $W$ 상의 학습 손실, 교차 검증, 또는 홀드아웃 손실과 같은 단일 분포 내 (in-distribution) 기준만으로는 이러한 교란 가설들로부터 실제 근본 과정을 신뢰성 있게 구별할 수 없습니다. 본 논문은 OOD 외삽이 데이터만으로는 **비식별적 (non-identifiable)**이라고 주장하며, 표현과 모델 클래스의 선택이 이러한 모호성을 해결하는 "구조적 약속 (structural commitment)"을 구성한다고 봅니다.

2. 방법론 및 이론적 프레임워크

2.1 DGP 약속 $(\phi, \psi, M)$

저자들은 학습 과정을 세 가지 구성 요소를 포함하는 공동 약속으로 형식화합니다:

1. 특징 맵 ($\phi$): 입력 $x$를 표현 공간 $Z_x$로 변환합니다.
2. 레이블 맵 ($\psi$): 목표 $y$를 $Z_y$로 변환합니다.
3. 모델 클래스 ($M$): 변환된 공간에서 작동하는 가설 클래스입니다.

논문은 삼중항 $(\phi, \psi, M)$이 가정된 DGP 를 결정한다고 제시합니다. 이 약속이 실제 DGP 와 정렬되어 목표가 변환된 공간에서 선형적으로 표현 가능 (또는 그 외의 단순한 형태) 해진다면, OOD 외삽은 보간이 됩니다.

2.2 관측적 동등성과 식별성

명제 1은 경험적 위험 최소화 (ERM) 가 관측적으로 동등한 과정들에 대해 맹목적임을 확립합니다. 임의의 유한한 창 $W$와 잡음 수준 $\sigma$에 대해, 두 과정 $P_1$과 $P_2$가 허용 오차 $\epsilon$ 내에서 $W$에서 일치한다면, $\epsilon\sqrt{n} \ll \sigma$일 때 $W$를 지원하는 어떤 테스트도 이를 신뢰성 있게 구별할 수 없습니다. 이는 교차 검증과 같은 표준 선택 기준이 학습 세트에서 관측적으로 동등한 경쟁 DGP 들 간의 동점을 깨뜨릴 수 없음을 의미합니다.

명제 2는 이 동점을 깨기 위한 휴리스틱을 제시합니다: 경계 근처 데이터. 두 과정이 학습 창 밖에서 $r$속도로 발산한다면, 학습 경계에 즉시 인접한 너비 $\delta \ge \epsilon/r$의 검증 세그먼트는 일치 영역을 벗어납니다. 이 경계 근처 세그먼트에서 후보들을 평가함으로써 올바른 구조적 약속을 선택할 수 있습니다.

2.3 구성적 존재성

논문은 실제 DGP 가 변환 후 모델 클래스 $M$ 내에서 실현 가능 (즉, 모든 $X$에서, 단순히 $W$뿐만 아니라 $g^* \circ \phi = f$) 하고, 모델이 유한한 샘플로부터 식별 가능하면, OOD 오차가 사라짐 ($\epsilon_{OOD} = 0$) 을 보여줍니다. 이는 다음과 같은 경우에 입증되었습니다:

• 정현 함수: 푸리에 좌표 $\phi(x) = (\sin x, \cos x)$를 사용하면 주기적 외삽이 원 $S^1$ 위의 보간으로 변환됩니다.
• 멱법칙: 로그 - 로그 변환을 사용합니다.
• 지수 함수: 로그 - y 변환을 사용합니다.

3. 주요 기여

1. 관측적 동등성의 형식화: 논문은 관측적으로 동등한 과정들을 구별하는 임의의 분포 내 테스트의 능력에 대한 이론적 하한을 제공하며, 구조적 약속 없이는 OOD 위험이 비식별적임을 증명합니다.
2. DGP 약속 프레임워크: $(\phi, \psi, M)$을 모델러가 OOD 모호성을 해결하기 위해 제공할 수 있는 유일한 구조 정보의 원천으로 식별합니다. 이는 "특징 공학"이 딥러닝 성공에서 벗어난 것이 아니라, 필요한 구조적 약속의 명시적 주입임을 주장합니다.
3. 최소 쌍에 대한 통제 실험: 저자들은 동일한 아키텍처가 동일한 분포 내 (ID) 손실을 가지더라도 특징 맵 $\phi$에 따라 OOD 성능이 수백 배 (예: $\sim520\times$) 차이 날 수 있음을 변수를 분리하여 보여줍니다.
4. 크로스 도메인 검증: 이 메커니즘은 세 가지 자연 과학 도메인에서 검증되었습니다:
   • 화학: 질량 작용 법칙 (MAK) 에서 이차 선형 특징이 역학을 선형화합니다.
   • 물리: 외계 행성 예측을 위한 케플러 제 3 법칙에서 로그 변환이 물리 지수를 복원합니다.
   • 생물학: 종 간 코딩 DNA 탐지에서 유전 암호 불변 특징이 다양한 GC 함량을 가진 생물 종 간 제로샷 (zero-shot) 전이를 가능하게 합니다.
5. 실무자 산물:
   • 경계 근처 검증: 특징 맵을 선택하기 위해 교차 검증보다 우월한 선택 휴리스틱.
   • $\delta_{OOD}$ 진단: SINDy(희소 비선형 역학 식별) 기반의 지표로, OOD 데이터에서의 희소 적합 잔여와 특징 맵의 정확도 간의 상관관계를 측정합니다.
   • 아키텍처 불변성 확인: OOD 보장이 아키텍처 (Transformer, Mamba, 또는 S4D) 가 아닌 특징 맵 (예: 정밀 푸리에 위치 인코딩) 에 속한다는 것을 보여주는 연구.

4. 실험 결과

4.1 토이 실험 (Sin(x) 및 멱법칙)

• Sin(x): 원시 $x$로 훈련된 MLP 는 매끄럽고 수평으로 가는 곡선으로 외삽하며 높은 OOD 오차 ($\sim156\%$) 를 보입니다. 푸리에 특징 $(\sin x, \cos x)$로 훈련된 동일한 MLP 는 거의 제로에 가까운 OOD 오차 ($\sim0.3\%$) 를 달성합니다. 파운데이션 모델 (TimesFM, TabPFN) 도 동일한 행동을 보입니다: 입력 형식이 암묵적으로 올바른 특징 맵을 제공할 때 성공하고, 그렇지 않으면 실패합니다.
• 멱법칙 vs 지수 함수: $x^2$과 $e^{\alpha(x-1)}$이 $[1, 2]$에서 관측적으로 동등한 설정에서, 올바른 로그 변환 특징 맵과 선형 모델 (OLS) 의 조합만이 낮은 OOD 오차를 달성합니다. 잘못된 약속 (예: 지수 목표에 로그 - 로그 적용) 은 치명적인 실패 ($>9,999\%$ 오차) 로 이어집니다.

4.2 자연 과학 도메인

• 화학 (MAK): 이차 선형 특징을 사용하면 OLS 가 $0.0\%$의 OOD 오차로 정확한 지배 방정식을 복원하는 반면, 원시 MLP 는 실패합니다 ($24.4\%$).
• 물리 (케플러): $(\log a, \log M_{star})$를 OLS 와 함께 사용하면 물리 법칙을 $3.8\%$의 OOD 오차로 복원합니다. 원시 MLP 는 ID 데이터에 과적합 ($6.9\%$) 하지만 OOD 에서는 실패합니다 ($79.0\%$).
• 생물학 (CDS): 표준 위치 인코딩 (학습된 APE, 정현파) 은 서로 다른 GC 함량을 가진 종 간에 일반화하지 못해 우연 수준으로 떨어집니다. 코돈 주기성과 아미노산 조성을 인코딩하는 특징 맵은 AUROC 최대 $0.96$으로 제로샷 전이를 가능하게 합니다.

4.3 아키텍처 불변성 (Transformer, Mamba, S4D)

주기적 시퀀스 작업에서 정밀 푸리에 위치 인코딩은 세 가지 아키텍처와 다양한 주기 길이에 걸쳐 거의 제로에 가까운 OOD 오차 ($\le 0.2\%$) 를 달성합니다. 반면, 표준 정현파, RoPE, 학습된 위치 인코딩은 실패합니다 ($>90\%$ 오차). 이는 OOD 보장이 아키텍처가 아닌 특징 맵의 속성임을 확인시켜 줍니다.

4.4 한계 및 필요 조건

주기적 $d$-토러스 벤치마크를 사용하여 논문은 OOD 일반화를 위한 세 가지 공동 필요 조건을 규명합니다:

1. 표현 정렬: 특징 맵은 DGP 와 정렬되어야 합니다.
2. 모델 클래스 용량: 모델은 변환된 공간에서 목표의 상호작용 차수를 표현할 수 있어야 합니다.
3. 커버리지: 학습 데이터는 관련 표현 공간을 충분히 커버해야 합니다 (임계 커버리지 $M_{crit} \approx 4$).
   이 연구는 올바른 특징 맵이 있더라도 모델 클래스의 용량이 부족하거나 샘플 커버리지가 불충분하면 OOD 실패가 발생함을 보여줍니다.

5. 중요성 및 주장

논문은 신경망 외삽 실패의 "언제와 왜"를 해결했다고 주장합니다. 다음과 같이 주장합니다:

• OOD 위험은 단일 창에서의 데이터로는 비식별적이며, 구조적 약속 $(\phi, \psi, M)$만이 이를 해결하는 유일한 메커니즘입니다.
• 특징 공학은 구식이 아닙니다. 딥러닝이 분포 내에서 특징을 학습할 수 있지만, 외삽을 위해서는 명시적인 구조적 약속이 필요합니다.
• 사전 학습은 문제를 해결하지 못합니다. 사전 학습된 모델은 입력 형식을 통해 약속 문제를 물려받습니다; 사용자가 올바른 변환을 제공할 때만 성공합니다.
• 올바른 특징은 필요하지만 충분하지 않습니다. 모델 클래스는 목표를 표현해야 하며, 데이터는 표현 공간을 커버해야 합니다.

저자들은 "라시몬 집합 (Rashomon set)"(학습 데이터에서는 일치하지만 분포 외에서는 불일치하는 모델들의 집합) 이 데이터만으로 항해되는 것이 아니라, 모델러의 구조적 약속 선택에 의해 항해된다고 결론지었습니다. 논문은 특징 공학을 외삽을 식별 가능하게 만들기 위해 필요한 DGP 약속의 명시적 주입으로 재정의합니다.