📊 statistics

Transfer Learning in Nonparametric Regression with Deep ReLU Networks

본 논문은 계층적 합성 모델 하에서 차원의 저주를 극복하는 최적의 수렴 속도를 달성하기 위해, 데이터를 풀링하여 공통 구조를 추정한 다음 그룹별 오프셋을 학습하는 딥 ReLU 네트워크를 이용한 비모수 회귀용 2단계 전이 학습 프레임워크를 제안한다.

원저자: Junpeng Ren, Carlos Misael Madrid Padilla, Yanzhen Chen, Oscar Hernan Madrid Padilla

게시일 2026-08-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junpeng Ren, Carlos Misael Madrid Padilla, Yanzhen Chen, Oscar Hernan Madrid Padilla

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 데이터 과학의 광활한 풍경 속에서, 연구자들은 종종 풍요로움과 결핍이 공존하는 문제에 직면합니다. 그들은 한 소스로부터 방대한 양의 정보를 보유하고 있지만, 데이터가 희박한 특정하고 더 작은 집단에 대해 정확한 예측을 수행해야 합니다. 수백만 명의 환자 기록을 통해 일반적인 인구 집단을 연구했지만, 기록된 사례가 매우 적은 특정 인구 통계적 집단의 희귀 질환을 진단해야 하는 의사를 상상해 보십시오. 과제는 거대한 지식을 사용하되, 그것이 특정 집단의 고유한 세부 사항을 압도하지 않도록 하는 것입니다. 이것이 바로 전이 학습(transfer learning)의 핵심이며, 이는 큰 규모의 관련 데이터셋으로부터 힘을 빌려와 더 작은 타겟 데이터셋에 대한 성능을 향에시키려는 방법론입니다. 수십 년 동안 통계학자들은 단순히 모든 데이터를 하나로 합치는 것이 작은 집단의 고유한 특성을 무시하기 때문에 실패하는 경우가 많으며, 반대로 작은 집단의 데이터만으로 모델을 훈련시키는 것은 학습할 정보가 충분하지 않아 실패한다는 것을 알고 있었습니다. 문제는 어떻게 완벽한 균형을 찾느냐였습니다. 즉, 모두에게 적용되는 공유된 패턴을 학습하는 동시에, 특정 집단을 독특하게 만드는 구체적인 편차를 어떻게 포착할 것인가의 문제였습니다.

이제 한 연구팀이 특히 규칙이 단순한 직선 형태가 아닌 복잡하고 비선형적인 관계를 위해 이 퍼즐을 해결할 새로운 방법을 제안했습니다. 그들은 이미지나 텍스트와 같은 고차원 데이터에서 복잡한 패턴을 찾아내는 능력으로 유명한 강력한 컴퓨터 모델인 심층 신경망(deep neural network)에 주목했습니다. 저자들은 인간이 어려운 문제에 접근할 때처럼 먼저 큰 그림을 이해한 다음 세부 사항으로 줌인(zoom in)하는 방식의 2단계 전략을 개발했습니다. 첫 번째 단계에서 컴퓨터는 사용 가능한 모든 집단의 데이터를 결합하여 일반적인 '평균' 함수를 학습합니다. 이것은 단순히 숫자의 평균이 아니라, 모든 집단이 공유하는 공통 구조를 포착하는 복잡한 수학적 형태입니다. 일단 이 일반적인 형태가 학습되면, 컴퓨터는 두 번째 단계로 넘어갑니다. 여기서 컴퓨터는 단 하나의 특정 집단만을 살펴보고, 그 집단의 현실과 방금 학습한 일반적인 평균 사이의 차이, 즉 '오프셋(offset)'을 계산합니다. 이 구체적인 차이를 일반적인 평균에 다시 더함으로써, 컴퓨터는 광범위한 정보를 갖추면서도 국지적으로 정밀한 최종 모델을 만들어냅니다.

연구진은 변수가 많은 데이터를 처리하도록 설계된 심층 신경망을 사용하여 이 접근법을 테스트했는데, 이는 전통적인 통계적 방법들을 종종 곤혹스럽게 만드는 작업입니다. 그들은 이 2단계 과정이 매우 효과적으로 작동하여, 모델이 '차원의 저주(curse of dimensionality)'라고 불리는 주요 장애물을 극복할 수 있게 해준다는 것을 발견했습니다. 차원의 저주란 변수의 수가 증가함에 따라 패턴을 학습하는 데 필요한 데이터의 양이 기하급수적으로 늘어나, 고차원 환경에서 학습을 불가능하게 만드는 현상입니다. 문제를 공유된 부분과 특정 부분으로 나눔으로써, 이 새로운 방법은 컴퓨터가 각 단계에서 학습해야 할 복잡성을 효과적으로 줄여줍니다. 공유된 부분은 전체 데이터셋으로부터 학습되어 견고한 토대를 제공하며, 특정 부분은 전체보다 훨씬 단순하여 이를 정확하게 추정하는 데 훨씬 적은 데이터 포인트만을 필요로 합니다.

이론을 증명하기 위해 연구팀은 저차원 및 고차원 환경을 포함한 다양한 시나리오에서 수천 개의 데이터 포인트를 사용하여 광범al한 컴퓨터 시뮬레이션을 실행했습니다. 이 테스트에서 그들의 2단계 방법은 다른 일반적인 전략들을 지속적으로 능가했습니다. 예를 들어, 작은 집단의 데이터만을 사용하여 처음부터 모든 것을 배우려고 시도하는 모델이나, 집단 간의 차이를 무시하고 모두를 동일하게 취급하는 모델보다 우수한 성과를 보였습니다. 100개의 변수를 포함하는 한 고차원 시나리오에서, 이 새로운 방법은 경쟁 모델들보다 현저히 낮은 오차를 달성하며 신호로부터 노이즈를 더 효과적으로 추출할 수 있음을 입증했습니다. 연구진은 또한 서로 다른 인종 배경을 가진 사람들의 연령을 추정하기 위해 실제 얼굴 이미지 데이터셋에 이 방법을 적용했습니다. 이 테스트에서도 2단계 접근법은 노화의 공유된 시각적 특징을 활용하면서도 각 인종의 뚜렷한 특성을 고려함으로써 가장 정확한 결과를 만들어냈습니다.

이 연구는 이 프레임워크가 단순한 이론적 호기심이 아니라, 그룹화된 데이터로부터 기계가 학습하는 방식을 개선하기 위한 실용적인 도구임을 시사합니다. 저자들은 일부 인구 집단은 데이터에 잘 나타나 있는 반면 다른 집단은 그렇지 않은, 실생활에서 흔히 발생하는 상황에서도 이 방법이 매우 다른 크기의 집단들에 대해 작동함을 보여주었습니다. 또한 집단들이 완벽하게 유사하지 않더라도 그 차이가 너무 극단적이지 않다면 이 방법이 여전히 견고하게 유지된다는 것을 입증했습니다. 논문은 수학적 보증과 시뮬레이션 결과에 초점을 맞추고 있지만, 근본적인 메시지는 명확합니다. 보편적인 것과 특수한 것을 분리함으로써 심층 학습 모델이 더욱 효율적이고 정확해질 수 있다는 것입니다. 이 접근법은 지역마다 질병 패턴이 달라지는 역학 분야부터, 치료법이 개별 환자의 프로필에 맞춰져야 하는 정밀 의료에 이르기까지, 모든 하위 집단에 대해 불가능한 양의 데이터를 요구하지 않고도 발전할 수 있는 유망한 길을 제시합니다.

기술 요약: 딥 ReLU 네트워크를 이용한 비매개변수 회귀에서의 전이 학습

문제 정식화
본 논문은 데이터가 구조적 유사성을 공유하면서도 그룹별 편차를 보이는 여러 개의 별개 그룹들로 구성된 설정에서의 비매개변수 회귀 문제를 다룹니다. 저자들은 데이터 생성 과정을 다음과 같이 정식화합니다:
$y_i = f_0(x_i) + f_{0, z_i}(x_i) + \epsilon_i$
여기서 $f_0$ 는 모든 그룹에 공통적인 공유 함수를 나타내며, $f_{0, \ell}$ 은 그룹 $\ell$ 에 대한 그룹 특이적 편차를 나타냅니다. 목표는 그룹 특이적 조건부 평균 함수 $g_{0, \ell}(x) = f_0(x) + f_{0, \ell}(x)$ 를 추정하는 것입니다. 이 프레임워크는 그룹의 수 $L$ 이 전체 샘플 크기 $n$ 과 함께 증가할 수 있는 상황을 처리하도록 설계되었으며, 이는 다양하고 대규모인 데이터셋이 존재하는 현대 머신러닝 맥락을 반영합니다.

방법론: 2단계 오프셋 학습 (Two-Stage Offset Learning)
제안된 방법은 사전 학습(pretraining)에서 영감을 얻은 2단계 오프셋 학습 절차를 채택합니다:

1단계 (공유 구조 추정): 모든 $L$ 개 그룹의 데이터를 결합하여 전체 조건부 평균 함수 $\bar{f}(x) = E[Y|X=x]$ 를 추정합니다. 이는 결합된 데이터셋에 대해 함수 클래스 $\mathcal{F}$ (예: 딥 ReLU 네트워크)에 대한 경험적 위험(empirical risk)을 최소화함으로써 달성됩니다.
2단계 (그룹 특이적 오프셋 추정): 각 타겟 그룹 $\ell$ 에 대해, 이 방법은 전체 평균과 그룹 특이적 평균 사이의 오프셋을 추정합니다. 구체적으로, 그룹 $\ell$ 의 데이터만을 사용하여 잔차 $y_i - \hat{f}_{A_n}(x_i)$ 에 대한 함수 $G_\ell(x) = f_{0, \ell}(x) - \sum_{k} f_{0, k}(x)P(Z=k|X=x)$ 를 추정합니다. 이는 그룹 특이적 함수 클래스 $\mathcal{F}_\ell$ 상에서 경험적 위험을 최소화함으로써 수행됩니다.
최종 추정량: 타겟 그룹 $\ell$ 에 대한 최종 추정량은 가산적(additively)으로 구성됩니다: $\hat{g}_\ell(x) = \hat{f}_{A_n}(x) + \hat{f}_{\ell, B_n}(x)$ .

이 프레임워크는 두 단계가 데이터를 공유하는 변형과 독립적인 데이터를 사용하는 변형(샘플 분할을 통해)의 두 가지 형태를 지원합니다.

주요 기여 및 이론적 결과

일반적 이론 프레임워크: 본 논문은 완만한 복잡도 및 노이즈 조건(서브 엑스포넨셜 노이즈 수용) 하에서 광범위한 비매개변수 추정기에 대한 $L_2$ 오차 상한을 확립합니다. 정리 3.2는 1단계 추정 오차와 2단계 근사/추정 오차로 분해되는 일반적인 바운드를 제공합니다.
딥 ReLU 네트워크와 차원의 저주: 계층적 합성 모델(hierarchical composition models) 하의 딥 ReLU 네트워크로 구체화될 때, 저자들은 명시적인 수렴 속도를 도출합니다. 정리 3.4는 제안된 전이 학습 프레임워크가 차원의 저주를 극복하는 딥 네트워크의 능력을 보존함을 보여줍니다. 수렴 속도는 전체 복잡한 함수에 대한 속도가 아니라, 공유 함수와 오프셋 함수를 각각 추정하는 속도의 합으로 나타납니다.
긍정적 전이(Positive Transfer)를 위한 조건: 본 논문은 전이 학습이 단일 그룹 추정보다 엄격하게 빠른 수렴 속도를 제공하는 영역을 식별합니다. 이는 공유 함수 $\bar{f}$ 와 오프셋 $G_\ell$ 이 전체 함수 $g_{0, \ell}$ 보다 (매끄러움이나 내재적 차원 측면에서) 덜 복잡할 때 발생합니다. 예를 들어, 오프셋이 전체 함수보다 더 매끄럽거나 차원이 낮다면, 2단계 접근법은 더 큰 풀링된 샘플 크기를 복잡한 부분에 활용하고, 특정 샘플 크기를 더 단순한 잔차에 활용합니다.
샘플 분할 (Sample Splitting): 정리 3.7과 따름정리 3.8은 1단계와 2단계가 독립적인 데이터를 사용하는 경우를 분석합니다. 이 변형은 함수 클래스에 대한 특정 복잡도 제약을 완화하며, 특히 타겟 그룹의 비율 $\pi_\ell$ 이 작을 때 더 타이트한 수렴 속도를 낼 수 있습니다.
일반성: 이 프레임워크는 신경망을 넘어 적용 가능함을 보여주며, 전이 학습 설정에서의 트렌드 필터링(trend filtering)에 대한 최초의 수렴 보장을 제공하고 직교 급수 회귀(orthogonal series regression)의 기존 속도를 회복합니다.

실험 결과
저자들은 광범위한 시뮬레이션과 실제 데이터 실험을 통해 방법을 검증합니다:

시뮬레이션: 실험은 저차원(가법적 및 비선형 혼합) 및 고차원(Shifted representation을 가진 잠재 요인 모델) 설정을 모두 포함합니다. 다양한 시나리오에서 제안된 "2-Stage" 딥 신경망 추정기는 풀링된 학습(pooled training), 별도 학습(separate training), 출력층만 미세 조정(Top-FT), 레이블을 포함한 풀링(Pool-w-L)을 포함한 경쟁 모델들을 지속적으로 능가했습니다. 또한 고차원 설정에서 랜덤 포레스트(Random Forests)와 파라미터 경쟁 모델(ptLasso)보다 우수한 성능을 보였습니다.
실제 데이터 적용:
- 베이징 PM2.5: 환경 데이터에서의 효과를 보여주는 저차원 연구입니다.
- UTKFace: 5개 인종 그룹에 걸친 고차원 얼굴 연령 추정 작업입니다. 2단계 전이 학습 접근법은 가장 낮은 전체 평균 제곱 오차(MSE)를 달축성하였으며, 백인, 흑인, 아시아인 하위 그룹에서 최적의 성능을 보였고, 인도인 하위 그룹에 대해 풀링된 베이스라인 대비 상당한 개선을 보여주었습니다.

의의 및 주장
본 논문은 비매개변수 회귀에서의 전이 학습에 대한 일반적인 이론적 토대를 제공하며, 특히 딥러닝의 경험적 성공과 다중 그룹 설정에서의 이론적 보장 사이의 간극을 메우는 것을 목표로 합니다. 주요 의의는 다음과 같습니다:

이론적 정당화: 공유 데이터에 대한 사전 학습 후 오프셋 학습을 수행하는 것이 왜 단독 타겟 데이터 학습보다 우월할 수 있는지, 특히 기저 함수들이 계층적 또는 합성적 구조를 가질 때, 이를 설명하는 엄격한 수렴 속도를 제공합니다.
차원의 저주: 딥 ReLU 네트워크가 공유 성분과 오프셋 성분의 내재적 저차원 구조를 활용함으로써 차원의 저주를 효과적으로 완화할 수 있음을 입증합니다.
강건성: 타겟 그룹의 크기가 전체 데이터셋에 비해 작을 때도 방법론이 강건하게 유지됨을 보여주며, 이는 실무적 전이 학습에서 흔히 발생하는 과제입니다.

저자들은 계층적 함수 클래스에 대한 하한(lower bounds)이 일반적인 경우 완전히 확립되지 않았음을 언급하며 신중한 입장을 유지합니다. 또한 오프셋이 매우 복잡하거나 그룹 간 유사성이 낮을 경우 부정적 전이(negative transfer)가 이론적으로 가능함을 인정하지만, 실험 결과는 실제 데이터셋에서 강력한 교차 그룹 유사성이 존재함을 시사합니다. 향후 연구로는 연속적인 태스크 변형, 더 발전된 아키텍처(CNN, Transformer), 그리고 부정적 전이의 공식적 탐지에 대한 프레임워크 확장이 제안되었습니다.

유사한 논문