기술 요약: 동적 특징 선택을 위한 하이퍼네트워크

문제 정의

동적 특징 선택 (DFS, Dynamic Feature Selection) 은 또한 능동 특징 학습 (active feature learning) 으로 불리며, 예산 제약 하에서 특징을 순차적으로 획득해야 하는 머신러닝 시나리오를 다룹니다. 고정된 특징 집합이 제공되는 표준 지도 학습과 달리, DFS 는 모델이 각 개별 샘플에 대해 사용 가능한 정보를 바탕으로 특징의 부분집합을 선택하도록 요구합니다.

핵심적인 도전 과제는 가능한 특징 획득 경로의 기하급수적인 증가 ($M$개의 특징에 대해 $2^M$) 에 있습니다. 기존 접근법들은 일반적으로 모든 가능한 관찰 상태에 대해 평균적으로 잘 수행되도록 훈련된 단일 공유 예측기에 의존합니다. 저자들은 이러한 "상각 (amortization)" 접근 방식이 구조적 타협을 강요한다고 주장합니다. 즉, 단일 파라미터 집합은 모든 가능한 특징 부분집합에 대해 동시에 최적일 수 없기 때문입니다. 이는 특정 부분집합에서의 비최적 성능, 신뢰할 수 없는 순차적 결정, 그리고 특히 획득 정책이 편향되어 있을 때 작은 특징 부분집합에 대한 과적합을 초래합니다. 또한, 이진 마스크 (임베딩 방법) 에 기반하여 공유 네트워크를 조건화하는 기존 방법들은 입력 차원과 작업 차원의 합에 따라 확장되는 높은 구조적 복잡도 상한을 겪으며, 독립적으로 확장되지 않습니다.

방법론: Hyper-DFS

이러한 한계를 극복하기 위해 본 논문은 필요에 따라 부분집합별 분류기 파라미터를 생성하는 하이퍼네트워크를 활용하는 Hyper-DFS 프레임워크를 제안합니다.

1. 하이퍼네트워크 아키텍처

단일 공유 예측기를 훈련하는 대신, Hyper-DFS 는 "지식 상태" (관측된 특징의 집합) 를 입력으로 받아 주 예측기 네트워크 $f_\theta$의 가중치 $\theta$를 출력하는 하이퍼네트워크 $g_\phi$를 사용합니다. 이를 통해 모델은 $2^M$개의 별도 모델을 저장하는 메모리 오버헤드 없이 각 특징 부분집합마다 고유하고 최적의 파라미터 집합을 유지할 수 있습니다.

2. 부드러운 특징 집합 인코딩 (Set Transformer)

중요한 혁신은 특징 부분집합의 인코딩에 있습니다. 저자들은 표준 이진 마스크가 모든 특징 위치를 교환 가능하게 취급하여 특징 간의 의미론적 관계를 포착하지 못하므로, 열악한 조건화 신호라고 주장합니다.

• Set Transformer 인코더: 이 방법은 관측된 부분집합을 인코딩하기 위해 Set Transformer(특히 유도 집합 어텐션 블록, Induced Set Attention Blocks) 를 사용합니다.
• 존재/부재 임베딩: 각 특징 $i$에 대해 모델은 두 가지 고유한 임베딩을 학습합니다: $e^1_i$(존재) 와 $e^0_i$(부재). 인코더의 입력은 이진 마스크에 기반하여 이러한 임베딩들을 합산하여 구성됩니다.
• 연속적 조건화 공간: 이 접근법은 이산적인 특징 마스크를 연속적인 표현으로 매핑하며, 기능적으로 유사한 부분집합 (유사한 최적 예측기를 유도하는 것들) 이 기하학적으로 근접하도록 합니다. 이러한 부드러움은 리프시츠 (Lipschitz) 제약을 충족시킴으로써 하이퍼네트워크가 보지 못한 부분집합에도 일반화되도록 돕습니다. 즉, 입력 마스크의 작은 변화가 생성된 가중치에서 급격하고 불안정한 변화를 초래하지 않도록 보장합니다.

3. 훈련 안정화 전략

저자들은 DFS 설정에서 하이퍼네트워크에 내재된 두 가지 특정 훈련 불안정성을 식별하고 완화합니다:

• 분산 편이 (Variance Drift): 생성된 가중치의 노름은 부분집합의 크기 (cardinality) 에 따라 크게 변할 수 있습니다. 이는 토큰의 총 개수를 $M$으로 일정하게 유지하는 존재/부재 임베딩 방식과 조건화 벡터의 $L_2$ 정규화를 결합하여 해결합니다.
• 기울기 희석 및 붕괴 (Gradient Dilution and Collapse): 단일 배치에 많은 다른 부분집합을 혼합하면 기울기 상쇄가 발생할 수 있으며, 입력 차원을 축소하는 데 사용되는 압축기 네트워크는 표현 붕괴 (representation collapse) 에 취약합니다. 저자들은 다음을 적용합니다:
  • 제한된 마스크를 통한 사전 훈련: 초기에 배치는 고정된 소수의 지식 상태 벡터 (실질적으로 배치당 단일 부분집합) 를 사용하여 주 네트워크와 압축기를 안정화합니다.
  • 선형 학습률 워밍업: 하이퍼네트워크와 압축기가 상호 적응하기 전에 옵티마이저가 큰 단계를 밟는 것을 방지합니다.
  • 보조 손실 함수: 스케일 정규화자는 생성된 가중치가 적절한 분산을 유지하도록 보장하며, 분산 페널티는 인코더나 하이퍼네트워크가 상수 맵으로 붕괴되는 것을 방지합니다.

주요 기여

1. 구조적 분석: 본 논문은 기존 마스크 연결 (mask-concatenation) DFS 접근 방식이 높은 구조적 복잡도 상한 ($\Omega(\epsilon^{-(m_1+m_2)})$) 을 가진 임베딩 방법의 사례임을 입증하는 반면, 하이퍼네트워크는 조건화 차원을 분리함으로써 더 효율적인 상한 ($O(\epsilon^{-m_1/r})$) 을 제공함을 보여줍니다.
2. Hyper-DFS 프레임워크: Set Transformer 를 활용하여 부드럽고 기능 인지적 (functional-aware) 인 조건화 공간을 생성하는, 부분집합별 분류기를 생성하는 하이퍼네트워크 기반 DFS 를 도입합니다.
3. 훈련 솔루션: 부재 임베딩, 정규화, 제어된 배치 마스크를 통해 DFS 를 위한 하이퍼네트워크 훈련에서의 분산 편이 및 기울기 불안정성을 식별하고 해결합니다.
4. 종합 벤치마킹: 합성 데이터, 실제 세계 표형 데이터, 이미지 데이터셋에 걸친 평가를 통해 우수한 성능과 일반화 능력을 입증합니다.

실험 결과

저자들은 Hyper-DFS 를 다양한 데이터셋에 걸쳐 8 가지 최신 DFS 방법 (탐욕법, 강화 학습, 다중 모델 접근법 포함) 과 비교 평가했습니다.

• 표형 데이터: Hyper-DFS(및 그 앙상블 변형인 HyperEns) 는 합성 및 실제 세계 표형 벤치마크 (예: Diabetes, Metabric, MiniBooNE) 에서 모두 가장 높은 평균 순위와 가장 높은 평균 AUAC-F1 을 달성했습니다. 이는 RePa 및 VIP 와 같은 강력한 단일 모델 베이스라인을 일관되게 능가했습니다.
• 이미지 데이터: 이미지 패치 벤치마크 (MNIST, FashionMNIST, SVHN, Imagenette, PCam) 에서 Hyper-DFS 변형들은 5 개 데이터셋 중 4 개에서 최고 점수를 기록하여 전용 다중 모델 접근법을 능가했습니다.
• 제로샷 일반화: 중요한 발견은 Hyper-DFS 가 훈련 중 보지 못한 특징 부분집합에도 일반화할 수 있는 능력입니다. 홀드아웃 (held-out) 부분집합에서 Hyper-DFS 는 단일 모델 베이스라인 (VIP 등) 을 크게 능가했으며, 다중 모델 베이스라인 (MoE 등) 과는 경쟁력 있거나 더 우수한 성능을 보였습니다. 이는 부드러운 조건화 공간이 특징 부분집합과 최적 예측기 간의 관계를 효과적으로 포착함을 시사합니다.
• 효율성: 하이퍼네트워크를 훈련하는 것은 단일 네트워크보다 비용이 더 들지만, 여전히 계산적으로 실행 가능하며 수백 개의 별도 분류기를 저장하는 것보다 확장성이 더 좋습니다.

중요성과 주장

본 논문은 **부분집합별 전문화 (per-subset specialization)**가 최적의 DFS 에 필수적이며, 공유 예측기는 이를 달성할 수 없다고 주장합니다. 하이퍼네트워크를 사용함으로써 제안된 방법은 모든 부분집합에 대해 고유한 예측기를 갖는 이상적이지만 처리 불가능한 (intractable) 솔루션과 처리 가능하지만 비최적인 공유 예측기 사이의 간극을 메웁니다.

저자들은 Set Transformer 에 의해 생성된 부드러운 조건화 공간이 모델이 보지 못한 특징 조합에도 일반화할 수 있게 해주며, 이는 획득 예산이 변하거나 새로운 특징 조합이 발생할 수 있는 실제 세계 배포에 있어 중요한 능력이라고 강조합니다. 결과는 Hyper-DFS 가 상각된 단일 모델 접근법과 비싼 패턴별 방법 사이의 견고한 중간 지점을 제공하며, 모달리티 전반에 걸쳐 예측 성능과 제로샷 일반화 모두에서 상당한 개선을 제공함을 시사합니다.