Convex training of Lipschitz-regularized shallow neural networks

기술 요약: Lipschitz 정규화된 얕은 신경망의 볼록 학습(Convex Training)

문제 정의
얕은 신경망(SNN)을 학습시키는 것은 일반적으로 확률적 경사 하강법(SGD)에 의존하며, 이는 전역 최적해(global optimum)로의 수렴을 보장하지 못할 뿐만 아니라 하이퍼파라미터 튜닝에 민감하다. 또한, 표준적으로 학습된 모델은 입력 데이터에 대한 미세하고 최악의 경우를 가정한 섭동(perturbation)인 적대적 공격(adversarial attacks)에 취약한 경우가 많다. 적대적 학습과 Lipschitz 정규화는 강건성(robustness)을 향상시킬 수 있지만, 기존 방법들은 다음과 같은 상당한 과제에 직면해 있다:

1. 비볼록성(Non-convexity): Lipschitz 제약 조건(예: 준정부호 계획법(SDP) 또는 ADMM을 통한)을 포함하는 학습 프로그램은 비볼록하며, 수렴 보장이 부족하다.
2. 활성화 패턴 민감도(Activation Pattern Sensitivity): 기존의 SNN용 볼록 재구성 방식(예: Pilanci & Ergen, 2020)은 활성화 패턴을 샘플링해야 한다. 만약 이 패턴들이 최적이 아니라면, 결과적인 볼록 프로그램은 초기 SGD로 학습된 네트워크보다 못한 해를 낼 수 있다.
3. 모델 확장(Model Expansion): 기존의 볼록 접근 방식은 초기 해가 볼록 제한 내에서 유효함을 보장하기 위해 은닉 유닛의 수를 두 배로 늘려야 하는 경우가 많은데, 이는 과적합을 초래하거나 직접적인 성능 비교를 어렵게 만들 수 있다.

방법론
저자들은 비볼록한 Lipschitz 정규화 학습 문제를 일련의 볼록 제한(convex restrictions)으로 변환하는 사후 처리(post-processing) 학습 절차를 제안한다. 핵심 방법론은 다음과 같다:

1. 볼록 제한 구축:

   • 저자들은 사전 학습된 SNN을 기반으로 외층 가중치(outer layer weights)의 부호와 은닉 유닛의 활성화 패턴을 고정한다.
   • 이러한 이산 변수들을 고정함으로써, 원래의 비볼록 문제(Lipschitz 정규화를 포함하는)는 볼록 하위 문제로 제한된다.
   • 결정적으로, 이 제한은 초기 사전 학습된 해가 유효하도록 구성된다. 따라서 이 볼록 제한의 전역 최적해는 수학적으로 초기 해보다 나쁘지 않음이 보장된다.

2. 반복적 교대 최소화(Iterative Alternating Minimization, AM):

   • Lipschitz 정규화 문제를 위해, 저자들은 반복 알고리즘(Algorithm 1)을 제안한다.
   • 1단계: 현재 가중치가 주어지면, 가장 타이트한 Lipschitz 상한(Lipschitz constant)을 추정하고 보조 행렬 $T$를 업데이트하기 위해 준정부호 계획법(SDP)을 푼다.
   • 2단계: $T$가 고정된 상태에서, 추출된 활성화 패턴을 유지하면서 은닉층 가중치를 업데이트하기 위해 볼록 제한(선형 행렬 부등식 제약이 있는 이차 계획법)을 푼다.
   • 이 과정은 수렴할 때까지 목적 함수 값(손실 + Lipschitz 페널티)을 단조 감소시키며 반복된다.

3. 패턴 멀티셋(Pattern Multiset) 처리:

   • 무작위로 패턴을 샘플링하거나 고유한 패턴을 요구하는 기존 방식과 달리, 이 방법은 사전 학습된 네트워크에서 추출된 정확한 활성화 패턴(멀티셋)을 활용한다.
   • 저자들은 추출된 패턴이 최적해의 패턴과 일치할 경우, 볼록 프로그램이 원래의 비볼록 문제와 동등함을 증명한다. 최적이 아닌 패턴을 사용하더라도, 해는 초기 지점보다 개선됨이 보장된다.

주요 기여

1. 볼록 학습 방법: ReLU 활성화를 사용하는 Lipschitz 정규화된 SNN을 위한 볼록 학습 방법을 개발하였다. 저자들은 외층 가중치의 부호와 은닉 유닛의 활성화 패턴을 고정함으로써 원래의 비볼록 문제의 볼록한 제한을 얻을 수 있음을 입증하였다.
2. 개선 보장: 일련의 볼록 제한을 전역 최적해까지 해결하는 반복 알고리즘을 제안하였다. 저자들은 목적 함수 값이 단조 감소하며, 최종 해가 초기 사전 학습된 네트워크보다 나쁘지 않음을 수학적으로 증명하였다.
3. 더 강력한 볼록 제한: 어떤 사전 학습된 SNN으로부터도 활성화 패턴과 외층 가중치를 추출하여 이러한 제한을 구축하는 기술을 도입하였다. 이는 "좋은" 활성화 패턴을 찾는 문제를 해결하는데, 이 방법은 초기 패턴의 품질과 관계없이 개선을 보장하기 때문이다.
4. 실험적 검증: UCI 및 합성 데이터셋(Rastrigin 함수)에 대한 실험을 통해, 제안된 사후 처리 방법이 SGD, PGD 또는 ADMM 기반 Lipschitz 학습과 같은 기존 방법들에 비해 더 낮은 목적 함수 값을 가진 네트워크를 생성함을 입증하였다.

결과

• 목적 함수 값 감소: 여러 데이터셋(Solar, Machine, Servo, Wine)에서 제안된 볼록 해( $(\cdot)$-C-lip로 표기)는 SGD, PGD 또는 ADMM으로 학습된 베이스라인 모델들에 비해 적대적 조건에서의 중앙값 평균 제곱 오차(MSE)가 더 낮았다.
• 강건성: 이 방법은 다양한 크기($\epsilon = 0, 0.1, 0.2$)의 적대적 공격에 대해 더 정확하면서도 더 강건한 모델을 생성하였다.
• 베이스라인과의 비교:
  • 제안된 볼록 제한은 초기 사전 학습된 모델보다 일관되게 우수한 성능을 보였다.
  • 반면, 활성화 패턴의 일부(예: 100개 중 50개)만을 샘플링하는 방식은 개선을 보장하지 못하고 종종 베이스라인보다 못한 결과를 냈으며, 이는 전체 추출된 패턴을 사용하는 것의 중요성을 강조한다.
  • 제안된 방법은 특히 "Servo" 및 "Machine" 데이터셋에서 ADMM 기반 Lipschitz 학습보다 유의미한 개선을 보였다.

의의 및 주장
본 논문은 자신의 주요 의의가 표준적인 비볼록 학습(ADMM 등)의 수렴 문제와 기존 볼록 접근 방식의 해의 품질 불확실성을 극복하는, 적대적으로 강건한 SNN을 학습시키기 위한 다루기 쉬운 볼록 프레임워크를 제공하는 데 있다고 주장한다.

• 강건성 보장: Lipschitz 상수를 최소화함으로써, 이 방법은 표준적인 비볼록 학습의 수렴 보장 없이도 적대적 강건성을 촉진한다.
• 사후 처리 유용성: 이 접근 방식은 신뢰할 수 있는 사후 처리 단계 역할을 한다. 이는 임의의 유효한 해(예: SGD 또는 ADMM으로부터의 해)를 가져와서 성능 저하의 위험 없이 동일하거나 더 높은 품질의 해를 보장하며 기존 모델을 효과적으로 정교화한다.
• 확장성 및 실용성: 이 방법은 기성 내부 점 솔버(예: MOSEK)를 활용하며, 잘못된 결과를 초래할 수 있는 휴리스틱한 패턴 샘플링을 피한다.

저자들은 이 방법이 초기 해에 비해 개선을 보장하지만, 추출된 활성화 패턴이 우연히 최적인 경우가 아니라면 원래의 비볼록 문제의 전역 최적해를 찾는 것을 보장하지는 않는다는 점을 겸허히 언급하였다. 향후 연구로는 이를 심층 신경망으로 확장하고, 패턴 멀티셋 선택을 순차적으로 개선하는 방법을 개발하는 것이 제안되었다.