Local Observability and Moving Horizon Estimation-based Training of Feedforward Neural Networks

기술적 요약: 피드포워드 신경망의 국소 관측성 및 이동 시간 창 추정 기반 학습

문제 제기
피드포워드 신경망 (FNN) 은 범용 함수 근사기로 널리 사용되지만, 표준 역전파와 경사 하강법 (GD) 을 통한 학습은 최적 가중치로의 수렴에 관한 엄밀한 이론적 보장을 종종 결여하고 있습니다. 확장 칼만 필터 및 이동 시간 창 추정 (MHE) 과 같은 상태 추정 기반 방법들이 네트워크 가중치를 시스템 상태로 간주하여 탐구되어 왔으나, 중요한 이론적 격차가 존재합니다. 즉, 이러한 가중치들이 관측 가능하다는 가정이 그것입니다. 일반적으로 FNN 가중치는 비유일성 (예: 가중치 대칭성 및 노드 치환) 으로 인해 전역적으로 관측 가능하지 않습니다. 또한, 일반적인 다층 FNN 의 경우 관측성 순위 조건이 성립하지 않는 경우가 많아 MHE 기반 학습의 수렴성이 증명되지 않은 채 남아 있습니다. 본 논문은 MHE 기반 학습을 위한 이론적 기반을 마련하기 위해 FNN 의 국소 관측성을 확립하는 과제를 다룹니다.

방법론
저자들은 네트워크 가중치를 동적 시스템의 정적 상태로 간주함으로써 FNN 학습 문제를 재구성했습니다. 핵심 방법론은 다음과 같은 3 단계 프로세스를 포함합니다:

1. 국소 관측성 분석: 본 논문은 ReLU 활성화 함수를 사용하는 FNN 의 국소 관측성을 조사합니다. $k$-관측성 매핑을 정의하고 관측성 순위 조건을 적용하여, 입력 - 출력 데이터를 사용하여 가중치가 그 이웃으로부터 구별될 수 있는지 분석합니다.

   • 2 층 FNN: 고정된 출력 가중치를 가진 특정 클래스의 2 층 FNN 에 대해, 저자들은 국소 관측성을 위한 충분 조건을 유도했습니다. 이 조건은 상태 공간의 특정 사분면과 가중치 행렬의 행 공간 교차에 의존하며, 관측성 순위 조건을 만족하는 지속적으로 여기 (PE) 되는 입력 시퀀스의 존재를 보장합니다.
   • 일반 다층 FNN: 분석 결과, 일반적인 다층 FNN 은 일반적으로 관측성 순위 조건을 만족하지 못하며, 이는 임의의 심층 아키텍처에 대해 전역적 또는 심지어 국소적 관측성도 보장될 수 없음을 시사합니다.

2. 지속적 여기 (PE) 입력 설계: 관측성 분석에 기반하여, 본 논문은 국소 관측 가능한 상태에 대한 PE 입력 시퀀스를 설계하는 체계적인 방법을 개발했습니다. 국소 관측 가능한 상태에 대해, 저자들은 모든 상태가 관측성 매핑의 동일한 야코비안 구조를 공유하는 "국소 관측 가능 이웃"을 구성했습니다. 이 이웃 내에서 단일 PE 입력 시퀀스는 모든 상태를 구별 가능하게 만듭니다.

3. MHE 기반 학습 알고리즘: 저자들은 고정 길이의 입력 - 출력 데이터 (미니배치) 창을 사용하여 가중치를 반복적으로 업데이트하는 MHE 기반 학습 체계를 제안합니다.

   • 제약 조건 처리: 개별 미니배치가 지속적으로 여기되지 않는 경우를 처리하기 위해, 최적화 문제는 상태 추정치를 비관측 부분 공간으로 투영한 것을 고정하는 제약 조건을 포함합니다. 관측 부분 공간으로 투영된 부분만 업데이트됩니다.
   • 수렴 분석: 교대 투영 이론을 사용하여, 본 논문은 초기 가중치가 국소 관측 가능 이웃 내에 있고 집계된 학습 데이터셋이 지속적으로 여기될 경우, 상태 추정 오차가 0 의 이웃으로 수렴함을 증명합니다. 이 이웃의 크기는 데이터 내의 피팅 오차 (노이즈) 에 의해 상한이 결정됩니다.

주요 기여

• 재구성과 조건 유도: 본 논문은 FNN 을 동적 시스템으로 재구성하고, ReLU 활성화 및 고정된 출력 가중치를 가진 2 층 FNN 의 국소 관측성을 위한 충분 조건을 유도했습니다. 이 조건은 가중치 행렬의 행 공간과 사분면 간의 교차에서 유도된 부호 벡터에 기반한 지표 행렬의 랭크에 기반합니다.
• PE 입력 설계 및 이웃 구성: 국소 관측 가능한 상태에 대한 PE 입력 시퀀스를 설계하는 체계적인 접근법이 개발되었습니다. 특히, 저자들은 "국소 관측 가능 이웃"을 구성하여, 특정 상태를 관측 가능하게 만드는 입력 시퀀스가 해당 이웃 내의 모든 상태를 관측 가능하고 구별 가능하게 만든다는 것을 증명했습니다.
• 수렴 보장: 본 논문은 제안된 MHE 기반 학습 방법에 대한 이론적 수렴 보장을 확립했습니다. 국소 관측성 가정과 미니배치의 주기적 사용 하에서 가중치 추정 오차가 데이터 노이즈 수준에 의해 결정된 상한으로 수렴함을 증명했습니다.
• 일반 아키텍처로의 확장: 엄밀한 수렴 증명은 특정 2 층 아키텍처에 적용되지만, 본 논문은 일반적인 다층 FNN 은 종종 국소 관측성이 부족함을 인정합니다. 이는 관측성 제약을 제거하고 정규화를 추가한 수정된 MHE 접근법을 제안하며, 이론적 보장은 없으나 실제 적용에서는 경쟁력 있는 성능을 보입니다.

결과
제안된 방법의 효과는 수치 실험을 통해 검증되었습니다:

• 합성 데이터: 2 층 FNN 을 사용한 합성 회귀 작업에서, MHE 기반 방법은 표준 미니배치 GD 방법보다 상태 추정 오차의 더 빠른 수렴을 보여주었습니다. MHE 방법은 한 에포크 내에 목표 오차 임계값에 도달한 반면, GD 는 더 많은 시간이 소요되었으며, 이는 MHE 방법이 에포크당 더 높은 계산 비용을 가졌음에도 불구하고 발생했습니다.
• UCI Wine 데이터셋: 국소 관측성이 이론적으로 보장되지 않는 일반적인 2 층 FNN 을 사용한 실제 벤치마크 데이터셋에서, MHE 기반 방법은 표준 Adam 최적화 및 최근의 자연 경사 하강법 (NNG-MVG) 에 비해 더 낮은 평균 제곱근 오차 (RMSE) 를 달성했습니다.

의의 및 주장
본 논문은 제어 이론적 국소 관측성 개념에 기반한 MHE 기반 FNN 학습에 대한 최초의 엄밀한 이론적 분석을 제공한다고 주장합니다. FNN 가중치가 국소 관측 가능해지는 특정 조건을 식별함으로써, 저자들은 형식적 수렴 보장을 갖춘 MHE 적용을 가능하게 합니다. 이 연구는 FNN 에 대해 전역 관측성은 일반적으로 달성 불가능하지만, 입력 데이터가 적절하게 설계된다면 국소 관측성이 학습에 충분함을 강조합니다. 저자들은 겸손하게도 그들의 수렴 보장은 초기 가중치가 국소 관측 가능 이웃 내에 있는 경우에 의존하며, 국소 관측성이 보장될 수 없는 일반적인 다층 아키텍처로 이러한 보장을 확장하기 위한 향후 연구가 필요하다고 지적합니다.