기술 요약: 제어 가능성-관측 가능성 테스트를 통한 심층 신경망의 경험적 최소 실현 압축

1. 문제 정의

심층 신경망(DNN)은 은닉 상태(hidden states)에서 상당한 중복성을 보이는 경우가 많지만, 기존의 대부분의 압축 기술은 내부 상태의 동역학적 역할을 명시적으로 규명하지 않은 채 가중치, 뉴런 또는 수치 정밀도에 직접적으로 작용합니다. 프루닝(pruning), 양자화(quantization), 저계수 인수분해(low-rank factorization)와 같은 표준 방법들은 다음과 같은 근본적인 상태 공간 질문에 답하지 못합니다: 데이터 분포에 의해 실제로 자극되는 은닉 상태 방향은 무엇이며, 그중 출력에 유의미한 방향은 무엇인가? 결과적으로, 이러한 방법들은 파라미터 수나 저장 용량은 줄일 수 있을지언정, 유효 은닉 상태 차수(effective hidden-state order)를 줄이거나 넓은 층(wide layers)과 관련된 밀집 추론 지연 시간(dense inference latency)을 반드시 줄여주는 것은 아닙니다.

2. 방법론

본 논문은 훈련된 피드포워드 DNN을 깊이별 인덱스를 가진 비선형 동역학계로 취급하여, 경험적 상태 차수 축소를 위한 제어 이론적 프레임워크를 제안합니다.

2.1 상태 공간 정식화

네트워크는 다음과 같은 일련의 비선형 전이로 모델링됩니다:
$$h_{\ell+1} = f_\ell(h_\ell), \quad z = g(h_L)$$
여기서 $h_\ell$은 $\ell$번째 층의 은닉 상태를 나타내며, $z$는 출력 로짓(logits)을 나타냅니다. 입력 $x$는 초기 상태 $h_0$로 취급됩니다. 목표는 "유용한 은닉 상태 차수"—즉, 데이터로부터 도달 가능(reachable)하면서 동시에 출력에 관측 가능한(observable) 은닉 방향의 수—를 추정하는 것입니다.

2.2 경험적 A/B/C 테스트

저자들은 은닉 상태 스냅샷과 출력 야코비안(Jacobian)으로부터 유도된 경험적 그라미안(Gramian)을 기반으로 세 가지 층별 테스트를 도입합니다:

• 테스트 A (도달 가능성, Reachability): 입력 데이터에 의해 어떤 은닉 방향이 자극되는지를 측정합니다. 이는 중심화된 은닉 상태 스냅샷의 공분산으로서 경험적 도달 가능성 그라미안($G_{c,\ell}$)을 계산합니다. 랭크(rank)는 데이터 유도 분산을 포착하는 데 필요한 스펙트럼 에너지에 의해 결정됩니다.
• 테스트 B (관측 가능성, Observability): 어떤 은닉 방향이 출력 로짓에 영향을 미치는지를 측정합니다. 이는 은닉 상태에 대한 출력 야코비안($J_\ell = \partial z / \partial h_\ell$)을 사용하여 경험적 관측 가능성 그라미안($G_{o,\ell}$)을 계산합니다. 랭크는 분류기 출력에 유의미한 영향을 주는 방향을 반영합니다.
• 테스트 C (균형 잡힌 도달 가능-관측 가능, Balanced Reachable–Observable): 두 기준을 결합하여 데이터 분포로부터 도달 가능하면서 동시에 출력을 통해 관측 가능한 방향을 식별합니다. 이를 위해 균형 잡힌 행렬 $B_\ell = G_{c,\ell}^{1/2} G_{o,\ell} G_{c,\ell}^{1/2}$을 구성합니다. 결과물인 C-균형 랭크($r_\ell$)는 입력-출력 동작을 보존하기 위해 필요한 최소 은닉 상태 수를 추정합니다.

2.3 실현된 압축 vs. 투영된 압축 (Realised vs. Projected Compression)

두 가지 축소 모드 사이에 중요한 구분이 존재합니다:

1. 투영된 축소 (Projected Reduction): 학습된 기저(basis)를 사용하여 은닉 상태를 저차원 좌표로 매핑합니다. 이는 중복성을 진단하지만, 원래의 전체 네트워크 가중치와 투영 기저를 그대로 유지하므로 저장 용량이나 밀집 추론 지연 시간을 줄이지 못합니다.
2. 실현된 압축 (Realised Compression): C-균형 랭크($r_\ell$)를 새로운 소형 DNN 아키텍처의 실제 은닉층 너비로 직접 사용합니다. 이 새로운 네트워크는 처음부터 다시 훈련되거나 지식 증류(knowledge distillation)를 통해 구축되며, 결과적으로 실제적인 파라미터 수 및 상태 차수의 감소를 가져옵니다.

3. 주요 기여

• 상태 기반 정식화: 본 논문은 피드포워드 DNN을 깊이별 인덱스를 가진 비선형 상태 공간 시스템으로 정식화하여, "은닉 상태 차수"를 파라미터 수와는 별개인 압축 관련 핵심량으로 정의했습니다.
• 경험적 제어 가능성-관측 가능성 프레임워크: 경험적 그라미안과 야코비안을 사용하여 데이터 기반의 층별 유효 은닉 차원을 추정하는 A/B/C 테스트를 제안했습니다.
• 실현된 C-균형 압축: 추정된 C-균형 랭크를 새로운 소형 네트워크의 물리적 너비로 변환하는 방법을 도입하여, 이론적 모델 축소와 배포 가능한 아키텍처 설계 사이의 간극을 메웠습니다.
• 포괄적 평가: 제안된 방법은 MNIST와 CIFAR-10에 대해 투영 기반 축소, 비구조적/구조적 프루닝, 저계수 SVD, 동적 INT8 양자화 및 선형 베이스라인과 비교하여 벤치마킹되었습니다.

4. 실험 결과

프레임워크는 MNIST와 CIFAR-10에 대해 훈련된 완전 연결(fully connected) SiLU DNN에 대해 평가되었습니다.

4.1 MNIST 결과

• 압축: 전체 상태 차수가 1024인 4계층 DNN가 상태 차수 277로 축소되었습니다 (72.95% 상태 압축).
• 파라미터: 파라미터 수가 400,906개에서 106,323개로 감소했습니다 (73.48% 압축, 약 3.77배 감소).
• 정확도: 실현된 C-균형 모델은 95.45%의 정확도를 달성하였으며, 이는 전체 모델의 96.60%와 비교했을 때 1.15 퍼센트 포인트 하락한 수치입니다.
• 지연 시간: 밀집 행렬 차원의 감소로 인해 추론 지연 시간은 전체 모델과 유사한 수준을 유지했습니다.

4.2 CIFAR-10 결과

• 압축: 전체 상태 차수가 4608인 더 큰 DNN가 1339로 축소되었습니다 (70.94% 상태 압축).
• 파라미터: 파라미터 수가 9.97M에서 1.69M으로 감소했습니다 (83.09% 압축, 약 5.91배 감소).
• 정확도: 실현된 모델은 54.44%의 정확도를 유지하여 전체 모델의 54.45%와 거의 동일했습니다.
• 지연 시간: CUDA 추론 지연 시간이 약 3.0배 감소했습니다 (샘플당 0.001582 ms에서 0.000525 ms로).

4.3 베이스라인과의 비교

• 프루닝 (Pruning): 비구조적 프루닝(50%)은 정확도는 유지했으나 상태 차수나 밀집 지연 시간을 줄이지 못했습니다. C-균형 랭크 없이 구조적 프루닝을 수행할 경우 성능이 저하되었으나(MNIST 34.50%, CIFAR-10 55.22%), 미세 조정(fine-tuning)을 거치면 C-균형 랭크가 유효한 목표 차원임을 시사하는 수준으로 회복되었습니다.
• SVD: 저계수 SVD(0.5 비율)는 상당한 정확도 저하를 일으켰으며(MNIST 85.50%, CIFAR-10 39.06%), 이는 층 국소적 가중치 인수분해가 C-균형 방식만큼 비선형 입출력 기하학을 효과적으로 보존하지 못함을 나타냅니다.
• 양자화 (Quantization): INT8 양자화는 저장 용량은 줄였으나 상태 차수와 아키텍처 너비는 변경하지 않았습니다.

5. 의의 및 주장

본 논문은 균형 잡힌 도달 가능-관측 가능 랭크가 컴팩트한 신경망 설계를 위한 원칙적인 경험적 최소 실현 기준을 제공한다고 주장합니다.

• 이론적 가교: 본 연구는 제어 이론적 모델 축소(특히 균형 절단, balanced truncation)를 신경망 압축과 연결하며, 비선형 데이터 기반 시스템을 위해 경험적 그라미안을 적응시켰습니다.
• 실용적 유용성: 제안된 "실현된" 접근 방식은 단순히 중복성을 진단하는 것을 넘어, 이러한 진단을 실제 파라미터와 지연 시간이 줄어든 배포 가능한 소형 네트워크로 변환합니다.
• 상태 차수 중심: 결과는 가중치 수뿐만 아니라 은닉 상태 차수(내부 표현의 차원)를 타겟팅함으로써, 정확도 손실을 거의 없이 상당한 압축을 달성할 수 있음을 보여줍니다.
• 한계점에 대한 겸허한 태도: 저자들은 랭크가 경험적이고 데이터 의존적이며, 비선형 시스템에 대한 최악의 경우 이론적 오차 경계가 부족하다는 점을 인정합니다. 또한 관측 가능성 그라미안을 추정하는 계산 비용과 압축된 아키텍처의 재훈련 필요성도 언급했습니다. 현재 실험은 통제된 환경을 위해 완전 연결 네트워크에 집중되어 있으며, CNN 및 Transformer로의 확장을 향후 과제로 남겨두었습니다.

요약하자면, 본 논문은 DNN을 제어 가능성과 관측 가능성의 관점에서 바라봄으로써, 데이터에 의해 자극되지 않거나 출력에 무관한 중복 은닉 상태 방향을 식별하고 제거할 수 있으며, 이를 통해 효율적이고 고성능인 신경망을 구축할 수 있다고 주장합니다.