Architecture Shape Governs QNN Trainability: Jacobian Null Space Growth and Parameter Efficiency

본 논문은 동일한 인코딩 예산을 가진 서로 다른 변분 양자 회로 아키텍처가 동일한 주파수 스펙트럼을 생성하지만, 그 학습 가능성은 근본적으로 아키텍처의 형태에 의해 지배되며, 직렬 설계는 야코비안 랭크 결핍으로 인한 구조적 기울기 기아를 겪는 반면 병렬 설계와 특징 맵 레이어의 추가는 매개변수 효율성과 견고한 수렴을 보장함을 보여준다.

핵심

로봇에게 일련의 패턴을 보여줌으로써 날씨를 예측하도록 가르치려 한다고 상상해 보세요. 이 로봇을 구축하기 위해 고정된 자원의 '예산'을 가지고 있습니다. 양자 컴퓨팅 세계에서는 이 예산을 **인코딩 예산 (Encoding Budget, $E$)**이라고 부릅니다. 이는 데이터를 기계에 공급하기 위해 사용할 수 있는 총 '정보 용량'을 의미합니다.

이 논문은 단순하지만 놀라운 질문을 던집니다: 자원을 어떻게 배치하느냐가 중요할까요?

구체적으로, 12 단위의 예산이 있다면, 12 개의 처리 계층을 가진 매우 깊게 사고하는 1 개의 뇌로 로봇을 만드는 것이 더 나은지, 아니면 각각 1 계층씩 사고하는 12 개의 뇌로 만드는 것이 더 나은지입니다.

논문에 따르면 로봇의 뇌 모양이 엄청나게 중요하며, 그 이유는 일상적인 비유를 통해 다음과 같습니다.

1. "하나의 뇌" 문제: 구조적 기울기 기아 (Structural Gradient Starvation)

복잡한 노래를 배우려 노력하는 **단 한 사람 (직렬 아키텍처)**을 상상해 보세요. 이 사람은 가사, 멜로디, 리듬을 모두 한 번에 암기해야 합니다.

이 논문은 이러한 설정에 숨겨진 결함을 발견했습니다. 이 한 사람에게 학습을 돕기 위해 더 많은 도구 (매개변수) 를 줄수록 그들은 벽에 부딪힙니다. 아무리 새로운 도구를 추가해도 그들을 모두 활용할 수 없습니다.

• 비유: 사람의 뇌를 단일 복도로 생각하세요. 한 번에 한 방향으로만 복도를 걸을 수 있습니다. 복도에 100 명의 새로운 사람 (매개변수) 을 추가하면, 그들은 모두 같은 신호를 기다리며 같은 자리에 서게 됩니다. 그들은 작업과 **구조적으로 분리 (decoupled)**되어 있습니다.
• 결과: 논문은 이를 **"구조적 기울기 기아 (Structural Gradient Starvation)"**라고 부릅니다. 100 명의 노동자 팀이 있지만, 상사가 3 명에게만 지시를 내릴 수 있는 것과 같습니다. 나머지 97 명은 할 일이 전혀 없이 서 있으며, "영향력 없는 기울기 신호 (zero gradient signal)" 즉, 개선 방법에 대한 지시를 받지 못합니다. 노동자를 더 추가할수록 휴직 중인 노동자의 비율이 증가하여 거의 모든 사람이 무용지물이 됩니다.

2. "많은 뇌"의 해결책: 독립 위상 궤적 (Independent Phase Trajectories)

이제 **12 명의 사람 (병렬 아키텍처)**이 각각 작은 방을 가지고 있다고 상상해 보세요. 그들은 모두 같은 노래를 작업하지만, 독립적으로 움직일 수 있습니다.

• 비유: 그들은 별도의 방에 있으므로 단일 복도에 갇히지 않습니다. 각 사람은 해결책으로 가는 자신만의 고유한 경로를 찾을 수 있습니다. 그들은 행렬을 맞춰 행진하도록 강요받지 않습니다.
• 결과: 이 설정에서는 거의 모든 노동자가 유용한 지시를 받습니다. 복도는 모두에게 충분히 넓습니다. 논문은 노동자 수가 특정 한도를 초과하지 않는 한, 모두가 학습 과정에 기여한다고 증명합니다. '기아'는 존재하지 않습니다.

3. 더 많은 힘을 추가하는 두 가지 방법

작동하는 로봇을 갖게 되면 더 똑똑하게 만들고 싶을 수 있습니다. 논문은 이를 수행하는 두 가지 방법을 테스트했으며, 그 결과는 매우 다릅니다.

옵션 A: 더 많은 "특성 맵 (Feature Map)" 계층 추가 (양자 방식)
이는 로봇에게 더 나은 눈이나 귀를 주는 것과 같습니다. 로봇이 음악에서 더 높은 음을 듣거나 패턴에서 더 미세한 세부 사항을 볼 수 있게 합니다.

• 효과: 이는 로봇의 실제 능력을 확장합니다. 로봇이 학습할 수 있는 수학상의 새로운 "방향"을 해제합니다.
• 결과: 이는 매우 효율적입니다. 논문은 이 방법을 사용하면 **1.6 배에서 2.2 배 적은 매개변수 (노동자)**로 동일한 높은 성능을 달성할 수 있음을 보여줍니다. 이는 더 적은 사람을 고용하지만 그들에게 더 나은 도구를 주는 것과 같습니다.

옵션 B: 더 많은 "학습 가능한 블록 (Trainable Blocks)" 추가 (고전적 방식)
이는 기존 로봇에게 더 많은 메모리나 반복적인 연습 문제를 주는 것과 같지만, 새로운 것을 보거나 듣는 능력을 바꾸지는 않습니다.

• 효과: 이는 새로운 능력을 해제하지 않습니다. 대신 "보간 (interpolation)"이라는 고전적인 트릭에 의존할 뿐입니다. 기본적으로 노동자가 충분히 많다면, 그들이 본 예시 사이의 간격을 채워 답을 추측할 수 있지만, 근본적인 패턴을 진정으로 이해하지는 못합니다.
• 결과: 이는 비효율적입니다. 동일한 결과를 얻기 위해 훨씬 더 많은 노동자가 필요하며, 어떤 "양자" 이득도 얻지 못합니다. 단순히 문제를 무작정 해결하려는 것입니다.

4. 현실 세계 테스트

저자들은 가상의 수학 문제만 다룬 것이 아닙니다. 영국 노팅엄의 실제 역사적 온도 데이터로 테스트했습니다.

• 데이터가 매우 복잡했을 때: 더 나은 눈 (특성 맵) 을 가진 "많은 뇌" 접근법이 성공했습니다. 반면 "더 많은 노동자" 접근법은 노동자들이 패턴을 전혀 볼 수 없었기 때문에 완전히 실패했습니다.
• 데이터가 더 단순했을 때: "많은 뇌" 접근법이 여전히 승리하여 작업을 수행하는 데 훨씬 적은 노동자만 필요했습니다.

결론

양자 머신러닝 모델을 구축한다면:

1. 모든 것을 단일 줄에 쌓지 마세요. 매개변수를 "기아"시키지 않도록 병렬 구조 (많은 큐비트) 를 사용하세요.
2. 단순히 같은 것의 계층을 더 추가하지 마세요. 더 많은 힘이 필요하다면, 같은 낡은 트릭을 반복하는 더 많은 "프로세서 (학습 가능한 블록)"를 추가하는 대신, 기계가 볼 수 있는 범위를 확장하는 더 많은 "센서 (특성 맵)"를 추가하세요.

아키텍처의 모양은 단순한 디자인 선택이 아닙니다. 그것은 기계가 실제로 학습할 수 있는지, 아니면 지시가 결코 오지 않는 복도에 서 있는 사람들의 군단에 불과한지를 결정합니다.

기술 요약

기술 요약: 아키텍처 형태가 양자 신경망 (QNN) 의 학습 가능성을 지배함

1. 문제 제기

각도 인코딩을 사용하는 변분 양자 회로 (VQC) 는 절단된 푸리에 급수 근사기로 작용합니다. 이론적 연구 (Schuld et al., 2021; Holzer & Turkalj, 2024) 에 따르면, 고정된 총 인코딩 예산 $E = NL$(여기서$N$은 큐비트 수,$L$은 큐비트당 인코딩 레이어 수) 에 대해, 아키텍처의 형태$(N, L)$과 관계없이 접근 가능한 주파수 스펙트럼과 스펙트럼 편향이 동일하다고 입증되었습니다.

표현력과 스펙트럼 중복성에서 이러한 이론적 동등성에도 불구하고, 경험적 관찰은 학습 가능성에서 상당한 차이를 보여줍니다. 논문의 Figure 1 에서 보듯, 낮은 큐비트 수를 가진 아키텍처 (예: $N=1, 2$) 는 광범위한 파라미터 수에 걸쳐 높은 정확도 ($R^2 \ge 0.95$) 의 해에 수렴하지 못하지만, 중간 규모의 아키텍처 (예: $N=3, 4$) 는 훨씬 적은 파라미터로 성공합니다. 단일 큐비트 회로는 극한에서 범용 함수 근사기이므로, 표현력만으로는 이러한 실패를 설명할 수 없습니다. 본 논문은 이러한 학습 가능성 격차와 서로 다른 아키텍처 경로를 통한 파라미터 수 증가의 차별적 효율성을 담당하는 구조적 메커니즘을 조사합니다.

2. 방법론 및 이론적 프레임워크

2.1 야코비안의 구조적 분석

저자들은 계수 매칭 야코비안 $J \in \mathbb{R}^{|\Omega| \times P}$를 분석합니다. 여기서 $|\Omega| = 2E + 1$은 실수 푸리에 계수의 수이고 $P$는 파라미터 수입니다. $J$의 랭크는 최적화기가 접근할 수 있는 독립적인 푸리에 방향의 수를 결정합니다. $J$의 영공간 ($\ker J$) 에 있는 파라미터는 손실 함수와 구조적으로 분리되어 동일하게 영 (zero) 기울기 신호를 받습니다.

이 연구는 고정된 $E$에서 두 가지 아키텍처 극단을 대조합니다:

• 직렬 아키텍처 ($N=1, L=E$): $E$개의 인코딩 레이어를 가진 단일 큐비트.
• 병렬 아키텍처 ($N=E, L=1$): 각각 하나의 인코딩 레이어를 가진 $E$개의 큐비트 (애너츠 레이어를 통해 얽힘 가능).

2.2 주요 이론적 메커니즘

• 직렬 회로의 위상 고정 (Phase-Locking): 저자들은 단일 큐비트 회로에서 모든 파라미터의 기울기 방향이 공통된 전역 위상 인자를 공유함을 증명합니다. 이로 인해 모든 기울기 벡터는 최대 $2L + 1$ 차원의 부분 공간 내에 위치하게 됩니다 (Proposition 3.1, Lemma 3.2).
• 구조적 기울기 기아 (Structural Gradient Starvation): 직렬 회로에서 파라미터 수 $P$가 랭크 상한 ($2L+1$) 을 초과함에 따라, 영공간의 차원은 선형적으로 증가합니다 ($\dim(\ker J) \ge P - (2L+1)$). 결과적으로, $P \to \infty$일 때 영 기울기 신호를 받는 파라미터의 비율은 1 에 수렴합니다. 이는 기울기 분산의 지수적 감쇠인 barren plateaus (McClean et al., 2018) 와 구별되며, 이는 구조적 랭크 결핍 때문입니다.
• 병렬 회로의 이차적 인수분해 (Bilinear Factorization): 병렬 아키텍처에서 푸리에 계수는 서로소인 파라미터 집합에 의존하는 이차적 항으로 인수분해됩니다 (Proposition A.1). 이는 전역 위상 일관성을 깨뜨려 서로 다른 큐비트 간의 독립적인 위상 궤적을 가능하게 합니다. 결과적으로 병렬 아키텍처는 $P \le 2E + 1$일 때 일반적으로 완전 열 랭크 ($\sigma_{\min}(J) > 0$) 를 유지하여 파라미터 수가 스펙트럼 차원을 초과할 때까지 구조적 기울기 기아를 피합니다.

2.3 실험 설계

저자들은 다음을 사용하여 이러한 이론적 주장을 검증합니다:

• 합성 타겟: 각 아키텍처의 최소 구성에 맞춰진 특정 차수 ($d$) 의 무작위 푸리에 급수.
• 실제 데이터: Nottingham 온도 데이터셋 (Hipel & McLeod, 1994).
• 두 가지 파라미터화 경로:
  1. FM 경로: 학습 가능한 블록 깊이를 고정하면서 Feature Map(인코딩) 레이어 수 $L$을 증가시킵니다. 이는 주파수 스펙트럼 $|\Omega|$을 확장하고 랭크 상한을 높입니다.
  2. 학습 가능한 블록 (tbl) 경로: $L$을 고정하면서 학습 가능한 애너츠 레이어 수를 증가시킵니다. 이는 스펙트럼이나 랭크 상한을 변경하지 않고 $P$를 증가시킵니다.
• 진단: "스펙트럼 무릎 (spectral knee)" (고유값이 급격히 떨어지는 랭크 인덱스) 을 식별하고 활용 가능한 기울기 방향의 비율을 측정하기 위해 야코비안 QFIM 고유값 스펙트럼 분석.

3. 주요 기여

1. 구조적 기울기 기아의 식별: 본 논문은 단일 큐비트 직렬 아키텍처가 파라미터 수와 관계없이 $2L+1$의 구조적 랭크 상한을 겪음을 증명합니다. 이로 인해 $P$가 증가함에 따라 손실 함수와 분리되는 파라미터의 비율이 증가하는 "구조적 기울기 기아"가 발생합니다.
2. 병렬 우월성의 증명: 저자들은 병렬 아키텍처가 독립적인 위상 궤적을 통해 이러한 제한을 피하며, 이론적 한계 $P \le 2E + 1$까지 완전 열 랭크를 유지함을 보여줍니다. 이 우월성은 단순한 임계값 기반이 아닌 구조적입니다.
3. 파라미터화 전략의 차별화: 본 논문은 Feature Map(FM) 레이어 추가와 학습 가능한 블록 추가가 근본적으로 다른 효과를 가진다고 확립합니다:
   • FM 레이어: 접근 가능한 주파수 스펙트럼을 확장하고 스펙트럼 무릎을 오른쪽으로 이동시켜 양자 고유의 메커니즘을 활성화합니다.
   • 학습 가능한 블록: 스펙트럼을 확장하지 않습니다. 학습의 개선은 오직 고전적 보간 메커니즘 (과결정 시스템, $P \ge n_{train}$) 을 통해서만 달성됩니다.
4. 효율성의 경험적 검증: 실험 결과, FM 경로는 다양한 아키텍처 ($N=1$부터 $N=6$까지) 와 타겟 차수에 걸쳐 학습 가능한 블록 경로보다 1.6–2.2 배 적은 파라미터로 목표 정확도 ($R^2 \ge 0.95$) 를 달성합니다.

4. 결과

• 학습 가능성 격차: 고정된 인코딩 예산 $E=12$에서, 직렬 ($N=1$) 및 저큐비트 ($N=2$) 아키텍처는 수백 개의 파라미터로도 $R^2 \ge 0.95$에 도달하지 못하지만, $N=3$과 $N=4$는 훨씬 적은 파라미터로 성공합니다 (Figure 1).
• 랭크 상한 검증: 야코비안 랭크의 경험적 측정은 직렬 회로가 즉시 $2L+1$ 상한에 도달하는 반면, 병렬 회로는 $P > 2E+1$이 될 때까지 완전 랭크를 유지함을 확인합니다 (Figure 5).
• 기울기 기아: 직렬 회로에서 $\ker J$에 있는 파라미터의 비율은 $P$에 따라 단조 증가하여 1 에 수렴합니다. 병렬 회로에서는 $P$가 스펙트럼 차원을 초과할 때까지 $\ker J$에 파라미터가 존재하지 않습니다.
• FM 대 학습 가능한 블록:
  • 스펙트럼 무릎: FM 경로에서는 추가된 레이어마다 스펙트럼 무릎이 오른쪽으로 이동하여 새로운 푸리에 방향에 접근함을 나타냅니다. 학습 가능한 블록 경로에서는 무릎이 이론적 상한 $2NL_{min} + 1$에서 고정된 채 유지됩니다 (Figure 3, Figure 9).
  • 파라미터 효율성: FM 경로는 포화 상태에 도달하는 데 일관되게 더 적은 파라미터를 필요로 합니다. $N=1$의 경우 비율은 1.9 배, $N=2$는 2.2 배, $N=4$는 2.1 배, $N=6$은 1.6 배입니다 (Table 2).
• 실제 데이터 검증: Nottingham 데이터셋에서 인코딩 예산이 부족할 경우 ($E=12$), 표현력 한계로 인해 학습 가능한 블록 경로는 완전히 실패 ($R^2 < 0$) 했지만, FM 경로는 스펙트럼을 확장함으로써 성공했습니다. 표현력이 충분할 경우 ($E=24$), $N \in \{1, 2, 4\}$에 대해 FM 경로가 여전히 더 파라미터 효율적이었습니다.
• Larocca 영역 예외: 높은 표현력을 가진 $N=6$의 경우 ($E=24$), 우월성이 반전되었습니다: 학습 가능한 블록 경로는 성공했지만 FM 경로는 정체되었습니다. 저자들은 이를 FM 스윙 초기에 회로가 Larocca 과소 파라미터화 영역 ($P \approx R_{max} = 126$) 에 진입했기 때문으로 귀결합니다. 이 영역에서는 인코딩 레이어를 추가하는 것이 추가된 파라미터가 이를 충족시킬 수 있는 속도보다 파라미터 요구량을 더 빠르게 증가시킵니다.

5. 중요성 및 주장

본 논문은 직렬 및 병렬 양자 신경망 (QNN) 간의 학습 가능성 격차에 대한 정확한 메커니즘적 설명을 제공한다고 주장합니다. 이는 단일 큐비트 상태 공간 ($CP^1$) 의 기하학이 직렬 회로에서 야코비안의 유효 랭크를 제한하는 근본적인 구조적 제약 (위상 고정) 을 부과하여 구조적 기울기 기아를 초래한다고 논증합니다.

주요 실용적 중요성은 설계 권고사항입니다: 학습 가능한 블록이 아닌 Feature Map 레이어를 추가하십시오. 저자들은 인코딩 깊이 ($L$) 를 증가시키는 것이 접근 가능한 주파수 스펙트럼을 확장하고 스펙트럼 무릎을 이동시키는 양자 고유의 메커니즘을 활성화하는 유일한 경로라고 주장하며, 학습 가능한 블록을 추가하는 것은 고전적 보간에 의존한다고 합니다. 이러한 구조적 통찰은 병렬 아키텍처가 더 학습 가능하고 FM 레이어가 더 파라미터 효율적인 이유를 설명합니다.

저자들은 이론적 증명의 범위에 대해 겸손하게, 그 증명이 아키텍처 극단 (직렬 $N=1$ 및 곱셈 애너츠 병렬) 에 대해 확립되었음을 명시합니다. 하이브리드 아키텍처와 일반적인 얽힘 애너츠로의 확장은 여전히 열린 문제임을 인정합니다. 또한, 그들은 FM 효율성 우위가 반전될 수 있는 경계 조건인 Larocca 과소 파라미터화 영역을 식별하여, 해당 특정 영역에서의 트레이드오프에 대한 추가적인 특성화가 필요함을 시사합니다.