Invariance can prevent overfitting and shortcut learning in Quantum Neural Networks

기술 요약: 양자 신경망에서의 불변성(Invariance)

문제 정의
변분 양자 알고리즘(VQA), 특히 양자 신경망(QNN)은 근미래의 양자 하드웨어에서 머신러닝을 수행하기 위한 선도적인 접근 방식이다. 그러나 QNN은 제한된 큐비트 수, 노이즈, 그리고 시스템 크기에 따라 기울기(gradient)가 지수적으로 소실되는 "바렌 플래토(barren plateau)" 문제로 인해 그 효용성이 제약된다. 결과적으로 QNN은 일반적으로 작은 데이터셋에 대해 학습되며, 이는 "적은 수의 예시로부터 효과적으로 일반화할 수 있는가?"라는 중요한 질문을 제기한다. 대칭성을 인지하는 아키텍처(등변 신경망, equivariant networks)는 모델을 불변 함수로 제한함으로써 일반화 성능과 데이터 효율성을 향상시킬 것으로 이론적으로 기대되지만, 이전 연구들은 대칭성의 구체적인 이점을 분리해 내는 데 어려움을 겪어왔다. 흔encing히 등변 모델은 게이트 세트, 회로 구조 또는 파라미터 수가 서로 다른 비등변(non-equivariant) 베이스라인과 비교되는데, 이로 인해 성능 향상이 대칭성 때문인지 아니면 다른 아키텍처의 차이 때문인지가 불분명하다. 또한, 이러한 이점이 등변 회로 자체에서 기인하는지, 아니면 불변 판독(invariant readout)에서 기인하는지도 여전히 불분명하며, 이러한 모델들이 "지름길 학습(shortcut learning, 가짜 단서에 의존하는 것)"이나 실제 하드웨어 노이즈에 얼마나 강건한지도 명확하지 않다.

방법론
저자들은 레이블이 디헤드럴 군 $D_4$($90^\circ$의 배수 회전 및 반사)에 대해 불변인 이미지 분류 작업에서 불변성의 역할을 규명하기 위해 통제된 조사를 수행한다. 대칭성의 효과를 격리하기 위해, 저자들은 다음을 공유하는 네 가지 독특한 8-큐비트 모델을 설계하여 연구를 진행한다:

1. 동일한 인코딩: $16 \times 16$ 픽셀 이미지를 8개 큐비트에 진폭 인코딩(amplitude encoding)하며, $D_4$는 비트 플립(bit-flips)과 레지스터 스왑(register swaps)을 통해 작용한다.
2. 동일한 회로 구조: 동일한 층(layer) 수, 학습 가능한 파라미터 수, 파라미터 공유 패턴을 가진다.
3. 동등한 동적 리 대수(Equivalent Dynamical Lie Algebras, DLA): 회로들이 도달 가능한 유니터리(unitary)에 대한 표현력을 동일하게 보장하도록, 이들의 DLA가 공액(conjugate) 관계이며 동일한 차원($569$)을 갖도록 구성되었다.

네 가지 모델은 회로의 등변성과 판독의 불변성에 따라 다음과 같이 정의된다:

• Equiv: 등변 관측량(equivariant observable)으로 측정된 등변 회로 (완전 불변 모델).
• Equiv-NoSym: 동일한 등변 회로를 비등변 관측량으로 측정한 것 (비불변 모델).
• NonEquiv: 한 레지스터에 고정된 유니터리를 공액시킨 등변 회로를 사용하여 구축된 비등변 회로를 등변 관측량으로 측정한 것 (비불변 모델).
• NonEquiv-Twirled: 불변성을 강제하기 위해 $D_4$ 그룹에 대해 평균을 낸 비등변 회로 (고전적 후처리).

이 모델들은 네 가지 이진 분류 작업에 대해 벤치마킹된다: MNIST 숫자(4와 5), 합성 작업(십자가 vs 사각형), Galaxy10(정면 vs 측면 은하), 그리고 적혈구(낫 모양 vs 기타 변형된 형태)이다. 연구는 일반화 오차, 지름길 학습에 대한 강건성(클래스 의존적 워터마크 및 기울드 사용), 그리고 초전도 양자 프로세서를 시뮬레이션하는 현실적인 노이즈 모델에 대한 탄력성을 평가한다.

주요 기여 및 결과
본 연구는 여섯 가지 주요 발견을 제시한다:

1. 불변성은 과적합을 방지한다: 네 가지 작업 모두에서, 단 20~50개의 이미지만으로 학습된 불변 모델(Equiv 및 NonEquiv-Twirled)은 비불변 모델에 비해 현저히 작은 일반화 격차(generalization gap)와 높은 테스트 정확도를 보였다. 비불변 모델은 훈련 세트에 존재하는 특정 포즈에 과적합되는 경향이 있다.
2. 회로 등변성만으로는 불충분하다: 등변 회로 자체가 일반화를 보장하는 것은 아니다. Equiv-NoSym 모델(등변 회로, 비불변 판독)은 비등변 NonEquiv 모델과 동일한 수준으로 과적합되었다. 이점은 모델 전체(회로 + 판독)가 불변일 때만 발생한다.
3. 대칭 학습의 비용: 비불변 모델은 데이터로부터 대칭성을 학습해야 하기 때문에 과적합된다. 숫자가 똑바로 서 있는 경우(방향이 고정되어 있고 정보가 있는 경우) 테스트했을 때, 비불변 모델의 과적합이 현저히 줄어들었는데, 이는 무작위 포즈 설정에서의 과적합이 대칭 제약을 추론하는 과정에서 발생하는 비용임을 확인시켜 준다.
4. 내장된 불변성 vs 평균화된 불변성: 내장된 불변성(Equiv)과 고전적 그룹 평균화(NonEquiv-Twirled) 모두 과적합을 방지한다. 그러나 이들의 정확도는 작업에 따라 달라진다. Equiv는 합성 작업에서 더 나은 성능을 보이는 반면, NonEquiv-Twirled는 적혈구 작업에서 더 나은 성능을 보인다. 이는 이들이 서로 다른 함수 클래스를 갖기 때문으로 설명된다: Equiv는 더 작고 완전히 불변인 특징 공간을 갖는 반면, NonEquiv-Twirled는 더 큰 비불변 공간을 불변 특징으로 투영한다.
5. 방향 지름길에 대한 면역력: 클래스 의존적 코너 워터마크나 밝기 기울기(지름길)를 사용하여 학습할 때, 비불변 모델은 이러한 가짜 단서를 학습하며 단서가 이동하거나 제거되면 실패한다. 반면, 이미지의 회전된 버전을 구별할 수 없는 불변 모델은 위치 의존적인 지름길을 무시하고 이미지의 실제 내용을 학습한다.
6. 노이즈에 대한 탄력성: 불변 모델의 성능 우위는 현재의 초전도 양자 프로세서에서 볼 수 있는 현실적인 노이즈 모델(열 완화, 탈분극 노이즈, 판독 오류) 하에서도 지속된다. 노이즈가 Equiv 모델의 대칭성을 약간 깨뜨리기는 하지만, 그 저하는 미미하며(<2%), 일반화 격차는 비불변 모델에 비해 여전히 유리한 상태를 유지한다.

의의
본 논문은 양자 신경망에 작업 대칭성을 통합하는 것이 근미래 양자 장치의 데이터가 제한된 환경에서 과적합과 지름길 학습을 완화하기 위한 실행 가능한 전략임을 입증한다. 결정적으로, 본 연구는 등변 회로 구조 자체에 이점이 있는 것이 아니라, 모델의 출력이 불변이어야 한다는 점을 밝혀냈다. 회로 깊이, 파라미터 수, 그리고 동적 리 대수를 통제함으로써, 저자들은 불변성이 강력한 귀납적 편향(inductive bias)으로 작용하여 모델이 가짜 상관관계에 의존하지 않고도 적은 예시로부터 일반화할 수 있게 함을 보여준다. 이러한 결과는 특히 레이블이 있는 데이터가 부족할 때, 양자 모델 설계에서 대칭성 제약을 사용하는 것을 지지하는 동시에, 특정 작업에 맞춰 불변 함수 클래스(내장형 vs 트월링형)를 선택하는 것이 중요함을 강조한다.