Hybrid Quantum-Classical Neural Architecture Search

본 논문은 NISQ 하드웨어의 제약 조건 내에서 정확도와 계산 효율성을 모두 보장하기 위해 아키텍처 선택을 최적화하는 FLOPs 인식 탐색 전략을 도입함으로써 하이브리드 양자 - 고전 신경망 (HQNN) 에 신경망 구조 탐색 (NAS) 을 적용하기 위한 기초를 확립합니다.

핵심

상상해 보세요. 초지능 로봇 두뇌를 구축하려고 한다고요. 오늘날의 기술 세계에서는 사용할 수 있는 두 가지 유형의 '두뇌'가 있습니다:

1. 고전적 두뇌: 이는 스마트폰과 노트북에 사용되는 표준 컴퓨터 칩입니다. 빠르고 신뢰할 수 있으며 숫자 연산에 탁월합니다.
2. 양자 두뇌: 이는 양자 물리학의 기이한 규칙을 활용하는 미래지향적이고 실험적인 프로세서 유형입니다. 문제를 훨씬 빠르게 해결할 잠재력이 있지만, 현재는 매우 취약하고 노이즈가 많으며 제어하기 어렵습니다.

하이브리드 아이디어
이 논문은 '하이브리드' 접근법을 논의합니다. 아직 존재하지 않는 완벽한 양자 두뇌를 구축하거나 고전적 두뇌에만 의존하는 대신, 연구자들은 이 둘을 결합합니다. 그들은 **하이브리드 양자 - 고전 신경망 (HQNN)**을 만듭니다.

이를 주방 팀으로 비유해 보세요:

• 고전적 셰프는 준비 작업을 합니다: 야채를 다지고, 재료를 계량하며, 최종 요리를 접시에 담습니다.
• 양자 셰프는 특수 장비를 필요로 하는 매우 구체적이고 까다로운 단계 (완벽한 수플레와 같은) 를 처리하는 전문가입니다.
• 그들은 단일 파이프라인에서 함께 일합니다. 고전적 셰프가 음식을 양자 셰프에게 넘기면, 양자 셰프는 마법을 부리고, 그 후 고전적 셰프가 작업을 마무리합니다.

문제: 선택지가 너무 많음
문제는 이 팀을 구축하는 것이 극도로 어렵다는 것입니다. 당신은 결정해야 합니다:

• 몇 명의 '양자 셰프 (큐비트)'가 필요한가요?
• 양자 셰프가 사용해야 할 구체적인 '트릭 (게이트)'은 무엇인가요?
• 그들은 서로 어떻게 소통해야 할까요?

현재 과학자들은 이러한 답변을 수동으로 추측해야 합니다. 이는 부품을 무작위로 교체하며 엔진이 작동하기를 바라는 방식으로 자동차 엔진을 설계하려는 것과 같습니다. 잘못된 부품을 선택하면 엔진이 너무 무거워지거나 너무 느려지거나 아예 시동이 걸리지 않습니다. 현재의 '노이즈가 많은' 양자 하드웨어로 설계 오류를 범하면 시간과 돈이 많이 낭비됩니다.

해결책: 자동화 아키텍트 (NAS)
이 논문은 **Neural Architecture Search (NAS)**라는 도구를 사용하는 것을 제안합니다. NAS 를 자동화 아키텍트나 로봇 디자이너로 생각하세요.

사람이 설계를 추측하는 대신, 로봇은 고전적 및 양자 부품의 수천 가지 다른 조합을 시도해 봅니다. 로봇은 이렇게 묻습니다: "만약 이 특정 게이트 패턴으로 3 개의 큐비트를 사용한다면, 얼마나 잘 작동할까?" 그런 다음 다른 조합을 시도합니다. 시간이 지남에 따라 어떤 설계가 가장 좋은지 학습합니다.

반전: 'FLOPs' 미터
여기서 이 논문의 주요 혁신이 있습니다. 일반적으로 이러한 로봇 디자이너들은 정확도 (답이 얼마나 정확한지) 만을気に합니다. 하지만 저자들은 말합니다, "잠깐! 우리는 또한 비용을 고려해야 합니다."

그들은 FLOPs(Floating Point Operations, 부동 소수점 연산) 라는 지표를 도입합니다.

• 비유: 건설 인력을 고용한다고 상상해 보세요. 집이 완벽하기를 원합니다 (정확도), 하지만 벽돌에 백만 달러를 쓰고 싶지는 않습니다 (비용).
• 양자 컴퓨터 세계에서는 양자 기계가 너무 희귀하고 취약하기 때문에 아직 모든 것을 실제 양자 기계에서 실행할 수 없습니다. 따라서 우리는 이를 일반 컴퓨터에서 시뮬레이션합니다.
• FLOPs는 그 시뮬레이션을 위한 연료 게이지와 같습니다. 특정 설계가 얼마나 많은 '컴퓨팅 연료' (수학적 연산) 를 소모하는지 측정합니다.

이 논문은 가장 정확한 모델만 찾는 것이 아니라, 최소한의 연료로 최고의 정확도를 제공하는 모델을 찾아야 한다고 주장합니다.

그들이 한 일
연구자들은 이러한 하이브리드 두뇌를 설계하도록 '로봇 아키텍트'를 설정했습니다.

1. 검색 공간: 그들은 로봇이 다른 수의 큐비트, 다른 유형의 양자 게이트, 그리고 그들을 연결하는 다양한 방법을 선택할 수 있도록 했습니다.
2. 목표: 로봇은 정확한 동시에 효율적인(낮은 FLOPs) 설계를 찾아야 했습니다.
3. 방법: 그들은 '유전 알고리즘'을 사용했는데, 이는 진화와 같습니다. 로봇은 설계 집단을 생성하고, 가장 좋은 것들을 유지하며, 이를 섞어 (교차) 작은 무작위 변화 (변이) 를 가해 더 나아지는지 확인합니다.

결과
그들은 두 개의 간단한 데이터셋 (꽃 분류와 손글씨 숫자 인식과 같은) 에서 이를 테스트했습니다.

• 발견: 좋은 결과를 얻기 위해 항상 가장 크고 복잡한 양자 회로가 필요한 것은 아니라는 것을 발견했습니다.
• 절충: '골든 스팟'이 있습니다. 양자 부분을 너무 크게 만들면 정확도가 크게 향상되지 않으면서도 너무 많은 연료 (FLOPs) 를 소모합니다. 너무 작으면 지능이 부족합니다.
• 파레토 프론티어: 그들은 '황금선' 설계들을 발견했습니다. 이는 더 많은 연료를 사용하지 않고서는 더 나은 정확도를 얻을 수 없고, 정확도를 잃지 않고서는 더 적은 연료를 사용할 수 없는 설계들입니다.

결론
이 논문은 하이브리드 양자 - 고전 네트워크가 현실 세계에서 작동하려면 추측을 멈추고 컴퓨팅 비용을 주시하면서 설계를 자동화해야 한다고 결론 내립니다.

그들은 현재 이러한 아이디어를 주로 시뮬레이션에서 테스트하고 있기 때문에 비용의 대변으로 FLOPs를 사용했습니다. 그들은 미래에는 노이즈와 연결 끊김과 같은 실제 세계의 양자 문제를 고려해야 할 것이라고 인정하지만, 현재로서는 이러한 '연료 게이지' 접근법을 사용하면 자원을 낭비하지 않고 더 지능적이고 효율적인 하이브리드 모델을 구축하는 데 도움이 됩니다.

간단히 말해: 가장 지능적인 로봇을 구축하는 것이 아니라, 배터리가 방전되지 않는 가장 지능적인 로봇을 구축하세요.

기술 요약

기술 요약: 하이브리드 양자 - 고전 신경 아키텍처 탐색

문제 정의

하이브리드 양자 - 고전 신경망 (HQNN) 은 잡음이 있는 중간 규모 양자 (NISQ) 시대의 양자 머신러닝 (QML) 을 위한 실용적인 접근법으로, 고전 딥러닝과 매개변수화 양자 회로 (PQC) 를 결합합니다. 그러나 HQNN 의 성능과 효율성은 데이터 인코딩 전략, 회로 깊이, 게이트 구성, 얽힘 패턴, 그리고 고전 및 양자 모듈 간의 결합을 포함한 아키텍처 선택에 매우 민감합니다.

현재 HQNN 설계는 전문가에 의한 수동적이고 휴리스틱한 구성에 크게 의존하고 있습니다. 이 접근법은 확장하기 increasingly 어려워지고 있으며, 종종 하드웨어 제한과 자원 제약을 고려하지 못합니다. 신경 아키텍처 탐색 (NAS) 이 고전 딥러닝 설계를 성공적으로 자동화해 왔음에도 불구하고, 이를 양자 및 하이브리드 환경으로 확장하는 것은 아직 충분히 탐구되지 않았습니다. 구체적으로, 정확도 중심 최적화를 넘어 하드웨어 인지 설계로 나아가며 예측 정확도와 계산 효율성 사이의 균형을 맞추는 HQNN 아키텍처를 체계적으로 발견할 수 있는 방법이 필요합니다.

방법론

본 논문은 HQNN 에 특화된 FLOPs 인지 하드웨어 인지 신경 아키텍처 탐색 (HANAS) 프레임워크를 제안합니다. 이 방법론은 HQNN 설계를 다목적 최적화 문제로 간주하여, 예측 정확도를 극대화하고 계산 비용을 최소화하는 것을 동시에 목표로 합니다.

1. 문제 공식화

검색은 학습 품질과 구현 비용을 결합한 목적 함수 $J(a)$를 최소화하는 아키텍처 $a^*$를 검색 공간 $\mathcal{A}$에서 선택하는 것으로 공식화됩니다:
$$a^* = \arg \min_{a \in \mathcal{A}} J(a)$$
본 연구에서 $J(a)$는 정확도와 계산 복잡성 사이의 균형을 이루는 다목적 기준입니다.

2. 검색 공간 정의

검색 공간은 네 가지 구성 요소로 분해됩니다:

• 데이터 인코딩 ($\mathcal{A}_{enc}$): 각도 인코딩 또는 진폭 인코딩과 같은 선택.
• 변분 회로 ($\mathcal{A}_{var}$): 큐비트 수 (2 에서 10 사이), 매개변수 회전 게이트 ($R_x, R_y, R_z$), 얽힘 게이트 유형 (CNOT, CZ), 그리고 얽힘 위상 (선형, 원형) 을 포함합니다.
• 측정 ($\mathcal{A}_{meas}$): 판독 구성.
• 후처리 ($\mathcal{A}_{post}$): 예측을 위한 고전 레이어.

제안된 실험에서 고전 전처리 및 후처리 레이어는 양자 레이어 변이의 영향을 격리하기 위해 고정되었습니다. 정의된 검색 공간은 총 23,328 개의 잠재적 하이브리드 아키텍처를 생성했습니다.

3. 검색 전략: 유전 알고리즘 (NSGA-II)

저자들은 검색 공간을 탐색하기 위해 비우세 정렬 유전 알고리즘 II (NSGA-II) 를 활용합니다. 이 과정은 다음을 포함합니다:

• 초기화: 후보 아키텍처의 개체군을 생성합니다.
• 평가: 각 하이브리드 모델을 학습시키고 두 가지 주요 지표를 측정합니다:
  1. 정확도: 표준 분류 성능.
  2. FLOPs (부동 소수점 연산): 계산 복잡성을 위한 하드웨어 중립적 대리 지표로 사용됩니다. 특히, 이 연구는 고전 FLOPs(데이터 처리) 와 양자 FLOPs(PQC 상태 벡터 업데이트 시뮬레이션) 를 구분합니다.
• 선택 및 진화: 파레토 최적 해를 식별하기 위해 비우세 정렬 및 혼잡 거리를 사용합니다. 알고리즘은 세대 진화를 위해 교차 ($p=0.8$) 와 변이 ($p=0.2$) 를 사용합니다.
• 종료: 두 연속 세대에서 목적 함수의 개선이 관찰되지 않으면 검색이 중단됩니다.

주요 기여

1. HQNN 설계를 위한 체계적 프레임워크: 본 논문은 휴리스틱 수동 설계에서 자동화된 체계적 최적화로 전환하며, NAS 를 하이브리드 양자 - 고전 환경으로 확장하는 기반을 마련합니다.
2. FLOPs 인지 최적화: 계산 비용 (FLOPs 로 측정) 을 정확도와 함께 명시적으로 최적화하는 구체적인 접근법을 도입합니다. 이는 시뮬레이션 기반 HQNN 개발에서 고전 자원 오버헤드의 병목 현상을 해결합니다.
3. 검색 공간의 분해: 이 연구는 HQNN 검색 공간을 인코딩, 변분, 측정, 후처리와 같은 고유한 구성 요소로 공식화하여, 양자 아키텍처 탐색이 단순한 게이트 시퀀싱을 넘어선다는 점을 강조합니다.
4. 실증적 검증: 이 방법론은 다양한 복잡도의 데이터셋 (Iris 및 Digits) 에서 검증되어, 계산 자원을 줄이면서도 높은 성능을 달성하는 아키텍처를 식별할 수 있음을 입증했습니다.

결과

Iris 및 Digits 데이터셋에 대한 실험적 평가는 다음과 같은 통찰을 제공했습니다:

• Iris 데이터셋: 아키텍처에 따라 정확도가 크게 변동 (40% 에서 90% 이상) 했습니다. 파레토 최적 해는 매우 낮은 고전 FLOPs 로 높은 정확도를 달성했으며, 이는 고전 오버헤드가 제한 요인이 아님을 나타냅니다. 양자 FLOPs 분석은 낮은 예산과 높은 예산 모두에서 강력한 성능을 달성할 수 있음을 보여주었으나, 중간 범위 구성은 일관성이 없었습니다.
• Digits 데이터셋: 작은 양자 FLOPs 증가로 정확도가 빠르게 향상되어 $10^3$–$10^4$ 예산에서 100% 에 근접하여 포화되었습니다. 이 지점을 넘어선 더 큰 회로는 체감 수익을 감소시켰습니다. 고전 FLOPs 는 정확도와 약한 상관관계를 보였으며, 전체 FLOPs 분포는 잘 정의된 파레토 프론트를 드러냈습니다.
• 일반적 발견:
  • 정확도 향상은 주로 양자 FLOPs에 의해 주도되었으며, 제한된 고전 레이어 설계로 인해 고전 FLOPs 는 상대적으로 고정되었습니다.
  • 정확도와 계산 비용 사이에 명확한 파레토 최적 트레이드오프가 존재하며, 이는 높은 성능이 가장 자원 집약적인 아키텍처를 필요로 하지 않음을 증명합니다.
  • FLOPs 증가가 체감 수익을 가져오는 데이터셋 의존적 임계값이 존재하여, 지나치게 복잡한 양자 회로의 위험성을 강조합니다.

중요성 및 주장

본 논문은 QML 의 다음 발전 단계가 휴리스틱 수동 설계에서 **하드웨어 인지 신경 아키텍처 탐색 (HANAS)**으로의 패러다임 전환을 필요로 한다고 주장합니다. 계산 제약 (FLOPs 로 대리됨) 을 검색 과정에 통합함으로써, 제안된 프레임워크는 정확할 뿐만 아니라 계산적으로 실현 가능하고 확장 가능한 HQNN 을 발견할 수 있게 합니다.

저자들은 FLOPs 인지 NAS 를 체계적인 HQNN 설계, 특히 고전 자원 오버헤드가 병목 현상인 NISQ 시대의 시뮬레이션 기반 워크플로우를 위한 중요한 단계로 위치시킵니다. 그러나 논문은 주장의 범위를 겸손하게 유지합니다:

• FLOPs 는 시뮬레이션 비용의 대리 지표일 뿐 게이트 수나 회로 깊이와 같은 하드웨어 수준 지표와는 다르다는 점을 인정합니다.
• 잡음, 결어긋남, 큐비트 연결성과 같은 장치 수준 제약을 통합하도록 프레임워크를 확장하는 것은 여전히 열린 과제라고 명시합니다.
• 저자들은 미래의 HANAS 프레임워크가 추상적 모델 설계와 배포 가능한 양자 시스템 간의 격차를 해소하기 위해 이러한 양자 하드웨어 특정 제약을 통합하도록 진화해야 한다고 전망합니다.