⚡ electrical engineering

Predictive Fidelity-Aware Routing and Adaptive Scheduling in Distributed NISQ Quantum Networks via Actor–Critic Reinforcement Learning

본 논문은 Bi-LSTM 충실도 예측기와 Actor–Critic 스케줄링 에이전트를 통합하여 분산형 NISQ 양자 네트워크에서 라우팅과 스케줄링을 공동 최적화하는 심층 강화 학습 기반 프레임워크(DRL-QCOF)를 제안하며, 이는 동적인 조건 하에서 기존 방식들보다 링크 충실도, 지연 시간 및 자원 활용도 측면에서 성능을 크게 향상시킨다.

원저자: Prabu Pachiyannan

게시일 2026-07-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Prabu Pachiyannan

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 고속 배송 네트워크를 상상해 보세요. 하지만 트럭이 피자를 나르는 대신, 빛과 원자로 이루어진 도시를 질주하는 보이지 않는 "양자 쿠리어(quantum couriers)" 군단이 움직입니다. 이 쿠리어들은 믿을 수 없을 정도로 취약한 것, 즉 미래의 양자 컴퓨터를 구동하는 힘인 '얽힘(entanglement)'을 운반합니다. 문제는 무엇일까요? 그들이 달리는 도로는 울퉁불퉁하고, 날씨는 순식간에 변하며, 쿠리어들은 쉽게 지치거나(결어긋남, decoherence) 물건을 잃어버리기도(노이즈, noise) 합니다.

오랫동안 이 양자 도시의 교통 관제사들은 구식 규칙 책을 사용해 왔습니다. 지도를 확인하고, 길이 비어 있는 것을 보고서야 쿠리어를 보냅니다. 하지만 갑작스러운 폭풍이 몰아치거나 다리가 막히면, 이 규칙 책들은 너무 느리게 반응합니다. 그들은 계속해서 부서진 길로 쿠리어를 보내 결국 물건을 잃어버리거나 고객을 실망시키고 맙니다.

여기에 새로운, 초지능형 교통 시스템인 DRL-QCOF가 등장했습니다. 이것은 양자 배송 서비스를 관리하기 위해 협력하는 두 명의 천재 AI 조수라고 생각하면 됩니다.

수정구슬과 교통 경찰

첫 번째 조수는 **양자 충실도 예측 네트워크(QFPN)**입니다. 이 조수는 수학으로 만들어진 수정구슬을 가지고 있다고 상상해 보세요. 단순히 지금 당장의 도로 상황만 보는 것이 아니라, 지난 몇 분간의 요철, 노이즈, 교통 체증 등 도로의 이력을 살펴봅니다. Bi-LSTM(과거와 미래의 정보를 모두 기억하는 메모리와 같은 구조)이라는 특별한 두뇌를 사용하여, 다음 몇 초 후에 도로가 어떤 모습일지 예측합니다. 그리고 시스템에 이렇게 알립니다. "이봐요, 5초 뒤에 저 길은 울퉁불퉁해질 거예요. 아직 쿠리어를 보내지 마세요!"

두 번째 조수는 실제 교통 경찰인 DRAQS-Agent입니다. 이 에이전트는 "액터-크리틱(Actor-Critic)" 시스템을 사용합니다. **액터(Actor)**는 어떤 길로 갈지, 얼마나 빨리 갈지를 결정하는 의사 결정자입니다. **크리틱(Critic)**은 액터를 지켜보며 점수판을 바탕으로 "좋은 선택이야!" 또는 "나쁜 선택이야!"라고 말하는 심판입니다. 이 점수판은 에이전트가 패키지를 안전하게 지키고(높은 충실도/fidelity), 빠르게 도착하며(낮은 지연 시간/latency), 도로를 막지 않을 때(좋은 자원 활용도/resource utilization) 보상을 줍니다.

이들은 단순히 교통 상황에 반응하는 것이 아니라, 교통 상황을 예측합니다. 만약 수정구슬이 도로에 곧 노이즈가 발생할 것이라고 말하면, 교통 경찰은 노이즈가 실제로 발생하기 전에 쿠리어의 경로를 변경합니다.

구식 규칙과의 경주

저자들은 이 새로운 시스템을 거대한 컴퓨터 시뮬레이션 속의 양자 도시(NetSquid 및 OMNeT++ 도구 사용)에서 테스트했습니다. 이 새로운 AI를 과거의 이력을 따지는 HWFR이나, 우선순위를 조절하려 하지만 혼돈 속에서 갈팡질팡하는 DMPQS와 같은 기존의 규칙 책들과 맞붙였습니다.

시뮬레이션 결과는 다음과 같습니다:

패키지 안전 유지: 기존 방식은 양자 연결을 약 0.78 ~ 0.86 정도의 확률로 유지했습니다. 반면, 새로운 AI는 연결을 최대 0.88까지 유지했습니다. 이 숫자가 작아 보일 수 있지만, 취약한 양자 물리학의 세계에서는 엄청난 신뢰성의 도약입니다.
속도 향 향상: 기존 시스템은 패키지를 시작부터 끝까지 전달하는 데 약 104밀리초가 걸렸습니다. 새로운 AI는 이를 83밀리초로 단축했습니다. 다른 방식들은 여전히 110밀리초 이상에 머물러 있었습니다.
패키지 손실 감소: 기존 시스템은 도로 상태가 너무 나빠서 배송 요청의 약 **7%**에 대해 "거절"을 해야 했습니다. 새로운 AI는 요청의 **3%**에 대해서만 거절했으며, 이는 **97%**의 성공률을 의미합니다.
도로 활용도 최적화: 새로운 시스템은 양자 도로를 효율적으로 사용하여 가용 용량의 **71% ~ 83%**를 활용한 반면, 기존 시스템은 너무 게으르거나 너무 무질서하여 약 67% 수준에 머물렀습니다.

학습 곡선

가장 흥러운 점은 AI가 얼마나 빨리 학습하느냐 하는 것입니다. 기존 방식은 안정화되기까지 수백 번의 연습이 필요할 정도로 시간이 오래 걸렸습니다. 그러나 새로운 AI는 단 300번의 훈련 에피소드만으로 완벽한 전략을 찾아냈습니다. 훈련을 마쳤을 때, 이 AI는 초당 **121개 이상의 얽힌 쌍(entangled pairs)**을 일관되게 전달할 수 있었는데, 이는 기존 방식이 보여준 87 ~ 93개보다 훨씬 높은 수치입니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

저자들은 매우 명확하게 밝히고 있습니다: 이것은 오늘날의 현실 세계를 바로 해결해 줄 마법 지팡이가 아닙니다. 그들은 실험실에서 실제 물리적인 양자 네트워크를 구축하여 실행한 것이 아닙니다. 대신, 현재의 "NISQ"(노이즈가 있는 중간 규모 양자) 장치들의 무질서하고 노이즈가 많은 현실을 모사한 매우 정교한 시뮬레이션을 구축했습니다.

이 시뮬레이션된 세계에서, 새로운 시스템은 기존의 규칙보다 혼돈을 훨씬 더 잘 다룰 수 있음을 증명했습니다. 이는 만약 우리가 언젠가 실제 대규모 양자 인터넷을 구축하게 된다면, 정적인 규칙 책에 의존해서는 안 된다는 것을 시사합니다. 대신, 이 AI가 했던 것처럼 노이즈를 예측하고 실시간으로 경로를 적응시킬 수 있는 시스템이 필요합니다.

따라서 우리가 아직 양자 피자 배달을 주문할 수는 없지만, 이 연구는 양자 인터넷의 미래가 코너 너머를 내다보고 폭풍이 닥치기 전에 이를 예측할 수 있는 교통 경찰의 몫이 될 것임을 암시합니다.

기술 요약: 액터-크리틱 강화 학습을 통한 분산형 NISQ 양자 네트워크에서의 예측적 충실도 인지 라우팅 및 적응형 스케줄링

1. 문제 정의

분산형 노이즈 중간 단계 양자(NISQ) 시스템은 기능을 수행하기 위해 양자 통신에 의존하지만, 실제 배포는 링크 변동, 제한된 양자 자원 및 얽힘 저하로 인해 어려움을 겪고 있습니다. 이러한 요인들은 특히 대규모의 동적으로 변화하는 환경에서 신뢰할 수 있는 라우팅과 스케줄링에 상당한 도전 과제를 제기합니다.

역사적 가중 충실도 라우팅(HWFR) 및 동적 다중 우선순위 양자 스케줄링(DMPQS)과 같은 기존의 고전적 접근 방식은 네트워크 조건이 안정적일 때만 적절히 작동합니다. 이들의 성능은 얽힘 성공률이 변동하거나 릴레이 노드가 혼잡해질 때 크게 저하됩니다. 현재 문헌의 주요 한계점은 라우팅과 스케줄링 최적화를 분리하여 운용함으로써, 미래의 충실도 변동을 명시적으로 고려하지 못한다는 점입니다. 이러한 파편화는 비효율적인 자원 사용, 엔드 투 엔드(end-to-end) 지연 시간 증가, 그리고 시변 조건 하에서 안정적인 링크 충실도를 유지하지 못하는 결과로 이어집니다. 또한, 많은 학습 기반 전략들은 불규칙한 트래픽 변동이 있는 환경에서 일반화에 어려움을 겪으며 수렴 속도가 느리다는 단점이 있습니다.

2. 방법론

이러한 과제를 해결하기 위해, 저자들은 **심층 강화 학습 기반 양자 통신 최적화 프레임워크(DRL-QCOF)**를 제안합니다. 이 프레임워크는 서로 연결된 두 가지 구성 요소를 통해 라우팅과 스케줄링을 공동으로 최적화합니다.

A. 양자 충실도 예측 네트워크 (QFPN)

QFPN은 선제적인 의사결정을 가능하게 하기 위해 미래의 링크 충실도( $F_{pred}(t)$ )를 추정하는 예측 백본 역할을 합니다.

구조: 이는 양방향 LSTM(Bi-directional Long Short-Term Memory) 네트워크와 시간적 셀프 어텐션(Temporal Self-Attention) 메커니즘을 결합하여 활용합니다.
입력: 네트워크는 링크 길이, 노이즈 계수, 얽힘 성공 확률, 릴레이 활용도 등 링크 특징의 시계열 시퀀스를 처리합니다.
메커니즘: Bi-LSTM은 순방향 및 역방향 모두에서 시간적 의존성을 포착하며, 어텐션 메커니즘은 특정 시간 단계(예: 갑작스러운 노이즈 급증)에 중요도 가중치를 할당합니다. 시그모이드 활성화 함수를 사용하는 회귀 레이어는 0과 1 사이로 제한된 예측 충실도를 출력합니다.
출력: 라우팅 에이전트를 안내하는 데 사용되는 스칼라 형태의 예측 충실도 값입니다.

B. 심층 강화 학습 기반 적응형 양자 스케줄링 에이전트 (DRAQS-Agent)

DRAQS-Agent는 적응형 라우팅 및 스케줄링 정책을 학습하기 위해 액터-크리틱(Actor–Critic) 구조를 사용하는 의사결정 핵심체 역할을 합니다.

상태 표현: 상태 벡터( $S_t$ )는 QFPN이 예측한 충실도, 현재 큐 길이, 릴레이 활용도, 지연 시간 추정치 및 홉(hop) 가용성을 통합합니다.
행동 공간: 에이전트는 라우팅 경로 선택, 스케줄링 우선순위 할당, 또는 자원 부족에 따른 요청 지연/거부와 같은 이산적 행동을 선택합니다.
보상 함수: 연속적인 보상 정식화는 에이전트가 링크 충실도를 극대화하는 동시에 지연 시간, 큐 길이 및 릴레이 과부하를 최소화하도록 유도합니다. 보상은 다음과 같이 정의됩니다:
$R_t = \alpha F_{eff} - \beta L_t - \gamma Q_t - \delta U_t$
여기서 $F_{eff}$ 는 유효 멀티홉 충실도, $L_t$ 는 지연 시간, $Q_t$ 는 큐 길이, $U_t$ 는 활용도입니다.
학습: 에이전트는 안정성을 보장하기 위해 그래디언트 클리핑(gradient clipping)과 엔트로피 정규화를 사용하는 시간 차(Temporal Difference, TD) 학습을 통해 훈련됩니다. 액터 네트워크는 정책을 업데이트하고, 크리틱 네트워크는 가치 함수를 추정합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

통합 제어 전략: 긴 훈련 기간 동안 라우팅과 자원 결정을 공동으로 최적화하는 RL 기반 제어 전략을 제안하며, 시스템이 진화함에 따라 일관된 성능 향상을 입증했습니다.
다중 지표 보상 구조: 링크 충실도, 지연 시간, 차단율 및 처리량을 동시에 최적화함으로써 학습 과정을 실제 운영 목표와 일치시키는 보상 함수를 설계했습니다.
적응형 상태 정식화: QFPN의 예측 능력을 바탕으로 과도적(transient) 및 누적적 네트워크 역학을 모두 포착하는 상태 표현을 도입하여, 더 정확하고 안정적인 결정 패턴을 촉진했습니다.

4. 실험 결과

프레임워크는 NetSquid(양자 네트워크 역학용)와 OMNeT++(고전적 제어 및 트래픽용)를 결합한 공동 시뮬레이션 환경에서 평가되었습니다. 시뮬레이션은 30개의 무작위 시드를 사용하여 1,000회의 제어 에포크 동안 25개 노드의 NISQ 토폴로지(NSFNET 기반)에서 수행되었습니다.

성능 비교:
제안된 DRL-QCOF는 HWFR, DMPQS, 정제(Purification)-인식 라우팅, DRL-RRA, 다중 목적 라우팅, TQD-Secure 라우팅과 벤치마킹되었습니다.

링크 충실도: 제안된 방법은 최대 평균 링크 충실도 0.88을 달성하였으며, 이는 0.78에서 0.86 사이의 범위를 보인 기존 방식들을 상회하는 수치입니다.
지연 시간: 엔드 투 엔드 지연 시간이 수렴 시 초기 104 ms에서 83 ms로 감소했습니다. 유사한 조건에서 베이스라인 방식들은 110 ms 이상을 유지했습니다.
응답 시간: 평균 요청 응답 시간은 약 147 ms로 감소하여, 베이스라인 방식(예: HWFR의 217 ms)보다 크게 개선되었습니다.
자원 활용도: 프레임워크는 기존 방식의 67~~81%와 비교하여 **71~~83%**의 활용률을 달이트했습니다.
성공률: 성공률은 93%에서 **97%**로 향상되었으며, 차단율은 최저 0.04까지 감소했습니다.
처리량: 시스템은 **초당 118~121개의 얽힌 쌍(entangled pairs)**의 처리량을 달성했습니다.
수렴: 누적 보상은 약 16.0에서 안정화되었으며, 300번의 훈련 에피소드 이내에 수렴이 관찰되어 경쟁 방법들보다 현저히 빠른 속도를 보였습니다.

5. 의의 및 주장

본 논문은 DRL-QCOF 프레임워크가 동적이고 불확실한 NISQ 네트워크에 대한 강력한 솔루션을 제공한다고 주장합니다. 예측적 충실도 모델링과 적응형 강화 학습을 통합함으로써, 이 시스템은 링크 저하를 예측하지 못하는 정적 또는 반적응형 전략의 한계를 극복합니다.

이 연구의 의의는 통합된 다중 지표 최적화 접근 방식에 있습니다. 단일 지표를 우선시하는 대신, 프레임워크는 안정성 중심의 보상 형성 메커니를 통해 상호 의존적인 네트워크 특성(충실도, 지연 시간, 처리량) 사이의 균형을 맞춥니다. 저자들은 이러한 접근 방식이 변동하는 트래픽 부하와 환경 노이즈 하에서도 네트워크가 높은 신뢰성과 효율성을 유지할 수 있게 한다고 주장합니다. 결과는 이 방법이 기존의 학습 기반 또는 휴리스틱 접근 방식보다 효과적이며 더 빠르게 수렴함을 시사합니다.