Efficient classical computation of the neural tangent kernel of quantum neural networks

ملخص تقني: الحوسبة الكلاسيكية الفعالة لـ "نواة التانغنت العصبية" للشبكات العصبية الكمومية

بيان المشكلة
تتناول الورقة البحثية التعقيد الحسابي لتوصيف ديناميكيات التدريب للشبكات العصبية الكمومية (QNNs)، وتحديداً ضمن نظام "العرض اللانهائي". وبينما أثبتت الأعمال النظرية الحديثة أن الشبكات العصبية الكمومية الواسعة التي يتم تدريبها على مهام التعلم الخاضع للإشراف تتقارب نحو عمليات غاوسية تحكمها "نواة التانغنت العصبية" (NTK)، فإن حساب هذه النواة للدوائر الكمومية العامة يتطلب عادةً محاكاة النظام الكمومي، وهو أمر مستعصٍ كلاسيكياً للأنظمة الكبيرة. يستقصي المؤلفون ما إذا كان بالإمكان تقدير الـ NTK لهذه الفئة الواسعة والمحددة من الشبكات العصبية الكمومية — وهي تلك التي تستخدم بوابات كليفورد (Clifford gates) لتشفير المدخلات وهاميلتونيات تنتمي لمجموعة باولي (Pauli-group) للتطور البارامتري — باستخدام موارد كلاسيكية فعالة. وإذا كان هذا التقدير ممكناً، فهذا يعني أن هذه الشبكات العصبية الكمومية الواسعة المحددة لا يمكنها تحقيق تفوق كمومي على الحواسيب الكلاسيكية.

المنهجية
يعتمد النهج المقترح على خاصية هيكلية في بنية الشبكة العصبية الكمومية وتجزئة محددة لفضاء المعلمات:

1. تعريف البنية: تدرس الدراسة الشبكات العصبية الكمومية المحددة بواسطة مؤثرات وحدوية $U_{x,\theta}$ تتكون من مؤثرات وحدوية من مجموعة كليفورد التعسفية (والتي قد تعتمد على المدخل $x$) متداخلة مع بوابات بارامترية ناتجة عن التطور الزمني تحت هاميلتونيات تنتمي لمجموعة باولي. دالة النموذج هي القيمة المتوقعة لمراقب باولي $O$.
2. رؤية تجزئة المعلمات: المساهمة المنهجية الجوهرية هي الملاحظة التي تفيد بأن الـ NTK التحليلي، المعرف كتوقع للـ NTK التجريبي عبر التوزيع الموحد لمعلمات التهيئة $\theta \in [0, 2\pi)^L$، يمكن استبداله بدقة بتوقع عبر مجموعة منفصلة من أربع قيم: $\{0, \pi/2, \pi, 3\pi/2\}$.
   • بالنسبة لقيم المعلمات المحددة هذه، تصبح دورات باولي البارامترية عمليات كليفورد.
   • وبما أن البوابات غير البارامترية هي أيضاً عمليات كليفورد حسب الفرضية، فإن الدائرة بأكملها $U_{x,\theta}$ تنتمي إلى مجموعة كليفورد لهذه الاختيارات من المعلمات.
   • يمكن محاكاة الدوائر المكونة بالكامل من بوابات كليفورد بكفاءة على حاسوب كلاسيكي (مبرهنة غوتسمان-كنيل).
3. خوارزمية التقدير: يقترح المؤلفون خوارزمية احتمالية كلاسيكية (الخوارزمية 1) تقوم بأخذ عينات من المعلمات $N$ مرة من المجموعة المنفصلة $\{0, \pi/2, \pi, 3\pi/2\}^L$. لكل عينة، يتم حساب تدرج دالة النموذج باستخدام قاعدة "إزاحة المعلمة" (parameter-shift rule)، والتي تختزل إلى الفروق المحدودة. يتم تقدير الـ NTK كمتوسط لضربات الموتر الخارجية لهذه التدرجات.
4. التوسع في ديناميكيات التدريب: بالاستفادة من التكافؤ بين الشبكات العصبية الكمومية الواسعة المدربة والعمليات الغاوسية، يستخدم المؤلفون الـ NTK المقدر لحساب حد دالة النموذج المدرب $\mu_\infty(x)$ (الخوارزمية 2). يتضمن ذلك عكس مصفوفة الـ NTK المقدرة على بيانات التدريب وتطبيقها على تسميات التدريب.

المساهمات والنتائج الرئيسية
تقدم الورقة حدوداً صارمة على تعقيد العينات والتعقيد الحسابي للخوارزميات المقترحة:

• التقدير غير المنحاز: يثبت المؤلفون أن المقدر للـ NTK التحليلي هو مقدر غير منحاز؛ حيث يتساوى توقعه عبر المجموعة المنفصلة مع الـ NTK الحقيقي المعرف عبر التوزيع الموحد المستمر.
• تعقيد العينات للـ NTK: لتقدير مدخل الـ NTK $K(x, x')$ بدقة $\epsilon$ واحتمالية فشل $\delta$، تتطلب الخوارزمية $N = O(L^2 m^2 \epsilon^{-2} \log(1/\delta))$ عينة، حيث $L$ هو عدد المعلمات و $m$ هو عدد حدود باولي في المراقب.
• تعقيد العينات لـ $\mu_\infty$: لتقدير متوسط مخرجات الشبكة المدربة $\mu_\infty(x)$ بدقة $\epsilon$، يتناسب عدد العينات المطلوبة حدودياً مع عدد أمثلة التدريب ($d_{train}$)، وعدد المعلمات ($L$)، وتعقيد المراقب ($m$). وتحديداً، تعقيد العينات هو حدودي في كل من $d_{train}$ و $L$.
• التعقيد الحسابي: تتطلب المحاكاة الكلاسيكية لدوائر كليفورد لكل عينة $O(L m n^2)$ عملية لكل إزاحة معلمة. التعقيد الكلاسيكي الإجمالي لتقدير الـ NTK هو $O(N L^2 m n^2)$. أما بالنسبة لتقدير $\mu_\infty$، فيشمل التعقيد عملية عكس المصفوفة، حيث يتدرج كـ $O(N L^2 d_{train} (m n^2 + d_{train}^2))$.
• التقارب الموحد: يظهر المؤلفون أن عدد العينات المطلوبة لتحقيق خطأ محدود بشكل موحد عبر فضاء الميزات بالكامل $X$ ينمو فقط بشكل لوغاريتمي مع حجم $X$.

الأهمية والادعاءات
تخلص الورقة إلى أن الشبكات العصبية الكمومية الواسعة ذات العمق اللوغاريتمي، حيث يتم تشفير المدخلات عبر بوابات كليفورد ويتم تهيئة المعلمات بشكل موحد، لا يمكنها تحقيق تفوق كمومي في مهام التعلم الخاضع للإشراف. وذلك لأن ديناميكيات تدريبها ومخرجاتها المتوقعة يمكن محاكاتها بكفاءة بواسطة حواسيب كلاسيكية.

يصرح المؤلفون صراحةً أن نتيجتهم تتماشى مع مجموعة متنامية من الأدبيات التي تثبت أن بعض الدوائر الكمومية المتغيرة قابلة للمحاكاة كلاسيكياً. كما يقرون بأن حدود التعقيد الزمني المستمدة (تحديداً التدرج مع $d_{train}^6$ في تحليل الحالة الأسوأ لـ $\mu_\infty$) قد تكون متشائمة، وأن التجارب العددية مطلوبة لتحديد التدرج الأمثل. ومع ذلك، فإن الوجود النظري لخوارزمية كلاسيكية فعالة لهذا النوع الواسع من الشبكات يشير إلى أن "التفوق الكمومي" في تعلم الآلة الكمومي (QML) قد يتطلب بنيات لا تعتمد على تشفير المدخلات القائم على كليفورد أو توزيعات تهيئة مختلفة.

أخيراً، يقترح المؤلفون أن الخوارزمية المقترحة يمكن أن تعمل كوسيلة لتخليق نوى (kernels) تعبيرية لمهام التعلم الآلي الكلاسيكي، وذلك باستخدام بنية الدائرة الكمومية كآلية توليدية لخرائط الميزات دون الحاجة إلى أجهزة كمومية فعلية.