Invariance can prevent overfitting and shortcut learning in Quantum Neural Networks
تُثبت هذه الورقة أن دمج تناظر D4 في الشبكات العصبية الكمومية يحسن بشكل كبير من القدرة على التعميم، والمقاومة للتعلم المختصر، والمرونة تجاه الضجيج مقارنة بالنماذج غير المتناظرة ذات البنى المتطابقة وأعداد المعلمات المتساوية عبر مهام تصنيف الصور المتنوعة.
المؤلف الأصلي:Giuseppe D'Ambruoso, Giovanni Gramegna, Domenico Pomarico, Giuseppe Magnifico, Cosmo Lupo
في عالم الذكاء الاصطناعي، تتعلم الحواسيب رؤية العالم من خلال مسح الصور وإيجاد الأنماط. عندما تنظر الآلة إلى صورة قطة، فهي لا تهتم إذا كانت القطة تجلس منتصبة، أو مستلقية، أو تم عرضها من زاوية مختلفة؛ فالتسمية "قطة" تظل كما هي. هذه القدرة على إدراك أن الهوية الجوهرية لشيء ما تظل ثابتة حتى عندما يتغير موضعه تسمى "الثبات" (invariance). لعقود من الزمن، قام المهندسون ببناء برامج حاسوبية كلاسيكية قامت ببرمجة هذه القاعدة برمجياً، حيث علموها تجاهل الدوران والانعكاس لتتمكن من التعلم بشكل أسرع وأكثر دقة. والآن، يحاول العلماء بناء نوع جديد من الحواسيب يستخدم القوانين الغريبة لفيزياء الكم لمعالجة المعلومات. هذه الآلات الكمومية قوية للغاية من الناحية النظرية، لكنها حالياً صغيرة وهشة للغاية، وعرضة لارتكاب الأخطاء عندما تحاول التعلم من بيانات محدودة. وكان هناك سؤال رئيسي حول ما إذا كانت هذه الآلات الكمومية الجديدة يمكنها أيضاً تعلم تجاهل موضع الجسم لتصبح متعلمة أفضل، أم أن فيزيائها الفريدة تجعلها حساسة جداً لمثل هذه التفاصيل.
لقد وضع فريق من الباحثين حداً لهذا التساؤل عبر بناء أربعة نماذج كمومية مختلفة لحل مهام تصنيف الصور. أرادوا معرفة ما إذا كان إجبار الحاسوب الكمومي على احترام تناظر الصورة — أي أنه يعامل الصورة المدورة ككائن واحد — سيساعده على التعلم بشكل أفضل. وللقيام بذلك بشكل عادل، قاموا بإنشاء أربعة نماذج متميزة متطابقة في كل شيء باستثناء كيفية تعاملها مع التناظر. استخدموا نفس العدد من البتات الكمومية، ونفس عدد الإعدادات القابلة للضبط، ونفس البنية الرياضية الأساسية. صُمم نموذجان من هذه النماذج ليكونان "ثابتين" بطبيعتهما، مما يعني أن قواعدهما الداخلية تجبرهما على تجاهل الاتجاه. أما النموذجان الآخران فقد سُمح لهما بملاحظة الاتجاه، حيث يعاملان الصورة المدورة كمدخل مختلف تماماً. واختبر الباحثون هذه النماذج في أربعة تحديات مختلفة: التعرف على الأرقام المكتوبة بخط اليد، وتحديد الأشكال الهندسية البسيطة، والتمييز بين نوعين من المجرات، ورصد أشكال مختلفة من خلايا الدم الحمراء. وفي كل حالة، ظهرت الصور بدوارات عشوائية، تماماً كما قد يحدث في العالم الحقيقي.
كانت النتائج واضحة ومتسقة عبر المهام الأربع جميعها. فالنماذج التي بُنيت لتتجاهل اتجاه الصور تعلمت بشكل أسرع وارتكبت أخطاء أقل في الصور الجديدة غير المرئية. ولأنها أُجبرت على التركيز فقط على شكل الكائن وليس موضعه، لم تضع قدرتها المحدودة على التعلم في حفظ تفاصيل محددة لصور التدريب. في المقابل، فإن النماذج التي سُمح لها بملاحظة الاتجاه حفظت بسرعة الوضعيات الدقيقة للقليل من الصور التي عُرضت عليها. وعندما واجهت هذه النماذج غير الثابتة صورة جديدة بزاوية دوران مختلفة، كانت تفشل تماماً. ووجد الباحثون أن مجرد جعل دائرة الحاسوب الكمومي متناظرة لم يكن كافياً؛ بل كان لزاماً أن تكون الخطوة النهائية حيث يقرأ الحاسوب إجابته متناظرة أيضاً. فإذا بُني الحاسوب بقواعد متناظرة ولكن طُلب منه إعطاء إجابة غير متناظرة، فإنه سيظل يفشل في التعميم.
كما استكشفت الدراسة مشكلة شائعة في تعلم الآلة تسمى "تعلم الاختصارات" (shortcut learning)، حيث يجد النموذج حيلة سهلة لتخمين الإجابة بدلاً من تعلم القاعدة الحقيقية. أضاف الباحثون علامة مائية صغيرة وخفية في زاوية كل صورة تدريب لمعرفة ما إذا كانت النماذج ستعتمد عليها. تعلمت النماذج التي يمكنها ملاحظة الاتجاه هذه الحيلة على الفور؛ حيث كانت تنظر إلى الزاوية، وترى العلامة المائية، وتخمن الإجابة دون النظر أبداً إلى الصورة الأساسية. وعندما نقل الباحثون العلامة المائية إلى زاوية مختلفة، فشلت هذه النماذج، وهبطت إلى مستوى التخمين العشوائي. أما النماذج الثابتة، فلم تستطع رؤية العلامة المائية على الإطلاق لأنها تتحرك مع دوران الصورة. وبدلاً من ذلك، أُجبرت على النظر إلى المحتوى الفعلي للصورة، واستمرت في تحديد الأشياء بشكل صحيح حتى بعد إزالة الحيلة.
أخيراً، اختبر الفريق مدى صمود هذه النتائج أمام الضجيج والأخطاء الشائعة في الأجهزة الكمومية الحالية. الحواسيب الكمومية الحقيقية غير مثالية، وغالباً ما تتعرض إشاراتها للتشوه بسبب الحرارة والتداخل. قام الباحثون بمحاكاة هذه الظروف ووجدوا أن ميزة النماذج الثابتة قد صمدت. فحتى عندما كانت الإشارات الكمومية مليئة بالضجيج، ظلت النماذج التي تتجاهل الاتجاه أكثر دقة وأقل عرضة للإفراط في التخصيص (overfitting) مقارنة بنظيراتها. تشير الدراسة إلى أنه لكي تكون الحواسيب الكمومية مفيدة في العالم الحقيقي، خاصة عندما تكون البيانات نادرة، فإن بناء التناظر مباشرة في تصميمها يعد أداة قوية. فهو يعمل كحاجز حماية، يمنع الآلة من التشتت بالتفاصيل غير ذات الصلة ويساعدها على التركيز على الأنماط الحقيقية التي تحدد ماهية العالم من حولها.
ملخص تقني: الثبات في الشبكات العصبية الكمومية
بيان المشكلة تُعد الخوارزميات الكمومية التباينية (VQAs)، وتحديداً الشبكات العصبية الكمومية (QNNs)، نهجاً رائداً للتعلم الآلي على الأجهزة الكمومية الحالية. ومع ذلك، فإن فائدتها مقيدة بعدد الكيوبتات المحدود، والضجيج، ومشكلة "الهضاب القاحلة" (barred plateaus)، حيث تتلاشى التدرجات أسياً مع حجم النظام. ونتيجة لذلك، يتم تدريب الشبكات العصبية الكمومية عادةً على مجموعات بيانات صغيرة، مما يثير تساؤلاً حرجاً: هل يمكنها التعميم بفعالية من أمثلة قليلة؟ وبينما يُتوقع نظرياً أن تعمل البنى الواعية بالتناظر (الشبكات المتكافئة/equivariant) على تحسين التعميم وكفاءة البيانات من خلال قصر النموذج على الدوال الثابتة (invariant functions)، إلا أن الدراسات السابقة واجهت صعوبة في عزل الفائدة المحددة للتناظر. فغالباً ما تُقارن النماذج المتكافئة بنماذج مرجعية غير متكافئة تختلف في مجموعات البوابات، أو هيكل الدائرة، أو عدد المعاملات، مما يجعل من غير الواضح ما إذا كانت مكاسب الأداء ناتجة عن التناظر أم عن اختلافات هيكلية أخرى. علاوة على ذلك، لا يزال من غير الواضح ما إذا كانت الفائدة تنبع من الدائرة المتكافئة نفسها أم من عملية القراءة (readout) الثابتة، وما إذا كانت هذه النماذج قوية ضد "تعلم الاختصارات" (الاعتماد على إشارات زائفة) والضجيج الواقعي للأجهزة.
المنهجية يجري المؤلفون تحقيقاً منضبطاً في دور الثبات في مهام تصنيف الصور حيث تكون التسميات (labels) ثابتة تحت مجموعة دييدرال D4 (الدورات بمضاعفات 90∘ والانعكاسات). ولعزل تأثير التناظر، صمموا دراسة تقارن بين أربعة نماذج مختلفة مكونة من 8 كيوبتات تشترك في:
الترميز المتطابق: ترميز السعة لصور بدقة 16×16 بكسل على 8 كيوبتات، حيث يعمل D4 عبر قلب البتات (bit-flips) وتبادل السجلات (register swaps).
هيكل دائرة متطابق: نفس عدد الطبقات، والمعاملات القابلة للتدريب، وأنماط مشاركة المعاملات.
جبر لي المتماثل ديناميكياً (DLA) المتكافئ: تم بناء الدوائر بحيث تكون أجبر "لي" الخاصة بها مترافقة وذات أبعاد متساوية ($569$)، مما يضمن امتلاكها نفس القدرة التعبيرية فيما يتعلق بالوحدات (unitaries) التي يمكن الوصول إليها.
تُعرف النماذج الأربعة من خلال الجمع بين تكافؤ الدائرة وثبات القراءة:
Equiv (متكافئ): دائرة متكافئة تُقاس بمؤثر (observable) متكافئ (نموذج ثابت كلياً).
Equiv-NoSym (متكافئ-بدونتناظر): نفس الدائرة المتكافئة تُقاس بمؤثر غير متكافئ (نموذج غير ثابت).
NonEquiv (غير متكافئ): دائرة غير متكافئة (مبنية عن طريق مرافق الدائرة المتكافئة بوحدة ثابتة على سجل واحد) تُقاس بمؤثر متكافئ (نموذج غير ثابت).
NonEquiv-Twirled (غير متكافئ-مُدوّر): الدائرة غير المتكافئة التي يتم حساب متوسطها عبر المجموعة D4 (معالجة كلاسيكية لاحقة) لفرض الثبات.
تم اختبار النماذج في أربع مهام تصنيف ثنائية: أرقام MNIST (4 مقابل 5)، ومهمة اصطناعية (مربع مقابل مستطيل)، وGalaxy10 (مجرات مواجهة للوجه مقابل مواجهة للحافة)، وخلايا الدم الحمراء (شكل هلالي مقابل أشكال مشوهة أخرى). تقيم الدراسة خطأ التعميم، والمتانة تجاه تعلم الاختصارات (باستخدام العلامات المائية المعتمدة على الفئة والتدرجات)، والمرونة تجاه نموذج ضجيج واقعي يحاكي المعالجات الكمومية فائقة التوصيل.
المساهمات والنتائج الرئيسية خلصت الدراسة إلى ستة نتائج رئيسية:
الثبات يمنع الإفراط في التخصيص (Overfitting): في جميع المهام الأربع، أظهرت النماذج الثابتة (Equiv و NonEquiv-Twirled)، التي تتدرب على ما لا يزيد عن 20-40 صورة، فجوات تعميم أصغر بكثير ودقة اختبار أعلى مقارنة بالنماذج غير الثابتة. تميل النماذج غير الثابتة إلى الإفراط في التخصيص لوضعيات محددة موجودة في مجموعة التدريب.
تكافؤ الدائرة غير كافٍ: تكافؤ الدائرة وحده لا يضمن التعميم. نموذج Equiv-NoSym (دائرة متكافئة، قراءة غير ثابتة) يعاني من الإفراط في التخصيص بنفس قدر نموذج NonEquiv غير المتكافئ. تنبع الفائدة فقط عندما يكون النموذج بأكمله (الدائرة + القراءة) ثابتاً.
تكلفة تعلم التناظر: النماذج غير المتكافئة تعاني من الإفراط في التخصيص لأنها يجب أن تتعلم التناظر من البيانات. عند الاختبار على أرقام قائمة (حيث الوضعية ثابتة ومعلوماتية)، أظهر النموذج غير المتكافئ إفراطاً في التخصيص أقل بكثير، مما يؤكد أن الإفراط في التخصيص في حالات الوضعيات العشوائية هو ثمن استنتاج قيد التناظر.
الثبات المدمج مقابل الثبات المتوسط: كلا النوعين من الثبات (المدمج في Equiv، والمتوسط كلاسيكياً في NonEquiv-Twirled) يمنعان الإفراط في التخصيص. ومع ذلك، تعتمد دقتهما على المهمة. يتفوق Equiv في المهمة الاصطناعية، بينما يتفوق NonEquiv-Twirled في مهمة خلايا الدم الحمراء. ويُعزى ذلك إلى اختلاف فئات الدوال لديهما: يمتلك Equiv مساحة ميزات أصغر وثابتة تماماً، بينما يقوم NonEquiv-Twirled بإسقاط مساحة أكبر غير ثابتة على ميزات ثابتة.
الحصانة ضد اختصارات الوضعية: عند التدريب باستخدام علامات مائية في الزوايا أو تدرجات سطوع تعتمد على الفئة (اختصارات)، تتعلم النماذج غير المتكافئة هذه الإشارات الزائفة وتفشل عند تغيير أو إزالة تلك الإشارات. أما النماذج الثابتة، وبسبب عدم قدرتها على التمييز بين النسخ المدورة من الصورة، فهي تتجاهل الاختصارات المعتمدة على الموقع وتتعلم المحتوى الفعلي للصور.
المرونة تجاه الضجيج: تستمر ميزة أداء النماذج الثابتة في ظل نماذج الضجيج الواقعية (الاسترخاء الحراري، ضجيج إلغاء الاستقطاب، أخطاء القراءة) الشائعة في المعالجات فائقة التوصيل الحالية. ورغم أن الضجيج يكسر التناظر في نموذج Equiv قليلاً، إلا أن التدهور طفيف (أقل من 2%)، وتظل فجوة التعميم في صالح النماذج الثابتة مقارنة بغير المتكافئة.
الأهمية تثبت الورقة أن دمج تناظر المهام في الشبكات العصبية الكمومية (QNNs) هو استراتيجية فعالة للتخفيف من حدة الإفراط في التخصيص وتعلم الاختصارات في عصر الأجهزة الكمومية القريبة من زمن التوافر (near-term). ومن الأهمية بمكان أن الدراسة تؤكد أن الفائدة ليست متأصلة في هيكل الدائرة المتكافئة وحدها، بل تتطلب أن تكون مخرجات النموذج ثابتة. ومن خلال ضبط عمق الدائرة، وعدد المعاملات، وجبر "لي" الديناميكي، يوضح المؤلفون أن الثبات يعمل كتحيز استقرائي (inductive bias) قوي، مما يسمح للنماذج بالتعميم من أمثلة قليلة دون الاعتماد على الارتباطات الزائفة. تدعم هذه النتيات استخدام قيود التناظر في تصميم النماذج الكمومية، خاصة عندما تكون البيانات المصنفة نادرة، مع تسليط الضوء على أن الاختيار المحدد لفئة الدالة الثابتة (المدمجة مقابل المُدوّرة) يجب أن يُصمم خصيصاً لكل مهمة.