Polynomial Surrogate Training for Differentiable Ternary Logic Gate Networks

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تدريب البديل متعدد الحدود لشبكات البوابات المنطقية الثلاثية القابلة للتفاضل" (Polynomial Surrogate Training for Differentiable Ternary Logic Gate Networks).

1. بيان المشكلة

شبكات البوابات المنطقية القابلة للتفاضل (DLGNs) هي فئة من الشبكات العصبية التي تستبدل الخلايا العصبية الحسابية القياسية بتركيبات من البوابات المنطقية المنفصلة. وهي توفر قابلية تفسير عالية والقدرة على تخليق دوائر رقمية مدمجة وقابلة للتحقق. ومع ذلك، تواجه شبكات DLGNs الحالية قيدين حرجين:

1. التقييد الثنائي: تقتصر شبكات DLGNs الحالية على 16 بوابة بولينية ثنائية المدخلات. وهي لا تستطيع تمثيل عدم اليقين أو الحالات غير المحددة بشكل أصيل، مما يجبر الشبكات على الالتزام بقرار ثنائي حتى عندما تكون المدخلات غامضة.
2. قابلية التوسع في التوسيع الثلاثي: يعد توسيع شبكات DLGNs إلى منطق كلي (Kleene $K_3$) الثلاثي (القيم: $\{-1, 0, +1\}$ والتي تمثل: خطأ، غير معروف، صواب) أمراً مرغوباً من أجل الامتناع المنهجي عن الإجابة تحت ظروف عدم اليقين. ومع ذلك، فإن فضاء البوابات الثلاثية الممكنة لمدخلين ينفجر ليصل إلى $3^{3^2} = 19,683$ احتمالاً. وتصبح طريقة التدريب المتبعة لـ DLGNs — وهي تعلم توزيع softmax عبر جميع البوابات الممكنة — غير قابلة للتنفيذ حسابياً بسبب هذا الحجم الهائل للمفردات. علاوة على ذلك، يخلق هذا النهج "فجوة تدريب-اختبار" حيث يختلف مخرج التدريب الناعم (المتوسط الموزون للبوابات) بشكل كبير عن مخرج الاستدلال الصلب (بوابة واحدة مختارة).

2. المنهجية: تدريب البديل متعدد الحدود (PST)

يقترح المؤلفون تدريب البديل متعدد الحدود (PST)، وهو إطار عمل مبتكر يتجاوز التوصيف الفئوي للبوابات تماماً.

• التوصيف المباشر بمتعدد الحدود: بدلاً من تعلم توزيع احتمالي على 19,683 بوابة، يتعلم كل عصبون ثلاثي متعدد حدود متعدد المتغيرات من الدرجة (2, 2) يحتوي بالضبط على 9 معاملات قابلة للتعلم.

  • يقوم متعدد الحدود $p_w(a, b)$ برسم خريطة للمدخلات من المجال الثلاثي $\{-1, 0, +1\}^2$ إلى مجال المخرجات.
  • يقلل هذا من عدد المعاملات لكل عصبون بمقدار عامل 2,187 ($19,683 / 9$) مقارنة بنهج softmax.
  • يتميز متعدد الحدود بأنه ناعم من الدرجة $C^\infty$ وخطّي في معاملاته، مما يسمح باستخدام التدرج القياسي دون الحاجة إلى حيل Gumbel-Softmax أو مقدرات المرور المباشر (Straight-Through Estimators).

• تنظيم الالتزام (Commitment Regularization): لضمان أن متعدد الحدود المستمر يقرب بوابة منطقية صالحة أثناء التدريب، قدم المؤلفون خسارة التزام مستقلة عن البيانات.

  • تعمل هذه الخسارة على معاقبة المسافة بين مخرج متعدد الحدود على شبكة القيم الثلاثية وأقرب قيمة ثلاثية صالحة ($\{-1, 0, 1\}$).
  • يثبت النظرية 1 أن خطأ التجزئة لكل عصبون (فجوة التصلب) محكوم بخسارة الالتزام هذه، مما يوفر ضماناً نظرياً بأن الشبكة تتقارب نحو دائرة منطقية صالحة.

• إطار تحليل فوريه: طور المؤلفون إطار تحليل فوريه على المجال الثلاثي $\{-1, 0, 1\}^n$.

  • قاموا بتعريف أساس متعامد يتضمن حداً تربيعياً فريداً $\phi_2(x) = x^2 - 2/3$.
  • يلتقط هذا الحد الحساسية تجاه حالة "غير معروف" (التمييز بين الصفر المحايد والقيم القصوى $\pm 1$)، وهي ميزة غائبة في المنطق البوليني.
  • تعمل معاملات فوريه كمقاييس للتعقيد الطيفي، مما يسمح بالتنظيم نحو بوابات أبسط وأكثر قابلية للتفسير.

• عملية التصلب (Hardening Process): عند الاستدلال، يتم تقييم متعدد الحدود المستمر على شبكة المدخلات $3 \times 3$. يتم بعد ذلك تقريب القيم الناتجة إلى أقرب جدول حقيقة ثلاثي صالح، ويتم اختيار البوابة المقابلة. هذه العملية حتمية ولا تتطلب أي مفردات معدة مسبقاً.

3. المساهمات الرئيسية

1. إطار عمل PST: أول نظام تدريب لشبكات البوابات المنطقية التي تصف فضاء الدوال مباشرة عبر كثيرات الحدود بدلاً من توزيعات البوابات. وهو يتيح التدريب على مفردات مكونة من 19,683 بوابة باستخدام 9 معاملات فقط لكل عصبون.
2. الضمانات النظرية: أثبتوا أن الفجوة بين الشبكة المستمرة المدربة والدائرة المنطقية المجزأة محكومة بخسارة الالتزام، والتي تتلاشى عند التقارب.
3. التحليل الطيفي: قدموا إطار تحليل فوريه لمنطق كلي $K_3$، وحددوا دالة أساسية تلتقط حالة "غير معروف" الفريدة، مما يسمح بالتنظيم المنهجي والتحليل البعدي.
4. القابلية للتوسع والكفاءة: أثبتوا أن PST يدرب الشبكات الثلاثية أسرع بمقدار 2 إلى 3 مرات من شبكات DLGN الثنائية، ويتوسع بفعالية لتصل إلى 512 ألف عصبون.

4. النتائج التجريبية

قيم المؤلفون PST على مجموعة بيانات CIFAR-10 (تجارب التوسع) ومجموعات بيانات ثنائية الأبعاد اصطناعية (تحليل عدم اليقين).

• توسع CIFAR-10:

  • الأداء: حققت الشبكات الثلاثية (TLGN) تكافؤاً في الدقة الناعمة مع شبكات DLGN الثنائية (حوالي 52%) عند المقاييس الكبيرة.
  • فجوة التصلب: انخفضت الدقة من التدريب الناعم إلى الاستدلال الصلب (الفجوة) بشكل ملحوظ مع زيادة حجم الشبكة. فقد انخفضت من 14.1 نقطة مئوية (عند 96 ألف عصبون) إلى 3.7 نقطة مئوية (عند 512 ألف عصبون)، مما يشير إلى أن الإفراط في المعلمات يساعد الشبكة على "التقليم الذاتي" للعصبونات التي لا تستطيع الالتزام ببوابة صالحة، عبر رسمها على الحالة المحايدة '0'.
  • السرعة: كان PST أسرع بمقدار 1.5 إلى 3.1 مرة من شبكات DLGN الثنائية بسبب إلغاء حسابات softmax المكونة من 16 اتجاهاً لكل عصبون.

• المهام الاصطناعية وعدم اليقين:

  • الامتناع المنهجي: على عكس الشبكات الثنائية التي يجب أن تتنبأ دائماً، استخدمت الشبكات الثلاثية مخرج "غير معروف" (0) للامتناع عن الإجابة على المدخلات الغامضة.
  • التنبؤ الانتقائي: عند تصفية التنبؤات ذات الثقة المنخفضة (تلك التي تنتج مخرجات "غير معروف")، تفوقت الدوائر الثلاثية على الدقة الثنائية. على سبيل المثال، في مجموعة بيانات "Moons"، حققت الدوائر الثلاثية دقة 98.1% على العينات المتبقية (50%)، مقارنة بدقة التغطية الكاملة للشبكة الثنائية البالغة 91.8%.
  • وكيل بايز الأمثل: ارتبطت كثافة مخرجات "غير معروف" بقوة مع عدم اليقين الأمثل لبايز (الاعتلاج/Entropy)، مما أكد أن الشبكة تتعلم الامتناع تماماً حيث تكون البيانات غامضة إحصائياً.

• تنوع البوابات: اكتشف PST تنوعاً هائلاً في البوابات (آلاف جداول الحقيقة الفريدة)، وهو ما يتجاوز بكثير الـ 16 بوابة المتاحة في DLGN الثنائية. ورغم هذه الحرية، تقاربت الشبكة طبيعياً نحو العمليات المنطقية الكلاسيكية (AND, OR, XOR) في المناطق عالية الكثافة من مشهد البوابات.

5. الأهمية

يدفع هذا العمل الذكاء الاصطناًي العصبي-الرمزي (Neuro-Symbolic AI) إلى الأمام بشكل جوههري من خلال:

1. تمكين المنطق متعدد القيم: لقد حل مشكلة قابلية التوسع التي منعت سابقاً استخدام المنطق ثلاثي القيم أو القيم الأعلى في الشبكات القابلة للتفاضل، مما يفتح الباب أمام أنظمة منطقية ذات قيم مدخلات $q$ حيث $q > 2$.
2. الاستدلال الواعي بعدم اليقين: يوفر آلية للشبكات العصبية لإخراج عبارة "أنا لا أعرف" بطريقة منهجية رياضياً، وهو أمر بالغ الأهمية للتطبيقات الحساسة للسلامة (مثل التشخيص الطبي، والقيادة الذاتية) حيث يمكن أن تكون القرارات الثنائية القسرية خطيرة.
3. الكفاءة: من خلال تقليل تكلفة التوصيف من أسية ($q^{q^2}$) إلى تربيعية ($q^2$) بالنسبة لقيمة المنطق، يجعل PST تدريب الدوائر المنطقية المعقدة والقابلة للتفسير أمراً ممكناً على الأجهزة القياسية.
4. إمكانات الأجهزة: الشبكات الناتجة هي دوائر منطقية بحتة يمكن تخليقها في دوائر متكاملة (ASICs) فائقة الكفاءة، مما يوفر مكاسب كبيرة في كفاءة الطاقة والأمن السيبراني مقارنة بالشبكات العصبية التقليدية التي تعتمد على الأرقام العائمة.