A Compositional Theory of Curvature in Probabilistic Circuits

شكل التعلم: لماذا لا يكون "التسطيح" دائماً هو الأفضل

تخيل أنك تحاول تعليم كمبيوتر فهم العالم، مثل التعرف على قطة في صورة أو التنبؤ بالطقس. في عالم الذكاء الاصطناعي، هناك عائلة خاصة من النماذج تسمى الدوائر الاحتمالية (Probabilistic Circuits). لا تفكر في هذه الدوائر كشبكات عصبية ضخمة وفوضوية مثل تلك التي تشغل روبوتات الدردشة اليوم، بل فكر فيها كمخططات انسيابية منطقية ومنظمة للغاية. لقد بُنيت بقواعد صارمة تسمح لها بالقيام بشيء سحري: يمكنها حساب الاحتمالية الدقيقة لوقوع حدث ما دون الحاجة إلى التخمين أو التقريب. وهذا يجعلها موثوقة للغاية في المهام التي لا يكون فيها الخطأ خياراً مقبولاً، مثل التشخيص الطبي أو القيادة الذاتية.

ومع ذلك، تماماً مثل طالب يستعد للامتحان في اللحظات الأخيرة، يمكن لهذه الدوائر أحياناً أن تعاني من "الفرط في التخصيص" (Overfitting). يحدث هذا عندما يحفظ النموذج بيانات التدريب بدقة شديدة، بما في ذلك كل الضجيج العشوائي والسمات الغريبة، ويفشل في فهم القواعد العامة. ولإصلاح ذلك، يبحث العلماء غالباً في "شكل" عملية التعلم؛ فهم يريدون للنموذج أن يستقر في "وادي مسطح" في مشهد الاحتمالات، لأن المناطق المسطحة عادة ما تكون أكثر استقراراً وتعمماً بشكل أفضل على البيانات الجديدة. الأداة القياسية لهذا هي فحص "الحدة العالمية" (Global Sharpness)، والذي يقيس مدى وعورة المشهد بأكمله ويحاول تنعيمه بالتساوي. ولكن ماذا لو كان تنعيم كل شيء يجعل النموذج أسوأ؟ ماذا لو لم تكن المشكلة في المشهد بأكمله، بل في بعض الصخور الوعرة المحددة المختبئة داخله؟ هذا هو اللغز الذي سعى فريق من الباحثين لحله.

لغز الخطأ "المسطح"

اكتشف الباحثون، بقيادة هريثيك سوريث وساهيل سيديك، أن الطريقة القياسية لتنعيم الدوائر الاحتمالية كانت في الواقع تخطئ الهدف. وجدوا أن معاملة النموذج بأكمله كجسم واحد كبير ومتجانس يجب تسطيحه كان خطأً. في الواقع، عندما حاولوا تسطيح الشيء بأكمله، بدأت النماذج غالباً في "نقص التخصيص" (Underfitting)، مما يعني أنها أصبحت بسيطة للغاية وتوقفت عن تعلم البيانات بشكل صحيح، رغم أنها كانت تقنياً في منطقة أكثر تسطحاً.

لفهم السبب، نظر الفريق داخل الدائرة ووجد أن "الحدة" (أو الوعورة) في النموذج ليست شيئاً واحداً عالمياً؛ بل هي تركيبية (Compositional)، مما يعني أنها مبنية من مكونين مختلفين تماماً ممزوجين معاً. لقد أثبتوا رياضياً أن مساهمة أي جزء من الدائرة في الوعورة الإجمالية هي حاصل ضرب عاملين:

1. الاستخدام السياقي (Contextual Usage): مقدار حركة المرور التي تتدفق عبر ذلك الجزء من الدائرة. تخيل تقاطع طرق سريع مزدحم؛ حتى لو كان الطريق نفسه ناعماً، إذا كانت ملايين السيارات تمر عبره كل ثانية، فإنه يشعر وكأنه جزء رئيسي من نظام حركة المرور.
2. الانحناء المحلي (Local Curvature): مدى وعورة ذلك الطريق المحدد بحد ذاته، بغض النظر عن حركة المرور.

أظهر المؤلفون أن الطريقة "العالمية" القياسية كانت تشبه مخطط مدينة يرى ازدحاماً مرورياً فيقرر رصف المدينة بأكملها لجعلها أكثر سلاسة. لكن في الواقع، كان الازدحام ناتجاً عن بعض الشوارع الجانبية المليئة بالحفر التي تصادف وقوعها على الطريق الرئيسي. ومن خلال محاولة تنعيم المدينة بأكملها، أفسد المخطط الطرق الرئيسية الجيدة والناعمة، مما جعل النظام بأكمله أقل كفاءة.

حل "حارس البوابة"

تجادل الورقة البحثية بأن الطريقة العالمية تفشل لأنها تخلط بين "الازدحام" و"الوعورة". فقد يساهم جزء من الدائرة كثيراً في إجمالي الحدة لمجرد أنه يُستخدم باستمرار (حركة مرور عالية)، وليس لأنه وعر بالفعل. وعلى العكس من ذلك، قد يكون جزء من الدائرة وعراً للغاية (حفرة عميقة) ولكنه يقع في شارع جانبي هادئ بدون حركة مرور، لذا تتجاهله الطريقة العالمية.

ولإصلاح ذلك، اقترح الباحثون طريقة جديدة وأكثر ذكاءً لتنعيم النموذج. فبدلاً من تطبيق عقوبة "تسطيح" موحدة على كل جزء من الدائرة، قدموا منظماً تكيفياً (Adaptive Regularizer). فكر في هذا كحارس بوابة ذكي. قبل أن يحاول النموذج تنعيم جزء معين من الدائرة، يتحقق الحارس: "هل هذا الجزء وعر في حد ذاته؟"

• إذا كان الجزء وعراً جوهرياً (انحناء محلي عالٍ)، يفتح الحارس الطريق على مصراعيه ويطبق عقوبة تنعيم قوية.
• أما إذا كان الجزء مزدحماً فحسب ولكنه ناعم بالفعل، فإن الحارس يتركه وشأنه، محافظاً على قدرته على تعلم الأنماط المعقدة.

يسمح هذا النهج للنموذج بالاحتفاظ بـ "عضلاته" (قدرته على ملاءمة البيانات) مع تليين المواضع المحددة التي تسبب المشاكل فقط.

ما وجدوه

اختبر الفريق هذه الفكرة على 20 مجموعة بيانات مختلفة، تراوحت من البيانات الثنائية البسيطة إلى سيناريوهات معقدة من الواقع مثل حوادث المرور أو الملفات الصوتية. وكانت نتائجهم واضحة:

• الطريقة العالمية تفشل: عندما استخدموا طريقة التنعيم الموحدة القديمة، أصبحت النماذج غالباً أسوأ. لقد أصبحت أكثر تسطحاً، نعم، ولكنها أصبحت أيضاً أقل دقة، وفشلت في التقاط تفاصيل البيانات. في كثير من الحثالات، انتهى الأمر بالنماذج إلى "نقص التخصيص"، أي أنها أصبحت بسيطة جداً لدرجة تمنعها من تعلم التفاصيل.
• الطريقة التكيفية تفوز: عندما استخدموا نهج "حارس البوابة" الجديد، حافظت النماذج على دقتها. لقد تمكنوا من تقليل الحدة الخطيرة دون التضحية بالقدرة على ملاءمة البيانات. وفي الواقع، في عدة مجموعات بيانات، كان النهج الجديد يتفوق في الأداء على كل من النموذج غير المنظم والطريقة العالمية القديمة.

قام الباحثون أيضاً بتصور البيانات لإظهار سبب فشل الطريقة القديمة بالضبط. وجدوا أن نسبة ضئيلة من عقد الدائرة (أقل من 10%) كانت مسؤولة عن معظم إشارة "الحدة العالمية". ومع ذلك، عندما حاولوا إصلاح تلك المساهمات العليا فقط، ساءت حالة النموذج أكثر. أثبت هذا أن العقد "الأكثر ازدحاماً" لم تكن بالضرورة هي العقد "الأكثر وعورة". لقد تم اختطاف الإشارة العالمية بواسطة تدفق حركة المرور، وليس بواسطة الهندسة الفعلية للنتوءات.

الخلاصة

لا تقدم هذه الورقة مجرد خدعة جديدة؛ بل تقدم طريقة جديدة للتفكير في كيفية تعلم هذه النماذج. إنها توضح أنه في الدوائر الاحتمالية، لا يمكنك معاملة النظام بأكمله ككتلة واحدة. يجب أن تفهم أن "الحدة" التي تراها من الخارج هي مزيج من مدى استخدام جزء ما ومدى وعورته الفعلية. ومن خلال فصل هذين العاملين، نجح المؤلفون في إنشاء طريقة تعرف بالضبط أين تضغط وأين تترك النموذج يتنفس.

يشير العمل إلى أن مستقبل جعل هذه النماذج قوية لا يتعلق بجعل كل شيء مسطحاً، بل بالدقة في تحديد مكان وجود النتوءات. إنه انتقال من نهج "مقاس واحد يناسب الجميع" إلى إصلاح جراحي مخصص. وبينما تركز الورقة على هذه الدوائر المحددة، فإن فكرة أن "الازدحام" لا يعني دائماً "العطل" قد تكون درساً قيماً لفهم أنظمة التعلم المعقدة الأخرى أيضاً. ويختتم المؤلفون بأن هذا التفكيك يفتح الباب لطرق أكثر ذكاءً لتصميم هذه الأنظمة الذكية وضغطها وحمايتها، مما يضمن بقاءها حادة وموثوقة في آن واحد.