Going deep, reaching further: What can Boltzmann machines efficiently represent?

في المشهد الشاسع للذكاء الاصطناعي الحديث، ظل لغز مستمر يحير الباحثين لعقود من الزمن: لماذا تتفوق الشبكات العصبية العميقة، بطبقات معالجتها المتعددة، باستمرار على نظيراتها الضحلة؟ وبينما أكدت النظريات الرياضية منذ زمن طويل أن أبسط الشبكات يمكنها نظرياً محاكاة أي نمط، إلا أن هذه البراهين غالباً ما تتجاهل التكلفة العملية للقيام بذلك. فهي تشير إلى أن شبكة ضحلة يمكنها حل مشكلة معقدة، ولكن فقط إذا سُمح لها بأن تنمو إلى حجم هائل مستحيل، يتطلب عدداً من المعلمات (parameters) يفوق عدد الذرات في الكون. هذه الفجوة بين الإمكانية النظرية والكفاءة العملية هي السؤال المركزي الذي يدفع تحقيقاً جديداً في الحدود الأساسية لتعلم الآلة. لقد سعى الباحثون وراء هذا العمل لفهم ما يجعل النموذج فعالاً حقاً، متجاوزين فكرة أن جميع النماذج العالمية متساوية في القدرات. وقد ركزوا على ميزتين بنيويتين محددتين: عمق الشبكة، والذي يشير إلى عدد الطبقات المتتالية التي تمر من خلالها البيانات، ورتبة التفاعل، والتي تصف عدد المتغيرات التي يمكن لوحدة معالجة واحدة اعتبارها في آن واحد.

تكشف الدراسة، التي أجراها فيزيائيون من جامعة إنشبلوك وزملاء لهم في برشلونة، أن ليس كل نماذج تعلم الآلة متساوية في القدرة، حتى لو تشاركت في نفس الإمكانات النظرية. فقد أثبت الفريق أن النماذج ذات العمق الأكبر تمتلك ميزة متميزة في قدرتها على تمثيل الدوال المعقدة بكفاءة، بشرط أن تظل الافتراضات القياسية في التعقيد الحسابي قائمة. وقد قدموا مفهوماً أسموه "الوصول الفعال" (efficient reach)، والذي يقيس عدد المشكلات المختلفة التي يمكن للنموذج حلها دون الحاجة إلى انفجار في عدد إعداداته الداخلية. وتظهر نتائجهم أن النماذج العميقة، مثل آلات بولتزمان العميقة (Deep Boltzmann Machines)، يمكنها تمثيل مجموعة واسعة من الأنماط المعقدة بكفاءة، وهي أنماط لا تستطيع النماذج الضحلة محاكاتها بكفاءة، ما لم ينهار التسلسل الهرمي متعدد الحدود (polynomial hierarchy) — وهو سيناريو يعتبر غير مرجح على نطاق واسع في علوم الحاسوب. وفي المقابل، تقتصر النماذج الضحلة، مثل آلات بولتزمان المقيدة (Restricted Boltzmann Machines) واسعة الاستخدام، على مجموعة أصغر بكثير من المشكلات القابلة للحل بكفاءة تحت هذه الافتراضات نفسها. وقد أوضح الباحثون أن هذا القصور ليس مجرد إزعاج طفيف بل هو حاجز أساسي؛ فالنماذج الضحلة عاجزة رياضياً عن محاكة أنواع معينة من المهام الحسابية الصعبة التي تتعامل معها النماذج العميقة بكفاءة، ما لم يثبت خطأ الافتراضات الأساسية المتعلقة بصعوبة هذه المشكلات.

وللوصول إلى هذه الاستنتاجات، عامل المؤلفون نماذج تعلم الآلة كأنظمة من الجسيمات المتفاعلة، وهو إطار مستعار من الفيزياء. فقد حللوا كيفية ترميز هذه الأنظمة للمعلومات في حالات طاقتها الدنيا. ومن خلال تطبيق براهين رياضية صارمة متجذرة في نظرية التعقيد الحسابي، أظهروا أن القدرة على تمثيل دالة بكفاءة ترتبط مباشرة ببنية النموذج. وتحديداً، وجدوا أن النماذج العميقة يمكنها تركيب عمليات بسيطة لتكوين عمليات معقدة بطريقة لا تستطيع النماذج الضحلة القيام بها. فالنموذج العميق يمكنه بناء تمثيل معقد طبقة تلو الأخرى، مع إعادة استخدام النتائج السابقة لبناء شيء جديد. أما النموذج الضحل، الذي يفتقر إلى هذه الطبقات الوسيطة، فيجب عليه محاولة وصف التعقيد بأكره في خطوة واحدة، مما يجبره على استخدام عدد أسي من الموارد. وقد أثبت الفريق أن هذا الاختلاف يخلق تسلسلاً هرمياً صارماً: فكلما زادت رتبة التفاعل في نموذج ضحل — أي أنه ينظر في المزيد من المتغيرات في وقت واحد — فإنه يكتسب بعض القوة، لكنه لا يلحق أبداً بكفاءة النموذج العميق.

كما استكشف الباحثون حدود ما يمكن للنماذج الضحلة تحقيقه. واكتشفوا أنه حتى لو سمحت لنموذج ضحل بالنظر في التفاعلات بين ثلاثة متغيرات أو أكثر في المرة الواحدة، فإنه سيظل قاصراً عن قدرات النموذج العميق. وهذا يخلق سلماً لانهائياً من الكفاءة للنماذج الضحلة، حيث تسمح كل خطوة للأعلى في رتبة التفاعل للنموذج بحل مشكلات أكثر تعقيداً بقليل، لكن قمة هذا السلم تظل أدنى تماماً من وصول النماذج العميقة. وقد تم اختبار هذا التسلسل الهرمي مقابل دوال رياضية محددة وصعبة للغاية، مثل حساب الضرب الداخلي لمجموعتين من البيانات بمقياس اثنين (modulo two). وأظهرت الدراسة أنه بينما يمكن لنموذج عميق محاكاة هذه الدالة بكفاءة، فإن نموذجاً ضحلاً لا يمكنه ذلك، ما لم يثبت خطأ الافتراضات الأساسية لعلوم الحاسوب فيما يتعلق بصعوبة بعض المشكلات.

ولضمان صمود هذه النتائج النظرية في الممارسة العملية، أجرى الفريق تجارب عددية لتدريب نماذج ضحلة وعميقة على بيانات مستمدة من هذه الدوال الصعبة. ووجدوا أنه بالنسبة لأحجام أنظمة محددة، فإن النماذج الأكثر عمقاً، وتحديداً تلك التي تحتوي على تفاعلات ثلاثية الأجسام، تعلمت الأنماط الكامنة بشكل أسرع وأكثر دقة من نظيراتها الضحلة، حتى عندما مُنح كلاهما نفس القدر من البيانات والميزانية الحسابية. ومع ذلك، أشار الباحثون صراحة إلى أن هذه الميزة في التعلم لم تُثبت بالنسبة للنمو التقاربي (asymptotic growth)؛ ففي التجارب الأكبر (عند n=16)، فشلت عملية التعلم في استعادة البنية المستهدفة لكلا النموذجين. وهذا يشير إلى أنه بينما ليست المزايا النظرية للعمق ورتب التفاعل الأعلى مجرد فضول رياضي مجرد، فإن ترجمة هذه المزايا إلى فوائد تعلم ملموسة تعتمد على ظروف محددة ولا تضمن النجاح مع نمو أحجام المشكلات بلا حدود. يوفر هذا العمل أساساً نظرياً صلباً للملاحظة التجريبية التي تقول إن الشبكات الأعمق تؤدي بشكل عام بشكل أفضل، موضحاً أن هذا ليس مجرد مسألة امتلاك المزيد من البيانات أو خوارزميات تدريب أفضل، بل هو خاصية أساسية لكيفية هيكلة المعلومات ومعالجتها داخل النموذج.

إن تداعيات هذا البحث تمتد إلى ما هو أبعد من مجرد فهم سبب عمل التعلم العميق. فهي تقدم عدسة جديدة يمكن من خلالها رؤية تصميم أنظمة الذكاء الاصطناعي. ومن خلال توصيف "الوصول الفعال" للهياكل المختلفة، تشير الدراسة إلى أن هناك أنواعاً محددة من المشكلات التي لا تناسبها النماذج الضحلة جوهرياً، بغض النظر عن مدى ضبطها، بافتراض صحة فرضيات التعقيد القياسية. وهذا يساعد الباحثين على تجنب إهدار الموارد في محاولة إجبار بنية ضحلة على حل مشكلة تتطلب العمق. علاوة على ذلك، توضح الدراسة دور رتبة التفاعل، مبينة أن زيادة عدد المتغيرات التي تنظر فيها الوحدة يمكن أن تساعد، لكنها ليست بديلاً للقوة التركيبية التي يوفرها العمق. وتؤكد النتائج أن نجاح التعلم العميق متجذر في ميزة بنيوية تسمح لهذه النماذج بالتنقل في فضاء الحلول الممكنة بكفاءة أكبر بكثير من أقربائها الأكثر ضحالة.

وفي النهاية، تحل الورقة سؤالاً طال أمده حول طبيعة كفاءة تعلم الآلة. فهي تثبت أن تفوق النماذج العميقة ليس وليد الصدفة في التكنولوجيا الحالية، بل هو نتيجة لقدرتها على تركيب التمثيلات بطريقة لا تستطيع النماذج الضحلة القيام بها، شريطة توافق ذلك مع افتراضات التعقيد المقبولة على نطاق واسع. لقد رسم الباحثون معالم المشهد لما يمكن لهذه النماذج فعله وما لا يمكنها فعله بكفاءة، كاشفين عن انقسام واضح بين قدرات البنيات العميقة والضحلة. هذا العمل لا يشرح فقط سبب عمل التعلم العميق، بل يحدد بدقة حدود قوته، ويقدم دليلاً للتطورات المستقبلية في هذا المجال. ومن خلال إثبات أن بعض المهام بعيدة بطبيعتها عن الوصول الفعال للنماذج الضحلة تحت الافتراضات القياسية، يضع هذا البحث معياراً جديداً لفهم حدود وإمكانات الذكاء الاصطناعي.