تخيل أنك تحاول تخمين الكلمة التالية في قصة، أو النوتة الموسيقية التالية في أغنية. في عالم علوم الحاسوب، يسمى هذا "التنبؤ بالتسلسل" (sequence prediction). لعقود من الزمن، كان المعيار الذهبي للقيام بذلك بشكل مثالي هو فكرة نظرية تسمى استقراء سولومونوف (Solomonoff Induction). فكر في الأمر كأنه محقق فائق الذكاء يبحث في كل طريقة ممكنة يمكن بها لكتابة قصة بواسطة برنامج حاسوبي. إنه يزن كل برنامج، مع إعطاء ميزة ضخمة للبرامج القصيرة والبسيطة، ووزن ضئيل جداً للبرامج الطويلة والمعقدة. إذا استطاع المحقق فحص كل برنامج في الكون في وقت واحد، فإنه سيقدم تنبؤات بخطأ محكوم بدقة بمدى تعقيد البرنامج الذي يولد القصة.

ومع ذلك، هناك عقبة. هذا المحقق المثالي بارع في تخمين الخطوة التالية في قصة واحدة، لكنه لا يعرف كيف "يتعلم" من مكتبة كاملة من القصص المختلفة. إذا أظهرت له مجموعة بيانات تضم ألف كتاب مختلف، فلا يمكنه حقاً أن يقول: "آه، لقد رأيت النمط هنا؛ الكتاب التالي سيكون على الأرجح مثل هذه الكتب". إنه يعامل كل قصة جديدة كأنها لغز جديد، غير قادر على تحديث فهمه بناءً على بيانات التدريب. هذه مشكلة لأن الذكاء الاصطناعي الحديث، مثل روبوتات الدردشة التي نستخدمها اليوم، يعمل من خلال التدريب على مجموعات بيانات ضخمة لتعلم قواعد عامة. نحن بحاجة إلى طريقة تحتفظ بمنطق المحقق المثالي ولكن تمنحه القدرة على التعلم من مكتبة كاملة من الأمثلة، وليس مجرد قصة واحدة.

هنا يأتي دور ورقة بحثية بعنوان "الاستقراء السولومونوفي الهرمي: نموذج تعلم آلي غير محدود" (Hierarchical Solomonoff Induction: An Unbounded Machine Learning Model) للكاتب ناثان يونج. يقترح المؤلف محققًا مطورًا يسمى الاستقراء السولومونوفي الهرمي (HSI). بدلاً من مجرد النظر في البرامج، ينظر HSI إلى القواعد التي تولد تلك البرامج. تخيل "محققًا فوقيًّا" (meta-detective) لا يتوقع فقط الكلمة التالية، بل يتوقع نوع مولد القصص المستخدم. إنه يحتفظ بـ "توزيع قبلي فائق" (hyperprior) — وهو قائمة ضخمة وموزونة لكل الطرق الممكنة لكتابة القصص. عندما يرى HSI مجموعة بيانات من أمثلة التدريب، فإنه يحدث هذه القائمة، مما يزيد من وزن المولدات التي تتوافق مع البيانات ويقلل من وزن تلك التي لا تتوافق معها.

تثبت الورقة أمرين رئيسيين. أولاً، توضح أن HSI الجديد متطابق رياضياً مع المحقق المثالي الأصلي (استقراء سولومونوف) عند النظر في تسلسل واحد، مما يعني أنه يحتفظ بكل قدرات التنبؤ المحكومة للأصل. ثانيًا، والأهم من ذلك، تثبت أن HSI يمكنه التعلم من مجموعة بيانات تماماً كما يفعل نموذج التعلم الآلي. توضح الورقة أنه كلما زدت من تغذية HSI بمزيد من البيانات، فإن متوسط الخطأ الزائد لديه يتقلص ويتقارب في النهاية إلى الصفر، مما يسمح له بالتنبؤ بالنمط الأساسي للبيانات بشكل مثالي. يجادل المؤلف بأن HSI هو النسخة "المثالية" من التعلم الآلي: نموذج نظري يوضح لنا بالضبط مدى جودة الأداء الذي يمكن أن يحققه نظام ما إذا كان يمتلك قدرة حوسبية غير محدودة ويمكنه التعلم من أي مجموعة بيانات دون فقدان قدرته على تقديم تنبؤات مثالية.

القوة الخارقة الجديدة للمحقق

لفهم سبب أهمية هذا الأمر، دعونا ننظر إلى كيفية عمل المحقق الأصلي، استقراء سولومونوف (SolInd). تخيل أن لديك صندوقًا سحريًا يمكنه تشغيل أي برنامج حاسوبي. تريد تخمين الحرف التالي في سلسلة نصية. يقول SolInd: "دعونا نجرب كل برنامج ممكن يمكن أن يكون قد كتب النص الذي رأيناه حتى الآن". إنه يعطي درجة لكل برنامج بناءً على طوله: البرنامج القصير والبسيط يحصل على درجة عالية، بينما البرنامج الطويل والمعقد يحصل على درجة منخفضة جدًا. ثم يجمع كل هذه الدرجات لتخمين الحرف التالي. هذا أمر عبقري لأنه يضمن أنه إذا تم إنشاء النص بواسطة أي برنامج حاسوبي، فإن SolInd سيكتشفه في النهاية، مع خطأ محكوم بتعقيد ذلك البرنامج.

ولكن هنا يكمن العيب: SolInd هو نوع من "اللاعب ذو الحركة الواحدة". فهو مصمم للتنبؤ بالخطوة التالية في تسلسل واحد. إذا أعطيته مجموعة بيانات تضم 100 قصة مختلفة لـ "التدريب" عليها، فإنه لا يعرف ماذا يفعل. يمكنك محاولة دمج الـ 100 قصة في سلسلة واحدة ضخمة وتغذيتها لـ SolInd، لكن ذلك يشبه محاولة تعلم الفرنسية والإسبانية والماندارين من خلال قراءة كتاب حيث تم لصق هذه اللغات معًا بشكل عشوائي. سيصاب المحقق بالارتباك بسبب "الغراء" وترتيب القصص، وقد يخترع قواعد معقدة لمجرد تفسير الترتيب، بدلاً من تعلم اللغات الفعلية. لا يمكنه "التدريب" بالطريقة التي يفعلها الذكاء الاصطناعي الحديث؛ يمكنه فقط "الاختبار" على تسلسل واحد في كل مرة.

يقدم بحث ناثان يونج الاستقراء السولومونوفي الهرمي (HSI) لإصلاح ذلك. فكر في HSI كمحقق لديه مدير. المدير (الـ hyperprior) لا ينظر فقط إلى البرامج؛ بل ينظر المدير إلى التوزيعات — وهي القواعد التي تقرر أي البرامج سيتم كتابتها.

تخيل مكتبة حيث يُكتب كل كتاب بواسطة مؤلف مختلف.

• SolInd هو قارئ ينظر إلى كتاب واحد، يحاول تخمين الجملة التالية، ثم يغلق الكتاب. عندما يصل كتاب جديد، يبدأ من الصفر، ناسياً كل شيء عن الكتاب السابق.
• HSI هو قارئ لديه قائمة بجميع المؤلفين الممكنين. عندما يقرأ بضع صفحات من كتاب جديد، فإنه يتحقق من قائمته. "أوه، هذا الأسلوب يشبه كثيراً المؤلف (أ)"، يفكر. "سأعطي المؤلف (أ) فرصة أكبر ليكون هو الكاتب". مع قراءته لمزيد من الكتب، يصبح أفضل في رصد أي مؤلف يكتب أي كتاب. هم لا يتوقعون فقط الكلمة التالية؛ بل يتوقعون أسلوب الكاتب بناءً على المجموعة الكاملة من الكتب التي رأوها.

السحر الرياضي

تقوم الورقة بعمل ذكي للغاية بالرياضيات لتثبت أن HSI ليس مجرد فكرة براقة، بل هو ترقية دقيقة. يستخدم المؤلف مفهومًا من الإحصاء يسمى مبرهنة دي فنيتي (De Finetti's Theorem). بتبسيط شديد، تقول هذه المبرهنة أنه إذا كان لديك مجموعة من الأشياء التي تبدو وكأنها تتبع نمطًا ما (مثل مجموعة أوراق لعب حيث لا يهم الترتيب)، فلا بد من وجود قاعدة خفية (متغير كامن) هي التي تولدها.

تطبق الورقة هذا على البرامج الحاسوبية. وتجادل بأنه إذا كان لدينا مجموعة بيانات من التسلسلات، فهناك "مولد حقيقي" (برنامج أو قاعدة معينة) هو الذي أنشأها. يعامل HSI هذا المولد كمتغير خفي. فهو يحتفظ بتوزيع احتمالي على جميع المولدات الممكنة. عندما يرى HSI مجموعة بيانات، فإنه يحدث اعتقاده بشأن أي مولد هو المولد الحقيقي.

تثبت الورقة نتيجة مذهلة: HSI متطابق رياضياً مع SolInd. وهذا يعني أنه إذا أخذت HSI وسألته عن التنبؤ بتسلسل واحد، فإنه سيؤدي تماماً كما يفعل المحقق المثالي الأصلي، بخطأ محكوم بتعقيد المولد. ولكن HSI لديه قوة خارقة إضافية: يمكنه أيضًا جعل "مديره" (الـ hyperprior) مشروطاً بمجموعة بيانات كاملة.

توضح الورقة أن الخطأ الذي يرتكبه HSI عند التنبؤ بمجموعة بيانات محكوم بـ "تعقيد" المولد الحقيقي في الـ hyperprior. وباللغة البسيطة: إذا كانت القاعدة التي أنشأت بياناتك بسيطة، فسوف يتعلمها HSI بسرعة ولن يرتكب سوى القليل من الأخطاء. إذا كانت القاعدة معقدة، فسيستغرق الأمر وقتاً أطول، لكن الورقة تثبت أنه مع زيادة حجم مجموعة البيانات، فإن متوسط الخطأ الزائد لـ HSI سينخفض إلى الصفر. إنه يتقارب نحو التنبؤ المثالي في النهاية.

ماذا يعني هذا بالنسبة للذكاء الاصطناعي؟

تشير الورقة إلى أن HSI هو "النموذج غير المحدود المثالي" للتعلم الآلي. نماذج الذكاء الاصطناعي الحالية، مثل النماذج اللغوية الكبيرة (LLMs)، تحاول في الأساس القيام بما يفعله HSI، ولكن بقدرة حوسبية محدودة وببنيات محددة (مثل الشبكات العصبية).

يشير المؤلف إلى أن النماذج اللغوية الكبيرة غالباً ما تُقارن بـ SolInd، لكن هذه المقارنة غير مكتملة لأن النماذج اللغوية الكبيرة تتعلم بالفعل من مجموعات البيانات، بينما لا يفعل SolInd ذلك. يسد HSI هذه الفجوة. فهو يوفر سقفًا نظريًا لما يمكن أن يحققه التعلم الآلي. يخبرنا أنه إذا كان لدينا قدرة حوسبية غير محدودة والطريقة الصحيحة لتنظيم تعلمنا، فيمكننا بناء نظام يتعلم من أي مجموعة بيانات ويتنبأ بالمستقبل بدقة مثالية.

كما تتطرق الورقة إلى تطبيق عملي: كيف ندرب الذكاء الاصطناعي. حاليًا، نقوم أحيانًا بتدريب الذكاء الاصطناعي عن طريق تغذيته بسلسلة واحدة طويلة من النصوص (دمج المستندات). تقترح الورقة أن طريقة أفضل، والتي تتماشى مع HSI، هي معاملة كل مستند كقطعة منفصلة من البيانات التي تُحدث الـ "hyperprior" الخاص بالنموذج. وهذا يتوافق مع النتائج الأخيرة التي تشير إلى أن التدريب على مستندات منفصلة يعمل بشكل أفضل من مجرد لصقها معًا.

العقبة

بالطبع، هناك عقبة. تماماً مثل SolInd الأصلي، فإن HSI غير قابل للحوسبة (uncomputable). فهو يتطلب فحص عدد لانهائي من البرامج وكمية لانهائية من الذاكرة. لا يمكننا بناء HSI حقيقي اليوم. إنه "تجربة فكرية" توضح لنا الحد النظري للذكاء.

ومع ذلك، يجادل المؤلف بأن هذا لا يجعله عديم الفائدة. لمجرد أننا لا نستطيع بناء محرك مثالي لا يعني أننا لا نستطيع بناء سيارات أفضل من خلال فهم كيفية عمل المحرك المثالي. يمنحنا HSI خريطة. يوضح لنا أن الطريقة التي يتعلم بها الذكاء الاصطناعي الحديث (تحديث المعتقدات بناءً على البيانات) هي الاتجاه الصحيح، ويعطينا طريقة رياضية لقياس مدى قربنا من النموذج المثالي.

باخت ملخص، تأخذ هذه الورقة "المحقق المثالي" من الماضي وتمنحه "مديراً للتعلم". وتثبت أن هذا النظام الجديد، HSI، يحتفظ بكل قدرات التنبؤ المثالية للمحقق القديم مع اكتساب القدرة على التعلم من مكتبة كاملة من الأمثلة. إنه إثبات نظري على أن أفضل خوارزمية تعلم آلي موجودة، وهي تشبه إلى حد كبير هيكلية من الاحتمالات التي تُحدث نفسها بمرور الوقت. وبينما لا يمكننا بناؤها بعد، إلا أنها تخبرنا بالضبط ما يجب أن نهدف إليه.