ALPS: Measuring Valid Creativity in Large Language Models with Mathematical Construction
تقدم الورقة البحثية ALPS، وهو معيار مرجعي جديد يقيس بصرامة الإبداع الصالح في النماذج اللغوية الكبيرة من خلال تكليفها بتوليد براهين أو إنشاءات رياضية أصيلة وقابلة للتحقق لقوانين معادلات مُنشأة عشوائياً، مما يكشف أن النماذج الحالية تعاني بشكل كبير في جانب الإنشاء وأن معظم الحالات تظل دون حل حتى من قبل المبرهنات الآلية المتقدمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد العلمي الحديث، بدأ الذكاء الاصطناعي في الخروج من دور معالج البيانات ليدخل في دور المكتشف. إننا نشهد آلات يمكنها اقتراح مركبات كيميائية جديدة، واقتراح مواد مبتكرة، بل وحتى صياغة حدسيات رياضية لم يفكر فيها البشر بعد. يثير هذا التحول سؤالاً عميقاً: عندما تنتج الآلة إجابة تبدو وكأنها اختراق علمي، كيف نعرف ما إذا كانت مبدعة حقاً أم أنها مجرد تكرار ذكي لشيء حفظته أثناء تدريبها؟ تتطلب الإبداعية الحقيقية في العلم أمرين: يجب أن يكون الحل أصيلاً، بمعنى أنه لم يُرَ من قبل، ويجب أن يكون فعالاً، بمعنى أنه يعمل بالفعل ويحل المشكلة المطروحة. وتكمن الصعوبة في التحقق من هذه الصفات. ففي العديد من المجالات، يتطلب الحكم على مدى صحة فكرة جديدة أن ينظر الخبراء البشريون إلى النتيجة ويقرروا ما إذا كانت جيدة، وهي عملية بطيئة وذاتية. أما في الرياضيات، حيث يمكن التحقق من الإجابات بيقين مطلق، فإن التحدي مختلف: فالمشكلات غالباً ما تكون معقدة للغاية بحيث لا يستطيع الكمبيوتر ببساطة البحث في كل الاحتمالات لإيجاد الإجابة، كما أن المشكلات نفسها غالباً ما تكون مجموعات ثابتة قد تكون الآلة قد درستها بالفعل.
ولحل هذه المعضلة، طور باحثون في جامعة فرجينيا طريقة جديدة لاختبار الذكاء الاصطناعي، وهو معيار أطلقوا عليه اسم (ALPS). صُمم هذا النظام لقياس "الإبداع الصالح" عبر تقديم نوع محدد من الألغاز الرياضية التي لا يمكن حلها عن طريق الذاكرة أو باتباع روتين قياسي. تعتمد الألغاز على قواعد لكيفية دمج مجموعة من العناصر معاً. تخيل مجموعة من الأشياء وقاعدة لخلط أي اثنين منها معاً. يقوم الباحثون بتوليد قاعدة محددة، أو قانون، يصف كيفية تصرف هذه الأشياء. مهمة الآلة هي أن تقرر أحد أمرين: إما أن القاعدة مقيدة للغاية لدرجة أنها تجبر جميع الأشياء على أن تكون متطابقة، أو أن القاعدة تسمح بوجود بنية معقدة ولانهائية من الأشياء التي تستوفي هذا الشرط. إذا ادعت الآلة وجود البنية، فيجب عليها بناء وصف لها. وإذا ادعت أن الأشياء يجب أن تكون متطابقة، فيجب عليها إثبات عدم وجود أي احتمال آخر. وتكمن عبقرية هذا الإعداد في أن الإجابات يمكن التحقق منها بواسطة كمبيوتر بدقة مثالية، دون الحاجة إلى تدخل بشري للنظر في النتيجة. علاوة على على ذلك، يمكن للنظام توليد إمداد غير محدود من هذه الألغاز، مما يضمن أن الآلة تواجه دائماً مشكلة لم ترها من قبل.
اختبر الباحثون هذا النظام باستخدام مجموعة متنوعة من أدوات الاستدلال الآلي القوية، وهي برامج حاسوبية متخصصة مصممة لحل المشكلات المنطقية. قاموا بتشغيل هذه الأدوات ضد مجموعة تضم أكثر من أربعة آلاف من هذه القوانين المولدة. وكانت النتائج صارخة؛ فحتى مع الزيادة الهائلة في القدرة الحوسبية، لم تتمكن الأدوات الآلية من حل سوى جزء ضئيل من المشكلات. وتحديداً، تمكنت مجموعة من ثماني تكوينات مختلفة من أفضل المبرهنات المتاحة من حل حوالي اثنين بالمائة فقط من القوانين. وعندما رفع الباحثون الميزانية الحوسبية بمقدار عشرين ضعفاً، وجدوا فقط عدداً قليلاً من الحلول الإضافية، ولم تكن أي منها هي البنى المعقدة التي كانوا يبحثون عنها؛ بل كانت مجرد براهن تثبت أن الأشياء يجب أن تكون متطابقة. يشير هذا إلى أن العائق أمام حل هذه المشكلات ليس نقص القدرة الحوسبية، بل هو نقص في الطريقة اللازمة لابتكار البنى المحددة والمصممة خصيصاً لكل قانون فريد. فالآلة ببساطة لا تعرف كيفية بناء البنية اللانهائية المناسبة من الصفر.
ثم توجه الباحثون إلى النماذج اللغوية الكبيرة، وهي نوع الذكاء الاصطناعي الذي يشغل العديد من الأدوات الحوارية المستخدمة اليوم. اختبروا أقوى نماذج الاستدلال المتاحة، وأعطوها نفس الألغاز ونفس الفرصة لإثبات إجاباتها. وفي جانب المهمة التي كان على الآلة فيها إثبات أن جميع الأشياء متطابقة، نجح أفضل نموذج في حوالي أربعة عشر بالمائة من الحالات، ولكن في المشكلات الأبسط فقط. أما في الجانب الذي توجب على الآلة فيه بناء بنية جديدة ولانهائية، فقد كانت النتائج أكثر دلالة: لم تنجح أي من النماذج. وعندما حاولت النماذج بناء بنية، فشلت باستمرار بإحدى طريقتين: إما أنها اقترحت بنية شديدة الصلابة، مما أدى إلى انهيار جميع الأشياء في نقطة واحدة وبالتالي الفشل في إظهار حل معقد، أو أنها اقترحت بنية فضفاضة للغاية، وفشلت في اتباع قواعد القانون الذي تحاول استيفاءه. في كل حالة، لم تستطع الآلة الموازنة بين الحاجة إلى اتباع القواعد والحاجة إلى ابتكار شيء جديد ومعقد.
خلصت الدراسة إلى أنه بينما تتحسن أنظمة الذكاء الاصطناعي هذه في اتباع التعليمات والتحقق من عملها الخاص، إلا أنها لا تزال تعاني في جوهر الاكتشاف العلمي: وهو ابتكار بنية جديدة تتناسب مع مجموعة من القيود. وقد أطلق الباحثون نظامهم بالكامل، بما في ذلك المولد الذي ينشئ الألغاز والقاضي الآلي الذي يتحقق من الإجابات، للجمهور. وهذا يسم يسمح للعلماء الآخرين بمواصلة اختبار وتحسين هذه النماذج دون النفاد من المشكلات الجديدة. تشير النتائج إلى أن المسار المستقبلي للذكاء الاصطناعي في العلوم قد لا يتعلق بإعطاء الآلات مزيداً من البيانات أو الوقت، بل بتعليمها كيفية اقتراح وصقل أفكارها الخاصة في حلقة من الخلق والتحقق. وإلى أن تتمكن الآلات من بناء هذه الحلول المصممة خصيصاً بشكل موثوق، سيظل دورها في الاكتشاف العلمي محدوداً، وغير قادر على عبور الفجوة بين معالجة المعلومات وتوليد معرفة أصلية وصالحة حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.