When the Canonical Completion Is Wrong: Formalizing and Measuring the Jump in Large Language Models
تُعرّف هذه الورقة رسمياً وتقيس قدرة "القفزة" لدى النماذج اللغوية الكبيرة — وتحديداً قدرتها على التخلي عن إكمال معياري افتراضي لصالح نظام بديهي فريد وصحيح — مُثبتةً أن النماذج الرائدة تؤدي هذه الخطوة بنجاح في جميع التجارب، مما يشير إلى أن أي عجز مزعوم يكمن في توليد القيود أو الأطر بدلاً من القفزة نفسها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في دراسة الذكاء الاصطناعي، ظل سؤال مركزي يقسم الباحثين منذ زمن طويل: هل يمكن للآلة أن تفكر حقاً بما يتجاوز الأنماط التي رأتها بالفعل؟ إن النماذج اللغوية الكبيرة خبيرة في الاستقراء، حيث تتعلم التنبؤ بالكلمة التالية في الجملة عبر رصد الاتجاهات الإحصائية في كميات هائلة من النصوص. كما أنها أصبحت ماهرة بشكل متزايد في الاستنباط، عبر اتباع قواعد منطقية صارمة للوصول إلى استنتاج. ومع ذلك، يظل شكل ثالث من أشكال التفكير، يُعرف باسم الاستدلال الاختطافي (abduction)، لغزاً غامضاً. وهذا هو القدرة على القفز من مجموعة من الملاحظات إلى نظام جديد تماماً من القواعد أو البديهيات التي تفسرها، وهي قفزة ذهنية تتطلب غالباً التخلي عن الإجابة الأكثر وضوحاً لصالح احتمال مفاجئ وغير مرئي. لسنوات، جادل المشككون بأن هذه النماذج غير قادرة هيكلياً على مثل هذه القفزات، مشيرين إلى أنها محاصرة في حلقة مفرغة من تكرار ما تعرفه بالفعل. وقد تحدى آخرون هذا الطرح، مشيرين إلى الاكتشافات الرياضية التي تولدها الآلة، ولكن دون وجود طريقة دقيقة لتعريف أو قياس هذه "القفزة"، ظل الجدل عالقاً في الإطار النظري.
لقد تمكن فريق من الباحثين الآن من قطع الطريق على هذا اليقين عبر بناء اختبار صارم لمعرفة ما إذا كان بإمكان النموذج التخلي عن غريزته الافتراضية عندما تفرض الحقائق ذلك. لم يطلبوا من النماذج ابتكار نظريات جديدة من الصفر، وهو أمر سيكون من المستحيل التحقق منه. بدلاً من ذلك، أنشأوا بيئة مختبرية محكومة حيث كانت قواعد اللعبة ثابتة ومحددة. تخيل لغزاً حيث تُعطى صورة جزئية وقائمة من القيود الصارمة التي تستبعد الطريقة الأكثر وضوحاً لإكمالها. حدد الباحثون "القفزة" بأنها اللحظة التي يدرك فيها النموذج أن الإكمال المنطقي المعتاد ممنوع، وأنه يجب عليه بدلاً من ذلك بناء هيكل جديد وخفي يتناسب تماماً مع القيود. وللقيام بذلك، استخدموا إطاراً رياضياً يحدد "الإكمال المعياري" (canonical completion) — وهو الطريقة الأكثر طبيعية والوحيدة لتوسيع البيانات بناءً على ما هو معروف بالفعل. ثم صمموا مشكلات كان فيها هذا الجواب الطبيعي ممنوعاً صراحةً، مما أجبر النموذج على إيجاد حل فريد وغير بديهي لا تظهره البيانات نفسها.
اختبر الباحثون ذلك على تسعة مشكلات معتمدة مختلفة، تتراوح من الألغاز البسيطة إلى سيناريوهات معقدة تحتوي على ملايين الإجابات الممكنة، باستخدام أربعة من أكثر النماذج اللغوية تقدماً المتاحة. وقاسوا عدد المرات التي تمسك فيها النماذج بالإجابة الافتراضية المحظورة مقابل عدد المرات التي نجحت فيها في القيام بالقفزة إلى الحل الصحيح والموثق. كانت النتائج مذهلة؛ ففي كل تجربة طُلب فيها من النماذج الاختيار، لم يرتد أي منها إلى الإجابة الافتراضية التي تدربت على تفضيلها. عبر 248 محاولة، نجحت النماذج في التخلي عن الإجابة الافتراضية المستبعدة في كل مرة، مستقرة على الحل الصحيح والمعتمد. وعندما فشلت، لم يكن ذلك لأنها رفضت القيام بالقفزة، بل لأن طاقتها الذهنية نفدت أو ارتكبت خطأً حسابياً، لكنها لم تعد أبداً إلى الإجابة القديمة الخاطئة.
تشير هذه النتيجة إلى أن القدرة على اختيار مسار جديد عندما يكون المسار القديم مسدوداً ليست هي العقبة أمام هذه النماذج. فقد أثبتت النماذج قدرتها على تجاوز غرائزها الخاصة عندما تكون القيود واضحة. ويخلص الباحثون إلى أنه إذا كانت النماذج تفتقر حقاً إلى القدرة على نوع القفزة الإبداعية التي شهدها التاريخ البشري، فإن الأمر لا يكمن في عملية الاختيار بين الخيارات. بدلاً من ذلك، تكمن الصعوبة على الأرجح في الخطوات الأكثر فوضوية التي تسبق ذلك: وهي توليد القيود التي تفرض القفزة في المقام الأول، أو ابتكار إطار القواعد الجديد كلياً الذي يجعل القفزة ممكنة. لا تدعي الدراسة أنها حلت لغز الإبداع الآلي، لكنها أثبتت بقوة أنه عندما يكون المسار مسدوداً بوضوح، فإن هذه النماذج قادرة على إيجاد طريقة جديدة للمضي قدماً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.