RELIC: Evaluating Complex Reasoning via the Recognition of Languages In-Context
تقدم الورقة البحثية RELIC، وهو إطار عمل لتقييم الاستدلال المعقد للنماذج اللغوية الكبيرة من خلال اختبار قدرتها على التعرف على اللغات الخالية من السياق ضمن السياق، مما يكشف أن حتى النماذج المتقدمة تفشل في رفع قدرة الحوسبة الاستنتاجية مع زيادة صعوبة المهمة وغالباً ما تتحول من الاستدلال الخوارزمي إلى التخمين مع زيادة التعقيد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً ذكياً جداً ومطلعاً لحل لغز ما. تعطيه كتاب قواعد جديداً تماماً (قواعد لغوية) وجملة محددة (سلسلة نصية). سؤالك بسيط: "هل تتبع هذه الجملة القواعد الموجودة في الكتاب؟"
هذا هو بالضبط ما يدور حوله بحث RELIC. إنه طريقة جديدة لاختبار مدى قدرة النماذج اللغوية الكبيرة (LLMs) — وهي العقول الاصطناعية التي تقف وراء أدوات مثل ChatGPT — على التفكير فعلياً عبر مشكلات معقدة متعددة الخطوات عندما تُعطى تعليمات جديدة في اللحظة ذاتها.
إليك تفصيل نتائج البحث باستخدام تشبيهات بسيطة:
1. الاختبار: "لغز كتاب القواعد"
ابتكر الباحثون لعبة حيث يتعين على الذكاء الاصطعي أن يعمل كمحقق في القواعد.
- الإعداد: قاموا بإنشاء الآلاف من كتب القواعد الفريدة والمبتكرة. هذه ليست قواعد للغة الإنجليزية أو الإسبانية؛ بل هي مجموعات مجردة من القواعد (مثل "يجب أن يتبع A الرمز B"، أو "الرمز C يتحول إلى D").
- المهمة: يرى الذكاء الاصطناعي كتاب القواعد وجملة مكونة من رموز عشوائية (مثل
t43 t51 t66). وعليه أن يقول "نعم" (هذه الجملة تتبع القواعد) أو "لا" (هذه الجملة تخالف القواعد). - التحول: جعلوا الألغاز أكثر صعوبة بجعل كتب القواعد أكبر والجمل أطول.
2. التوقعات: تشبيه "تسلق الجبل"
فكر في حل هذه الألغاز كأنه تسلق لجبل.
- الجبال الصغيرة (الألغاز السهلة): إذا كان كتاب القواعد صغيراً جداً والجملة قصيرة، يمكن للذكاء الاصطناعي تسلق القمة بسهولة. فهو يستخدم خريطة منطقية (خوارزمية) للتحقق من كل خطوة.
- الجبال الكبيرة (الألغاز الصعبة): مع ازدياد حجم كتاب القواعد وطول الجملة، يصبح الجبل أكثر انحداراً. ولحلها بشكل صحيح، يحتاج الذكاء الاصطناعي إلى مزيد من الطاقة الذهنية (مزيد من "رموز التفكير" - thinking tokens) للتحقق من كل احتمال. الأمر يشبه الحاجة إلى حقيبة ظهر أكبر ومزيد من الماء لتسلق قمة أعلى.
3. الاكتشاف: "الاستقالة الصامتة"
هذا هو الاكتشاف الأكثر إثارة للدهشة والأهمية في البحث. توقع الباحثون أنه كلما زادت صعوبة الألغاز، سيبذل الذكاء الاصطناعي "جهداً أكبر" عبر استخدام المزيد من قوة التفكير.
بدلاً من ذلك، بدأ الذكاء الاصطناعي في "الاستقالة الصامتة".
- التشبيه: تخيل عاملاً طُلب منه حل مسألة رياضية بسيطة. فيخرج آلة حاسبة ويقوم بالعمل. ولكن عندما تعطيه معادلة ضخمة ومعقدة، بدلاً من إخراج آلة حاسبة فائقة القوة والعمل لفترة أطول، فإنه يخمن فقط. يتوقف عن محاولة حل الرياضيات ويبدأ في وضع إجابات بناءً على حدس أو شعور داخلي.
- الدليل:
- عندما أصبحت الألغاز صعبة، لم يستخدم الذكاء الاصطناعي وقت تفكير أكبر؛ بل استخدم وقتاً أقل في الواقع.
- توقف الذكاء الاصطناعي عن استخدام المنطق والخطوات المتسلسلة (مثل بناء شجرة من الاحتمالات) وبدأ في الاعتماد على طرق مختصرة سيئة (heuristics).
- حتى أكثر نماذج "الاستدلال" تقدماً (تلك المصممة للتفكير بعمق) فعلت ذلك. كانت تبدأ بخطة جيدة، ثم ترتبك، ثم تتحول بصمت إلى التخمين.
4. النتيجة: "على صواب لأسباب خاطئة"
وجد البحث أنه عندما "يستقيل الذكاء الاصطناعي صامتاً"، فإنه غالباً ما يصل إلى الإجابة الصحيحة بالصدفة، ولكن لأسباب خاطئة.
- مثال: قد يرفض الذكاء الاصطناعي جملة لمجرد أنها "طويلة جداً"، رغم أن القواعد تسمح فعلياً بالجمل الطويلة. لقد أصاب في إجابة "لا"، لكن منطقه كان معطلاً تماماً.
- المشكلة: إذا كنت لا تستطيع رؤية عملية تفكير الذكاء الاصطناعي (وهو أمر ينطبق على العديد من النماذج التجارية)، فقد تعتقد أنه ذكي لأنه أعطى الإجابة الصحيحة. لكن في الواقع، هو يخمن فقط، وسيفشل في المسألة الصعبة التالية.
5. الاستنتاج: "العقول الهشة"
خلص البحث إلى أن نماذج الذكاء الاصطناعي الحالية هشة.
- هي تفهم فكرة المهمة عندما تكون سهلة.
- لكنها لا تستطيع رفع مستوى جهدها ليتناسب مع صعوبة المشكلة.
- ليس لديها "محرك داخلي" موثوق يقول لها: "هذا صعب، أحتاج لقضاء وقت أطول فيه". بدلاً من ذلك، تستسلم وتخمن.
ملخص
يقدم بحث RELIC نفسه كاختبار جهد لعملية الاستدلال في الذكاء الاصطناعي. وهو يوضح أن حتى أكثر نماذج الذكاء الاصطناعي ذكاءً اليوم تشبه الطلاب الذين يمكنهم حل الواجبات المنزلية السهلة، ولكن عندما يواجهون امتحاناً صعباً، يتوقفون عن محاولة حل المشكلات ويبدأون فقط في ملء الفراغات بشكل عشوائي. إنهم "يستقيلون صامتاً" في المهام الصعبة، مما يجعلهم غير موثوقين في عمليات الاستدلال المعقدة في العالم الحقيقي حيث تحتاج منهم أن يتبعوا القواعد فعلياً، لا أن يخمنوا فحسب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.