Restoring the Neural-Symbolic Bridge via Execution-Grounded Reward Shaping in Large Language Models

تخيل أن لديك روبوتاً فائق الذكاء قد قرأ كل كتاب، وموقع إلكتروني، ومقال على الإنترنت تقريباً. إنه بارع في المحادثة، وقادر على كتابة القصائد، وشرح التاريخ، والدردشة حول يومك. لكن هناك عقبة: هذا الروبوت لم يتعلم حقاً التحدث بـ "لغة الروبوت البرمجية". الأمر يشبه إنساناً عبقرياً يمكنه كتابة مقال جميل ولكنه لم يُعلّم قط القواعد الصارمة وغير المتهاونة للغة برمجة مثل "Lisp"، حيث يجب أن تكون كل أقواسها متوازنة بدقة وأن يتبع كل أمر هيكلاً ثابتاً.

هذه هي المشكلة التي يعالجها العلماء في مجال الاستدلال العصبي الرمزي (Neural-Symbolic Reasoning). تشير كلمة "عصبي" (Neural) إلى دماغ الروبوت (نموذج لغوي كبير) الذي يتعلم من أنماط النصوص. وتشير كلمة "رمزي" (Symbolic) إلى القواعد المنطقية الصارمة لنظام حاسوبي يحتاج إلى تنفيذ مهمة ما، مثل الإجابة على سؤال من قاعدة بيانات ضخمة. التحدي يكمن في جعل الروبوت يترجم سؤالاً بشرياً إلى أمر برمجِي مثالي وقابل للتنفيذ. إذا أخطأ الروبوت في الكود ولو قليلاً — كأن ينسى قوس إغلاق مثلاً — فإن النظام بأكمعه ينهار، وتضيع الإجابة. نحن نهتم بهذا لأننا إذا أردنا للذكاء الاصطناعي حل المشكلات المعقدة بموثوقية، فعليه أن يتوقف عن التخمين ويبدأ في اتباع قواعد الآلة التي يتحدث إليها.

الورقة البحثية التي ستطالعها الآن، بعنوان "ترميم الجسر العصبي الرمزي عبر تشكيل المكافأة القائم على التنفيذ في النماذج اللغوية الكبيرة"، تعالج هذا الانفصال تحديداً. فقد اكتشف المؤلفان، تشنغيو ليو وأزيجولي وولامو، أن دماغ الروبوت يفتقد قطعة حاسمة من اللغز: فهو ببساطة لم يرَ ما يكفي من "لغة الروبوت البرمجية" (تحديداً أسلوب يسمى S-Expressions) في بيانات التدريب الخاصة به ليعرف كيف يبنيها بشكل صحيح. وقد وجدا أن مجرد تعليم الروبوت محاكاة الأمثلة (وهي طريقة تسمى الضبط الدقيق الخاضع للإشراف) ليس كافياً؛ فالروبوت يتعلم كيف يبدو مقنعاً، ولكنه غالباً ما ينتج كوداً يبدو صحيحاً ولكنه يتعطل عندما تحاول تشغيله.

ولإصلاح ذلك، بنى الباحثون نظام تدريب جديداً يسمى ReinKBQA. فبدلاً من مجرد إظهار الإجابة الصحيحة للروبوت، تركوا الروبوت يحاول كتابة الكود ثم "يشغله" فوراً مقابل قاعدة بيانات. إذا نجح الكود ووجد الإجابة الصحيحة، يحصل الروبوت على "تصفيق حار" (مكافأة). وإذا تعطل الكود، يحصل على تصحيح لطيف. تقارن الورقة بين طريقتين للقيام بذلك: إحدى الطريقتين حيث يحصل الروبوت على بطاقة تقييم مفصلة تفصل بدقة ما أصاب فيه وما أخطأ فيه (مثل "كيان جيد"، "هيكل سيء"، "علاقة صحيحة")، والأخرى حيث يرى الروبوت فقط قائمة بالإجابات "الجيدة" مقابل "السيئة".

النتائج مذهلة. فقد تبين أن طريقة بطاقة التقييم المفصلة (باستخدام خوارزمية تسمى GRO) كانت الفائزة بوضوح. وهذا يشير إلى أنه عندما يتعلم الروبوت لغة يكاد لا يعرفها، فإنه يحتاج إلى تغذية راجعة محددة ودقيقة بدلاً من مجرد حكم بسيط بـ "صح أو خطأ". وجد المؤلفون أن هذا النهج سمح لنموذج الروبوت الأصغر والأكثر كفاءة بالتفوق على أنظمة أكبر بكثير وأكثر تكلفة تعتمد على التخمين البطيء خطوة بخطوة. باختصار، تُظهر الورقة البحثية أنه من خلال السماح للروبوت بالتعلم من عواقب الكود الخاص به بدلاً من مجرد حفظ الأمثلة، يمكننا إعادة بناء الجسر بين اللغة البشرية والمنطق الآلي، مما يجعل الذكاء الاصطناعي أكثر ذكاءً وموثوقية في حل الألغاز المعقدة.