Are you Talking Logic to Me? Assessing Language Models Syllogistic Reasoning Capabilities
تتقصى هذه الورقة كيفية تعزيز تدوينات تمثيل المعرفة الرسمية المختلفة وطريقة تصنيف قياسية مبتكرة (SEF) لقدرات الاستدلال القياسي للنماذج اللغوية الصغيرة، مما يقدم بديلاً تنافسياً وأسرع للمدخلات اللغوية الطبيعية من خلال إطار بناء قواعد المنطق المشترك (CLGC) مفتوح المصدر.
المؤلفون الأصليون:Hanna Abi Akl, Fabien Gandon, Catherine Faron, Pierre Monnin
تخيل أنك تحاول تعليم روبوت كيف يفكر. قد تفترض أنك إذا أعطيت الروبوت ما يكفي من الكتب ليقرأها، فإنه سيكتشف في النهاية كيفية حل لغز منطقي، مثل أحجية أو مسألة رياضية. لكن هنا تكمن الخدعة: الروبوتات (أو "نماذج اللغة"، كما يسميها العلماء) تشبه الببغاوات فائقة السرعة. إنها بارعة في محاكاة الكلام البشري وكتابة القصص، ولكن عندما تطلب منها اتباع قواعد منطقية صارمة، فإنها غالباً ما ترتبك. قد تخمن الإجابة بناءً على كيفية "صوت" الجملة بدلاً مما تعنيه فعلياً. هذه مشكلة كبيرة لأننا نريد لهذه الأدوات الذكية أن تكون مساعدين موثوقين، لا مجرد أصدقاء ثرثارين يختلقون الحقائق. ولإصلاح ذلك، يحاول الباحثون تعليم هذه الروبوتات كيف "تتحدث" بلغات مختلفة. بعض اللغات تشبه كلماتنا اليومية (اللغة الطبيعية)، بينما تشبه لغات أخرى الصيغ الرياضية الصارمة أو الأكواد البرمجية (التمثيلات الرسمية). السؤال الكبير هو: هل يساعد التحدث بلغة برمجية صارمة ومنطقية الروبوت على التفكير بشكل أفضل من التحدث بالإنجليزية العادية؟
هذه الورقة البحثية، التي تحمل عنوان "?Are you Talking Logic to Me" (هل تتحدث إليّ بالمنطق؟)، تغوص مباشرة في هذا السؤال. قرر المؤلفون، وهم فريق من الباحثين من فرنسا، اختبار ما إذا كان تغيير "اللغة" التي يستخدمها الروبوت لحل الألغاز المنطقية يمكن أن يجعله أكثر ذكاءً. لقد ركزوا على نوع معين من الألغاز يسمى "القياس المنطقي" (syllogism). فكر في القياس المنطقي كسلسلة منطقية مكونة من ثلاثة أجزاء: "كل القطط ذات فرو. فلافي قط. إذن، فلافي ذو فرو". إذا لم يستطع الروبوت ضبط هذا الأمر، فلا يمكن الوثوق به في مهام أكثر تعقيداً. أخذ الباحثون مجموعات بيانات موجودة لهذه الألغاز وترجموها إلى عدة لغات "رسمية" مختلفة، تتراوح من المنطق الحاسوبي القياسي (مثل FOL) إلى أكواد أكثر تجريداً وكثافة في الرموز (مثل TFLPLUS) وحتى بعض النسخ الجديدة والمبسطة التي اخترعوها تسمى "MINIFOL". ثم اختبروا هذه الألغاز على "نماذج اللغة الصغيرة" (SLMs) — وهي نسخ خفيفة الوزن وفعالة في استهلاك الطاقة من نماذج الذكاء الاصطناعي العملاقة التي نسمع عنها في الأخبار.
لم يكتفِ الفريق بإلقاء الألغاز على الروبوتات فحسب؛ بل جربوا طريقتين مختلفتين للتعليم. أولاً، استخدموا "الضبط الدقيق تحت الإشراف" (SFT)، وهو يشبه إعطاء الروبوت دورة تدريبية مكثفة حيث يعرضون عليه الألغاز والإجابات الصحيحة مراراً وتكراراً حتى يتعلم النمط. ثانياً، استخدموا اختبار "الصفر محاولة" (Zero-Shot)، حيث قدموا للربوات لغزاً جديداً ومجموعة من التعليمات، وطلبوا منها اكتشاف الحل فوراً دون أي ممارسة سابقة. كما جربوا إضافة "أوراق مرجعية" إلى التعليمات، عبر إعطاء الروبوت تعريفاً لنوع اللغز (مثل "هذا قياس منطدي منفصل") لمعرفة ما إذا كان هذا السياق الإضافي سيساعد.
ماذا وجدوا؟ اتضح أن "اللغة" التي يتحدث بها الروبوت تهم كثيراً، ولكن الأمر يعتمد على مقدار ما درسه. عندما تم إعطاء الروبوتات دورة تدريبية مكثفة (SSFT)، كانت النتائج مفاجئة. في مجموعات البيانات الأصغر، كانت اللغات الأكثر تجريداً وكثافة في الرموز (مثل TFLPLUS) تعمل في الواقع بشكل أفضل من الإنجليزية العادية، رغم أن الروبوتات قد رأت الكثير من الإنجليزية خلال تدريبها الأولي. يقترح الباحثون أن هذا قد يكون بسبب كون الرموز في هذه اللغات المجردة أبسط وأقل إرباكاً للروبوت أثناء المعالجة. ومع ذلك، عندما كبرت مجموعة البيانات، بدأت الروبوتات تفضل مزيجاً من الإنجليزية وكود مدمج (CLIF). بدا أن هذا المزيج يجعل الروبوتات أكثر حذراً وأقل عرضة للتخمين الخاطئ، خاصة عندما تكون الإجابة هي "غير معروف".
في اختبارات "الصفر محاولة"، حيث كان على الروبوتات الاعتماد على ما تعرفه بالفعل، كانت النتائج مختلطة نوعاً ما. اعتمدت أفضل لغة على نموذج الروبوت المحدد الذي يتم اختباره. بعض النماذج، التي تم تدريبها على الكثير من البيانات الرياضية والمنطقية، أدت بشكل أفضل مع الأكواد المجردة. أما النماذج الأخرى، التي تدربت في الغالب على النصوص، فقد أدت بشكل أفضل مع التنسيقات الشبيهة بالإنجليزية. ومن المثير للاهتمام أن إضافة تلك "الأوراق المرجعية" التعريفية إلى التعليمات ساعدت بعض النماذج وأضرت ببعضها الآخر، مما يشير إلى عدم وجود "حل سحري" واحد لجميع الروبوتات.
أحد الاكتشافات الأكثر روعة كان يتعلق بالسرعة. لقد حلت الروبوتات الألغاز بشكل أسرع عند استخدام اللغات المدمجة القائمة على الرموز مقارنة بالإنجليزية العادية. الأمر يشبه الفرق بين قراءة قصة طويلة ومتعرجة للعثور على حقيقة معينة مقابل البحث عن رقم في جدول قصير ومرتب. لم تكن اللغات المجردة أسرع في المعالجة فحسب، بل أدت أيضاً في بعض الأحيان إلى استنتاج أكثر دقة. خلص المؤلفون إلى أنه بينما لا يمكننا ببساطة اختيار لغة واحدة مثالية لجميع أنواع الذكاء الاصطناعي، فإن استخدام مزيج من اللغة الطبيعية والأكواد الرسمية قد يكون المفتاح لبناء أنظمة استنتاج أكثر ذكاءً وموثوقية. لقد أطلقوا أيضاً أداة مجانية تسمى "CLGC" تتيح لأي شخص ترجمة هذه الألغاز المنطقية تلقائياً إلى تنسيقات مختلفة، آملين في مساعدة الباحثين الآخرين على استكشاف "لغة المنطق" هذه بشكل أكبر. في النهاية، تشير الورقة البحثية إلى أن تعليم الذكاء الاصطناي ليس مجرد تغذيته بمزيد من البيانات؛ بل يتعلق بتعليمه التحدث باللغة الصحيحة المناسبة للمهمة.
تعاني النماذج اللغوية (LMs) حاليًا من صعوبات في المهام المنطقية، لا سيما الاستنتاج القياسي (Syllogistic Reasoning)، الذي يتطلب تفكيرًا تجريديًا واتساقًا. وقد أظهرت الأبحاث أن تمثيل المعرفة (KR) يساعد النماذج من خلال توفير تنسيقات مدخلات غير غامضة وقابلة للتفسير (مثل المنطق من الدرجة الأولى أو FOL)، إلا أن الأبحاث الحالية تقتصر إلى حد كبير على التقييم باستخدام اللغة الطبيعية (NL) والمنطق من الدرجة الأولى (FOL). غالبًا ما تعاني مجموعات البيانات الحالية من مشكلات تتعلق بالمشاركة البشرية، والحجم، والتنوع، والتعميم. علاوة على ذلك، فإن تأثير مستويات التجريد المتفاوتة في تدوينات تمثيل المعرفة (KR) — والتي تتراوح من الطبيعية إلى الرمزية العالية — على قدرات الاستنتاج في النماذج اللغوية الصغيرة (SLMs) لا يزال غير مستكشف بشكل كافٍ. بالإضافة إلى ذلك، فإن الفائدة المحتملة لتصنيف القياسات المنطقية صراحةً لتوجيه عملية الاستنتاج لم يتم دمجها بشكل منهجي في استراتيجيات التلقين (Prompting).
المنهجية
يقترح المؤلفون بروتوكولًا شاملاً لمعالجة هذه الفجوات، متمحورًا حول إطار عمل بناء قواعد المنطق المشترك (CLGC).
1. إطار عمل CLGC
إن CLGC هي مكتبة بايثون مفتوحة المصدر مصممة لإنشاء القياسات المنطقية تلقائيًا بتدوينات رسمية متنوعة وتصنيفها.
عملية التوليد: يبدأ النظام بالقياسات المنطقية في صيغة FOL (المحددة بواسطة قواعد Backus-Naur Form). يقوم النظام بتوليد شجرة بناء نحوية مجردة (AST) ثم يعيد بناء العبارات في التدوينات المستهدفة باستخدام قواعد BNF تم تنفيذها يدويًا لكل هدف.
اختيار التدوينة: تقيم الدراسة التدوينات بناءً على أربعة معايير: الإطناب (الاختلافات النحوية)، التكرار (احتمالية التعرض لها أثناء التدريب المسبق للنموذج)، التجريد (التعقيد من الطبيعي إلى الرمزي)، والتناهي (القواعد القابلة للتعريف).
برمجة مجموعة الإجابات (Answer Set Programming): CLINGO.
MINIFOLx: عائلة من متغيرات FOL خفيفة الوزن تم تقديمها كخط أساس لاختبار الحساسية تجاه التكرار. وهي تستبدل رموز FOL القياسية بكلمات أكثر شيوعًا أو معاملات أبسط (على سبيل المثال، استبدال ∀ بكلمة "all" و ¬ بكلمة "not").
2. إطار تقييم القياس المنطقي (SEF)
يستخدم المؤلفون طريقة تصنيف SEF لتصنيف القياسات المنطقية إلى أربع فئات هيكلية: الافتراضية (Implication)، التخييرية (Disjunction)، التقريرية (Standard 2-premise)، والمركبة. يتم اكتشاف هذه الفئات تلقائيًا واستخدامها لإثراء التلقينات في وضع الصفر (Zero-Shot).
3. مجموعات البيانات والإعداد التجريبي
مجموعات البيانات: توسع الدراسة مجموعات البيانات FOLIO و P-FOLIO التي تم تنسيقها بشريًا. باستخدام CLGC، أنشأ المؤلفون FOLIO-KR و P-FOLIO-KR، والتي تتضمن القياسات المنطقية الأصلية مترجمة إلى مختلف التدوينات الرسمية ومعنونة بفئات SEF.
النماذج: تركز التجارب على النماذج اللغوية الصغيرة (SLMs) نظرًا لكونها اقتصادية وذات صلة بالاستنتاج في البيئات محدودة الموارد.
الضبط الدقيق تحت الإشراف (SFT): نماذج Flan-T5-small و Flan-T5-large.
وضع الصفر (ZS): نماذج Gemma-2-2b-it، و Llama-3.2-3b-instruct، و Phi-3.5-mini-instruct.
السيناريوهات:
SFT: يتم تدريب النماذج على المقدمات والنتائج في تدوينة محددة للتنبؤ بتسميات الحقيقة (صحيح، خطأ، غير معروف).
سيناريو الصفر (ZS Scenario 1): يتم تلقين النماذج بالقياس المنطقي وقواعد BNF الخاصة بالتدوينة.
سيناريو الصفر (ZS Scenario 2): يتم تلقين النماذج بالقياس المنطقي، والقواعد، وتعريف فئة SEF الخاصة بالقياس، ومثال توضيحي.
النتائج الرئيسية
الضبط الدقيق تحت الإشراف (SFT)
تأثير التدوينة: يعتمد الأداء بشكل كبير على التفاعل بين حجم النموذج، وحجم مجموعة البيانات، وتجريد التدوينة.
على P-FOLIO-KR (مجموعة بيانات أصغر)، حقق Flan-T5-small أفضل أداء في التدوينات المجردة مثل TFLPLUS والتركيبات (CLIF + TFLPLUS)، متفوقًا على اللغة الطبيعية بشكل ملحوظ. يفترض المؤلفون أن بساطة رموز TFLPLUS (مثل + و -) تساعد النماذج الصغيرة ذات بيانات التدريب المحدودة على التعلم.
على FOLIO-KR (مجموعة بيانات أكبر)، أصبحت اللغة الطبيعية (NL) و CLIF هما الأفضل أداءً لكلا حجمي النماذج. سمح حجم البيانات المتزايد للنماذج بتعلم التدوينات المعقدة بشكل أفضل، لكن التدوينات المجردة مثل TFLPLUS واجهت صعوبات، ربما بسبب الاعتماد على رموز رمزية أقل تكرارًا.
توسع النماذج (Model Scaling): بشكل عام، زاد الأداء مع زيادة حجم النموذج بغض النظر عن التجريد. ومع ذلك، أظهرت FOL والتدوينات شديدة التجريد اتجاهات نمو مختلفة مقارنة بـ NL و CLIF.
الاستنتاج التحفظي: أدى الجمع بين NL و CLIF (أي NL + CLIF) إلى تحويل سلوك النموذج نحو الاستنتاج "التحفظي". حسن هذا الجمع من التنبؤ بالحالات غير المعروفة (غير الحاسمة) وقلل من الهلوسة (التنبؤات الخاطئة بـ "صحيح")، مما يشير إلى أن التدوينات الموجزة تساعد النماذج على التعامل بشكل أفضل مع عدم اليقين والاستنتاج عن طريق النفي (Reasoning by Refutation).
وضع الصفر (ZS)
التلقين باستخدام الفئات: أدى إضافة تعريفات فئات SEF (السيناريو 2) عمومًا إلى تحسين الأداء لنماذج مثل Gemma و Phi، لا سيما في التدوينات الشبيهة باللغة الطبيعية. ومع ذلك، بالنسبة لبعض النماذج (مثل Llama) أو التدوينات المجردة، أدت الأوصاف المضافة أحيانًا إلى انخفاض الأداء أو كان تأثيرها ضئيلًا.
حساسية النماذج:
نموذج Gemma (الذي يمتلك تدريبًا مسبقًا كثيفًا للنصوص) تفوق في NL و CLIF.
نموذج Phi (الذي يمتلك تدريبًا مسبقًا على المنطق والرياضيات) أظهر قدرة أفضل على التكيف مع التدوينات المجردة مثل CLINGO عند تزويده بوصف الفئات.
نموذج Llama (المعتمد على بيانات الويب المقطرة) أظهر مرونة تجاه الرموز في التدوينات الشبيهة بـ FOL.
سرعة الاستدلال: أظهرت تدوينات تمثيل المعرفة (KR) أوقات استدلال أسرع من اللغة الطبيعية (NL). كانت TFLPLUS هي الأسرع بسبب بناء جملها الموجز، بينما كانت NL هي الأبطأ. قدمت CLIF حلًا وسطًا جيدًا بين السرعة والأداء.
الأهمية والادعاءات
يدعي البحث ثلاثة مساهمات رئيسية في مجال الاستنتاج المنطقي في الذكاء الاصطناعي:
إطار العمل والأدوات: تقديم CLGC، أول مكتبة بايثون لتوليد القياسات المنطقية تلقائيًا في تدوينات متنوعة لتمثيل المعرفة وتحديد فئات SEF الخاصة بها، مما يتيح البحث القابل لإعادة الإنتاج في هذا المجال.
توسيع البيانات: إصدار FOLIO-KR و P-FOLIO-KR، وهي مجموعات بيانات غنية تسمح بتقييم النماذج اللغوية عبر طيف من التدوينات الرسمية والهياكل المنطقية.
الرؤى التجريبية: تحديد الاتجاهات التي تظهر أن:
اختيار تدوينة المدخلات يؤثر بشكل كبير على أداء النماذج اللغوية الصغيرة، حيث لا توجد تدوينة واحدة متفوقة عالميًا؛ فالخيار الأمثل يعتمد على حجم النموذج، ونمط التدريب (SFT مقابل ZS)، وحجم مجموعة البيانات.
الجمع بين التدوينات (مثل NL + CLIF) يمكن أن يصقل الاستنتاج، وتحديدًا من خلال تحسين قدرة النموذج على تحديد عدم اليقين والاستنتاج عن طريق النفي.
التعريفات المنطقية (فئات SEF) في التلقينات يمكن أن تعزز الاستنتاج، لكن فعاليتها مرهونة ببيانات التدريب المسبق للنموذج ومستوى تجريد التدوينة.
يخلص المؤلفون إلى أنه بينما يمكن للنماذج اللغوية الصغيرة أن تؤدي بشكل جيد في المهام الاستنتاجية مع التدوينة المناسبة، فإن الثنائية بين التدوينات الطبيعية والمجردة تشير إلى اتجاه مستقبلي نحو البنى العصبية الرمزية (Neuro-symbolic Architectures) التي تجمع بين كليهما في مسارات متعددة المراحل لتحقيق استنتاج معقد وقوي.