LLMs Know the Constraint But Do Not Use It: Activation Bottlenecks in Pragmatic Constraint Reasoning
تجادل هذه الورقة بأن فشل النماذج اللغوية الكبيرة في الالتزام بقيود الجدوى الضمنية لا ينبع من نقص في المعرفة، بل من عنق زجاجة في التوجيه حيث لا يتم تفعيل القيد المشفر باستمرار أثناء عملية اتخاذ القرار، وهو قصور لا يمكن للتدخلات القائمة على التلقين التغلب عليه، ولكن يمكن لترقيع التنشيط المستهدف إصلاحه جزئياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يتخذ القرارات. تعطيه مكتبة ضخمة من الكتب ليعرف كل شيء تقريبًا عن العالم. ولكن بعد ذلك، تسأله سؤالاً مخادعاً: "أريد غسل سيارتي، ومغسلة السيارات تبعد 50 متراً. هل يجب أن أمشي أم أقود؟" الإنسان سيعرف فوراً: "مهلاً، إذا كنت سأقود، فأنا أحتاج للسيارة لتكون هناك لكي أقودها!". لكن الروبوت، رغم أنه قرأ كل الكتب عن السيارات وغسلها، قد يقول بثقة: "قُد!" لأنه رأى كلمة "سيارة" وكلمة "قُد" وفكر: "أوه، هذا تطابق!".
تتعمق هذه الورقة البحثية في زاوية محددة من الذكاء الاصطناعي تسمى نماذج اللغات الكبيرة (LLMs). هذه هي أنظمة الذكاء الاصطناعي العبقرية التي تدردش، وتكتب القصص، وتحل المشكلات. اللغز الكبير الذي يحاول الباحثون حله هو الفرق بين المعرفة بشيء ما وبين استخدامه. فكر في الأمر كطالب حفظ كتاب القواعد بالكامل، ولكن عند اللعب، يستمر في نسيان القواعد لأنه يتشتت بالقطع اللامعة الموجودة على اللوحة. لطالما اشتبه العلماء في أن هذه الأنظمة قد "تعرف" القواعد الخفية للمنطق، لكنها تفشل في تطبيقها عندما يصبح الموقف معقداً. هذا الأمر مهم لأننا إذا أردنا ذكاءً اصطناعياً آمناً وموثوقاً في العالم الحقيقي — مثل مساعدة الأطباء أو قيادة السيارات — فنحن بحاجة إلى معرفة ما إذا كان يفكر حقاً أم أنه مجرد يخمن بناءً على أدلة سطحية.
قرر الباحثون وراء هذه الدراسة لعب دور المحقق مع 14 نموذجاً مختلفاً من الذكاء الاصطناعي لمعرفة ما يحدث بالضبط في "أدمغتهم" عندما يرتكبون هذه الأخطاء. لقد صمموا تجربة ذكية باستخدام "رباعية" من السيناريوهات. تخيل أربعة نسخ من نفس القصة: نسخة يكون فيها القاعدة الخفية موجودة (السيارة مفقودة)، ونسخة تُزال فيها القاعدة (السيارة موجودة بشكل سحري)، ونسخة يتم فيها الصراخ بالقاعدة بصوت عالٍ ("تذكر، السيارة مفقودة!")، ونسخة يضيفون فيها فقط جملة عشوائية بنفس الطول ليروا ما إذا كان الذكاء الاصطناعي يحب القصص الطويلة فحسب.
إليك التحول الذي اكتشفوه: الذكاء الاصطناعي ليس غبياً؛ إنه فقط مشتت. ولكن الأهم من ذلك، وجد الباحثون أن "تشتت" الذكاء الاصطناعي يحدث بطريقتين مختلفتين تماماً.
عندما نظر الباحثون داخل "دماغ" الذكاء الاصطناعي (طبقات بياناته المخفية)، وجدوا أن الذكاء الاصطناعي يعرف القاعدة بالفعل. استطاعوا بناء كاشف بسيط يقرأ أفكار الذكاء الاصطناعي الداخلية ويقول: "نعم، السيارة مفقودة!" بدقة تتراوح بين 88% إلى 94%. كانت المعرفة موجودة هناك، جالسة في منتصف عملية المعالجة، تماماً كحقيقة موضوعة على مكتب.
ومع ذلك، فإن المشكلة تكم-ن في أن الذكاء الاصطناعي لا يستخدم تلك المعرفة عندما يحين وقت اتخاذ القرار النهائي. الأمر يشبه امتلاك نظام ملاحة (GPS) يعرف أن الطريق مغلق، لكن السائق (جزء اتخاذ القرار في الذكاء الاصطناعي) يتجاهل الـ GPS ويستمر في القيادة على أي حال. يطلق الباحثون على هذا مشكلة توجيه (routing problem). المعلومات موجودة، لكن المسار المؤدي إلى الإجابة مسدود أو يتم تجاهله.
بشكل حاسم، اكتشفوا نوعين متميزين من الروبوتات يفشلان بطرق مختلفة:
- الروبوتات "النشطة للغاية": بعض النماذج (مثل Llama-4 و Claude Opus) متحمسة جداً لتكون آمنة لدرجة أنها تطبق الإجابة "المقيدة بالقيود" (مثلاً: "امشِ") حتى عندما تكون تلك القيود غائبة. إذا أزلت السيارة من القصة، فسيظلون يقولون "امشِ" لأن لديهم انحيازاً نحو الإجابة "الآمنة". إنهم يعرفون القاعدة، لكنهم لا يستطيعون "إيقاف تشغيلها" عندما ينبغي لهم ذلك، مما يؤدي إلى فشلهم في اختبار المنطق عبر تطبيق قاعدة لا وجود لها.
- الروبوتات "غير النشطة": نماذج أخرى (مثل GPT-OSS) تفشل في تطبيق القاعدة حتى عندما تكون موجودة. إنهم يرون السيارة المفقودة ومع ذلك يقولون "قُد". هم يعرفون أن القاعدة موجودة، لكن أسلاكهم الداخلية معطلة لدرجة أن المعرفة لا تصل أبداً إلى زر اتخاذ القرار.
لقد اختبروا هذا من خلال القيام بما يسمى "ترقيع التنشيط" (activation patching). تخيل أنه يمكنك أخذ "الفكرة" من لحظة كان فيها الذكاء الاصطناعي يتذكر القاعدة (مثل عندما تصرخ بها بصوت عالٍ) ولصقها مباشرة في اللحظة التي نسيها فيها. بالنسبة للنماذج المتوازنة (مثل Qwen3-14B)، نجحت عملية "اللصق السحري" هذه بشكل مثالي! أصبح الذكاء الاصطناعي فجأة يعطي الإجابة الصحيحة، مما أثبت أن المعرفة كانت موجودة وأنها فقط احتاجت إلى دفعة لتصل إلى القرار. ولكن بالنسبة للنماذج غير النشطة، لم تفعل عملية اللصق شيئاً. على الرغم من أنهم عرفوا القاعدة، إلا أن أسلاكهم الداخلية كانت معطلة بطريقة منعت هذه المعرفة من الوصول أبداً إلى زر اتخاذ القرار. (ملاحظة: لم يختبر الباحثون هذا الترقيع على المجموعة "النشطة للغاية"، لذا لا نعرف ما إذا كان اللصق سيصلحهم).
اختبرت الورقة أيضاً الطرق الأكثر شيوعاً التي يحاول بها الناس إصلاح أخطاء الذكاء الاصطناعي، مثل طلب "التفكير خطوة بخطوة" أو "سرد المتطلبات المسبقة". كانت النتائج مفاجئة: لا شيء من هذه الحيل أصلح المشكلة فعلياً. بدلاً من ذلك، جعلت الذكاء الاصطناعي أكثر عرضة لتخمين الإجابة "الآمنة" (مثل "امشِ") حتى عندما لا ينبغي له ذلك. اتضح أنه عندما تقول للذكاء الاصطناعي "فكر بجدية أكبر"، فإنه يكتفي فقط بأن يصبح أكثر صخباً في ذكر القاعدة، لكنه لا يزال لا يعرف متى يطبقها. الأمر يشبه طالباً، عندما يُطلب منه "إظهار خطوات الحل"، يقوم بكتابة القاعدة في كل سطر من أسطر واجبه المنزلي، حتى في الأسطر التي لا تهم فيها القاعدة.
باخت-صار، تشير الورقة إلى أن الفشل ليس بسبب نقص المعرفة لدى الذكاء الاصطناعي. بل لأن الذكاء الاصطناعي يعاني من "عنق زجاجة في التوجيه". إنه يعرف الحقيقة، لكنه لا يستطيع معرفة متى يسمح لتلك الحقيقة بتوجيه إجابته. الطرق الحالية المتمثلة في مجرد الطلب من الذكاء الاصطناعي أن "يحاول بجهد أكبر" أو "يفكر أكثر" لا تصلح الأسلاك المعطلة؛ بل تجعل الذكاء الاصطناعي أكثر ثقة في تخميناته الخاطئة. لكي نصلح هذا حقاً، قد نحتاج إلى إعادة بناء المسارات الداخلية التي تربط ما يعرفه الذكاء الاصطناعي بما يقرر قوله، ونحتاج إلى حلول مختلفة للروبوتات المتحمسة جداً مقابل تلك الخاملة جداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.