Where Norms and References Collide: Evaluating LLMs on Normative Reasoning
تقدم هذه الورقة SNIC، وهو بيئة اختبار تم التحقق منها بشرياً لتقييم النماذج اللغوية الكبيرة في مجال حل المراجع القائم على المعايير، مما يكشف أن حتى النماذج المتطورة تواجه صعوبة في تحديد وتطبيق المعايير الاجتماعية الضمنية الضرورية للتفاعلات الموقعية والمجسدة بشكل متسق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك في مطبخ مزدحم مع صديق لك. تسأل: "هل يمكنك أن تمرر لي كوباً؟". هناك ثلاثة أكواب على الطاولة: أحدها نظيف تماماً، واثنان مغطيان بآثار قهوة جافة.
إذا كنت بشراً، ستعرف فوراً أن صديقك سيعطيك الكوب النظيف. لست بحاجة لأن يقول لك "الكوب النظيف"، لأنكما تتشاركان قاعدة غير معلنة: لا تشرب من كوب شخص آخر المتسخ. هذه القاعدة غير المرئية هي عرف اجتماعي.
هذه الورقة البحثية، التي تحمل عنوان "حيث تتصادم الأعراف والمرجعيات"، تطرح سؤالاً بسيطاً ولكنه محير: هل يمكن للذكاء الاصطناعي الحديث (وتحديداً النماذج اللغوية الكبيرة أو LLMs) أن يعرف أي كوب تقصد دون أن يتم إخباره صراحة؟
إليك تفصيل لنتائجهم، باستخدام بعض التشبيهات اليومية:
المشكلة: "النقطة العمياء" للذكاء الاصطناعي
فكر في النموذج اللغوي الكبير (LLM) كطالب ذكي جداً قرأ كل كتاب في المكتبة تقريباً. هو بارع في الإجابة على أسئلة المعلومات العامة وحل الألغاز المنطقية. ومع ذلك، لم يعش هذا الطالب أبداً في مطبخ، أو مكتبة، أو مطعم. هو يعرف ما هو "الكوب"، لكنه لم يتعلم القواعد الضمنية غير المكتوبة حول كيفية تصرف الناس في تلك الأماكن.
يطلق الباحثون على هذه المهارة المفقودة اسم "حل المرجع القائم على الأعراف" (NBRR). وهي القدرة على النظر إلى مشهد فوضوي، وفهم "القواعد الاجتماعية" (قواعد السلوك)، وتخمين الشيء الذي يشير إليه شخص ما.
التجربة: بناء "فخ العرف"
لاختبار ذلك، أنشأ الفريق مجموعة بيانات تسمى SNIC (الأعراف الموقعية في السياق).
- الإعداد: أنشأوا 9,000 قصة قصيرة (مشاهد) تتضمن مهاماً يومية مثل التنظيف، أو تقديم الطعام، أو الترتيب.
- الفخ: في كل قصة، طرحوا سؤالاً يبدو غامضاً. على سبيل المثال: "التقط الطبق".
- السيناريو أ: الغرفة يتم تنظيفها. يجب على الذكاء الاصطناعي التقاط الطبق المتسخ.
- السيناريو ب: الغرفة يتم تقديم الطعام فيها. يجب على الذكاء الاصطناعي التقاط الطبق النظيف.
- الاختبار البشري: قبل الوثوق بالذكاء الاصطناعي، طلبوا من 210 بشراً حقيقيين حل هذه الألغاز. اتفق البشر في الغالب على الإجابة "العرفية" (مثلاً: "التقط الطبق المتسخ لأننا نقوم بالتنظيف")، مما أثبت أن القواعد كانت واضحة للبشر.
النتائج: الذكاء الاصطناعي يضل الطريق بدون خريطة
اختبر الباحثون عدة نماذج ذكاء اصطناعي رفيعة المستوى (مثل GPT-4 و Llama و Phi) على هذه القصص التسعة آلاف. كانت النتائج تشبه مشاهدة نظام GPS يحاول التنقل في مدينة لم يزرها من قبل:
- الفشل في "لعبة التخمين": عندما تم إعطاء الذكاء الاصطناعي القصة فقط وطُلب منه اختيار الكائن الصحيح، عانى كثيراً. لقد أصاب الإجابة الصحيحة في أقل من نصف الحالات في المتوسط. غالباً لم يستطع التمييز بين "مهمة تنظيف" و"مهمة تقديم طعام" لأنه لم يفهم "العرف" الكامن وراء المهمة.
- طريق مسدود عبر "اللغة الرسمية": حاول الباحثون إعطاء الذكاء الاصطنا وصفاً دقيقاً للغاية للمشهد (باستخدام لغة برمجية تسمى Prolog) لإزالة أي غموض. ومن المثير للدهشة أن هذا لم يساعد كثيراً. الأمر يشبه إعطاء سائق خريطة مثالية ولكن إخباره: "لا تزال لا تعرف قوانين المرور". كان الذكوا الاصطناعي يعرف الحقائق، لكنه لم يكن يعرف قواعد الطريق.
- نجاح "ورقة الغش": عندما أعطى الباحثون الذكاء الاصطناعي قائمة صريحة بالقواعد التي يجب اتباعها (مثلاً: "قاعدة: في مهمة التنظيف، التقط الأشياء المتسخة")، ارتفع أداء الذكاء الاصطناعي بشكل هائل. فجأة، أصبح يحصل على الإجابات الصحيحة.
الخلاصة الكبرى
تخلص الورقة إلى أن نماذج الذكاء الاصطناعي الحالية تشبه الموسوعات الممتازة ولكنها جيران سيئون.
- هي تعرف ما هو الكوب.
- هي تعرف ما هو التنظيف.
- لكنها لا تعرف بطبيعتها كيف يستخدم الناس الأكواب في سياق اجتماعي ما لم تخبرها بالقاعدة صراحة.
ويرى المؤلفون أن هذا يمثل "نقطة عمياء". تُدرب نماذج الذكاء الاصطناعي على النصوص، لكن الأعراف الاجتماعية غالباً ما تكون ضمنية (غير مكتوبة أبداً) ومرتبطة بالواقع المادي (مرتبطة بأشياء وأفعال حقيقية). ولأن هذه القواعد لا تُذكر دائماً بوضوح في الكتب، فإن الذكاء الاصطناعي يفتقدها.
لماذا هذا مهم (وفقاً للورقة)
تشير الورقة إلى أنه إذا أردنا من الروبوتات أو مساعدي الذكاء الاصطناعي العمل في المنازل أو المكاتب الحقيقية، فعليهم تعلم هذه القواعد الاجتماعية غير المرئية. حالياً، قد يسلمونك كوباً متسخاً عندما تطلب شراباً، ليس لأنهم "أغبياء"، بل لأنهم لم يتعلموا العقد الاجتماعي الضمني الذي ينص على أن "نحن لا نفعل ذلك".
باختصار: قامت الورقة ببناء اختبار لمعرفة ما إذا كان الذكاء الاصطناعي يفهم "القواعد غير المكتوبة" للحياة اليومية. ووجدت أنه بينما يعد الذكاء الاصطناعي ذكياً، فإنه حالياً سيء جداً في تخمين ما تعنيه عندما نعتمد على تلك القواعد غير المكتوبة، ما لم نشرح له القواعد أولاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.