When Contextual Inference Fails: Cancelability in Interactive Instruction Following
تقدم هذه الورقة معيار "ابنِ ما أعنيه" (Build What I Mean - BWIM) لتوضيح أنه على الرغم من قدرة النماذج اللغوية الكبيرة المتطورة على اكتشاف عدم موثوقية المتحدث في المهام التعاونية، إلا أنها تفشل في ترجمة هذه الرؤية إلى استراتيجيات توضيح فعالة، حيث تلجأ غالباً إلى سلوكيات غير مثالية مثل الإفراط في الاستيضاح أو التخمين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة "ليجو" (Lego) مع صديق عبر الهاتف. لا يمكنك رؤية ما يبنيه، وهو لا يمكنه رؤية ما تبنيه أنت. عليه هو أن يصف لك ما يجب بناؤه، وعليك أنت اتباع تعليماته.
هذه الورقة البحثية تتحدث عن تجربة جديدة تسمى "ابنِ ما أعنيه" (Build What I Mean - BWIM). أراد الباحثون معرفة ما إذا كانت نماذج الذكاء الاصطناعي (مثل تلك التي تتحدث إليها عبر الإنترنت) جيدة في فهم "روح" التعليمات كما يفعل البشر، أم أنها تكتفي فقط باتباع "الكلمات الحرفية" مثل الروبوت.
إليك تفاصيل التجربة باستخدام قصة بسيطة:
"المُعلمان" الاثنان
كان على الذكاء الاصطناعي لعب هذه اللعبة مع نوعين مختلفين من "المُعلمين":
1. "بيا" العملية (الصديقة المتعاونة):
- طريقتها في الكلام: تقول: "ابنِ برجًا أحمر خلف البرج الأزرق".
- الخدعة: هي لم تذكر كم يجب أن يكون ارتفاع البرج الأحمر.
- المنطق: هي تتوقع منك استخدام المنطق السليم. بما أن البرج الأزرق بارتفاع 3 مكعبات، فهي تفترض أنك ستعرف تلقائيًا أن البرج الأحمر يجب أن يكون بارتفاع 3 مكعبات أيضًا. إنها "متعاونة".
- النتيجة: إذا خمنت الارتفاع بناءً على السياق، فستكون محقًا بنسبة 100%.
2. "ليزا" الحرفية (الروبوت الصارم):
- طريقتها في الكلام: تقول نفس الشيء تمامًا: "ابنِ برجًا أحمر خلف البرج الأزرق".
- الفخ: هي أيضًا لم تذكر كم يجب أن يكون الارتفاع.
- المنطق: هي "حرفية". لقد نسيت أن تخبرك بالارتفاع، وهي لا تتوقع منك أن تخمن. إذا خمنت أنه بارتفاع 3 مكعبات (مثل برج بيا)، فستكون "مخطئًا". ربما كانت تريد أن يكون بارتفاع 5 مكعبات.
- النتيجة: إذا خمنت بناءً على السياق، فستفشل. يجب عليك أن تسأل: "كم الارتفاع؟".
الهدف: هل يمكن للذكاء الاصطناعي أن يتعلم؟
أراد الباحثون معرفة ما إذا كان بإمكان الذكاء الاصطناعي استيعاب ما يلي:
- "حسنًا، عندما أتحدث مع بيا، يمكنني تخمين التفاصيل الناقصة، لست بحاجة لطرح أسئلة".
- "لكن عندما أتحدث مع ليزا، فإن تخميناتي عادة ما تكون خاطئة. يجب أن أتوقف عن التخمين وأطلب توضيحًا".
هذا ما يسمى "قابلية الإلغاء" (Cancelability). وهي القدرة على قول: "أنا عادةً أفترض (س)، ولكن مع هذا الشخص تحديدًا، أعلم أن (س) خاطئة، لذا سأقوم بإلغاء هذا الافتراض".
ماذا حدث؟ (النتائج)
اختبر الباحثون ثلاثة من أفضل نماذج الذكاء الاصطناعي، وإليك ما وجدوه باستخدام تشبيه بسيط:
1. "الذكي" مقابل "الجاهل" (تقييمات الثقة)
أولاً، سألوا الذكاء الاصطناعي: "ما مدى تأكدك من أنك بنيت الشيء الصحيح؟"
- الأخبار الجيدة: كانت النماذج ذكية بما يكفي لإدراك: "مهلاً، عندما أتحدث مع ليزا، أنا لست متأكدًا جدًا". لقد خفضوا درجات الثقة لديهم. لقد عرفوا أن هناك خطبًا ما.
- الأخبار السيئة: رغم أنهم عرفوا أنهم غير متأكدين، إلا أنهم لم يغيروا سلوكهم.
2. معضلة "اسأل أم خمن"
في الجزء الثاني من التجربة، كان بإمكان الذكاز الاصطناعي طرح سؤال للحصول على الإجابة، لكن ذلك كان يكلف "نقاطًا" (مثل عقوبة صغيرة).
- استراتيجية البشر المثالية:
- مع بيا: "أنا أعرف ما تعنيه. لا داعي للسؤال، سأوفر نقاطي!".
- مع ليزا: "سأخمن بشكل خاطئ. سأضحي بنقطة واحدة لأسأل: 'كم الارتفاع؟'".
- استراتيجية الذكاء الاصطناعي (الفشل):
- النموذج أ (GPT): كان يخشى طرح الأسئلة بشدة. حتى مع ليزا الماكرة، استمر في التخمين وخسر النقاط. كان "متجنبًا للأسئلة".
- النموذج ب و ج (Gemini و Claude): طرحا أسئلة، لكنهما كانا "عمياني الشراكة". فقد طرحا الأسئلة على كل من بيا وليزا بالتساوي. لم يدركا: "أوه، لست بحاجة لسؤال بيا؛ فهي موثوقة!". لقد أضاعوا النقاط في سؤال الصديقة المتعاونة رغم عدم حاجتهم لذلك.
الخلاصة الكبرى
تكشف الورقة البحثية عن انفصال غريب في الذكاء الاصطناعي:
- الحكم: يمكن للذكاء الاصطناعي أن يقول: "أنا مرتبك".
- الفعل: لكنه لا يستطيع استخدام هذا الارتباك لاتخاذ قرار ذكي، مثل "يجب أن أسأل سؤالًا الآن" أو "يجب أن أتوقف عن التخمين".
الأمر يشبه طالبًا يعرف أنه لا يفهم مسألة رياضية (يشعر بعدم اليقين) ولكنه يخجل من رفع يده، أو يسأل المعلم عن المساعدة حتى عندما قدم المعلم مثالًا واضحًا للتو. إنهم لم يتعلموا كيف يعدلون استراتيجيتهم بناءً على الشخص الذي يتحدثون إليه.
لماذا يهم هذا؟
إذا أردنا للذكاء الاصطناعي أن يكون مساعدًا جيدًا في العالم الحقيقي (مثل مساعد طبيب أو وكيل سفر)، فعليه أن يعرف:
- متى يثق في السياق (لتوفير الوقت).
- متى يتوقف ويطلب توضيحًا (لتجنب الأخطاء).
- متى يتوقف عن السؤال لأن الطرف الآخر موثوق.
حالياً، نماذج الذكاء الاصطنا هذه تشبه الطالب الذي يمكنه الشعور بالارتباك، لكنه لم يتعلم المهارة الاجتماعية لمعرفة متى يتحدث ومتى يصمت. إنهم لا يزالون يتعلمون كيف يكونون "عمليين" حقًا كالبشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.