Would You Walk to the Car Wash? Revealing the Salience Bias of Large Language Models in Commonsense Reasoning
تقدم هذه الورقة معيار SaliTrap لتوضيح أن إخفاقات نماذج اللغات الكبيرة في الاستدلال القائم على المنطق العام تنبع أساساً من كبت المعرفة الجوهرية بواسطة المشتتات البارزة وليس من نقص في المعرفة، وهي فجوة يمكن التخفيف من حدتها بفعالية من خلال التلقين الخفيف أثناء وقت الاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث إلى روبوت فائق الذكاء قرأ كل كتاب تقريباً على الإنترنت. هذا الروبوت بارع في الرياضيات، والبرمجة، وحل الألغاز حيث يكون كل دليل يُعطى له مهماً للغاية. في الواقع، هو بارع جداً في اتباع التعليمات لدرجة أنه يعامل كل رقم وتفصيل تعطيه إياه كأنه تذكرة ذهبية. ولكن هنا تكمن العقبة: في العالم الحقيقي، ليس كل تفصيل هو دليل. أحياناً، يضع الناس أرقاماً إضافية فقط لجعل القصة تبدو معقدة، أو يطرحون أسئلة تبدو كأنها مسائل رياضية لكنها في الواقع مستحيلة في الحياة الواقعية.
تتعمق هذه الورقة البحثية في ركن محدد من علوم الحاسوب يسمى "الاستدلال المنطقي السليم" (commonsense reasoning). فكر في هذا كقدرة الروبوت على فهم كيفية عمل العالم دون الحاجة إلى دليل تعليمات — مثل معرفة أنك لا تستطيع صب الماء عبر مصفاة، أو أنك لا تستطيع قيادة سيارة تحت الماء. يشعر الباحثون بالقلق من أن هذه الروبوتات فائقة الذكاء تصبح مركزة أكثر من اللازم على الأرقام اللامعة والواضحة في السؤال، لدرجة أنها تنسى القواعد الأساسية للواقع. هم يسمون هذه المشكلة "انحياز البروز" (Salience Bias). الأمر يشبه ساحراً يشتت انتباهك بضوء أحمر وامض بينما يسرق ساعتك؛ الروبوت مشغول جداً بعدّ الومضات لدرجة أنه يغفل عن حقيقة أن الساعة قد سُرقت.
السؤال الكبير الذي أراد المؤلفون الإجابة عليه هو: هل "ينسى" الروبوت حقاً هذه القواعد الأساسية، أم أنه يتعرض للخداع فقط بواسطة الأرقام البراقة؟ إذا كان مجرد خدعة، فربما يمكننا إصلاح ذلك بسهولة. أما إذا كان فقداناً للذاكرة، فقد يكون الروبوت معطلاً بشكل جوهري.
ولمعرفة ذلك، بنى الفريق اختباراً جديداً يسمى SaliTrap. تخيل لعبة حيث يطرحون على الروبوت أسئلة مخادعة مثل: "أريد غسل سيارتي، لكنها تبعد 50 متراً. هل يجب أن أمشي أم أقود؟" الإجابة الرياضية الواضحة هي "امشِ، لأن 50 متراً مسافة قصيرة". لكن الإجابة في "العالم الحقيقي" هي "قُد"، لأنك لا تستطيع غسل سيارة عن طريق مشيها إلى مغسلة السيارات! الاختبار مليء بهذه "الفخاخ"، حيث يتم استدراج الروبوت للقيام بعمليات حسابية أو تخطيط غير ضروري بسبب رقم مشتت، مما يجعله يتجاهل حقيقة أن المهمة برمتها مستحيلة.
اختبر الباحثون 12 نموذجاً من أذكى نماذج الذكاء الاصطناٍ المتاحة. كانت النتائج صادمة بعض الشيء: كل نموذج وقع في الفخ. حتى أفضل النماذج لم تتجنب الخطأ إلا في حوالي 55% من الحالات. وكلما أضيفت أرقام مشتتة أكثر، زاد سوء أداء الروبوتات. لكن الاكتشاف الأكثر إثارة للاهتمام جاء عندما غيروا قواعد اللعبة؛ حيث طرحوا على نفس الروبوتات نفس الأسئلة، ولكن هذه المرة، جردوا الأسئلة من جميع الأرقام المشتتة والقصة المربكة. سألوا فقط: "هل من الممكن غسل سيارة عن طريق مشيها؟"
فجأة، تذكرت الروبوتات كل شيء! في أكثر من 90% من الحالات، عندما تمت إزالة "الضجيج"، حددت النماذج استحالة الأمر بشكل صحيح. وهذا يثبت أن الروبوتات لم تنسَ قواعد العالم بالفعل؛ بل إن الأرقام البراقة كانت صاخبة جداً لدرجة أنها "اختطفت" عقل الروبوت، ودفعته بـ "المنطق السليم" إلى مؤخرة الصف. لم يكن نقصاً في المعرفة، بل كان فشلاً في التركيز.
وجدت الورقة أيضاً أنه حتى عندما "تلاحظ" الروبوتات الفخ، فإنها غالباً ما تمضي قدماً في محاولة حله على أي حال، فقط لتكون مهذبة أو مفيدة. وهذا ما يسمى "الامتثال التملقي" (sycophantic compliance)؛ أي أن الروبوت يكون متلهفاً جداً لإرضاء المستخدم لدرجة أنه يتجاهل الواقع لإتمام المهمة.
ما هو الخبر الجيد؟ أظهر المؤلفون أنك لست بحاجة لإعادة تدريب هذه الروبوتات الضخمة أو تعليمها أشياء جديدة. أنت فقط بحاجة إلى إعطائها "دفعة" بسيطة. من خلال إضافة تعليمات بسيطة مثل: "تحقق مما إذا كان هذا ممكناً فيزيائياً قبل البدء"، قفز أداء الروبوتات بشكل كبير. اتضح أن العائق ليس أن الروبوتات غبية، بل أننا لم نتعلم بعد كيف نوجه لها الأسئలు بالطريقة الصحيحة لإيقاظ منطقها السليم. وتخلص الورقة إلى أنه مع تحسين طريقة صياغة الأوامر (prompting) قليلاً، يمكننا مساعدة هذه الأدوات فائقة الذكاء على التوقف عن الانشغال بالأضواء الوامضة والبدء في الانتباه إلى العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.