CARD: Diagnosing Belief to Action Routing Failures in Vision Language Models
تقدم هذه الورقة CARD، وهي طريقة تشخيصية تكشف عن فشل نماذج الرؤية واللغة في توجيه تمثيلات المعتقدات الداخلية بفعالية إلى تنبؤات أفعالها، وهو قصور تم تحديده من خلال معيار عالم الشبكة التعاوني الجديد المسمى Relay Chain.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في مجال الذكاء الاصطناي المترامي الأطراف، يهتم الباحثون بشكل متزايد بما إذا كانت الآلات قادرة على فهم عقول الآخرين. هذه القدرة، المعروفة باسم "نظرية العقل"، تسمح للشخص باستنتاج ما يراه شخص آخر، أو ما يعرفه، أو ما يريده، حتى عندما تكون هذه المعلومات مخفية عن رؤيته الخاصة. إنها الغراء الذهني الذي يجعل التعاون ممكناً، مما يسمح لنا بالتنبؤ بالخطوة التالية للشريك بناءً على منظوره هو، وليس فقط بناءً على منظورنا. ومع نشر أنظمة الذكاء الاصطناعي للعمل جنباً إلى جنب مع البشر — كمساعدين روبوتيين، أو مساعدين طيران، أو أعضاء في فريق — يحتاج العلماء إلى معرفة ما إذا كانت هذه الأنظمة تمتلك هذه القدرة نفسها. فإذا لم يستطع الذكاء الاصطناعي استيعاب ما يعرفه شريكه حقاً، فلن يتمكن من التعاون بفعالية، بغض النظر عن مدى ذكائه في جوانب أخرى.
ولتقصي ذلك، طور فريق من الباحثين في جامعة شتوتغارت طريقة جديدة للنظر داخل "دماغ" النماذج الحديثة القائمة على الرؤية واللغة. وهذه نماذج برامج حاسوبية متطورة يمكنها رؤية الصور وفهم اللغة في آن واحد. أراد الباحثون معرفة ما إذا كانت هذه النماذج تستخدم بالفعل فهمها الداخلي للحالة الذهنية للشريك عند اتخاذ القرار بشأن الإجراء التالي. لقد أنشأوا بيئة اختبار جديدة تسمى "سلسلة التتابع" (Relay Chain)، وهي لعبة تعاونية تُلعب على شبكة رقمية. في هذه اللعبة، يمسك وكيلان بروافع تفتح بوابات لمرور وكيل ثالث. ويعتمد النجاح كلياً على معرفة الوكلاء فيما إذا كان بإمكان شريكهم رؤية المسافر أثناء عبوره. فإذا كان الوكيل لا يستطيع رؤية العبور، يجب عليه التمسك بالرافعة؛ أما إذا كان يستطيع رؤية العبور، فيجب عليه تحرير اللافعة. هذا الإعداد يجبر الذكاء الاصطناعي على اتخاذ القرارات بناءً على ما يعتقد أن شريكه يراه، بدلاً من مجرد ما يحدث في العالم.
استخدم الباحثون تقنية تسمى "توجيه التنشيط" (activation steering) لسبر أغوار النماذج. تخيل أفكار الذكاء الاصطناعي الداخلية كأنها مشهد واسع من الإشارات. حدد الفريق إشارات محددة تمثل "الاعتقاد" — وهو السجل الداخلي للذكاء الاصطناعي حول ما يراه شريكه. ثم قاموا بعد ذلك بتقوية أو إضعاف إشارات الاعتقاد هذه اصطناعياً أثناء لعب الذكاء الاصطناعي للعبة، وهو ما يعني عملياً دفع الحالة الداخلية للنموذج لتكون أكثر أو أقل يقيناً بشأن رؤية شريكه. وإذا كان الذكاء الاصطناعي يستخدم حقاً فهمه لعقل الشريك لاتخاذ القرارات، فإن تغيير هذا الاعتقاد الداخلي يجب أن يغير الإجراء الذي يتخذه الذكاء الاصطناعي. فعلى سبيل المثال، إذا تم توجيه النموذج ليعتقد أن الشريك يمكنه رؤية المسافر، فينبغي عليه تحرير الرافعة. أما إذا تم توجيهه ليعتقد أن الشريك لا يمكنه الرؤية، فينبغي عليه التمسك بها.
كشفت النتائج عن فشل حرج في كيفية عمل هذه النماذج. أظهرت التجارب أن النماذج تمتلك بالفعل تمثيلاً واضحاً وقابلاً للقراءة لاعتقاد الشريك. فعند سؤالها مباشرة: "هل يرى شريكك المسافر؟"، أجابت النماذج بشكل صحيح، واستطاع الباحثون أيضاً تغيير الإجابة عن طريق توجيه الإشارات الداخلية. ومع ذلك، عندما طُلب من النماذج تنفيذ الإجراء التعاوني — أي تقرير ما إذا كان سيحرر الرافعة أم سيمسك بها — فقد تم تجاهل إشارات الاعتقاد الداخلية تماماً. فحتى عندما قام الباحثون بتغيير اعتقاد النموذج الداخلي حول ما يراه الشريك بالقوة، ظل قرار النموذج بشأن ما يجب فعله كما هو تماماً. لقد تصرف وكأن لديه ذاكرة مثالية لرؤية الشريك، لكنه ببساطة اختار عدم استخدام تلك الذاكرة عند اتخاذ خطوة.
كان هذا الانفصال ثابتاً عبر أربعة أنواع مختلفة من النماذج مفتوحة المصدر التي تم اختبارها، والتي تراوحت بين الأنظمة الصغيرة والكبيرة. لم تكن النماذح تفشل بسبب نقص المعلومات؛ بل كانت تفشل لأنها لم تكن توجه تلك المعلومات إلى الجزء المسؤول عن اتخاذ القرارات في النظام. وقد استبعد الباحثون عدة احتمالات أخرى، مثل كون النماذج مرتبكة بسبب صياغة الأسئلة أو كون طريقة التوجيه ضعيفة جداً بحيث لا تُسجل أثراً. لقد اختبروا عشرات الطرق المختلفة لصياغة التعليمات ووجدوا أنه لا توجد كمية من التوجيه (prompting) يمكنها إجبار النماذج على استخدام معتقداتها الداخلية لتوجيه أفعالها. كانت النماذج "عمياء" فعلياً عن معرفتها الخاصة عندما يتعلق الأمر باتخاذ خطوة.
تخلص الدراسة إلى أنه بينما يمكن تدريب أنظمة الذكاء الاصطناعي هذه على وصف الحالة الذهنية للشريك، إلا أنها لا تربط ذلك الوصف بسلوكها تلقائياً. يمكنها التحدث عما يعرفه شخص آخر، لكنها لا تستخدم تلك المعرفة لتقرر ما يجب فعله. وهذا يشير إلى أن مجرد تعليم النموذج الإجابة على الأسئلة المتعلقة بالمعتقدات ليس كافياً لخلق وكيل تعاوني حقيقي. ولكي يعمل الذكاء الاصطناعي بسلاسة مع البشر، يجب أن يكون الفهم الداخلي للآخرين موصولاً مباشرة بعملية صنع القرار، وهو الاتصال الذي يبدو أن النماذج الحالية تفتقر إليه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.