LVLMs and Humans Ground Differently in Referential Communication
تقدم هذه الورقة تجربة في التواصل المرجعي تُظهر أن نماذج الرؤية واللغة الكبيرة (LVLMs) تواجه صعوبة في إرساء أرضية مشتركة وتوليد أو حل التعبيرات المرجعية بشكل تفاعلي بفعالية تضاهي البشر، مما يحد من قدرتها على التعاون بسلاسة مع المستخدمين البشر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وصديق لك تلعبان لعبة حيث يتعين عليك مطابقة 12 سلة محددة من بين 16 سلة. لا يمكنك رؤية ما يراه صديقك، وهو لا يمكنه رؤية ما تراه أنت. عليكما وصف السلال لبعضكما البعض لتتمكنا من وضعها في الترتيب الصحيح.
هذا بالضبط ما فعله الباحثون في هذه الدراسة الجديدة، لكنهم استبدلوا أصدقاءهم البشر بـ روبوتات ذكاء اصطناعي (تحديداً، نماذج لغوية بصرية لغوية متقدمة - LVLMs). أرادوا معرفة ما إذا كان الذكاء الاصطناعي يمكنه تعلم "التحدث بنفس اللغة" مع البشر أو مع أجهزة ذكاء اصطناعي أخرى بمرور الوقت، تماماً كما يفعل البشر الحقيقيون.
إليك تفاصيل ما وجدوه، باستخدام بعض التشبيهات البسيطة.
"المصافحة السرية" للمحادثة
عندما يلعب اثنان من البشر هذه اللعبة، يحدث شيء ساحر.
- الجولة 1: قد تقول: "ناولني السلة البنية الطويلة ذات المقبض الذي يشبه علامة الاستفهام".
- الجولة 2: تقول: "السلة ذات مقبض علامة الاستفهام".
- الجولة 3: تقول فقط: "سلة الـ Q".
البشر يطورون بشكل طبيعي مصافحة سرية (تسمى "الميثاق المفاهيمي"). يدركون: "أوه، كلانا يعرف الآن ماذا تعني 'سلة الـ Q'، لذا لست بحاجة لوصف الشيء كاملاً مرة أخرى". يصبحون أسرع، وأكثر إيجازاً، وأكثر دقة. إنهم يبنون فهماً مشتركاً، أو ما يسمى بـ الأرضية المشتركة.
تجربة الذكاء الاصطناعي: 4 فرق مختلفة
وضع الباحثون أربعة فرق للعب هذه اللعبة لأربعة جولات:
- إنسان + إنسان: شخصان.
- ذكاء اصطناعي + ذكاء اصطناعي: روبوتان يتحدثان مع بعضهما.
- إنسان + ذكاء اصطناعي: شخص يتحدث إلى روبوت.
- ذكاء اصطناعي + إنسان: روبوت يتحدث إلى شخص.
النتائج: من فاز؟
1. البشر (الأبطال) 🏆
تحسنت الفرق البشرية أكثر فأكثر. وبحلول النهاية، كانوا يتحدثون باختصار، ويرتكبون أخطاء أقل، وينتهون بسرعة. كانوا مثل فرقة جاز وصلت أخيراً إلى الإيقاع المتناغم؛ توقفوا عن الإفراط في الشرح وبدأوا في الارتجال معاً.
2. فريق الذكاء الاصطناعي ضد الذكاء الاصطناعي (الروبوتات الثرثارة) 🤖🤖
كانت هذه هي النتيجة الأكثر إثارة للدهشة. حتى عندما تحدث اثنان من الذكاء الاصطناعي مع بعضهما البعض، لم يتحسنا.
- المشكلة: استمروا في وصف السلال بتفاصيل دقيقة ومملة في كل مرة.
- الجولة 1: "السلة البنية الطويلة المنسوجة ذات المقبض المنحني..."
- الجولة 4: "السلة البنية الطويلة المنسوجة ذات المقبض المنحني..." (قالوا نفس الجملة الطويلة تماماً مرة أخرى!)
- التشبيه: تخيل شخصين يحاولان طلب بيتزا. حتى بعد أن اتفقا في المرة الأولى على كلمة "ببروني"، في المرة الثانية يقول أحدهما: "أريد البيتزا التي تحتوي على دوائر حمراء وجبن حار على العجين". لم يتعلموا أبداً قول "ببروني" فقط.
- النتيجة: لقد ساء أداؤهم فعلياً في اللعبة بمرور الوقت لأنهم كانوا مشغولين جداً بالكلام لدرجة أنهم فقدوا تتبع أي سلة هي أي واحدة. لقد فشلوا في بناء تلك "المصافحة السرية".
3. الفرق المختلطة (الشركاء المزعجون) 😫
عندما لعب البشر مع الذكاء الاصطناعي، كانت النتيجة كارثية بالنسبة للبشر.
- الإنسان كمدير (يتحدث إلى الذكاء الاصطناعي): حاول الإنسان أن يكون موجزاً، لكن الذكاء الاصطناعي استمر في طلب تأكيدات غير ضرورية أو تكرار الأشياء. كان على الإنسان القيام بكل المجهود الشاق.
- الذكاء الاصطناعي كمدير (يتحدث إلى الإنسان): كان الذكاء الاصطناعي يصف السلال بطريقة طويلة ومربكة. في بعض الأحيان، كان الذكاء الاصطناعي يصف السلة الخاطئة تماماً (وهو ما يسمى بـ "الهلوسة")، وكان الإنسان يحاول التصحيح، لكن الذكاء الاصطناعي كان يتجاهل التصحيح ويستمر في الكلام.
- التشبيه: الأمر يشبه محاولة قيادة سيارة مع راكب يستمر في تغيير الوجهة دون إخبارك. أنت تعرف إلى أين تذهب، لكن الراكب يستمر في الإصرار على أن تنعطف يساراً، رغم أنك وصلت بالفعل.
لماذا فشل الذكاء الاصطناعي؟
تشير الورقة البحثية إلى أن الذكاء الاصطناعي يشبه آلة تصوير المستندات، وليس شريكاً متعاوناً.
- البشر يتعلمون من خلال التفاعل. هم يستمعون لما يحتاجه شريكهم ويتكيفون معه.
- الذكاء الاصطناعي (في هذه الدراسة) كان ينظر فقط إلى تعليماته وسجل الدردشة ويقول: "حسناً، سأصف الشيء مرة أخرى باستخدام أكثر الكلمات تفصيلاً التي أعرفها". لم يدرك قائلاً: "مهلاً، شريكي يعرف بالفعل ما هذا!".
لقد فشل الذكاء الاصطناعي في فهم مفهوم "الأرضية المشتركة". لم يدرك أنه بمجرد ترسيخ شيء ما، لا داعي لشرحه مرة أخرى. لقد انتهك القاعدة الأساسية للمحادثة: لا تقل الكثير إذا لم يكن هناك داعٍ لذلك.
الخلاصة الكبرى
إذا أردنا للذكاء الاصطناعي أن يكون شريكاً جيداً للبشر (مثل مساعد طبيب أو مساعد طيار)، فعليه أن يتعلم كيف يستمع ويتكيف، وليس فقط كيف يتكلم. حالياً، حتى نماذج الذكاء الاصطناعي الأكثر ذكاءً سيئة جداً في بناء ذلك الفهم المشترك. إنهم يشبهون طالباً حفظ الكتاب المدرسي عن ظهر قلب ولكنه لم يسبق له قط أن خاض محادثة مع صديق.
باخت-اختصار: البشر يصبحون أذكى معاً من خلال بناء لغة مشتركة. أما الذكاء الاصطناعي، فيستمر فقط في تكرار القاموس.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.