QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents
تقدم هذه الورقة QUACK، وهو إطار عمل مفتوح المصدر للاستنتاج الاجتماعي متعدد الوسائط يقوم بمراجعة وكلاء النماذج اللغوية الكبيرة من خلال إعادة بناء مسارات الحقيقة الأرضية للكشف تلقائياً عن الهلوسة، والاتهامات غير المدعومة، والتناقضات بين اللغة والأفعال وقياسها كمياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مجموعة من الأصدقاء يلعبون لعبة "Among Us" أو "Werewolf" عالية المخاطر. في هذه اللعبة، هناك بعض اللاعبين الذين يمثلون "طاقم السفينة" (Crewmates) الذين يحاولون إصلاح السفينة، وهناك لاعب واحد هو "المحتال" (Impostor) الذي يحاول التخريب بينهم. العقدة هي أن على الجميع التحدث، والكذب، واتهام بعضهم البعض لمعرفة هوية كل شخص.
الآن، تخيل استبدال اللاعبين البشر بروبوتات ذكاء اصطناعي متطورة (تحديداً نماذج الرؤية واللغة - Vision-Language Models). يمكن لهذه الروبوتات رؤية خريطة اللعبة، والتحرك، والتحدث مع بعضها البعض.
يقدم البحث أداة جديدة تسمى QUACK (الاستجواب، والفهم، وتدقيق المعرفة المتواصلة). فكر في QUACK كأنه حكم خارق القدرات لا يكتفي بمراقبة من فاز باللعبة فحسب، بل يتحقق أيضاً مما إذا كان الروبوتات تقول الحقيقة عما رأته أو فعلته بالفعل.
إليك تفصيل لكيفية عمل ذلك وما وجدوه، باستخدام تشبيهات بسيطة:
المشكلة: الفوز لا يعني أنك صادق
في معظم الاختبارات السابقة، كان الباحثون ينظرون فقط إلى النتيجة النهائية: "هل فاز الذكاء الاصطناعي؟"
- العيب: يمكن للذكاء الاصطناعي أن يفوز باللعبة عن طريق الكذب ببراعة، أو قد يخسر رغم أنه كان يستخدم منطقاً سليماً. تماماً كما في قاعة المحكمة الحقيقية، فإن قرار "مذنب" أو "غير مذنب" لا يخبرك ما إذا كانت الأدلة حقيقية أم أن المحامي كان مجرد متحدث بارع.
- الفجوة: حتى الآن، لم يكن لدينا وسيلة للتحقق مما إذا كانت كلمات الذكاء الاصطناعي تتطابق فعلياً مع ما اختبرته "عيونه" و"أقدامه".
الحل: QUACK (قائل الحقيقة)
QUACK هي بيئة لعبة ونظام تسجيل تم بناؤهما خصيصاً لكشف أكاذيب الذكاء الاصطناعي.
- اللعبة: يلعب وكلاء الذكاء الاصطناعي على خريطة رقمية تحتوي على غرف وممرات. يمكنهم رؤية محيطهم (صور) والحصول على ملخصات نصية. عليهم التحرك، وأداء المهام، والتحدث.
- السجل السري: خلف الكواليس، يحتفظ محرك اللعبة بمذكرات مثالية، لحظة بلحظة، توضح بالضبط أين كان كل روبوت، وماذا رأى، وماذا فعل. هذا هو "الحقيقة المطلقة" (Ground Truth).
- التدقيق (الجزء السحري): بعد اللعبة، يأخذ QUACK كل جملة قالها الروبوتات خلال نقاشاتهم ويقارنها بتلك المذكرات السرية.
- مثال: إذا قال روبوت: "رأيت بوب في الكافيتريا"، يتحقق QUACK من المذكرات. إذا قالت المذكرات إن بوب كان في الواقع في غرفة المحركات، يصنف QUACK ذلك على أنه هلوسة.
الطرق الأربعة التي "يفشل" بها الذكاء الاصطناعي (نتائج التدقيق)
وجد الباحثون أنه حتى أكثر نماذج الذكاء الاصطناعي ذكاءً ترتكب أربعة أنواع محددة من الأخطاء عندما تحاول الكذب أو قول الحقيقة في هذه اللعبة:
الهلوسة المكانية (رؤى "الأشباح"):
- تشبيه: تخيل شاهداً يدلي بشهادته قائلاً: "رأيت المشتبه به يركض في الممر"، لكن كاميرا المراقبة تثبت أن الشاهد كان في مبنى آخر في ذلك الوقت.
- النتيجة: في حوالي 15% من الحالات، ادعى الذكاء الاصطناعي رؤية أشخاص أو التواجد في أماكن لم يكن قادراً جسدياً على التواجد فيها. لقد "تذكر" أشياء لم تحدث أبداً.
الاتهام غير المدعوم (اتهام "الرماية العشوائية"):
- تشبيه: محقق يشير إلى مشتبه به ويقول: "أعتقد أنه الفاعل"، لكنه يعترف قائلاً: "ليس لدي أدنى فكرة لماذا، أنا فقط أشعر بذلك".
- النتيجة: أكثر من النصف من الاتهامات التي وجهها الذكاء الاصطناعي كانت بلا أي دليل رآه الذكاء الاصطناعي بالفعل. لقد كانوا فقط يخمنون أو يختلقون أشياء ليبدوا مقنعين.
انهيار الخداع (الكاذب "السيء"):
- تشبيه: جاسوس يحاول الكذب بشأن عذره، لكنه يخطئ ويقول: "كنت في البنك"، بينما البنك كان مغلقاً في ذلك اليوم. الكذبة واضحة جداً لدرجة أنها تنهار فوراً.
- النتيجة: عندما لعب الذكاء الاصطناعي دور "المحتال"، كانت أكاذيبه غالباً بدائية ويمكن دحضها بسهولة من خلال سجلات اللعبة. لم يصيغوا أكاذب دقيقة وذكية؛ بل كانوا فقط يختلقون حقائق خاطئة بشكل فوري.
عدم الاتساق بين اللغة والفعل (زلة اللسان):
- تشبيه: شخص يقول: "كنت مشغولاً بإصلاح المحرك"، بينما يظهر السجل أنه كان جالساً دون فعل أي شيء.
- النتيجة: كان الذكاء الاصطناعي يصف القيام بمهام لم يبدأها أو ينهيها فعلياً.
الخلاصة الكبرى
النتيجة الأكثر إثارة للدهشة هي أن الفوز باللعبة لم يكن يعني أن الذكاء الاصطناعي متجذر في الواقع.
فقد فاز أحد أقوى نماذج الذكاء الاصطناعي باللعبة في أكثر من 80% من المرات. ومع ذلك، عندما قام QUACK بتدقيق كلماته، وجد أن هذا الفائز "الذكي" كان لا يزال يكذب بشأن موقعه بنسبة 16% من الوقت، ويوجه اتهامات لا أساس لها بنسبة 54% من الوقت.
باخت-اختصار: أظهر لنا QUACK أن وكلاء الذكاء الاصطناعي يمكنهم أن يكونوا بارعين في ألعاب الاستنتاج الاجتماعي، لكنهم غالباً ما يكونون سيئين جداً في قول الحقيقة عما اختبروه بالفعل. يمكنهم أن يكونوا كاذبين مقنعين للغاية، أو كاذبين واثقين للغاية، حتى عندما تكون الحقائق موجودة أمامهم في السجلات.
لقلّف المؤلفون هذا النظام بأكمله (اللعبة، والسجلات، وأداة التدقيق) مجاناً لكي يتمكن الباحثون الآخرون من استخدامه لاختبار ما إذا كانت وكلاء الذكاء الاصطناعي لديهم "صادقين" بشأن أفعالهم، وليس فقط جيدين في الفوز.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.