Can Humans Dream of Electric Sheep? Human-Written Samples for Fine-Grained Vision-and-Language Hallucination Benchmarking
تقدم هذه الورقة معياراً مرجعياً متعدد اللغات ودقيقاً للكشف عن الهلوسة في الرؤية واللغة، مبرهنةً على أن العينات المكتوبة بشرياً تُعد بديلاً قابلاً للتطبيق ومستقلاً عن النماذج للبيانات المولدة آلياً، وذلك من خلال توفير توافق أعلى في التوصيف وتحكم أفضل مع الحفاظ على تشابه التوزيع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن الإنترنت عبارة عن مكتبة ضخمة ومزدحمة، حيث وصل للتو نوع جديد من أمناء المكتبة. هؤلاء الأمناء هم نماذج ذكاء اصطناعي (AI)، وتحديداً تلك التي يمكنها "رؤية" الصور و"قراءتها" بصوت عالٍ في شكل جمل. إنهم سريعون وموهوبون للغاية، لكن لديهم عادة غريبة: أحياناً، يصفون أشياء غير موجودة على الإطلاق بكل ثقة. في عالم علوم الحاسوب، يُطلق على هذا اسم "الهلوسة" (Hallucination). الأمر يشبه أن ينظر أمين مكتبة إلى صورة قطة ويصر، بكل ثقة، على أن القطة ترتدي قبعة صغيرة وتمسك بفنجان قهوة، رغم أن الصورة لا تظهر أي شيء من هذا القبيل.
هذه مشكلة كبيرة، لأنه إذا لم نتمكن من الوثوق بما يقوله أمناء المكتبة من الذكاء الاصطناعي، فلن نتمكن من استخدامهم لمساعدتنا في العثور على معلومات حقيقية. ولإصلاح ذلك، يحتاج العلماء إلى طريقة لاختبار ما إذا كانت "أجهزة كشف الهلوسة" الخاصة بهم (البرامج المصممة لرصد هذه الأكاذيب) تعمل بالفعل. ولكن هنا تكمن العقبة: معظم الاختبارات يتم بناؤها باستخدام أمثلة تم إنشاؤها بواسطة نماذج الذكاء الاصطناعي نفسها التي تحاول اختبارها. الأمر يشبه محاولة تعليم طالب كيفية كشف الأخبار المزيفة من خلال إظهار أخبار مزيفة كتبها طلاب آخرون قد يكونون بصدد ممارسة الحيل. قد ينتهي الأمر بالاختبار بقياس مدى جودة تخمين الكاشف لحيل معينة لواحد من الطلاب، بدلاً من قياس مدى قدرته على رصد الأكاذب بشكل عام. ومع تغير نماذج الذكاء الاصطناعي وتطورها لتصبح أكثر ذكاءً كل بضعة أشهر، تصبح هذه الاختبارات القديمة عديمة الفائدة، تماماً مثل محاولة اختبار محرك سيارة جديدة باستخدام خريطة تعود لعشر سنوات مضت.
هنا يأتي دور ورقة البحث "هل يمكن للبشر أن يحلموا بخراف إلكترونية؟" (Can Humans Dream of Electric Sheep?). فقد طرح الباحثون سؤالاً بسيطاً وجريئاً: ماذا لو توقفنا عن استخدام الذكاء الاصطناعي لإنشاء أسئلة الاختبار، واستعضنا عن ذلك بسؤال البشر لكتابة القصص المزيفة؟ أرادوا معرفة ما إذا كان بإمكان البشر ابتكار هلوسة تبدو تماماً مثل خطأ الذكاء الاصطناعي، ولكن دون عبء الاعتماد على برنامج حاسوبي محدد يتغير بسرعة.
ولمعرفة ذلك، قام الفريق ببناء مجموعة ضخمة من حالات الاختبار تسمى SHEEP (والتي ترمز إلى: مجموعة من الإنتاجات البشرية والإنتاجات الإلكترونية الخاطئة). لقد جمعوا 20,000 عينة في المجمل. حوالي 18,400 منها تم إنشاؤها بواسطة خمسة نماذج مختلفة من الذكاء الاصطناعي أثناء النظر في صور متنوعة. أما الـ 1,600 عينة المتبقية، فقد كتبها بشر أُعطوا نفس الصور وطُلب منهم تعمد اختلاق أكاذيب حولها، محاكين بذلك أنواع الأخطاء التي يرتكبها الذكاء الاصطناعي. وقد غطت هذه العينات أربع لغات: الإنجليزية، والصينية، والفرنسية، والإيطالية.
بعد ذلك، وضع الباحثون هذه العينات قيد الاختبار. فقد جعلوا خبراء بشريين ينظرون إلى جميع الـ 20,000 عنصر ويحددون بدقة مكان الأكاذيب. ووجدوا أنه عندما كتب البشر الهلوسات، اتفق الخبراء بشكل أكبر بكثير على ما كان كذباً وما لم يكن كذلك، مقارنة بما حدث عند تقييمهم للعينات التي أنتجها الذكاء الاصطناعي. يبدو أنه عندما يرتكب البشر خطأً بشكل متعمد، فإنهم يفعلون ذلك بطريقة واضحة ومتسقة للغاية. في المقابل، كانت العينات الناتجة عن الذكاء الاصطناعي أكثر فوضوية، حيث اختلف الخبراء أكثر حول ما إذا كانت جملة معينة هي في الواقع هلوسة أم مجرد صياغة غريبة.
والأمر الأهم هو أن الدراسة تشير إلى أن هذه العينات المكتوبة بشرياً تعد بديلاً قابلاً للتطبيق للعينات التي ينتجها الذكاء الاصطناعي. فعلى الرغم من أن البشر هم من كتبوا الأكاذيب، إلا أن "نكهة" الأخطاء كانت متشابهة إحصائياً مع الأخطاء التي ارتكبها نماذج الذكاء الاصطناعي. وعندما اختبر الباحثون أجهزة كشف الهلوسة الخاصة بهم على البيانات المكتوبة بشرياً، كانت النتائج مشابهة جداً للنتائج التي حصلوا عليها عند الاختبار على بيانات الذكاء الاصطناعي. وهذا يشير إلى أننا لسنا بحاجة إلى الاعتماد على نموذج ذكاء اصطناعي محدد لإنشاء اختباراتنا بعد الآن.
وتجادل الورقة بأن استخدام العينات المكتوبة بشرياً هو خطوة ذكية لأنها تجعل الاختبارات أكثر استقراراً. وبما أن البشر لا يغيرون أسلوب كتابتهم كل بضعة أشهر مثل نماذج الذكاء الاصطناعي، فإن هذه الاختبارات لن تصبح قديمة بسرعة. الأمر يشبه الانتقال من اختبار مكابح السيارة على مضمار يتغير كل أسبوع إلى اختبارها على طريق يبقى كما هو. وقد وجد الباحثون أنه بينما تختلف العينات المكتوبة بشرياً قليلاً في الأسلوب عن عينات الذكاء الاصطناعي، فإن هذا الاختلاف ليس أكبر من الاختلافات الطبيعية التي تظهر بين نماذج الذكاء الاصطناعي المختلفة نفسها.
باختصار، تقترح الورقة أنه يمكننا الوثوق بالأمثلة المصنوعة بشرياً لمساعدتنا في بناء كاشفات أفضل لأكاذيب الذكاء الاصطناعي. إنها طريقة للتأكد من أننا نختبر قدرة الذكاء الاصطناعي على قول الحقيقة، بدلاً من مجرد اختبار مدى قدرته على التفوق على اختبار محدد ومنتهي الصلاحية. وبينما لا تدعي هذه الدراسة أنها الحل المثالي أو النهائي، فإن الأدلة تشير بقوة إلى أن البيانات المكتوبة بشرياً هي أداة موثوقة وطويلة الأمد للحفاظ على أمانة أمناء مكتبة الذكاء الاصطناعي لدينا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.