Hallucinations in AI Chatbots: A Comparative Analysis

في السنوات القليلة الماضية، أصبح نوع جديد من برامج الكمبيوتر أداة شائعة للكتابة والبرمجة وإيجاد المعلومات. هذه البرامج، المعروفة باسم نماذج اللغات الكبيرة، تم تدريبها على كميات هائلة من النصوص من الإنترنت. وهي مصممة للتنبؤ بالكلمة التي يجب أن تأتي بعد ذلك في الجملة، مما يسمح لها بتوليد استجابات تشبه استجابات البشر للأسئلة. ورغم أنها مفيدة للغاية، إلا أن بها عيباً غريباً: فهي أحياناً تذكر أشياء كاذبة تماماً بكل ثقة. ويطلق الباحثون على هذه الأخطاء اسم "الهلوسة". قد تبدو الهلوسة كأنها حقيقة واقعية، أو اقتباس حقيقي من كتاب، أو سطر برمجي يعمل، لكنها في الواقع مجرد اختلاق. وهذا ليس مجرد خلل بسيط؛ فعندما تُستخدم هذه البرامج في الواجبات المدرسية، أو النصائح الطبية، أو الأبحاث المهنية، يمكن أن تؤدي حقيقة مختلقة إلى ارتباك أو خطر في العالم الحقيقي. والسؤال الذي يواجه العلماء والمستخدمين على حد سواء ليس ما إذا كانت هذه الأخطاء تحدث، بل ما مدى تكرار حدوثها، وأي البرامج هي الأكثر عرضة لها، وكيف يمكن للناس رصدها قبل أن تسبب المشاكل.

لقد وضع فريق من الباحثين من معهد عثمان للتكنولوجيا نصب أعينهم فهم هذه المشكلة من خلال النظر في أكثر أربعة روبوتات دردشة ذكاء اصطناعي شعبية متاحة اليوم: GPT-4 وGemini وClaude وMicrosoft Copilot. وبدلاً من مجرد اختبار الآلات في المختبر، سأل الباحثون 80 مستخدماً حقيقياً عن تجاربهم في العالم الحقيقي. أرادوا معرفة عدد المرات التي واجه فيها هؤلاء المستخدمون معلومات خاطئة، وكيف لاحظوا الأخطاء، وماذا فعلوا لإصلاحها. ركزت الدراسة على المهام التي تتطلب دقة عالية، مثل كتابة الأوراق الأكاديمية، وكتابة أكواد الكمبيوتر، وإجراء البحوث. وكان الهدف هو تجاوز المعايير التقنية لرؤية كيف تتصرف هذه الأدوات في أيدي الأشخاص العاديين الذين يعتمدون عليها في أعمال مهمة.

كشفت نتائج الاستطلاع أن الهلوسة مشكلة مستمرة، حتى في الأنظمة الأكثر تقدماً. قال معظم الأشخاص الذين شاركوا في الاستطلاع إنهم يستخدمون أدوات الذكاء الاصطناعي هذه يومياً أو عدة مرات في اليوم. إنهم يعتمدون عليها في البرمجة والبحث والكتابة. ومع ذلك، أفاد الأغلبية أيضاً بأنهم يواجهون بشكل متكرر معلومات مختلقة أو مراجع مزيفة. ووجد الباحثون أن هذه الأخطاء لا تحدث عشوائياً؛ بل تميل إلى الظهور بشكل أكبر كلما طالت المحادثة. فبعد أن يتبادل المستخدم من خمس إلى عشرين رسالة مع الروبوت، تزداد احتمالية وقوع البرنامج في الخطأ وتقديم تفاصيل متناقضة أو خاطئة. وهذا يشير إلى أنه كلما تحدثت إلى الآلة لفترة أطول، زاد احتمال فقدانها لسيطرتها على الحقيقة.

وعندما أدرك المستخدمون أن شيئاً ما كان خاطئاً، لم يعتمدوا على الكمبيوتر ليخبرهم بذلك. بدلاً من ذلك، استخدموا معرفتهم الخاصة. كانت الطريقة الأكثر شيوعاً التي رصد بها الناس الهلوسة هي عندما تتعارض إجابة الذكاء الاصطناعي مع شيء يعرفونه مسبقاً بأنه صحيح. وكان هناك علامة تحذير رئيسية أخرى وهي وجود استشهادات مزيفة. فإذا أدرج البرنامج كتاباً أو دراسة أو موقعاً إلكترونياً لا يمكن العثور عليه أو غير موجود، عرف المستخدمون على الفور أن المعلومات مختلقة. وأظهرت الدراسة أن اكتشاف هذه الأخطاء لا يزال وظيفة بشرية إلى حد كبير؛ فهو يعتمد على قدرة المستخدم على التحقق من الحقائق ورغبته في التشكيك في الآلة، بدلاً من وجود مفتاح أمان تلقائي مدمج في البرنامج نفسه.

كما قارن الباحثون بين روبوتات الدردشة الأربعة لمعرفة ما إذا كان أحدها أكثر أماناً أو موثوقية من الآخرين. ووجدوا أن لكل نظام نقاط قوته ونقاط ضعفه الخاصة. فقد تم الإشادة بـ GPT-4 لقدرته على التفكير في المشكلات المعقدة، بينما لوحظ تميز Gemini في قدرته القوية على استقاء المعلومات من نتائج البحث، مما يساعد في إبقاء إجاباته مرتكزة على الواقع. وبرز Claude بتركيزه على السلامة والأمانة، خاصة في المجالات الحساسة مثل الصحة، حيث أظهر دقة عالية. وتم التعرف على Microsoft Copilot لتكامله الوثيق مع أدوات البرمجيات الأخرى، مما يجعله مفيداً للإنتاجية. ومع ذلك، لم يكن أي من النماذج الأربعة مثالياً؛ فجميعها لا تزال تنتج استشهادات خاطئة وأكواداً غير موثوقة في بعض الأحيان. وخلصت الدراسة إلى أنه بينما تعد هذه الأدوات قوية، إلا أنها ليست موثوقة بما يكفي بعد للاستخدام دون إشراف بشري، خاصة في المجالات عالية المخاطر مثل الطب أو البحث الأكاديمي.

إذن، ما الذي يمكن فعله لإصلاح ذلك؟ قدم المشاركون في الاستطلاع إجابة واضحة. لم يعتقدوا أن الحل يكمكن فقط في جعل الذكاء الاصطناعي أكثر ذكاءً. بدلاً من ذلك، قالوا إن الطريقة الأكثر فعالية لتقليل الأخطاء هي مطالبة الذكاء الاصطناعي بإظهار عمله. فضل المستخدمون بشكل ساحق الاستجابات التي تتضمن استشهادات موثقة، مما يعني أن البرنامج يجب أن يشير إلى مصدر حقيقي وموجود لكل حقيقة يدعيها. وكانت المراجعة البشرية هي الحل الثاني الأكثر شعبية، تلتها أنظمة التحقق من الحقائق التلقائية. إن الأشخاص الذين يستخدمون هذه الأدوات يريدون الشفافية؛ يريدون رؤية من أين تأتي المعلومات حتى يتمكنوا من التحقق منها بأنفسهم. ويقترح الباحثون أن التحسينات المستقبلية يجب أن تركز على جعل الذكاء الاصطناعي يشرح مصادره ويعترف عندما يكون غير متأكد، بدلاً من مجرد محاولة توليد المزيد من النصوص.

في نهاية المطاف، تسلط هذه الدراسة الضوء على حقيقة حاسمة حول الحالة الراهنة للذكاء الاصطناعي. هذه الأدوات تصبح أكثر تطوراً ويتم استخدامها لمهام أكثر تعقيداً، لكن مشكلة اختلاق الأمور لم تختفِ. وجد الباحثون أن المستخدمين يدركون الخطر ويعملون بنشاط على تجاوزه من خلال مراجعة الحقائق والمطالبة بالأدلة. ولكي تصبح هذه الأنظمة موثوقة حقاً، خاصة في المجالات الحرجة مثل الرعاية الصحية والتعليم، يجب أن تتطور لتوفير مصادر واضحة وقابلة للتحقق لإجاباتها. وحتى ذلك الحين، تظل مسؤولية الدقة في أيدي البشر، حيث يعمل الذكاء الاصطناعي كمساعد مفيد وليس كسلطة نهائية.