Assessing Web Search Credibility and Response Groundedness in Chat Assistants
تقدم هذه الورقة منهجية جديدة لتقييم مصداقية البحث عبر الويب ومدى استناد استجابات المساعدات الدردشة الرئيسية إلى المصادر، كاشفةً عن فروق أداء جوهرية حيث تُظهر Perplexity أعلى موثوقية في المصادر بينما يُظهر GPT-4o ميلاً أكبر للاستشهاد بمصادر غير موثوقة في المواضيع الحساسة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسأل مساعداً روبوتياً ذكياً للعثور على الحقيقة حول موضوع مثير للجدل، مثل "هل عبرت الدبابات المجرية الحدود إلى أوكرانيا حقاً في تاريخ محدد؟"
في الماضي، كانت هذه الروبوتات تعتمد فقط على ما تعلمته في المدرسة (بيانات التدريب الخاصة بها). ولكن الآن، لديها قوة خارقة: يمكنها الخروج إلى الإنترنت، وقراءة المقالات، والاستشهاد بمصادرها.
هذا البحث يشبه تقرير تفتيش صحي لأربعة من أشهر المساعدين الروبوتيين (GPT-4o، وGPT-5، وPerplexity، وQwen Chat). أراد الباحثون معرفة:
- هل يقرأون من مكتبات جيدة أم من صحف فضائح مشبوهة؟ (مصداقية المصدر)
- هل يقولون الحقيقة فعلاً بناءً على ما قرأوه، أم أنهم يختلقون الأمور فحسب؟ (الارتباط بالمصدر/Groundedness)
إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:
1. الإعداد: "المتحقق من الحقائق" مقابل "المؤمن بالخبر"
لم يقم الباحثون بسؤال الروبوتات أسئلة عشوائية، بل لعبوا دورين مختلفين لمعرفة كيف ستتفاعل الروبوتات:
- المتحقق من الحقائق: "مهلاً أيها الروبوت، هل هذه الإشاعة حقيقية؟ أثبت ذلك." (نبرة تشكيكية)
- المؤمن بالخبر: "مهلاً أيها الروبوت، سمعت أن هذا حقيقي! هل يمكنك العث ور المزيد من التفاصيل لدعمي؟" (نبرة تأكيدية)
التشبيه: تخيل أنك تطلب من أمين مكتبة كتاباً.
- إذا سألت: "هل هذا الكتاب كذبة؟" فقد يقوم أمين المكتبة بفحص الأرشيف بعناية.
- إذا قلت: "أنا أحب هذا الكتاب، ابحث لي عن كتب مشابهة له!" فقد يلتقط أمين المكتب المكتب أي شيء يبدو مشابهاً، حتى لو كان كتاباً مزيفاً.
وجدت الدراسة أنه عندما يتصرف المستخدمون كـ "مؤمنين بالخبر"، تميل الروبوتات أكثر قليلاً إلى اختيار مصادر غير موثوقة، خاصة إذا كان الروبوت "ساذجاً" بعض الشيء.
2. المتنافسون: من هو أمين المكتبة الأفضل؟
اختبر الباحثون أربعة مساعدين، وإليك كيف كان أداؤهم:
Perplexity (المنسق الحذر):
- الأداء: الفائز الواضح.
- التشبيه: Perplexity يشبه أمين مكتبة صارم لا يسحب إلا الكتب من قسم "التاريخ الموثق". إذا بدا الكتاب مشبوهاً ولو قليلاً، فإنه يتركه على الرف. نادراً ما يستشهد بأخبار كاذبة ويكاد دائماً يستشهد بمصادر عالية الجودة.
- النتيجة: أعلى قدر من المصداقية، وأقل خطر لنشر الأكاذيب.
GPT-4o و GPT-5 (الباحثون الشاملون):
- الأداء: جيد، لكنه فوضوي أحياناً.
- التشبيه: هؤلاء يشبهون أمناء مكتبة يريدون إعطاءك كل شيء متعلق بموضوعك. إنهم يسحبون من مجموعة واسعة من الكتب، بما في ذلك بعض الكتب من "ركن المؤامرات" أو "صحف الفضائح المثيرة". هم رائعون في العثور على الكثير من المعلومات، لكنهم أحياناً يمسكون بكتاب مزيف ويعرضونه كحقيقة عن طريق الخطأ.
- النتيجة: غالباً ما استشهدوا بمصادر غير موثوقة، خاصة في المواضيع الحساسة مثل الحرب الروسية الأوكرانية.
Qwen Chat (القارئ غير المتسق):
- الأداء: مزيج متذبذب.
- التشبيه: Qwen يشبه طالباً يدرس عادة من كتب مدرسية جيدة، ولكنه يتشتت انتباهه أحياناً بمدونة عشوائية. عندما يختار مصدراً سيئاً، فإنه يميل للاعتماد عليه بشدة، مما يجعل إجابته بأكملها مهتزة.
- النتيجة: واجهوا أكبر قدر من المشاكل مع الأخبار المحلية، واستشهدوا أحياناً بمصادر لم يقم أحد بتقييم جودتها.
3. الاكتشاف الكبير: "الارتباط بالمصدر" لا يعني "الحقيقة"
هذا هو الجزء الأهم في الورقة البحثية.
وجد الباحثون أن جميع الروبوتات كانت جيدة جداً في "الارتباط بالمصدر" (Groundedness).
- الارتباط بالمصدر: يعني أن إجابة الروبوت مدعومة بالفعل بالروابط التي قدمها. هو لم يختلق الأمور (Hallucination)؛ بل قرأ المصدر وكرر ما قاله.
الفخ:
تخيل أن روبوتاً يقول: "السماء خضراء، وفقاً لهذا المقال."
- هل هو مرتبط بالمصدر؟ نعم، لأن المقال قال ذلك بالفعل.
- هل هو حقيقي؟ لا، لأن المقال كاذب.
النتيجة:
كانت العديد من الروبوتات (خاصة GPT-4o) ممتازة في العثور على المصادر والالتزام بها، لكن المصادر نفسها كانت أحياناً أكاذيب.
- Perplexity تجنب هذا الفخ من خلال اختيار مصادر جديرة بالثقة فقط.
- GPT-4o غالباً ما التقط البروباغندا (خاصة فيما يتعلق بالحرب في أوكرانيا) وكررها بأمانة، مما جعل الكذبة تبدو مقنعة للغاية لأنها كانت مدعومة بـ "استشهاد".
4. ميزة وضع "التفكير"
نظرت الورقة أيضاً في وضع "التفكير" الخاص بـ GPT-5 (حيث يتوقف الروبوت للتفكير قبل الإجابة).
- التشبيه: يشبه الأمر طالباً يتوقف لتدقيق حساباته قبل كتابة الإجابة.
- النتيجة: عندما استخدم GPT-5 هذا الوضع، أصبح أفضل بكثير في تجاهل المصادر السيئة والعثور على الحقيقة. لقد أصبح يعمل بشكل يشبه Perplexity.
الخلاصة لك
إذا كنت تستخدم برامج الدردشة الآلية للتحقق من الحقائق:
- لا تثق في الاستشهاد لمجرد وجوده. يمكن للروبوت الاستشهاد بموقع أخبار مزيفة بنفس سهولة استشهاده بموقع حقيقي.
- Perplexity يبدو الخيار الأكثر أماناً حالياً للعثور على معلومات موثوقة.
- كن حذراً مع أسئلة "المؤمن بالخبر". إذا سألت الروبوت عن "تأكيد" إشاعة ما، فقد يحاول جاهداً مساعدتك وينتهي به الأمر بنشر معلومات مضللة.
- المواضيع الحساسة خطيرة. المواضيع مثل الحروب والسياسة مليئة بالمواقع "المسمومة" المصممة لخداع الذكاء الاصطناعي. الروبوتات ليست مرشحات مثالية بعد.
باخت-القول: هذه الروبوتات تتحسن في العثور على الحقيقة، لكنها لا تزال أحياناً تقرأ من الكتب الخاطئة. نحن بحاجة لمواصلة تعليمها كيفية التمييز بين المكتبة ومصنع الشائعات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.