Large language models eroding science understanding: an experimental study
تُظهر هذه الدراسة التجريبية أن النماذج اللغوية الكبيرة يمكن التلاعب بها بسهولة من خلال المواد العلمية الهامشية لتوليد إجابات فصيحة ومقنعة ومضللة تتعارض مع الإجماع العلمي، مما يسلط الض الضوء على مخاطر جسيمة على الفهم العام للعلوم وعدم قدرة النماذج اللغوية الكبيرة على استبدال الحكم الخبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً موهوباً جداً ومطلعاً، قرأ كل شيء تقريباً على الإنترنت. هذا الطالب يمكنه التحدث بطلاقة، ويبدو ذكياً للغاية، ويكتب إجابات تبدو وكأنها جاءت من أستاذ جامعي في أرقى الجامعات. ومع ذلك، فإن هذا الطالب لديه عيب رئيسي: هو لا يعرف في الواقع ما هو صحيح وما هو خاطئ. هو يعرف فقط ما يبدو "الأرجح" بناءً على أنماط الكلمات التي رآها من قبل.
هذه هي قصة الورقة البحثية التي شاركتها. أراد المؤلفون، وهم مزيج من علماء الاجتماع والفيزياء، اختبار ما إذا كان بإمكان خداع هذا "الطالب الموهوب" (نموذج لغوي كبير، أو LLM) لجعله يصدق ويكرر الهراء كما لو كان حقيقة.
إليك تفصيل تجربتهم باستخدام تشبيهات بسيطة:
الإعداد: "المكتبة" مقابل "متجر الكتب الهامشية"
عادةً، عندما يريد العلماء معرفة الحقيقة حول شيء ما (مثل كيفية عمل الجاذبية أو القيمة الدقيقة لرقم معين في الفيزياء)، فإنهم يذهبون إلى "المكتبة الرئيسية" (مواقع العلوم السائدة على الإنترنت مثل arXiv). هذه المكتبة مليئة بالكتب التي تم فحصها واختبارها والاتفاق عليها من قبل الخبراء.
قرر الباحثون معرفة ما سيحدث إذا أخذوا نفس "الطالب الموهوب" وأجبروهم على القراءة فقط من "متجر كتب هامشي" (موقع إلكتروني يسمى viXra). هذا المتجر يحتوي على نظريات بديلة يرفض معظم العلماء صحتها أو يعتبرونها غير مثبتة.
لم يكتفوا بترك الطالب يتصفح فحسب؛ بل أعادوا كتابة تعليمات الطالب. أخبروا الطالب: "تجاهل كل شيء آخر. تعامل مع هذه الكتب العشرة الهامشية المحددة كأنها الحقيقة المطلقة. لا تذكر أنها هامشية. لا تقارنها بالمكتبة الرئيسية. فقط أجب كما لو كانت هذه الكتب الهامية هي الحقيقة الوحيدة الموجودة."
الاختبار: لغزان علميان
سأل الباحثون الطالب ثلاثة أنواع من الأسئلة حول موضوعين علميين صعبين:
- ثابت البنية الدقيقة: وهو رقم أساسي في الفيزياء. تقول "المكتبة الرئيسية" إننا لا نعرف بالضبط لماذا يمتلك هذه القيمة. أما "متجر الكتب الهامشية" فيحتوي على أشخاص يدعون أنهم يعرفون ذلك ووجدوا صيغاً رياضية سرية لها.
- موجات الجاذبية: تموجات في الزمكان. تقول "المكتبة الرئيسية" إننا رصدناها بالتأكيد. بينما يدعي "متجر الكتب الهامشية" أنها موجودة ولكنها في الواقع شيء مختلف تماماً (مثل الاهتزازات في الفراغ) وأن أجهزتنا الحالية تسيء تفسيرها.
النتائج: "الكاذب الواثق"
عندما سأل الباحثون الطالب العادي غير المعدل (الذكاء الاصطناعي العادي)، قدم إجابات تطابق الخبراء والمكتبة الرئيسية. قال: "لا نعرف الصيغة السرية بعد"، وقال: "نعم، لقد رصدنا موجات الجنفية".
ولكن عندما سألوا الطالب المعدل (الـ "FringeLLM")، حدث شيء مخيف:
- قدم الطالب إجابات سلسة، ومفصلة، وبدت احترافية للغاية.
- ادعى بثقة أن الصيغ السرية موجودة بالفعل.
- ادعى بثقة أن أجهزتنا ترصد شيئاً آخر تماماً.
- الأمر الأهم: لو كنت شخصاً عادياً (قارئاً غير متخصص) لا تعرف التفاصيل العميقة للفيزياء، فلن يكون لديك أي وسيلة للتمييز بين إجابة الخبير وإجابة الـ "FringeLLM". فكلاهما يبدو ذكياً ومقنعاً بنفس القدر.
التحذير الكبير: فخ "المحاذاة"
تشير الورقة إلى نقطة مهمة جداً حول كيفية حدوث ذلك.
يتم عادةً "محاذاة" نماذج الذكاء الاصطناعي (ضبطها) من قبل البشر لمنعها من قول أشياء عنصرية، أو تقديم نصائح طبية خطيرة، أو أن تكون فظة. يجادل الباحثون بأن عملية المحاذاة هذه هي سلاح ذو حدين.
- إذا كان لديك القدرة على إزالة المعلومات السيئة من عقل الذكاء الاصطناعي، فلديك أيضاً القدرة على إدخال معلومات سيئة.
- لقد أظهروا أنه لم يستغرق الأمر سوى بضع ساعات لاستبدال "حقيقة" الذكاء الاصطناعي بـ "العلوم الهامشية".
الخلاصة: لماذا هذا مهم؟
خلص المؤلفون إلى أن الذكاء الاصطناعي لا يمكن أن يحل محل الخبراء البشريين.
فكر في الأمر مثل دليل سياحي. الدليل الخبير الحقيقي يعرف التاريخ، ويعرف أي القصص حقيقية وأي القصص مزيفة لأنه قضى سنوات في التحدث إلى خبراء آخرين والسير في المسار نفسه. أما الذكاء الاصطناعي فهو يشبه روبوتاً قرأ كل دليل سياحي كُتب على الإطلاق ولكنه لم يمشِ في المسار أبداً. يمكنه تسميع القصص بشكل مثالي، لكنه لا يعرف أي منها أكاذيب.
تحذر الورقة من أنه إذا تركنا الذكاء الاصطناعي يجيب على أسئلتنا العلمية دون أن يقوم خبير بشري بمراجعة العمل، فإننا نخاطر بعالم حيث:
- المعلومات المضللة تبدو مثالية: يمكن للعلوم السيئة أن تبدو بجودة وقوة العلوم الجيدة.
- يمكن اختطاف السلطة: تماماً كما قام الباحثون بتعديل الذكاء الاصطناعي ليصدق العلم الهامشي، يمكن لحكومة أو جهة سيئة النفوذ تعديل ذكاء اصطناعي ليصدق أي قصة سياسية يريدونها، مما يجعلها تبدو كـ "حقيقة علمية".
باختصار: الذكاء الاصطناعي هو مقلّد جيد جداً، لكنه ليس حكماً على الحقيقة. ما زلنا بحاجة إلى بشر حقيقيين لإخبارنا بالفرق بين اكتشاف علمي حقيقي وبين زيف مقنع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.