Can Scientific Claims Be Removed from Large Language Models? A Systematic Evaluation of Claim-Level Unlearning

تعمل أنظمة الذكاء الاصطناعي الحديثة، والتي تُسمى غالباً نماذج اللغات الكبيرة، كأنها مكتبات ضخمة من المعرفة البشرية. فقد تم تدريبها عبر قراءة مجموعات هائلة من النصوص، بما في ذلك الأوراق العلمية، لتعلم كيفية الإجابة على الأسئلة وحل المشكلات. ومع ذلك، فإن العلم ليس أرشيفاً ثابتاً؛ بل هو عملية حية ومتنفسة من المراجعة المستمرة. فعندما تثبت دراسة جديدة خطأ فكرة قديمة، أو عندما تُسحب ورقة بحثية بسبب خطأ ما، يتحدث السجل العلمي. والمشكلة تكمكمن في أن هذه النماذج الذكية لا تُحدّث نفسها تلقائياً؛ فبمجرد أن تتعلم حقيقة ما، فإنها تميل إلى التمسك بها، حتى بعد أن يعلن المجتمع العلمي أنها خاطئة. وهذا يخلق خطراً حيث قد يكرر الذكاء الاصطناعي معلومات قديمة أو مفندة بثقة، مما قد يضلل الباحثين أو يتسبب في ضرر في مجالات مثل الطب.

ولمعالجة ذلك، طور الباحثون تقنية تسمى "إلغاء التعلم الآلي" (machine unlearning). والهدف منها هو تعليم النموذج كيفية "نسيان" قطع محددة من المعلومات مع الحفاظ على قدرته على الإجابة على الأسئلة الأخرى. تخيل أمين مكتبة يجب عليه إزالة كتاب معين غير صحيح من الرفوف دون إزعاج بقية المكتبة أو فقدان القدرة على العثور على الكتب الأخرى. وبينما تم اختبار هذا الأسلوب لإزالة البيانات الشخصية أو المواد المحمية بحقوق الطبع والنشر، لم يجد العلماء بعد طريقة فعالة لإزالة ادعاءات علمية محددة. هذه الادعاءات معقدة لأنها مترابطة بعمق؛ فمعرفة حقيقة واحدة غالباً ما تعتمد على فهم العديد من الحقائق الأخرى. إذا حاولت إزالة حقيقة ما، فقد يتعلم النموذج ببساطة إعادة صياغتها قليلاً لإبقاء المعرفة حية، أو قد ينسى بالخطأ كل شيء آخر.

لقد وضع فريق من الباحثين من "TCS Research" وجامعة ييل (Yale University) هدفاً لحل هذه المشكلة تحديداً. فقد أنشأوا بيئة اختبار جديدة تسمى "SciUnlearn" لمعرفة ما إذا كانت نماذج الذكاء الاصطناعي الحالية قادرة حقاً على نسيان الادعاءات العلمية. وقاموا ببناء مجموعة بيانات باستخدام أوراق علمية حقيقية من علوم الحاسوب والطب، بما في ذلك مجموعة من الأوراق التي سُحبت رسمياً. ولكل ورقة، استخرجوا الادعاءات العلمية الجوهرية وحولوها إلى أنواع مختلفة من الأسئلة، مثل الاختيار من متعدد، والصواب والخطأ، وإكمال الفراغات. ولضمان عدالة الاختبار، قسموا الأسئلة إلى مجموعتين: مجموعة لتعليم النموذج النسيان، ومجموعة أخرى من الأسئلة المعاد صياغتها بناءً على نفس الحقائق الأساسية لمعرفة ما إذا كان النموذج قد نسي المفهوم حقاً أم أنه حفظ الأسئلة المحددة فقط.

بعد ذلك، أخذ الباحثون أساليب إلغاء التعلم الموجودة وطبقوها على هذه النماذج. وطلبوا من النماذج نسيان المجموعة الأولى من الأسئلة، ثم اختبروها على المجموعة الثانية، وكذلك على أسئلة المعرفة العامة للتأكد من أن النماذج لم تصبح عديمة الفائدة. وكانت النتائج كاشفة؛ فقد نجحت الأساليب بشكل جيد في جعل النماذج تخفق في الإجابة على الأسئلة المحددة التي تدربت على نسيانها. ومع ذلك، عند مواجهة الأسئلة المعاد صياغتها التي تختبر نفس الادعاء العلمي الأساسي، كانت النماذج غالباً لا تزال تجيب بشكل صحيح. وهذا يشير إلى أن النماذج لم تكن تزيل المعرفة فعلياً، بل كانت تكتفي بمجرد كبح الأنماط اللفظية المستخدمة في أسئلة التدريب. لقد كان الأمر كما لو أن النموذج تعلم تجاهل جملة معينة بدلاً من محو الحقيقة الكامنة وراءها.

كما درست الدراسة مدى قدرة النماذج على تذكر معلومات أخرى غير متعلقة بالموضوع. وجدت بعض الأساليب التي حاولت نسيان الادعاءات المستهدفة أنها أدت بالخطأ إلى تدهور قدرة النموذج على الإجابة على أسئلة عامة، بينما نجحت أساليب أخرى في الحفاظ على بقية المعرفة سليمة. ووجد الباحثون أن صعوبة نسيان ادعاء ما تعتمد على مدى عمق انغراس هذا الادعاء في الأدبيات العلمية. فالادعاءات المستمدة من الأوراق التي استُشهد بها كثيراً في دراسات عديدة كانت أصعب بكثير في الإزالة؛ إذ كانت هذه الأفكاء عالية الاستشهاد مدعومة بشبكة واسعة من النصوص ذات الصلة، مما جعلها مقاومة للمحو بواسطة محاولة إلغاء تعلم واحدة. وفي المقابل، كانت الادعاءات من الأوراق الأقل استشهاداً أسهل في تعطيلها، ولكن حتى في تلك الحالات، كان النسيان غالباً مقتصرًا على الشكل السطحي الدقيق للسؤال.

وفي الختام، خلصت الدراسة إلى أن الأساليب الحالية ليست قادرة بعد على إلغاء تعلم الادعاءات العلمية الحقيقي. يمكنها إخفاء حالات محددة من المعرفة، لكنها تكافح لإزالة الفهم المفاهيمي العميق. ويقترح الباحثون أن العمل المستقبلي يجب أن يركز على الأساليب التي يمكنها استهداف هذه الروابط الهيكلية الأكثر عمقاً داخل معرفة النموذج، بدلاً من مجرد كبح الأنماط السطحية. وحتى ذلك الحين، قد تستمر نماذج الذكاء الاصطناዊ هذه في حمل عبء العلم القديم، متمسكة بحقائق قد تجاوزها العالم بالفعل.