Silent methodological failures in AI-assisted science: benchmarking large language model agents for virtual gene knockout analysis

في المختبر الحديث، وصل نوع جديد من المساعدين، نوع لا يرتدي معطف المختبر ولا يحمل ماصة، بل يتحدث لغة البرمجة. تُطلب من هذه النماذج اللغوية الكبيرة أداء مهام معقدة ومتعددة الخطوات في علم الأحياء الحسابي، حيث يقوم الباحثون بمحاكاة كيفية استجابة الخلايا الحية عندما يتم إيقاف تشغيل جينات معينة. هذه العملية، المعروفة باسم التعطيل الافتراضي للجين (virtual gene knockout)، تسمح للعلماء بالتنبؤ بالآثار المتتابعة للتغيرات الجينية دون لمس كائن حي قط. إنها أداة قوية لفهم الأمراض وتصميم العلاجات، لكنها تعتمد كلياً على قدرة الحاسوب على اتباع مجموعة من التعليمات بدقة. والسؤال المركزي الذي يواجه المجتمع العلمي هو ما إذا كان يمكن الوثوق بهذه الوكلاء الاصطناعيين لترجمة قصد الباحث إلى واقع رياضي صحيح، أم أنهم قد ينتجون ببساطة إجابات تبدو صحيحة على السطح ولكنها خاطئة جوهرياً في العمق.

قام فريق من الباحثين من المستشفى الثاني التابع لجامعة شيان جياوتونغ باختبار مدى موثوقية هذا الأمر عبر التعامل مع خمسة وكلاء مختلفين من الذكاء الاصطناعي كعلماء مستقلين. أعطوا كل وكيل المهمة ذاتها: محاكاة إزالة جين محدد، يسمى "الألبومين"، من مجموعتين مختلفتين من بيانات خلايا الكبد. الألبومين هو بروتين يصنعه الكبد، ولأن دوره مفهوم جيداً، فإنه يعمل كمقياس موثوق للتحقق مما إذا كانت المحاكاة منطقية بيولوجياً. طلب الباحثون من الوكلاء استخدام أربعة أطر رياضية متميزة لإجراء هذه المحاكاة، وهي مهمة تتطلب من الحاسوب تحليل البيانات، وبناء شبكات من التفاعلات الجينية، وحساب الأهمية الإحصائية للتغيرات. لم يكن الهدف هو رؤية ما إذا كان بإمكان الحواسيب كتابة كود برمجي يعمل، بل لمعرفة ما إذا كان الكود الذي كتبوه سينتج بالفعل نتائج تطابق السلوك المعروف لخلايا الكبد.

كشفت النتائج عن فجوة مذهلة بين النجاح التقني والحقيقة العلمية. تمكن كل وكيل من إتمام المهام الموكلة إليه دون توقف أو ظهور رسالة خطأ. لقد أنتجوا جميعاً أكواداً نُفذت بنجاح، وأعطوا جميعاً إجابات رقمية. ومع ذلك، عندما فحص الباحثون الأرقام الفعلية، وجدوا أن الوكلاء اختلفوا مع بعضهم البعض بشكل صارخ. فقد تباين الوقت الذي استغرقه كل منهم لإنجاز العمل بشكل هائل، حيث أنهى أسرع وكيل العمل في ما يزيد قليلاً عن دقيقة، بينما استغرق الأبطأ أكثر من ثلاثين دقيقة. والأهم من ذلك، أن الاستنتاجات البيولوجية التي توصل إليها الوكلاء كانت غالباً غير متسقة؛ ففي بعض الحالات، ادعى أحد الوكلاء أن تعطيل الجين له تأثير هائل، بينما خلص وكيل آخر، يعمل على نفس البيانات تماماً، إلى أن التأثير ضئيل. كان التباين في مخرجاتهم الرقمية مرتفعاً جداً لدرجة أن الفرق بين أعلى وأدنى تقدير وصل إلى أكثر من مائة وأربعين بالمائة.

كان الاكتشاف الأكثر إثارة للقلق هو انتشار ما يسميه الباحثون "الإخفاقات المنهجية الصامتة". فقد وقع أربعة من أصل خمسة وكلاء في هذا الفخ؛ حيث أنتجوا أكواداً تعمل بشكل مثالي وتقدم تقارير خالية من الأخطاء، ومع ذلك كانت النتائج التي قدموها مستحيلة بيولوجياً. فعلى سبيل المثال، قام أحد الوكلاء بقلب مصفوفة البيانات رأساً على عقب عن طريق الخطأ، وهو خطأ غيّر المعنى الكامل للحساب ولكنه لم يطلق أي علامات تحذيرية. ووكيل آخر استخدم تعريفاً رياضياً لـ "التأثير" يختلف عن التعريف القياسي، مما أدى به إلى الإبلاغ عن نتيجة ذات دلالة رغم عدم وجودها. ولأن الكود عمل دون أخطاء، فإن هذه الأخطاء كانت ستمر دون أن يلاحظها الباحث الذي يكتفي فقط بالتحقق من الأعطال التقنية. لقد نجح الوكلاء في اتباع حرفية التعليمات، لكنهم فشلوا في استيعاب روح المنهج العلمي، منتجين مخرجات صالحة حسابياً ولكنها مضللة علمياً.

لم يكن أداء جميع الوكلاء سيئاً بنفس القدر، وقد سلطت الدراسة الضوء على أن النجاح في مجال واحد لا يضمن النجاح في مجال آخر. برز الوكيل GLM 5.1 كأكثر الوكلاء توازناً، حيث تمكن من إنتاج نتائج كانت سريعة ومنطقية بيولوجياً في معظم الاختبارات. وأظهر الوكيل Kimi مرونة مثيرة للإعجاب من خلال إصلاح خطأ في الذاكرة تسبب في توقفه تلقائياً، رغم أن هذا التعافي كلفه وقتاً طويلاً. وفي المقابل، أنتج أسرع وكيل، وهو Minimax، أسرع النتائج، لكنه فشل في توليد نتائج منطقية بيولوجياً في الغالبية العظمى من محاولاته. وجدت الدراسة أن الطريقة المحددة التي يختار بها الوكيل تنفيذ خطوة رياضية معينة يمكن أن تغير الإجابة النهائية تماماً، حتى عندما تكون التعليمات رفيعة المستوى متطابقة. وهذا يشير إلى أن الجيل الحالي من وكلاء الذكاء الاصطناعي ليس بعد بديلاً موثوقاً للإشراف البشري في سير العمل العلمي المعقد.

خلص الباحثون إلى أن قدرة الذكاء الاصطناعي على كتابة كود يعمل ليست كافية لإثبات صحة العلم. إن وجود الإخفاقات الصامتة يعني أن الاعتماد فقط على التنفيذ الآلي قد يؤدي إلى اكتشافات خاطئة أو فرص ضائعة. ولضمان الموثوقية، تقترح الدراسة ألا يثق العلماء في مخرجات وكيل ذكاء اصطناعي واحد، بل يجب عليهم إجراء التحليل نفسه عبر عدة وكلاء مختلفين والبحث عن الاتفاق بينهم. فإذا أنتج الوكلاء أرقاماً مختلفة تماماً، فهذه إشارة إلى وجود خطأ ما يتطلب تحقيقاً بشرياً. علاوة على ذلك، يجب أن تكون التعليمات المعطاة لهذه الأنظمة الذكية أكثر دقة، بحيث تحدد بالضبط كيفية إجراء العمليات الرياضية بدلاً من ترك المجال للذكاء الاصطناعي لتخمين النهج الأفضل. وإلى أن يتم وضع هذه الضمانات، يظل الدور الأكثر قيمة للذكاء الاصطناعي في العلوم هو دور المساعد القوي الذي يتطلب بشراً مطلعاً للتحقق من عمله.