A case study of evaluating AI agents on a neuroscience data-to-discovery pipeline
تقدم هذه الورقة دراسة تجريبية لتقييم وكلاء البرمجة القائمين على الذكاء الاصطناعي للأغراض العامة في مسار معقد لتحويل البيانات العصبية إلى اكتشافات، كاشفةً عن أنه بينما يمكن للوكلاء أتمتة مراحل فردية، إلا أنهم يواجهون حالياً صعوبة في التنفيذ الشامل من البداية إلى النهاية، والتقييم الذاتي دون معايير محددة مسبقاً، والتعميم على بيانات جديدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا يكتفي فيه العلماء بإجراء التجارب فحسب، بل يقضون أيضاً شهوراً في كتابة الأكواد البرمجية المعقدة اللازمة لتحليل النتائج. في مجال علم الأعصاب، غالباً ما يدرس الباحثون كائنات صغيرة مثل ذباب الفاكهة لفهم كيف تتحكم الأدمغة في السلوك. وللقيام بذلك، يسجلون ساعات من الفيديو، لكن اللقطات الخام ليست سوى ضباب من النقاط المتحركة. ولتحويل هذا الضباب إلى اكتشاف علمي، يحتاجون إلى "خط معالجة" (pipeline)—وهو عبارة عن خط تجميع برمجيات طويل ومتعرج. أولاً، يجب على الكمبيوتر العثور على الذباب في الفيديو. ثم يتعين عليه تتبع كل حركة لها، وقياس أجزاء أجسامها، وتحديد ما إذا كانت تمشي أو تقف ساكنة، وأخيراً إجراء اختبارات إحصائية لمعرفة ما إذا كانت تجربة معينة قد غيرت سلوكها. تقليدياً، بناء خط التجميع هذا هو مهمة ضخمة ومملة تستغرق من الخبراء البشريين أسابيع أو حتى شهوراً من البرمجة.
مؤخراً، ظهر نوع جديد من الذكاء الاصطناعي يسمى "الوكيل الذكي" (AI agent). فكر في هؤلاء الوكلاء كمتدربين رقميين فائقي الذكاء ولا يكلون، يمكنهم قراءة التعليمات وكتابة الكود نيابة عنك. السؤال الكبير الذي يشغل بال الجميع هو: هل يمكن لهؤلاء المتدربين الرقميين تولي الأجزاء المملة والمستهلكة للوقت في البحث العلمي؟ هل يمكنهم بناء خط المعالجة بأنفسهم، أم أنهم يحتاجون إلى إنسان ليمسك بأيديهم في كل خطوة؟ هذا هو بالضبط اللغز الذي سعى فريق من الباحثين لحله. أرادوا معرفة ما إذا كان بإمكان هؤلاء الوكلاء التعامل مع تحديات علم الأعصاب الواقعية والمعقدة، أم أنهم سيعلقون في التفاصيل.
قرر الباحثون اختبار متدربيهم من الذكاء الاصطناعي في تحدٍ محدد للغاية وعالي المخاطر: "خط معالجة بيانات التحكم الوراثي الضوئي لذبابة الفاكهة". تخيل خط المعالجة هذا كمسار عقبات مكون من سبع مراحل مصمم لتحويل فيديو خام لذبابة الفاكهة إلى استنتاج علمي. يبدأ المسار بـ تتبع جسم الذبابة، حيث يجب على الذكاء الاصطناعي العث، وتتبع عدة ذباب في الفيديو، والحفاظ على هوياتهم حتى عندما يصطدمون ببعضهم البعض. بعد ذلك يأتي التسجيل (Registration)، حيث يتعين على الذكاء الاصطناعي تنظيف البيانات وترجمتها من إحداثيات البكسل إلى قياسات حقيقية مثل المليمترات. ثم يجب على الذكاء الاصطناعي إجراء تتبع النقاط المفصلية (Keypoint Tracking)، وهو أمر يشبه رسم هيكل عظمي على كل ذبابة لتحديد 21 جزءاً معيناً من الجسم بدقة متناهية.
يستمر المسار بـ حساب السمات (Feature Computation)، حيث يحسب الذكاء الاصطناعي سرعة حركة الذباب أو دورانهم. ثم ينتقل إلى تصنيف سلوك المشي، حيث يُطلب من الذكاء الاصطناعي تحديد ما إذا كانت الذبابة تمشي أم أنها واقفة ساكنة فقط. المرحلة السادسة هي تجزئة المشية (Gait Segmentation)، وهي خطوة معقدة حيث يجب على الذكاء الاصطناعي تحديد ما إذا كانت ساق معينة في الهواء (تتأرجح) أو على الأرض (تدفع). أخيراً، يصل الذكاء الاصطناعي إلى خط النهاية مع المقارنات الإحصائية، حيث يجب عليه تحليل الأرقام لمعرفة ما إذا كانت التجربة قد غيرت سلوك الذباب بالفعل. اختبر الباحثون عدة نماذج مختلفة من الذكاء الاصطناعي في هذا المسار، سواء بطلب حل مرحلة واحدة في كل مرة، أو بطلب تشغيل الماراثون المكون من سبع مراحل كاملاً من البداية إلى النهاية.
كانت النتائج مزيجاً من النجاح المبهر والفشل المحبط، مما كشف أن الذكاء الاصطناعي جاهز لبعض الوظائف وليس لغيرها. عندما أُعطي الوكلاء مهاماً محددة جيداً ذات "بطاقة تقييم" واضحة—مثل تدريب نموذج للتعرف على سلوك المشي أو تتبع أجزاء معينة من الجسم—فقد حققوا نجاحاً مفاجئاً. في مهام "التعلم الخاضع للإشراف" هذه، استطاع الوكلاء التكرار، والتحقق من عملهم، والتحسن حتى أصابوا الهدف. على سبيل المثال، نجحوا في تحديد الـ 21 نقطة مفصلية على جسم الذبابة، محققين دقة تضاهي دقة الخبراء البشر. وهذا يشير إلى أنه بالنسبة للأجزاء المحددة والقائمة على القواعد في خط المعالجة العلمي، فإن وكلاء الذكاء الاصطناعي قادرون بالفعل على القيام بالعمل الشاق.
ومع ذلك، تتغير القصة تماماً عندما طُلب من وكلاء الذكاء الاصطناعي تشغيل خط المعالجة بأكمله من البداية إلى النهاية دون خريطة مفصلة. فعندما أعطى الباحثون الوكلاء هدفاً عاماً مثل "حلل الذباب" دون تقسيمها إلى خطوات، فقد فقد الوكلاء تركيزهم. غالباً ما نسوا الخطوات السابقة، أو دمجوا مراحل معقدة في اختصارات بسيطة، أو ارتكبوا أخطاءً أساسية في التنسيق أدت إلى تعطل السلسلة بأكملها. حدث الفشل الأكبر في المرحلة الأولى تماماً: تتبع جسم الذبابة. تطلبت هذه المهمة من الذكاء الاصطناعي استخدام "حكمه العلمي" لمعرفة كيفية تتبع الذباب دون وجود كتاب قواعد مكتوب مسبقاً أو درجة واضحة يهدف للوصول إليها. حاول الوكلاء النظر إلى الفيديو للتحقق من عملهم، لكنهم فشلوا إلى حد كبير في فهم ما يرونه. كانوا يرصدون خطأً، ثم يسيئون تفسير الدليل البصري، ثم يكررون نفس الخطأ، أو حتى يجعلونه أسوأ.
تشير الورقة البحثية إلى أن العائق الرئيسي ليس في عدم قدرة الذكاء الاصطناعي على كتابة الكود؛ بل في معاناتهم مع "النفس الطويل". إنهم بارعون في حل لغز واحد إذا كانت القواعد واضحة، لكنهم يضيعون عندما يتعين عليهم ربط سلسلة طويلة من الخطوات المعقدة، أو إدارة موارد الكمبيوتر، أو استخدام الفحص البصري لإصلاح أخطائهم. وجد الباحثون أنه بينما يمكن للذكاء الاصطناعي أتمتة مراحل محددة من الاكتشاف العلمي، فإن حلم وجود "عالم ذكاء اصطناعي" مستقل تماماً يمكنه تشغيل تجربة كاملة من البيانات الخام وصولاً إلى الاستنتاج لا يزال بعيد المنال. إن هؤلاء الوكلاء بحاجة إلى توجيه أفضل، وأهداف أوضح، وطريقة "لرؤية" وفهم البيانات التي يعالجونها حقاً قبل أن يمكن الوثوق بهم لإدارة العرض بأكمله بمفردهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.