A learned fungal ITS embedding does not outperform correctly configured alignment in open-world evaluation
تُظهر هذه الدراسة أن التضمين المخصص لـ ITS الفطري لا يتفوق على نهج المحاذاة القائم على التوافق والمُعد بشكل صحيح في تقييم العالم المفتوح، مما يكشف أن العيوب المنهجية مثل الإعدادات الافتراضية الاستدلالية، وفلاتر التغطية المفقودة، وتسرب البيانات — وليس التمثيل نفسه — كانت هي المسؤولة عن المزايا التي تم الإبلاغ عنها سابقاً للتضمينات المتعلمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
في العالم الخفي تحت أقدامنا، تنتشر الفطريات في كل مكان، ومع ذلك تظل غير مرئية إلى حد كبير للعين المجردة. ولفهم هذا المملكة الشاسعة من الحياة، يعتمد العلماء على منطقة جينية محددة تُعرف باسم منطقة (ITS). فكر في هذا الكود كأنه رمز شريطي (باركود) فريد مطبوع على كل نوع من أنواع الفطريات. عندما يجمع الباحثون عينة من التربة أو الهواء، يقومون بتسلسل هذا الرمز ومحاولة مطابقته مع مكتبة ضخمة من الفطريات المعروفة لتحديد ما وجدوه. ومع ذلك، فإن الطبيعة مليئة بالمفاجآت؛ فغالبًا ما يكون الفطر الموجود في العينة جديدًا جدًا أو بعيدًا جدًا عن أقاربه المعروفين لدرجة أنه لا يتطابق مع أي مدخل في المكتبة. ويتمثل التحدي الذي يواجه العلماء في أمرين: يجب عليهم أن يقرروا متى يكون الفطر جديدًا حقًا ويجب تركه بلا اسم، ويجب عليهم وضعه بدقة قدر الإمكان ضمن شجرة عائلة الحياة، حتى لو كان النوع الدقيق غير معروف.
لسنوات، كانت الطريقة القياسية لحل مشكلة المطابقة هذه هي مواءمة التسلسل الجيني الجديد مع كل تسلسل معروف في المكتبة، بحثًا عن أقرب تطابق. هذه الطريقة، التي تسمى "المواءمة" (alignment)، تشبه التحقق من كل صفحة في القاموس للعثور على الكلمة التي تشبه أكثر الكلمات التي تحاول تهجئتها. ومؤخرًا، ظهر نهج جديد وأكثر تطورًا تقنيًا؛ فبدلاً من التحقق من كل صفحة، بدأ العلماء في استخدام الذكاء الاصطناعي لترجمة الكود الجيني إلى نقطة رياضية في مساحة واسعة متعددة الأبعاد. في هذا النظام الجديد، توضع الفطريات المتشابهة قريبة من بعضها البعض، بينما تُدفع الفطريات المختلفة بعيدًا عنها. وكان الأمل هو أن يتمكن هذا النظام المتعلم من رصد الفطريات الجديدة ووضعها في العائلة الصحيحة بشكل أسرع وأكثر دقة من الطريقة القديمة البطيئة المتمثلة في التحقق من كل صفحة.
قام فريق من الباحثين باختبار ما إذا كان منهج الذكاء الاصطناعي الجديد هذا يتفوق حقًا على النهج التقليدي. فقد بنوا نموذج ذكاء اصطناعي مخصصًا تم تدريبه خصيصًا لفهم جينات الفطريات، باستخدام مجموعة ضخمة ومحدثة من التسلسلات الفطرية. ولضمان إجراء اختبار عادل، صمموا تجربة صارمة حيث يتم تقييم الذكاء الاصطناعي والمنهج التقليدي بناءً على نفس مجموعة العينات المجهولة. كما أولوا عناية فائقة لإغلاق بيانات الاختبار الخاصة بهم قبل بدء التجربة، مما ضمن عدم تأثير أي جزء من الاختبار بالخطأ على تدريب الذكاء الاصطناعي. هذا "الجدار الناري" يعني أنه عندما تُكشف النتائج أخيرًا، فستكون مقياسًا حقيقيًا لمدى فعالية الطرق.
اكتشف الباحثون أن نتيجة الاختبار تعتمد كليًا على كيفية وضع القواعد. فعندما قاموا بتشغيل طريقة المواءمة التقليدية بإعداداتها القياسية الافتراضية، بدا أن نموذج الذكاء الاصطناعي الجديد يؤدي بشكل أفضل. ومع ذلك، أدرك الباحثون أن الإعدادات القياسية لم تكن في الواقع مهيأة للقيام بأفضل وظيفة ممكنة؛ إذ كانت الطريقة التقليدية تتخطى بعض المطابقات المحتملة وتنهي بحثها مبكرًا جدًا. وعندما أعاد الفريق تكوين الطريقة التقليدية لتبحث بشكل شامل ودقيق، وتتحقق من كل الاحتمالات دون اختصارات، تغيرت النتائج تمامًا. فالطريقة القديمة، وهي تعمل الآن بكامل طاقتها، أصبحت أكثر دقة من الذكاء الاصطناعي في تحديد الفطريات المعروفة ووضع الفطريات الجديدة ضمن المجموعات العائلية الصحيحة.
وكشفت الدراسة أن للذكاء الاصطناعي نقطة ضعف خفية: فأداؤه يتغير اعتمادًا على عدد العينات التي يتم تغذيته بها في وقت واحد. فعندما عالج الذكاء الاصطناعي العينات في مجموعات كبيرة، كانت النتائج مختلفة قليلاً عما كانت عليه عندما يعالجها واحدة تلو الأخرى. وهذا التضارب في النتائج يعني أن الذكاء الاصطناعي لم يكن مستقرًا حقًا. وفي المقابل، أعطت الطريقة التقليدية نفس النتيجة في كل مرة، بغض النظر عن كيفية تجميع البيانات. علاوة على ذلك، وجد الباحثون أن قدرة الذكاء الاصطناعي على رصد الفطريات الجديدة لم تكن في الواقع أفضل من الطريقة التقليدية عند قياسها في النقاط المحددة التي يتخذ فيها العالم قرارًا في العالم الحقيقي. فالذكاء الاصطناعي لم يجد المزيد من الفطريات الجديدة، ولم يرتكب أخطاء أقل؛ بل في الواقع، وجدت الطريقة التقليدية المزيد من الفطريات الجديدة مع ارتكاب أخطاء أقل.
ولعل الأمر الأكثر إثارة للدهشة هو أن الباحثين وجدوا أن نجاح الذكاء الاصطناعي في الاختبارات السابقة كان ناتجًا جزئيًا عن خلل في كيفية إعداد الاختبار؛ فقد كانت بعض الفطريات "الجديدة" في الاختبار قد رآها الذكاء الاصطناعي بالفعل أثناء تدريبه، رغم أنه كان من المفترض أن تكون مخفية. وعندما أصلح الباحثون ذلك عن طريق إزالة تلك الفطريات المحددة من بيانات التدريب وإعادة تدريب الذكاء الاصطناعي، اتسعت الفجوة بين الطريقتين. حيث تقدمت الطريقة التقليدية أكثر، مظهرةً تفوقًا واضحًا وذا دلالة إحصائية. وتبين أن قدرة الذكاء الاصطناعي على مقارنة أجزاء مختلفة من الكود الجيني، وهي الميزة التي كان من المفترض أن تكون "قوته الخارقة"، لم تكن أفضل مما يمكن للطريقة التقليدية القيام به ببساطة عن طريق النظر في الأجزاء المشتركة من الكود مباشرة.
كان الاستنتاج النهائي واضحًا: الطريقة التقليدية التي تم تكوينها بعناية تضاهي أو تتجاوز أداء نموذج الذكاء الاصطناعي الجديد في كل فئة ذات أهمية. فالذكاء الاصطناعي لم يتفوق على الطريقة القديمة، بل كانت طريقة اختبار الطريقة القديمة هي التي جعلتها تبدو أضعف. وقد أظهرت الدراسة أن اختيار قواعد التقييم، مثل مدى صرامة البحث أو كيفية تجميع البيانات، هو ما حدد الفائز. وأكد الباحثون أن هذه الفحوصات بسيطة وغير مكلفة ويمكن تطبيقها على أي منهج جديد. وجادلوا بأنه قبل إعلان نظام ذكاء اصطناعي جديد كمنظومة متفوقة، يجب على العلماء التأكد من أن المنهج التقليدي يعمل بأفضل حالاته، وأن البيانات جديدة حقًا بالنسبة للنظام، وأن النتائج مستقرة تحت ظروف مختلفة. وفي النهاية، ظلت الأداة الأكثر موثوقية لتحديد عالم الفطريات غير المرئي هي تلك التي استُخدمت لعقود، بشرط استخدامها بشكل صحيح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.