EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards

عندما يحاول العلماء فهم كيفية عمل الأرض، فمن النادر أن يمتلكوا صورة واحدة كاملة لما يحدث. بدلاً من ذلك، يتعين عليهم تجميع قصة من مصادر متنوعة: تقرير عن الطقس من محطة محلية، وصورة قمر صناعي ملتقطة من الفضاء، وملخص من وكالة حكومية حول فيضان، وإعادة تحليل لبيانات المناخ التاريخية. كل مصدر من هذه المصادر يروي جزءاً من الحقيقة، لكنها غالباً ما تتحدث لغات مختلفة، وتغطي مناطق مختلفة، وتسجل أحداثاً في أوقات مختلفة. إن التحدي الحقيقي في علوم الأرض لا يكمن فقط في قراءة هذه التقارير، بل في معرفة أي منها ينتمي إلى الآخر، وكيفية مقارنتها بشكل عادل، وما إذا كانت تروي قصة متسقة حول كارثة ما أو تغير مناخي. فإذا اختار العالم البيانات الخاطئة أو خلط بين التوقيتات، فقد يكون الاستنتاج الكامل حول خطر ما خاطئاً، مع ما يترتب على ذلك من عواقب وخيمة على كيفية استعداد المجتمات للمخاطر أو استجابتها لها.

يطرح دراسة جديدة تسمى "إيرث فيرس" (EarthVerse) سؤالاً صعباً: هل تستطيع أنظمة الذكاء الاصطناعي القيام بهذا النوع من العمل الاستقصائي العلمي بمفردها؟ لقد بنى الباحثون اختباراً ضخماً لمعرفة ما إذا كان بإمكان الوكلاء الحاسوبيين العمل كعلماء حقيقيين. حيث أنشأوا 405 تحقيقات محددة بناءً على 199 كارثة واقعية وظواهر طقس متطرفة، تراوحت بين موجات الحر والزلازل. كان كل تحقيق عبارة عن حزمة تضم حوالي 34 ملفاً مختلفاً، بما في ذلك البيانات الخام، والخرائط، والتقارير. مُنح الوكلاء الحاسوبيون سؤالاً علمياً، مثل تحديد شدة موجة حر، لكن لم يتم إخبارهم بالملفات التي يجب البحث فيها. كان عليهم البحث في الحزمة بأكملها، والعثور على السجلات الصحيحة، والتحقق مما إذا كانت البيانات تتوافق من حيث الزمان والمكان، وإجراء الحسابات اللازمة، ثم كتابة إجابة نهائية مدعومة بالكامل بالأدلة التي وجدوها.

كشفت النتائج عن فجوة كبيرة بين ما يمكن لهذه الأنظمة القيام به في الاختبارات البسيطة وبين أدائها في السيناريوهات المعقدة والواقعية. فعندما اختبر الباحثون 25 نظاماً مختلفاً للذكاء الاصطناعي، تمكنت أفضل هذه الأنظمة من إصابة حوالي 85 في المائة من الحقائق الفردية الصغيرة بشكل صحيح. كان بإمكانها غالباً العثور على الأرقام الصحيحة وإجراء العمليات الحسابية بدقة. ومع ذلك، عندما نظر الباحثون فيما إذا كان التحقيق بأكمله مكتملاً وموثوقاً، انخفض معدل النجاح بشكل كبير؛ حيث تم إنجاز حوالي 35 في المائة فقط من التحقيقات بشكل جيد بما يكفي لاعتبارها موثوقة تماماً. وهذا يعني أنه حتى أكثر الأنظمة تقدماً غالباً ما ارتكبت خطأً حرجاً في مكان ما في سلسلة الاستدلال. فقد يجدون سجل درجة الحرارة الصحيح لكنهم يستخدمون الإطار الزمني الخاطئ، أو قد يحسبون إحصائية بشكل صحيح لكنهم يفشلون في التحقق مما إذا كانت البيانات قادمة من مصدر متوافق.

أظهرت الدراسة أن المشكلة ليست في نقص المعرفة أو عدم القدرة على إجراء الرياضيات؛ فالأنظمة عرفت الحقائق واستطاعت حساب الأرقام. لقد حدث الفشل عندما توجب عليهم اتخاذ قرار بشأن أي الأدلة يمكن الوثوق بها وكيفية الحفاظ على اتساق جميع قطع اللغز معاً. وعندما قدم الباحثون للذكاء الاصطناعي مساعدة إضافية عبر توجيهه مباشرة إلى الملفات الصحيحة، قفز أداؤهم بشكل ملحوظ، مما أثبت أن العائق الرئيسي كان العثور على المعلومات الصحيحة، وليس فهمها. كما وجدت الدراسة أن مجرد جعل الذكاء الاصطناعي يفكر لفترة أطول أو بجهد أكبر لم يساعد إذا كان عالقاً في البحث في البيانات الخاطئة. كانت الأنظمة بحاجة إلى القدرة على تغيير رأيها، والعودة للبحث عن مصدر أفضل، وتحديث استنتاجها بناءً على الأدلة الجديدة.

تشير هذه الأبحاث إلى أنه بينما أصبح الذكاء الاصطناعي جيداً جداً في الإجابة على الأسئلة عندما تكون الإجابة مقدمة بالفعل، فإنه لا يزال يعاني في المهمة الأصعب وهي بناء القاعدة الأدلتية نفسها. وفي عالم علوم الأرض، حيث يمكن لقطعة واحدة مفقودة من البيانات أن تغير فهم الكارثة، تعد هذه الفجوة أمراً حرجاً. وتخلص الدراسة إلى أنه لكي يكون الذكاء الاصطناعي موثوقاً حقاً في المجالات العلمية، يجب أن يكون قادراً على الحفاظ على رابط ثابت بين كل ادعاء يقدمه وبين الدليل المحدد الذي يدعمه، مما يضمن تماسك القصة بأكملها من أول نقطة بيانات وصولاً إلى الاستنتاج النهائي.