Teach a Molmo2Fish: Towards interactive fish tracking with natural language guidance
تقدم هذه الورقة Molmo2Fish، وهو سير عمل تفاعلي يستفيد من نموذج لغوي كبير متعدد الوسائط لتمكين التصحيح والتتبع الموجه باللغة الطبيعية للأسماك في مجموعات بيانات السونار، مما يظهر أداءً عاليًا مع تسليط الضوء على فرص التحسين الإضافي في التكامل اللغوي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المياه الهادئة والمظلمة للأنهار حيث تعود أسماك السلمون لوضع بيضها، يواجه العلماء مشكلة عدّ صعبة. فلحماية تجمعات هذه الأسماك وتحديد حدود الصيد المستدامة، يحتاج الباحثون إلى تقدير موثوق لعدد الأسماك التي تمر عبر نقطة معينة كل عام. يستخدمون كاميرات سونار تحت الماء لتسجيل هذه الحركة، لكن الفيديوهات الناتجة غالبًا ما تكون عكرة، ومليئة بالضجيج، ومزدحمة بمئات الأسماك التي تسبح في وقت واحد. لسنوات، كان على البشر مراجعة هذه التسجيلات يدويًا لعدّ الأسماك، وهي عملية بطيئة ومملة. مؤخرًا، تعلمت الحواسيب القيام بذلك تلقائيًا، لكنها غالبًا ما تتعثر عندما تتغير ظروف المياه أو عندما تظهر الكثير من الأسماك في وقت واحد، مما يؤدي إلى فقدان تتبع الأفراد أو عدّ السمكة نفسها مرتين. وهنا يأتي دور نوع جديد من الذكاء الاصطناعي، وهو نوع لا يحاول أن يكون مثاليًا بمفرده، بل يتعلم الاستماع إلى صوت بشري لإصلاح أخطائه.
قام فريق من الباحثين في معهد ماساتشوستس للتكنولوجيا بتطوير أداة تسمى Molmo2Fish لسد الفجوة بين الرؤية الحاسوبية غير الكاملة واحتياجات علماء البيئة. وبدلاً من بناء نظام يحاول القيام بكل شيء بشكل صحيح من المرة الأولى، ابتكروا شريكًا حواريًا. يعتمد هذا النظام على نموذج لغوي كبير متعدد الوسائط، وهو نوع من الذكاء الاصطناعي يمكنه رؤية الصور وفهم النصوص في نفس الوقت. علم الباحثون هذا النموذج مشاهدة فيديوهات السونار لأسماك السلمون والتنبؤ بمكان حركة كل سمكة. لكن الابتكار الحقيقي يكمن فيما يحدث بعد ذلك: إذا فات الكمبيوتر سمكة أو فقد تتبع إحداها، يمكن للإنسان ببساطة كتابة جملة مثل: "أنت تفتقد سمكة بالقرب من القاع تسبح جهة اليسار"، وسيقوم النموذج فورًا بتعديل تنبؤاته لتصحيح الخطأ. إنه تحول من عملية آلية جامدة إلى محادثة مرنة حيث يعمل الكمبيوتر والإنسان معًا لبناء سجل دقيق.
لاختبار هذه الفكرة، أخذ الفريق نموذج Molmo2، الذي تم تدريبه في الأصل على مجموعة متنوعة بصريًا من الفيديوهات التي تشمل أشخاصًا وحيوانات وسيارات، وقاموا بتخصيصه لعالم السونار تحت الماء الفريد ذي الحبيبات الواضحة. قاموا بتغذيته بمقاطع من مجموعة بيانات Caltech Fish Counting، وهي أكبر مجموعة مفتوحة لفيديوهات السونار الخاصة بالمصايد، لتعليمه ليس فقط كيفية تتبع الأسماك ولكن أيضًا كيفية قبول التصحيحات. أنشأ الباحثون عملية تدريب حيث يقوم النموذج بتقديم تخمين أول لمسارات الأسماك، ثم يقوم إنسان محاكى بالإشارة إلى الأخطاء بلغة إنجليزية بسيطة. تعلم النموذج الاستماع إلى هذه التعليمات وتحديث خريطته الذهنية للفيديو في الوقت الفعلي. ووجدوا أن النظام يمكنه بنجاح تعلم هذه المهارة الجديدة، متحولًا من أداة كانت تعاني مع بيانات السونار إلى أداة يمكنها تتبع الأسماك بدقة عالية، خاصة عند تلقيها القليل من المساعدة.
أظهرت النتائج أن هذا النهج التفاعلي يعمل بشكل جيد، لا سيما عندما تكون التنبؤات الحاسوبية الأولية بعيدة عن الصواب. فعندما بدأ النموذج بنظام تتبع تقليدي أساسي غالبًا ما يفقد الأسماك أو يجزئ مسار سمكة واحدة إلى عدة قطع مربكة، استطاع Molmo2Fish إصلاح تلك الأخطاء بفعالية بعد جولة واحدة من التغذية الراجعة البشرية. وفي بعض مواقع الأنهار حيث كانت الأسماك صغيرة ويصعب رؤيتها، كانت المسارات المصححة أفضل بكثير مما يمكن للكمبيوتر تحقيقه بمفرده. ومع ذلك، اكتشف الباحثون حدًا لهذه القدرة؛ فعندما كان الكمبيوتر يقوم بعمل جيد جدًا بمفرده، فإن مطالبته بتصحيح عمله بمزيد من التعليمات لم تؤدِ دائمًا إلى تحسينه. في الواقع، أدى أحيانًا إضافة تعليمات أكثر تحديدًا إلى إرباك النموذج، مما جعله يقوم بتغييرات غير ضرورية أو حتى خاطئة.
كما كشفت الدراسة أن النموذج حساس للغاية لنوع التغذية الراجعة التي يتلقاها. فقد تعلم الانتباه إلى التفاصيل المحددة، مثل أي الأسماك يجب دمجها أو أي منها يجب تجاهلها، لكنه واجه صعوبة عندما كانت التعليمات غامضة أو عندما كانت الأخطاء من نوع لم يره من قبل. على سبيل المثال، إذا تم تدريب النموذج فقط على أنواع معينة من الأخطاء، فإنه فشل في التعرف على أنواع جديدة ومختلفة من الأخطاء عندما ظهرت في فيديوهات الاختبار. وهذا يشير إلى أنه بينما تعد هذه التكنولوجيا واعدة، فإنها لا تزال بحاجة إلى بيانات تدريب أكثر تنوعًا لتصبح قوية حقًا. وخلص الباحثون إلى أن طريقة "تعليم النموذج كيف يصطاد" تمثل اتجاهًا واعدًا يهدف في النهاية إلى السماح لغير المتخصصين بالحصول على نتائج عالية الجودة دون الحاجة إلى إعادة تدريب أنظمة حاسوبية معقدة من الصفر، رغم أن الطريقة ليست موثوقة بما يكفي بعد لتقديم ذلك في الفيديوهات المعتادة.
في نهاية المطاف، يمثل Molmo2Fish خطوة نحو مستقبل يكون فيه الذكاء الاصطناعي في العلوم ليس "صندوقًا أسود" ينتج إجابة نهائية، بل أداة تعاونية تتطور من خلال المحادثة. ومن خلال السماح للباحثين بتوجيه النموذج باستخدام اللغة الطبيعية، يصبح النظام قابلاً للتكيف مع التحديات المحددة لكل نهر ولكل موسم. يوضح هذا العمل أننا لا نحتاج دائمًا إلى خوارزمية مثالية لحل مشكلة صعبة؛ فأحيانًا، يكون النظام الذي يعرف كيف يستمع ويصحح نفسه أكثر فائدة بكثير. وبينما يواصل الباحثون صقل هذا النهج، فإن الأمل هو أن تصبح هذه الأدوات معيارًا في مجال الحفظ، مما يساعد في حماية مجموعات السلمون من خلال تحويل ساعات من العد الصعب إلى مهمة تفاعلية يمكن إدارتها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.