TriCLE: Tri-Modal Vision-Language Reasoning for Edge-Deployed Fine-Grained Clustering
يُعدُّ TriCLE نظاماً رؤيوياً لغوياً ثلاثي الأنماط قابلاً للنشر على الحافة، يقوم بتوليف البيانات الحرارية والعمق من صور طائرات أحادية اللون (RGB) لتحقيق تجميع تصنيفي عالي الدقة وذي صلة هندسية في ظل قيود صارمة على الذاكرة والحوسبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تحديد نوع طائر في السماء، لكنك لا تستطيع رؤيته إلا لثانية واحدة، وبصرك ضبابي بعض الشيء. قد تخمن أنه صقر من نوع "هوك" بسبب شكله، أو "فالكون" بسبب سرعته، ولكن بدون رؤية ريشه بوضوح، قد تخطئ بسهولة. الآن، تخيل أنك تفعل ذلك ليس مع طائر، بل مع طائرة متطورة للغاية، وعليك القيام بذلك فوراً على حاسوب صغير مثبت على طائرة بدون طيار (درون) لا تملك اتصالاً بالإنترنت ولا تملك سوى قدر ضئيل من طاقة البطارية. هذا هو نوع اللغز الذي يحاول العلماء في مجال "الحوسبة الطرفية" (Edge Computing) و"الذكاء الاصطناعي" حله. إنهم يريدون للآلات أن تكون ذكية بما يكفي لفهم المشاهد المعقدة في مكان حدوث الفعل تماماً، دون الحاجة إلى إرسال البيانات إلى حاسوب فائق ضخم في السحابة. وللقيام بذلك، يستخدمون "نماذج الرؤية واللغة" (Vision-Language Models)، وهي تشبه روبوتات فائقة الذكاء يمكنها النظر إلى صورة والتحدث عما تراه، حيث تجمع بين القرائن البصرية والاستنتاج الشبيه بالبشر. لكن العائق هنا هو أن معظم هذه الروبوتات مُدربة فقط على الصور الملونة العادية. وفي العالم الحقيقي، وخاصة بالنسبة للطائات، لا تكون الصورة الملونة كافية دائماً. فأحياناً تحتاج إلى رؤية الحرارة المنبعثة من المحرك (الرؤية الحرارية) أو الشكل ثلاثي الأبعاد للأجنحة (رؤية العمق) للتمييز بين طائرتين متشابهتين في المظهر. والسؤال الكبير هو: كيف تعلم روبوتاً استخدام كل هذه "الحواس" المختلفة عندما لا تملك كاميرا يمكنها رؤية كل تلك الأشياء في وقت واحد، وعندما يتعين عليك تشغيل النظام بأك-مله على جهاز صغير؟
هنا يأتي دور مشروع جديد يسمى TriCLE. فكر في TriCLE كساحر بارع يمكنه استحضار الحواس المفقودة. أدرك الباحثون أنه بينما لم يكن لديهم كاميرات حرارية حقيقية أو ماسحات ضوئية ليزرية ثلاثية الأبعاد (LiDAR) لكل صورة طائرة، كان بإمكانهم استخدام صورة ملونة عادية واحدة لإنشاء نسخ مزيفة ولكن واقعية لتلك المشاهد الأخرى. الأمر يشبه النظر إلى رسم تخطيطي بالأسود والأبيض ثم استخدام برنامج ذكي لتلوينه بآثار حرارية ثم نحته إلى نموذج ثلاثي الأبعاد، كل ذلك مع الحفاظ على توافق الرسم الأصلي بدقة. لقد غدوا هذا الثلاثي "متعدد الأنماط" (tri-modal own)—الصورة الملونة الحقيقية، والخريطة الحرارية المزيفة، وخريطة العمق ثلاثية الأبعاد المزيفة—داخل عقل اصطناعي مدمج (نموذج بـ 4 مليارات معلمة يعتمد على Qwen3-VL). ولكن مجرد عرض هذه المشاهد الثلاثة على الذكاء الاصطناعي لم يكن كافياً؛ فقد احتاجوا إلى تعليمه التفكير مثل مهندس طيران، بحيث يصنف الطائرات بناءً على نوع المحرك، وشكل الجناح، وعصر التصميم، بدلاً من مجرد النظر إلى مدى لمعانها.
لتدريب هذا الذكاء الاصطناعي، جرب الفريق عدة طرق تعليمية مختلفة. ووجدوا أن أفضل طريقة لتعليم الروبوت هي تقنية تسمى تحسين سياسة التسلسل الجماعي (GSPO). تخيل أنك تعلم طالباً كتابة مقال؛ إذا قمت بتصحيحه كلمة بكلمة أثناء الكتابة فقط، فقد يعلق في حلقة مفرغة ويكرر نفس العبارة مراراً وتكراراً. ولكن إذا تركته يكتب الفقرة كاملة، ثم قيمت تدفق المنطق بأكمله دفعة واحدة، فسوف يتعلم الحفاظ على تماسك أفكاره والوصول إلى استنتاج واضح. هذا هو ما يفعله الـ GSPO: فهو ينظر إلى عملية الاستنتاج الكاملة التي يولدها الذكاء الاصطناعي ويكافئه على البقاء في المسار الصحيح، وتجنب الحلقات المتكررة، والوصول إلى التصنيف الهندسي الصحيح.
كانت نتائج هذه التجربة واعدة للغاية. فعند اختباره على مجموعة من صور الطائرات التي لم يرها الذكاء الاصطناعي من قبل، نجح النموذج المدرب بتقنية GSPO في التصنيف الصحيح بنسبة 78.00%. كما تمكن من الحفاظ على صحة تنسيق مخرجاته بنسبة 94.00%، مما يعني أنه لم يرتبك ويخرج ببيانات غير مفهومة. ولعل الأهم بالنسبة لجزء "الحوسبة الطرفية" في القصة، هو أن الباحثين قاموا بضغط هذا النموذج الذكي باستخدام تقنية التكميم بـ 4 بت (وهي عملية ضغط ذاكرة الذكاء الاصطناعي دون فقدان ذكائه). بعد هذا الضغط، استوعب النظام بأكمله 8 جيجابايت من الذاكرة وكان بإمكانه معالجة صورة طائرة معقدة في غضنة 1.48 ثانية فقط. وهذا يشير إلى أن TriCLE هو نموذج أولي عملي لجعل الطائرات بدون طيار والأجهزة الصغيرة ذكية بما يكفي لتحديد أنواع الطائرات أثناء الطيران. ومع ذلك، يوضح المؤلفون بحذر أنه نظرًا لأن مشاهد "الحرارة" و"الأبعاد الثلاثية" تم إنشاؤها بواسطة برنامج حاسوبي وليس عبر مستشعرات حقيقية، فإن هذا يعد "إثبات مفهوم". فالنظام يعمل بشكل جيد في هذه المحاكاة المحكومة، لكن الفريق يشير إلى أن العمل المستقبلي يحتاج إلى اختبار النظام مع بيانات مستشعرات حقيقية ومتزامنة لمعرفة مدى صموده في العالم الحقيقي الفوضوي وغير المتوقع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.