Bootstrapping a 4D LiDAR Annotation Tool from Video Foundation Models

تعتمد المركبات ذاتية القيادة على تدفق مستمر وعالي السرعة من البيانات لفهم العالم من حولها. وبينما تلتقط الكاميرات الثراء البصري للمشهد، إلا أنها قد تواجه صعوبات في الطقس السيئ أو الإضاءة المنخفضة. ولتعويض ذلك، تستخدم العديد من أنظمة القيادة الذاتية تقنية "ليدار" (LiDAR)، وهو مستشعر يطلق نبضات سريعة من ضوء الليزر لقياس المسافات وبناء خريطة ثلاثية الأبعاد للبيئة المحيطة. تظهر هذه الخريطة كـ "سحابة" من ملايين النقاط الصغيرة، تمثل كل منها سطحاً اصطدم به الليزر. ولجعل هذه البيانات مفيدة للملاحة، يجب على الحواسيب أن تتعلم كيفية تحديد ماهية تلك النقاط؛ هل هذه الكتلة هي مشاة، أم سيارة، أم شجرة؟ علاوة على ذلك، ولأن المركبة في حالة حركة، يجب على النظام تتبع هذه الأجسام بمرور الوقت، وربط النقاط ببعضها من لحظة إلى أخرى لفهم الحركة والقصد. تُعرف هذه العملية باسم "التجزئة رباعية الأبعاد"، وهي تشكل العمود الفقري للقيادة الذاتية الآمنة، لكنها تواجه عقبة هائلة: وهي أن البيانات المطلوبة لتعليم هذه الأنظمة صعبة للغاية ومكلفة للغاية في إنشائها.

لكي يتعلم الكمبيوتر كيفية التعرف على الأجسام في سحابة "ليدار"، يجب على البشر أولاً تصنيف آلاف الإطارات يدوياً، عبر رسم خطوط محيطة بكل سيارة وشخص في كل سحابة نقاط منفردة. هذه مهمة بطيئة، ومملة، وعرضة للخطأ. ونظراً لأن النقاط متباعدة ومتناثرة في الفضاء ثلاثي الأبعاد، فإن تصنيفها أقل بديهية بكثير من الرسم على صورة مسطحة. ونتيجة لذلك، غالباً ما يكون تقدم هذه الأنظمة متعثراً ليس بسبب ذكاء الخوارزميات، بل بسبب النقص الشديد في البيانات عالية الجودة والمصنفة. وقد تساءل الباحثون طويلاً عما إذا كانت هناك طريقة لتوليد بيانات التدريب هذه تلقائياً، ربما عن طريق استعارة الفهم البصري الذي تعلمته الحواسيب بالفعل من مليارات الصور ومقاطع الفيديو.

لقد اتخذ فريق من الباحثين من جامعة "KAIST" وجامعة "Chung-Ang" خطوة كبيرة نحو الإجابة على ذلك السؤال من خلال إطار عمل جديد يسمى "LiDAR-SAM2". يوضح عملهم أنه من الممكن إنشاء أداة تصنيف قوية لبيانات "ليدار" ثلاثية الأبعاد دون أن يرسم إنسان خطاً واحداً على سحابة نقاط. فبدلاً من الاعتماد على التوسيم اليدوي، بنوا نظاماً يترجم قدرات نموذج ذكاء اصطناعي يعتمد على الفيديو إلى لغة عمليات المسح الليزري ثلاثية الأبعاد. وتتمثل الفكرة الجوهرية في استخدام "نموذج تأسيسي" (foundation model)، وهو نوع من الذكاء الاصطناعي المدرب على كميات هائلة من بيانات الفيديو لتتبع الأجسام عبر الزمن، وتكييفه ليفهم الهندسة الفريدة لمستشعرات "ليدار". ومن خلال القيام بذلك، قاموا بتحويل خبير فيديو ثنائي الأبعاد إلى مشرف "ليدار" رباعي الأبعاد.

تبدأ العملية بمجموعة بيانات متزامنة: تسلسل من عمليات مسح "ليدار" ثلاثية الأبعاد مقترنة بمقاطع فيديو قياسية من كاميرات مثبتة على نفس المركبة. يقوم الباحثون أولاً بتغذية مقاطع الفيديو في النموذج التأسيسي للفيديو، وهو نموذج بارع في تحديد الأجسام وتتبع حركتها من إطار إلى آخر. عندما ينقر المستخدم على سيارة في إطار الفيديو الأول، يتتبع النموذج تلك السيارة تلقائياً عبر تسلسل الفيديو بأكمله، مما ينشئ "قناعاً" (mask) يحدد معالم المركبة في كل الإطارات اللاحقة. ثم يأخذ الباحثون هذه الخطوط المحيطة ثنائية الأبعاد ويقومون بإسقاطها على نقاط "ليدار" ثلاثية الأبعاد المقابلة. ولأن الكاميرا ومستشعر الليزر تمت معايرتهما لمعرفة كيفية ارتباطهما ببعضهما البعض بدقة، يمكن للنظام تحديد أي نقاط الليزر تتوافق مع بكسلات قناع الفيديو.

ومع ذلك، فإن مجرد إسقاط الأقنعة ثنائية الأبعاد على النقاط ثلاثية الأبعاد ليس كافياً. فالكاميرا الواحدة لا يمكنها رؤية المركبة بأكملها؛ فقد ترى الجانب ولكنها تفقد الخلفية، أو قد يحجب الرؤية جسم آخر. ولحل هذه المشكلة، طور الباحثون طريقة لدمج المشاهد من كاميرات متعددة وربطها معاً بمرور الوقت. فهم يستخدمون الحركة المعروفة للمركبة لإسقاط ما تم رؤيته في اللحظة السابقة في اللحظة الحالية، مما يسد الفجوات حيث كانت رؤية الكاميرا محدودة. وهذا يخلق مجموعة كثيفة ومتسقة من التصنيفات للنقاط ثلاثية الأبعاد، مما يولد فعلياً مجموعة بيانات تدريب عالية الجودة تلقائياً. هذه التصنيفات المولدة، التي يسميها الباحثون "التصنيفات الزائفة" (pseudo-labels)، تُستخدم بعد ذلك لتدريب نموذج جديد مصمم خصيصاً لفهم بيانات "ليدار".

يعمل النظام الناتج، "LiDAR-SAM2"، كأداة تفاعلية. يحتاج المشغل البشري فقط إلى النقر على جسم في الإطار الأول من تسلسل "ليدار"، وسيقوم النظام تلقائياً بتوليد تتبع متسق وعالي الجودة لهذا الجسم طوال الفيديو. اختبر الباحثون هذا النهج على مجموعة بيانات قياسية تسمى "SemanticKITTI"، والتي تحتوي على مشاهد قيادة حضرية معقدة. ووجدوا أن التصنيفات التي ولدها نظامهم كانت دقيقة بشكل ملحوظ، حيث حققت معدلات عالية من الدقة والاستدعاء. وعندما استخدموا هذه التصنيفات المولدة تلقائياً لتدريب نماذج تجزئة ثلاثية الأبعاد قياسية، أدت تلك النماذج أداءً يقارب أداء تلك التي تم تدريبها على بيانات تم تصنيفها بشق الأنفس من قبل خبراء بشريين. في الواقع، بالنسبة لمهام التجزئة الدلالية، حققت النماذج المدربة على التصنيفات التلقائية مستويات أداء اقتربت من "الحقيقة الأرضية" (ground truth) المصنفة بشرياً بالكامل، رغم عدم قيام أي إنسان بتصنيف نقاط "ليدار" يدوياً المستخدمة في التدريب.

كما استكشفت الدراسة جودة التصنيفات نفسها. ومن خلال تصور المخرجات، أظهر الباحثون أن النظام ينتج حدوداً نظيفة حول الأجسام ويحافظ على هويات متسقة للسيارات والمشاة أثناء تحركهم عبر المشهد. هذا الاتساق أمر بالغ الأهمية للقيادة الذاتية، حيث يجب على النظام أن يعرف أن السيارة التي رآها قبل عشر ثوانٍ هي نفس السيارة التي يراها الآن. وأثبت الباحثون أن هذا المستوى من الجودة يمكن تحقيقه بحد أدنى من المدخلات البشرية، حيث يتطلب الأمر بضع نقرات فقط لكل جسم لبدء التتبع. وهذا يشير إلى أن العبء الثقيل لتصنيف البيانات في فهم المشاهد ثلاثية وأرباعية الأبعاد يمكن تقليله بشكل كبير، مما قد يسمح بالتطوير السريع لأنظمة أكثر أماناً وقدرة دون الحاجة إلى فرق ضخمة من المصنفين البشريين.

يتحدى هذا العمل صراحةً الفكرة القائلة بأن بيانات التدريب ثلاثية الأبعاد عالية الجودة يجب أن تأتي دائماً من العمل البشري. وبينما اعتمدت المحاولات السابقة للتجزئة التفاعلية رباعية الأبعاد على مجموعات بيانات مصنفة بشرياً لتعليم النظام كيفية تتبع الأجسام، يقلل هذا النهج الجديد من هذا الاعتماد من خلال طلب حد أدنى من التوجيهات. ويرى الباحثون أنه من خلال الاستفادة من الفهم الزمني الموجود بالفعل في نماذج الفيديو التأسيسية، من الممكن بناء نظام تصنيف ثلاثي الأبعاد من الصفر. لقد أثبتوا أن طريقتهم ليست مجرد إمكانية نظرية، بل هي أداة عملية تنتج بيانات عالية الدقة وقابلة للاستخدام. وتشير النتائج إلى أن الفجوة بين البيانات المؤتمتة وتلك المصنفة بشرياً تتقلص بسرعة، مما يوفر مساراً قابلاً للتوسع للجيل القادم من أنظمة الإدراك.

وفي السياق الأوسع للذكاء الاصطناعي، يسلط هذا البحث الضوء على التحول نحو استخدام نوع من النماذج القوية لتعليم نوع آخر. فمن خلال التعامل مع نموذج فيديو ثنائي الأبعاد كمصدر للإشراف على البيانات ثلاثية الأبعاد، تجاوز الفريق القيود التقليدية للمجال ثلاثي الأبعاد. هم لم يخترعوا طريقة جديدة لرؤية العالم، بل وجدوا طريقة لترجمة ما يعرفه الكمبيوتر بالفعل عن الفيديو إلى لغة عمليات المسح الليزري. وتشير النتائج إلى أن مستقبل بيانات القيادة الذاتية قد لا يكمن في توظيف المزيد من المصنفين، بل في بناء جسور أذكى بين أنواع مختلفة من البيانات البصرية. ومع نضوج هذه التكنولوجيا، قد تتيح إنشاء مجموعات بيانات ضخمة ومتنوعة للسيارات ذاتية القيادة، مما يجعل هذه التكنولوجيا أكثر قوة وسهولة في الوصول إليها. وتخلص الدراسة إلى أنه مع وجود الإطار الصحيح، فإن حلم التصنيف التلقائي عالي الجودة ثلاثي الأبعاد لم يعد هدفاً بعيد المنال، بل أصبح واقعاً ملموساً.