LISA-3D: Lifting Language-Image Segmentation to 3D via Multi-View Consistency

تخيل أنك تحاول تعليم روبوت فهم العالم ليس فقط من خلال النظر إليه، بل من خلال الاستماع إليك. هذا هو الأفق المثير لـ إعادة البناء ثلاثي الأبعاد الموجه باللغة. فكر في الأمر كخدعة سحرية حيث تشير إلى غرفة فوضوية وتقول: "أمسك ذلك الكرسي الأحمر"، فيقوم الروبوت فوراً ببناء نموذج ثلاثي الأبعاد مثالي لهذا الكرسي وحده، متجاهلاً كل شيء آخر. ولتحقيق ذلك، يحتاج الروبوت إلى قوتين خارقتين تعملان معاً في تناغم. أولاً، يحتاج إلى "عقل" يمكنه قراءة تعليماتك الحرة والعثور على الكائن المحدد في صورة ثنائية الأبعاد (مثل رصد الكرسي الأحمر في صورة مسطحة). ثانياً، يحتاج إلى "بناء" يمكنه أخذ تلك النقطة ثنائية الأبعاد ورفعها لتصبح شكلاً ثلاثي الأبعاد. المشكلة هي أن هذين الجزأين غالباً لا يتواصلان جيداً؛ فقد يرتبك "العقل" إذا التُقطت الصورة من زاوية غريبة، وسيتسبب "البناء" في فوضى إذا أشار "العقل" إلى المكان الخطأ.

هنا يأتي دور ورقة البحث LISA-3D. فهي تعالج السؤال الصعب المتمثل في كيفية جعل "عقل" الروبوت أكثر ذكاءً بشأن المساحة ثلاثية الأبعاد دون الحاجة إلى إعادة بناء الروبوت بالكامل من الصفر. أراد الباحثون معرفة ما يلي: هل يمكننا تعليم مُجزئ صور (image-segmenter) بارع في اللغة أن يفهم أن الكائن يبدو كما هو من زوايا مختلفة، باستخدام بضع صور إضافية فقط ملتقطة بمستشعرات العمق؟ لقد وجدوا أنه باستخدام حيلة تدريب ذكية وخفيفة الوزن، استطاعوا جعل تعليمات الروبوت أكثر موثوقية. والنتيجة هي نظام يبني نماذج ثلاثية الأبعاد أفضل من النصوص، حتى لو لم يمتلك الروبوت سوى صورة واحدة لاحقاً، ويكون أفضل بكثير إذا كان لديه صورة ثانية للمقارنة.

المشكلة: "الكاميرا المرتبكة"

تخيل أنك تحاول وصف كرسي محدد في غرفة لصديق لم يره من قبل. تقول له: "الكرسي الخشبي بجانب النافذة". إذا التقط صديقك صورة من جهة اليسار، سيرى جانب الكرسي. وإذا التقط صورة من جهة اليمين، سيرى مقدمة الكرسي. إذا كان "عقل" صديقك غير مدرب على فهم المساحة ثلاثية الأبعاد، فقد يعتقد أن المنظر الجانبي والمنظر الأمامي هما كرسيان مختلفان، أو قد يرسم حدود الكرسي بطريقة لا معنى لها عندما تحاول بناءه في فضاء ثلاثي الأبعاد.

في عالم الذكاء الاصطناعي، لدينا أدوات قوية مثل LISA (عقل روبوت يتبع تعليمات لغوية معقدة للعثัง على الأشياء في الصور) و SAM-3D (بناء روبوت يحول تلك الخطوط ثنائية الأبعاد إلى أشياء ثلاثية الأبعاد). ولكن هناك خلل ما. عندما ينظر LISA إلى صورة، فإنه يرسم قناعاً (مخططاً رقمياً) حول الكائن. إذا أظهرته صورة من زاوية مختلفة، فقد يرسم LISA مخططاً مختلفاً قليلاً. وعندما تغذي هذه المخططات غير المتسقة إلى الباني (SAM-3D)، يصبح النموذج ثلاثي الأبعاد النهائي مهتزاً، أو مكسوراً، أو ببساطة خاطئاً. الأمر يشبه محاولة بناء منزل باستخدام مخططات تتغير في كل مرة تنظر فيها إلى المنزل من زاوية شارع مختلفة.

الحل: تدريب "التحقق المزدوج"

وضع مؤلفو LISA-3D خطة ذكية من مرحلتين لإصلاح ذلك دون إعادة بناء الروبوت بالكامل. لم يرغبوا في إعادة تدريب العقل الضخم بالكامل (الذي قد يستغرق وقتاً طويلاً ويتطلب كميات هائلة من البيانات). بدلاً من ذلك، استخدموا تقنية تسمى LoRA (التكيف منخفض الرتبة).

فكر في عقل الروبوت كمكتبة ضخمة ومجمدة من المعرفة. لا يمكنك تغيير الكتب بداخلها، ولكن يمكنك إضافة ملاحظة لاصقة صغيرة على الغلاف تخبر أمين المكتبة بكيفية التعامل مع مهمة جديدة محددة. في هذه الحالة، "الملاحظة اللاصقة" هي مجموعة صغيرة من المعلمات الجديدة (11.6 مليون معلمة فقط) التي تعلم الروبوت كيفية الحفاظ على اتساق مخططاته عند تحرك الكاميرا.

إليك كيف يعمل التدريب:

1. الإعداد: يعرض الباحثون للروبوت صورتين لنفس المشهد ملتقطتين من زاويتين مختلفتين قليلاً، مع خريطة عمق (صورة تخبر الروبوت بمدى بعد كل شيء).
2. اللعبة: يطلبون من الروبوت العثور على الكائن في كلتا الصورتين باستخدام نفس الجملة (على سبيل المثال: "الكرسي الأحمر").
3. الخدعة السحرية: يأخذ الروبوت المخطط الذي رسمه في الصورة الأولى ويقوم رياضياً بـ "تحريف" (warp) شكله ليرى أين يجب أن يظهر في الصورة الثانية، بناءً على معلومات العمق ثلاثية الأبعاد.
4. التصحيح: إذا لم يتطابق مخطط الروبوت الفعلي في الصورة الثانية مع المخطط المحرف من الصورة الأولى، فإن النظام يعطيه "دفعة" لطيفة (دالة خسارة/loss function) لتصحيح الخطأ. الأمر يشبه معلماً يقول: "مهلاً، إذا رسمت الكرسي هنا في الصورة الأولى، فيجب أن يبدو هكذا في الصورة الثانية لأن الغرفة لم تتحرك".

هذه العملية تعلم الروبوت أن يكون "واعياً بالهندسة". فهو يتعلم أن الكائن هو الشيء المادي نفسه، بغض النظر عن زاوية الكاميرا.

النتائج: صورة واحدة مقابل صورتين

يختبر البحث هذا الروبوت الجديد بطريقتين مختلفتين، والنتائج واضحة تماماً.

النمط 1: بطل المشهد الواحد
في العالم الحقيقي، غالباً ما تمتلك صورة واحدة فقط. تلتقط صورة لكرسي وتقول: "ابنِ لي هذا". وجد الباحثون أنه على الرغم من تدريب الروبوت باستخدام صورتين، فقد أصبح أفضل بكثير في العمل بصورة واحدة فقط.

• قبل هذا التدريب، كانت دقة المخططات ثنائية الأبعاد للروبوت صحيحة بنسبة 10.2% تقريباً (مقاسة بمعيار يسمى mIoU).
• بعد تدريب "التحقق المزدوج"، قفزت الدقة إلى 17.6%.
• والأهم من ذلك، كانت النماذج ثلاثية الأبعاد التي بناها أفضل بكثير. فقد ارتفع "مقياس F" (مقياس لمدى اكتمال ودقة الشكل ثلاثي الأبعاد) من 54.7 إلى 61.8، وانخفض الخطأ في الشكل (مسافة Chamfer) من 12.4 إلى 10.2.
  يثبت هذا أن الروبوت تعلم مهارة عامة: لم يحفظ فقط كيفية التعامل مع صورتين؛ بل تعلم كيف يكون "راصداً" أفضل بشكل عام.

النمط 2: المساعد الخارق
إذا كنت تمتلك بالفعل صورة ثانية (مثل ذراع روبوت أو سماعة واقع افتراضي تعرف موقعها)، فإن النظام يحتوي على وضع "دمج" (fusion) اختياري. يأخذ المخططات من كلتا الصورتين، ويمزجهما معاً، وينشئ تعليمات أفضل للباني.

• مع هذا المساعدة الإضافية، ارتف-عت دقة الصور ثنائية الأبعاد إلى 25.4%.
• ووصلت جودة النموذج ثلاثي الأبعاد إلى F-score قدره 70.3، مع انخفاض الخطأ بشكل كبير إلى 7.9.

لماذا يهم هذا؟

الجزء الأكثر إثارة في هذا الاكتشاف هو أن المؤلفين لم يحتاجوا إلى اختراع باني ثلاثي الأبعاد جديد أو عقل لغوي جديد. لقد أخذوا الأدوات الموجودة بالفعل (LISA و SAM-3D) وأضافوا طبقة صغيرة ذكية هندسياً بينهما.

لقد استبعدوا صراحة فكرة أنك تحتاج إلى صورة ثانية في لحظة الاستخدام للحصول على فائدة. لقد استخدم التدريب صورتين لتعليم الدرس، ولكن الطالب (الروبوت) يمكنه اجتياز الاختبار بصورة واحدة فقط. وهذا أمر بالغ الأهمية لأنه يعني أن النظام عملي للاستخدام اليومي، حيث نمتلك عادةً لقطة واحدة فقط.

ومع ذلك، فإن الورقة البحثية صادقة أيضاً بشأن حدودها. يعتمد التدريب على وجود بيانات عمق واضحة (RGB-D) ومعرفة مكان الكاميرا بدقة. إذا كان مستشعر العمق مشوشاً أو كانت الكاميرا مهتزة، فقد يرتبك نظام "التحقق المزدوج". يعمل النظام بشكل أفضل في البيئات الداخلية المنظمة مع الأجسام الصلبة (مثل الأثاث)، وليس بالضرورة في المشاهد الخارجية الفوضوية التي بها أشخاص يتحركون.

باختصار، LISA-3D يشبه إعطاء الروبوت نظارات ثلاثية الأبعاد أثناء معسكره التدريبي. وحتى عندما ينزع هذه النظارات ويخرج إلى العالم بعين واحدة فقط (صورة واحدة)، فإنه يتذكر كيف يرى العالم ثلاثي الأبعاد، ويبني نماذج أفضل وأكثر استقراراً من كلماتك. إنه أسلوب معياري، فعال، وفعال بشكل مدهش لسد الفجوة بين ما نقوله وما يبنيه الروبوت.