GO-PRE: Goal-Oriented Next-Best-View Selection via Predictive Rendering Entropy for Active 3D Reconstruction

تخيل أنك تحاول بناء نموذج ثلاثي الأبعاد مثالي لقلعة غامضة يلفها الضباب، لكن ليس لديك سوى عدد محدود من الصور لالتقاطها. لا يمكنك مجرد التقاط صور عشوائية؛ بل يجب أن تكون ذكيًا في تحديد مكان وقوفك للحصول على المعلومات الأكثر فائدة. هذا هو عالم إعادة البناء ثلاثي الأبعاد النشط (active 3D reconstruction)، وهو مجال تعمل فيه الحواسيب كأنها مستكشفون فضوليون، يقررون أي زوايا كاميرا ستعلمهم أكثر عن المشهد. للقيام بذلك، يعتمدون عادةً على "ألعاب التخمين" بناءً على مدى اهتزاز رياضياتهم الداخلية أو مقدار المساحة الفارغة التي لم يروها بعد. ولكن هنا تكمن المشكلة، فأحيانًا يعتقد الكمبيوتر أنه تعلم الكثير لأن رياضياته تشعر بعدم اليقين، رغم أن الصورة النهائية التي سيعرضها لك لا تزال ضبابية أو مليئة بالثغرات. الأمر يشبه طباخًا يقلق بشأن درجة حرارة الفرن (الرياضيات الداخلية) بينما الكعكة بداخلها لا تزال نيئة (الصورة النهائية). السؤال الكبير هو: كيف نجعل الكمبيوتر يهتم بالصورة الفعلية التي سيعرضها لك، بدلاً من الاهتمام بمشاعره الداخلية فقط؟

إليك GO-PRE، وهي طريقة جديدة اقترحها باحثون تغير قواعد اللعبة عبر طرح سؤال مباشر وبسيط: "إذا التقطت هذه الصورة، فبأي قدر ستصبح الصورة النهائية أكثر وضوحًا؟". بدلاً من التخمين بناءً على الرياضيات الداخلية، يستخدم GO-PRE تقنية تُسمى الرندرة التنبؤية (predictive rendering). فكر في الأمر كأن الكمبيوتر يقوم بمحاكاة سريعة وصغيرة للمستقبل: يتظاهر بالتقاط صورة، ويقوم برندرة (توليد) ما ستكون عليه تلك الصورة، ثم يتحقق من مقدار "الارتباك" (أو الإنتروبي) المتبقي في تلك الصورة. إذا كانت الصورة المتوقعة لا تزال ضبابية، فإن الكمبيوتر يعرف أنه يحتاج لالتقاط تلك الصورة. وإذا كانت الصورة واضحة بالفعل، فإنه يتخطاها. وجد الباحثون أنه من خلال التركيز تمامًا على تقليل هذا "الارتباك البصري" في الصورة النهائية، تبني طريقتهم نماذج ثلاثية الأبعاد أفضل وأسرع وأكثر دقة من التقنيات السابقة. كما اكتشفوا أنه يمكنك إخبار الكمبيوتر بالضبط أين يركز—مثل قول: "أنا أهتم فقط ببرج القلعة، تجاهل الحديقة"—وسيقوم النظام بسعادة بتجاهل كل شيء آخر لإتقان ذلك الجزء المحدد.

المشكلة: فخ "الرياضيات الداخلية"

لفترة طويلة، كانت الروبوتات والذكاء الاصطناعي الذي يحاول بناء عوالم ثلاثية الأبعاد يلعبون لعبة "ساخن وبارد". يتحركون بكاميراتهم محاولين العثور على البقعة التي تعطي أكبر قدر من المعلومات. لكن معظمهم يستخدم طريقًا مختصرًا؛ فهم ينظرون إلى "عدم اليقين" الداخلي لديهم—بمعنى آخر، مدى تذبذب رياضياتهم—ويفترضون أنه إذا كانت الرياضيات متذبذبة، فهم بحاجة لصورة جديدة. المشكلة هي أن هذا غالبًا ما يكون مؤشرًا سيئًا. الأمر يشبه طالبًا يدرس للاختبار من خلال التحقق فقط من مدى شعوره بالتوتر، بدلاً من النظر فعليًا في الأسئلة. قد تشعر بتوتر شديد (عدم يقين عالٍ) تجاه موضوع تعرفه جيدًا، أو تشعر بالهدوء تجاه موضوع نسيته تمامًا. في عالم إعادة البناء ثلاثي الأبعاد، يعني هذا أن الكمبيوتر قد يهدر ميزانيته المحدودة من الصور في التقاط صور لأشياء لا تساعد حقًا في جعل الصورة النهائية تبدو أفضل. قد يقلل من أخطاء رياضياته الداخلية ولكنه يترك النموذج ثلاثي الأبعاد النهائي يبدو غريبًا أو ضبابيًا.

الحل: "الكرة البلورية" لـ GO-PRE

قام المؤلفون، يان سونغ وفريقه، ببناء إطار عمل يسمى GO-PRE (اختصار لـ Goal-Oriented Next-Best-View Selection via Predictive Rendering Entropy - اختيار أفضل عرض تالٍ موجه نحو الهدف عبر إنتروبي الرندرة التنبؤية). بدلاً من النظر إلى الرياضيات الداخلية، ينظر GO-PRE مباشرة إلى النتيجة.

تخيل أنك مصور فوتوغرافي لديك عدد محدود من لفات الأفلام. تريد التقاط صورة لمنحوتة معقدة.

• الطريقة القديمة: تنظر إلى إعدادات كاميرتك وتقول: "حلقة التركيز الخاصة بي تتأرجح، لذا أحتاج لالتقاط صورة من اليسار".
• طريقة GO-PRE: تمسك بمرآة وتقول: "إذا التقطت صورة من اليسار، هل سيبدو الانعكاس أكثر وضوحًا؟ إذا التقطتها من اليمين، هل سيبدو الانعكاس أكثر وضوحًا؟" أنت تختار الزاوية التي تجعل الانعكاس (الصورة النهائية) الأقل ضبابية.

من الناحية التقنية، يقومون بذلك عن طريق حساب ما يسمى إنتروبي الرندرة التنبؤية. بكلمات بسيطة، "الإنتروبي" هنا تعني "الفوضى" أو "الارتباك". إذا توقع الكمبيوتر كيف ستبدو الصورة وكانت الصورة "مرتبكة" للغاية (إنتروبي عالٍ)، فهذا يعني أنه لا يعرف ما هو موجود هناك. هدف GO-PRE هو اختيار زاوية الكاميرا التالية التي تقلل هذا الارتباك بأكبر قدر ممكن. هم لا يتكهنون فحسب؛ بل يحاكون المستقبل. يسألون: "إذا أضفت هذا المنظر الجديد إلى مجموعتي، فبأي قدر سيختفي 'الضباب' في صورتي المتوقعة؟"

ميزة "الهدف": إخبار الروبوت بما يجب أن يهتم به

من أروع ميزات GO-RE هو أنه يسمح لك بتحديد هدف. في كثير من المواقف، لا تحتاج إلى صورة مثالية للعالم بأكل؛ بل تحتاج فقط إلى صورة مثالية لشيء واحد. ربما تكون طائرة بدون طيار تفحص جسرًا، وأنت تهتم فقط بالشقوق في العارضة الوسطى، وليس بالأشجار في الخلفية.

يسمح GO-PRE للمستخدم برسم "منطقة مستهدفة" (target view manifold). يمكنك القول: "أنا أهتم فقط بالمناظر التي تنظر إلى هذا الركن المحدد". يقوم النظام بعد ذلك بتجاهل كل شيء آخر. فهو يحسب أي زاوية كاميرا ستساعد بشكل خاص لهذا الركن. إنه يشبه امتلاك روبوت يمكنه تغيير أوضاع العمل: "مستكشف عالمي" (انظر إلى كل شيء) أو "صائد تفاصيل" (ركز فقط على الشقوق). أظهر الباحثون أنه عندما حددوا هدفًا معينًا، أصبح الروبوت فعالاً للغاية في إصلاح ذلك الجزء المحدد، متجاهلاً بقية المشهد لتوفير الوقت والطاقة.

ماذا وجدوا؟

اختبر الفريق GO-PRE على عدة مجموعات بيانات ثلاثية الأبعاد شهيرة، بما في ذلك الأجسام الاصطناعية (مثل مجموعة بيانات "Blender") والمشاهد الواقعية (مثل "Mip-NeRF360" و"Tanks & Temples"). وقارنوا طريقتهم بأفضل التقنيات الموجودة، بما في ذلك تلك التي تستخدم حيلًا رياضية معقدة مثل "معلومات فيشر" (Fisher Information) أو عدم اليقين في "الرندرة بالنقاط" (Gaussian Splatting).

كانت النتائج واضحة:

• صور أفضل: في اختباراتهم، أنتجت GO-PRE باستمرار نماذج ثلاثية الأبعاد ذات جودة أعلى. على سبيل المثال، في مجموعة بيانات "Mip-NeRF360"، حققت طريقتهم درجة 21.2283 في مقي_س PSNR (درجة جودة الصورة)، متفوقة على ثاني أفضل طريقة (POp-GS) التي سجلت 20.6180. وفي مجموعة بيانات "Blender"، وصلت إلى 25.5740، متفوقة على الوصيف الذي سجل 25.5235.
• تركيز أذكى: عندما حددوا هدفًا معينًا (مثل التركيز على شريحة بزاوية 120 درجة من المشهد)، سحق GO-PRE المنافسة. في مجموعة بيانات "Tanks & Temples" مع هدف محدد، وصل إلى 20.5030 في PSNR، بينما لم تتمكن ثاني أفضل طريقة من تحقيق أكثر من 16.7581. هذا فرق هائل.
• سرعة الوقت الفعلي: على الرغم من أنهم يقومون بعمليات محاكاة، إلا أن الطريقة سريعة بما يكفي لاستخدامها في الوقت الفعلي. فقد حسبوا أن فحص زاوية كاميرا واحدة يستغرق حوالي 120 مللي ثانية على جهاز كمبيوتر قياسي عالي الأداء (NVIDIA RTX 3090).

لماذا هذا مهم؟

تشير الورقة البحثية إلى أنه من خلال منع الكمبيوتر من القلق بشأن رياضياته الداخلية والبدء في القلق بشأن الصورة الفعلية، يمكننا بناء عوالم ثلاثية الأبعاد بشكل أسرع وبصور أقل. هذا أمر ضخم للروبوتات التي تحتاج لاستكشاف أماكن خطرة (مثل مناطق الكوارث) أو الطائرات بدون طيار التي تحتاج لفحص البنية التحتية دون إضاعة عمر البطارية.

كما أظهر الباحثون أن طريقتهم جيدة جدًا في معرفة متى لا تعرف شيئًا ما. لقد اختبروا ذلك من خلال طلب ترتيب الصور من "الأكثر ضبابية" إلى "الأقل ضبابية". كانت GO-PRE أفضل بكثير في التنبؤ بأن الصور ستؤدي إلى صور سيئة مقارنة بالطرق الأخرى. إنه يشبه خبير الأرصاد الجوية الذي يكون محقًا بالفعل بشأن متى ستمطر، بدلاً من مجرد التخمين بناءً على البارومتر.

الحدود

المؤلفون صريحون بشأن ما لم يحلوه بعد. في الوقت الحالي، لا يزال نظامهم يضطر للاختيار من قائمة محددة مسبقًا من مواقع الكاميرا (مجموعة مرشحة منفصلة). لا يمكنهم بعد تحريك الكاميرا بسلاسة إلى أي زاوية مثالية في تدفق مستمر، لأن الرياضيات تصبح معقدة للغاية ويصاب الكمبيوتر بالارتباك بسبب القفزات المفاجئة فيما يمكنه رؤيته. ويقترحون أن جعل هذا يعمل مع حركة سلسة ومستمرة هو التحدي الكبير القادم.

باختصار، GO-PRE هو طريقة أذكى للكمبيوترات لتقرر أين تنظر. بدلاً من التخمين بناءً على شعورها، ينظرون إلى الصورة المستقبلية ويسألون: "هل سيجعل هذا الصورة أفضل؟" والإجابة، في تجاربهم، هي "نعم" مدوية.