A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction

في عالم الرؤية الحاسوبية، تتعلم الآلات رؤية العالم بأبعاد ثلاثة من خلال صور فوتوغرافية مسطحة. فهي تأخذ سلسلة من الصور ثنائية الأبعاد، وفي تمريرة واحدة، تعيد بناء خريطة ثلاثية الأبعاد للمشهد، واضعةً نقاطاً في الفضاء لتمثيل الجدران والأرضيات والأجسام. ولكي تكون هذه الأنظمة مفيدة في الحياة الواقعية، مثل توجيه روبوت أو مساعدة سيارة ذاتية القيادة، فإنها تحتاج إلى ما هو أكثر من مجرد تخمين لمكان الأشياء؛ إنها تحتاج إلى معرفة مدى تأكدها من ذلك التخمين. وهنا يأتي دور "إشارة الثقة". ففي كل مرة يتنبأ فيها النموذج بنقطة في الفضاء ثلاثي الأبعاد، فإنه يصدر أيضاً رقماً يمثل درجة ثقته. وتقرأ الأنظمة اللاحقة، وهي البرامج التي تستخدم فعلياً هذه البيانات ثلاثية الأبعاد، هذا الرقم كإشارة موثوقية. فإذا كانت الثقة عالية، يثق النظام في النقطة ويستخدمها؛ وإذا كانت منخفضة، يتجاهلها أو يتعامل معها بحذر. ولسنوات طويلة، عُوملت إشارة الثقة هذه كأداة ترتيب بسيطة: وسيلة لفرز البكسلات من الأكثر موثوقية إلى الأقل موثوقية. ولكن ظل هناك سؤال جوهري بلا إجابة: هل الرقم نفسه يخبر الحقيقة فعلاً عن حجم الخطأ المحتمل؟

قرر فريق من الباحثين في جامعة ميونيخ التقنية ومؤسسات أخرى وضع إشارة الثقة هذه تحت المجهر. لم يقوموا ببناء نموذج جديد أو محاولة تعليم نموذج قديم ليكون أفضل، بل أجروا تدقيقاً صارماً لسبعة نماذج موجودة ومتاحة للجمهور تُستخدم بالفعل من قبل المجتمع العلمي. اختبروا هذه النماذج على ثلاثة عشر مجموعة بيانات مختلفة، تتراوح بين الغرف الداخلية وشوارع المدن إلى ألعاب الفيديو الاصطناعية، لتغطي مليارات البكسلات الفردية. كان هدفهم هو معرفة ما إذا كانت أرقام الثقة التي تنتجها هذه النماذج هي قياسات دقيقة لعدم اليقين، أم أنها مجرد أدوات جيدة في فرز الأخطاء دون قول الحقيقة عن حجمها.

وجد الباحثون أن النماذج ممتازة في الترتيب. فإذا قال النموذج إن بكسلاً واحداً أكثر ثقة من غيره، فمن الصحيح دائماً تقريباً أن يكون هذا البكسل بالفعل أكثر دقة. ومع ذلك، عندما نظروا إلى الحجم الفعلي للخطأ، ظهرت قصة مختلفة. فقد كانت النماذج مفرطة في الثقة باستمرار؛ حيث ادعت أنها أكثر تأكداً مما هي عليه في الواقع. وفي المتوسط، عبر جميع النماذج المختبرة، كان عدم اليقين المتوقع أقل من الواقع بمعامل قدره 2.4. وهذا يعني أنه إذا تنبأ النموذج بخطأ قدره سنتيمتر واحد، فإن الخطأ الفعلي كان غالداً يقترب من 2.4 سنتيمتر. وتفاقمت المشكلة كلما زادت ثقة النموذج؛ فعندما كان النموذج يشعر بثقة كبيرة، كان في الواقع الأكثر خطأً، حيث قلل من تقدير خطئه بمعامل يصل إلى 15 في بعض الحالات.

لم يكن هذا الإفراط في الثقة علامة على أن النماذج لم يتم تدريبها جيداً أو أنها توقفت عن التعلم مبكراً. فقد أثبت الباحثون أنه حتى لو أخذوا نموذجاً تم إصداره وواصلوا تدريبه على بياناته الخاصة، فإنه سيصل سريعاً إلى حده الرياضي ثم يظل مفرط الثقة في الصور الجديدة غير المرئية. لم تكن المشكلة في أن النماذج لم تتعلم بما يكفي، بل في أن الطريقة التي عُلّمت بها لإنتاج أرقام الثقة كانت مختلفة جوهرياً عن كيفية استخدام تلك الأرقام في العالم الحقيقي. فخلال التدريب، تعلمت النماذج تقليل "دالة خسارة" رياضية محددة، والتي تعمل على تحسين ترتيب الأخطاء ولكنها لا تضمن تطابق أرقام الثقة مع الحجم الفيزيائي الفعلي للأخطاء في بيئة جديدة.

ولإصلاح ذلك، طور الباحثون تصحيحاً لاحقاً بسيطاً. فقد اكتشفوا أنه من خلال تطبيق تعديل رياضي محدد — وهو قانون القوة الذي يغير مقاييس أرقام الثقة بناءً على النموذج ومجموعة البيانات — يمكنهم جعل عدم اليقين المتوقع أقرب بكثير إلى الحقيقة. لم يغير هذا التصحيح الترتيب؛ فلا تزال النماذج تصنف البكسلات بشكل صحيح، لكنه أصلح المقياس. ومع هذا التعديل، انخفض متوسط الخطأ في التنبؤ من كونه بعيداً بمقدار 2.4 ضعفاً إلى كونه بعيداً بمقدار 1.35 ضعفاً فقط. وإذا امتلك الباحثون كمية صغيرة من البيانات المصنفة من مجموعة البيانات المحددة التي يستخدمونها، فيمكنهم صقل هذا التصحيح بشكل أكبر، مما يقلل الخطأ إلى 1.12 ضعف التنبؤ فقط.

وعلى الرغم من هذا النجاح، وجد الباحثون حداً صعباً لا يمكن لرقم بسيط إصلاحه. فبينما نجح التصحيح بشكل جيد في المتوسط، إلا أنه لم يستطع التنبؤ بالخطأ لكل مشهد بدقة تامة. فالتصحيح الذي يعمل لمجموعة بيانات كاملة غالباً ما يفشل في غرفة أو شارع معين، لأن الخطأ في مشهد ما يعتمد على الشكل والهيكل الفريد لذلك المشهد، وليس مجرد تغيير عالمي في الأرقام. تفتقر النماذج إلى فهم عميق للهندسة المحددة للمشهد الذي تنظر إليه، ولا يمكن لأي قدر من إعادة القياس أن يعوض تماماً عن هذه المعرفة المفقودة.

تخلص الدراسة إلى أنه بينما تعد نماذج إعادة البناء ثلاثية الأبعاد هذه (feed-forward) أدوات قوية توفر ترتيبات ممتازة للموثوقية، فإن أرقام الثقة الخام الخاصة بها لا يمكن الوثوق بها كقياسات مباشرة للخطأ. فهي أدلة موثوقة للفرز، ولكن ليس للقياس. وقد أصدر الباحثون بروتوكول التدقيق الخاص بهم وثوابت التصحيح المحددة لكل نموذج ومجموعة بيانات اختبروها، مما يسمح للعلماء والمهندسين الآخرين بتطبيق هذه الإصلاحات فوراً. يوفر هذا العمل مساراً واضحاً للمضي قدماً: يمكن للمستخدمين الآن أخذ هذه النماذج القوية سابقة التدريب، وتطبيق تصحيح بسيط لإشارات الثقة الخاصة بها، واستخدامها بفهم أوضح لحدودها الفعلية.