SADGE: Structure and Appearance Domain Gap Estimation of Synthetic and Real Data

ملخص تقني: SADGE – تقدير فجوة النطاق بين البنية والمظهر

بيان المشكلة
يعد توليد البيانات الاصطناعية استراتيجية حاسمة لتوسيع نطاق أنظمة الرؤية الحاسوبية، لا سي lack خصوصاً عندما تكون التوصيفات (annotations) في العالم الحقيقي مكلفة أو غير متوفرة للحالات الحدية. ومع ذلك، لا تزال هناك عقبة جوهرية تتمثل في: التنبؤ بما إذا كانت مجموعة بيانات اصطناعية معينة ستنجح في الانتقال بنجاح إلى أداء العالم الحقيقي قبل تكبد تكلفة تدريب النماذج في المهام اللاحقة. تعتمد ممارسات التقييم الحالية بشكل كبير على التجربة والخطأ، حيث يقوم الممارسون بتوليد مجموعات البيانات، وتدريب النماذج، وقياس الأداء في العالم الحقيقي للتحقق من صحة خطوط أنابيب الرندرة (rendering pipelines) أو استراتيجيات تعميم النطاق (domain-randomization).

تركز المقاييس الحالية لتقييم جودة البيانات الاصطناعية بشكل أساسي على تشابه المظهر (على سبيل المثال: PSNR، FID، CLIP، LPIPS) لقياس المحاذاة الدلالية أو مستوى البكسل بين الصور الحقيقية والاصطناعية. وبينما تأخذ بعض النهج في الاعتبار التشابه الهندسي (المحاذاة الهيكلية)، لا يوجد دليل راسخ حول أي مقياس تشابه هو الأفضل في التنبؤ بأداء المهام اللاحقة عبر مجموعات البيانات الاصطناعية المتنوعة. علاوة على ذلك، ليس من الواضح ما إذا كان المظهر أو الهندسة وحدهما كافيين، أو ما إذا كان تفاعلهما هو العامل الحاكم لجدوى البيانات الاصطناعية.

المنهجية: SADGE
يقترح المؤلفون SADGE (مقدر فجوة النطاق للبنية والمظهر)، وهو مقياس صفري (zero-shot) وخالٍ من التدريب، مصمم لتقدير جدوى مجموعات الصور الاصطناعية لمهام التعرف البصري اللاحقة. يعمل SADGE من خلال نمذجة إشارتين متكاملتين بشكل مشترك:

1. تشابه المظهر ($A$): يتم حسابه باستخدام مشفرات بصرية مدربة مسبقاً (مثل: DINOv3، CLIP، SigLIP، SAM) لقياس المحاذاة الدلالية والنسيجية عالية المستوى. يُعرَّف المجموع كتشابه جيب التمام (cosine similarity) بين تضمينات الصور المعيرة (normalized embeddings).
2. الاتساق الهندسي ($G$): يتم حسابه باستخدام أدوات مطابقة مدركة للهندسة (مثل: MASt3R، LoFTR، SuperPoint+LightGlue) لقياس الدقة الهيكلية. يتضمن ذلك تقدير الارتباطات الكثيفة أو شبه الكثيفة بين الصور الحقيقية والاصطناعية وعدّ عدد النقاط المتوافقة (inliers) الصالحة هندسياً (التي يتم التحقق منها عبر الهندسة الإببولارية أو الاتساق ثلاثي الأبعاد).

آلية الدمج
لا يقوم SADGE بمجرد حساب متوسط هذه الدرجات، بل يدمجها باستخدام نموذج تفاعل ثنائي الخطية مقيد:
$$\text{SADGE} = a\hat{G} + b\hat{A} + c\hat{G}\hat{A}$$
حيث $\hat{A}$ و $\hat{G}$ هما درجات المظهر والهندسة المعيرة وفقاً لدرجة Z (z-score normalized)، على التوالي. يتم تعلم المعاملات $a, b, c \geq 0$ لتعظيم الارتباط بالأداء اللاحق. تفرض هذه الصيغة الرتابة (تحسن أي من الدرجتين لا ينقص المجموع) والتكامل (يضمن حد التفاعل $c\hat{G}\hat{A}$ أن الدرجة تكون في أعلى مستوياتها عندما يكون كل من المظهر والهندسة قويين). يفترض النموذج أن البيانات الاصطناعية تكون أكثر فائدة عندما تكون واقعية بصرياً وأمينة هيكلياً في آن واحد.

بروتوكول التجريب
يمتد التقييم عبر خمس عائلات من اختبارات المقارنة العامة (benchmarks) من الاصطناعي إلى الحقيقي و15 متغيراً على مستوى مجموعة البيانات، بإجمالي حوالي 79,000 زوج من الصور. تغطي الاختبارات مجالات ومهام متنوعة:

• DIMO: أجسام معدنية صناعية (تقدير الوضعية سداسية الأبعاد 6D pose estimation).
• Virtual KITTI 2: مشاهد القيادة (التقطيع الدلالي/semantic segmentation).
• TUD-L / BOP: أجسام عديمة الملمس (تقدير الوضعية سداسية الأبعاد).
• RarePlanes: صور جوية (كشف الأجسام/object detection).
• ASD (مجموعة البيانات الاصطناعية الزراعية): تقطيع المحاصيل والأعشاب الضارة.

يقارن المؤلفون SADGE ضد مجموعة واسعة من الخطوط المرجعية (baselines)، بما في ذلك مقاييس المظهر الصرفة (FID، L khỏi LPIPS، PSNR، CLIP، متغيرات DINO) ومقاييس الهندسة الصرفة (SSIM، LoFTR، SuperPoint+LightGlue).

النتائج الرئيسية

• ارتباط فائق: يحقق SADGE أقوى ارتباط بأداء النقل اللاحق بين جميع المقاييس المختبرة. حيث يصل إلى ارتباط بيرسون $r = 0.879$ وارتباط رتب سبيرمان $\rho = 0.768$ عبر الـ 15 متغيراً لمجموعات البيانات.
• المقارنة بالخطوط المرجعية: يتفوق SADGE بشكل كبير على أقوى خط مرجعي يعتمد على الهندسة فقط (MASt3R، $r = 0.677$) وأقوى خط مرجعي يعتمد على المظهر فقط (LPIPS، $r = 0.649$).
• المتانة: في تقييمات "ترك مجموعة بيانات واحدة واستبعادها"، يحتل SADGE باستمرار المرتبة الأولى. يكون الانخفاض في الأداء أكثر وضوحاً عند استبعاد مجموعة بيانات DIMO (التي تركز على التباين الهيكلي)، مما يشير إلى أن الهندسة هي متنبئ حاسم في السيناريوهات ذات المتطلبات الهيكلية العالية، بينما يهيمن المظهر في السيناريوهات ذات التباين العالي في الإضاءة أو الملمس.
• التكوين الأمثل: التكوين الأفضل أداءً يدمج DINOv3 (المظهر) مع MASt3R (الهندسة).
• الحساسية: معاملات الدمج متينة؛ حيث يتم الحفاظ على الارتباط العالي عبر هضبة واسعة من قيم المعاملات، مما يشير إلى أن النتيجة ليست نتاج فرط ملاءمة (overfitting) لفضاء بارامترات ضيق.

الأهمية والادعاءات
يزعم البحث أن فائدة البيانات الاصطناعية لا تحكمها عامل واحد (المظهر أو الهندسة) بل تفاعلها غير الخطي. يوفر SADGE طريقة مبدئية خالية من التدريب لترتيب مجموعات البيانات الاصطناعية المرشحة، مما يسمح للممارسين بـ:

• مقارنة تكوينات الرندرة، وجداول تعميم النطاق، وأنابيب التوليد قبل التدريب المكلف.
• تحديد النسخ الاصطناعية التي من المرجح أن تنتقل بشكل جيد إلى المهام في العالم الحقيقي.
• تجنب حلقة "التجربة والخطأ" لتدريب النماذج لمجرد تقييم جودة مجموعة البيانات.

يؤكد المؤلفون أن SADGE هو مقياس ترتيب وسيط (proxy ranking metric)، وليس بديلاً للتحقق النهائي في النطاق الحقيقي، خاصة في التطبيقات الحرجة للسلامة. تقتصر الدراسة على توافر اختبارات المقارنة العامة ذات بروتوكولات التقييم اللاحقة المتشابهة، لكن تحليل الحساسية يشير إلى أن نموذج التفاعل الخاص بالمقياس يعمم لما وراء مجموعات البيانات المحددة المختبرة.