تخيل أنك تحاول بناء نموذج ثلاثي الأبعاد مثالي لمدينة باستخدام الصور الفوتوغرافية فقط. في عالم رسومات الكمبيوتر، هناك تقنية فائقة السرعة وفائقة الدقة تسمى 3D Gaussian Splatting (التلطيخ الغاوسي ثلاثي الأبعاد). فكر في الأمر كفنان رقمي يلقي الملايين من السحب الصغيرة الناعمة والملونة (التي تسمى "غاوسيان") في مساحة افتراضية. يكتشف الكمبيوتر بالضبط أين يجب أن تطفو كل سحابة، وما هو حجمها، وما هو لونها، بحيث عندما تنظر إلى النموذج من أي زاوية، يبدو تماماً مثل صورة حقيقية.

عادةً ما تعمل هذه الخدعة السحرية بشكل أفضل عندما تكون كل صورة تغذي بها الكمبيوتر واضحة ومثالية. لكن في العالم الحقيقي، نادراً ما تكون الصور مثالية. فهي تُضغط وتُحفظ بتنسيق JPEG لتوفس المساحة على هاتفك أو قرصك الصلب. عملية "الضغط" هذه، التي تسمى الضغط (compression)، تشبه محاولة حشر وسادة ضخمة وناعمة داخل حقيبة سفر صغيرة. لجعلها تتسع، يجب على الحقيبة (ملف JPEG) أن تسحق الوسادة، مما يخلق أنماطاً مربعة غريبة أو حلقات ضبابية حول الحواف. تُسمى هذه "العيوب" (artifacts). إذا حاولت بناء مدينتك ثلاثية الأبعاد باستخدام مزيج من الصور المثالية وصور JPEG "المسحوقة" والمربعة، فسوف يرتبك الكمبيوتر. سيحاول إصلاح الأجزاء المربعة، ولكن أثناء القيام بذلك، سيفسد الأجزاء المثالية، مما يؤدي إلى نموذج ثلاثي الأبعاد يبدو مشوهاً وغريباً.

هذا هو اللغز الذي واجهه فريق من الباحثين في ورقة بحثية جديدة بعنوان JSGS. لقد طرحوا سؤالاً بسيطاً: ماذا لو لم يحاول الكمبيوتر مجرد تجاهل الصور السيئة، بل فهم بالضبط كيف تم سحقها؟ بدلاً من اعتبار صورة JPEG منخفضة الجودة مجرد صورة "سيئة"، يعاملها JSGS كأحجية لها مجموعة محددة من القواعد. تقترح الورقة أنه من خلال استخدام "كتيب التعليمات المخفي" (الذي يسمى جدول التكميم - quantization table) والمخزن داخل كل ملف JPEG، يمكن للكمبيوتر تعلم كيفية تشويه تلك الصورة بدقة. ومن خلال محاكاة هذا التشويه نفسه على نموذجه ثلاثي الأبعاد قبل مقارنته بالصورة، يمكن للكمبيوتر التوقف عن محاربة العيوب والبدء في التعلم منها. والنتي النتيجة؟ نموذج ثلاثي الأبعاد يبدو حاداً وواقعياً بشكل مذهل، حتى لو بُني من مزيج فوضوي من الصور عالية الجودة ومنخفضة الجودة.

المشكلة: ارتباك "الصورة السيئة"

تخيل أنك معلم تحاول تقييم رسمة طالب. لديك صورة مرجعية مثالية لدراجة هوائية. لكن الطالب لا يملك سوى نسخة مصورة من تلك الصورة طُبعت على طابعة رخيصة وباهتة. النسخة المصورة تحتوي على مربعات غريبة حول العجلات وحلقات ضبابية حول المقود.

إذا قلت للطالب، "ارسم الدراجة تماماً مثل هذه النسورة المصورة"، سيرسم المربعات والضباب. وإذا أظهرت له صورة أخرى لنفس الدراجة وكانت واضحة تماماً، وقلت له أن يصلح رسمته، فقد يرتبك. هل يجب أن يحتفظ بالمربعات لأن الصورة الأولى كانت تحتوي عليها؟ أم يجب أن يزيلها لأن الصورة الثانية لا تحتوي عليها؟

هذا بالضبط ما يحدث في تقنية 3D Gaussian Splatting التقليدية. يحاول الكمبيوتر بناء عالم ثلاثي الأبعاد واحد باستخدام صور عديدة. إذا كانت إحدى الصور هي JPEG عالية الجودة والأخرى هي JPEG منخفضة الجودة ومربعة، فسيصاب الكمبيوتر بـ "صداع". سيحاول تحديث "السحب" ثلاثية الأبعاد لتتطابق مع الصورة المربعة، مما يفسد الأجزاء الناعمة من النموذج التي كانت الصور الأخرى تحاول بناءها. تجادل الورقة بأن النهج القياسي يشبه محاولة تقييم طالب دون النظر إلى التعليمات المحددة التي استخدمتها الطابعة لعمل النسخة المصورة.

الحل: "المترجم السحري" (JSGS)

ابتكر المؤلفون في هذه الورقة حلاً ذكياً يطلقون عليه اسم JSGS (الإشراف الموجه بحالة JPEG). بدلاً من تجاهل "السحق" الذي حدث للصور، يستخدم JSGS التعليمات السرية المخفية داخل كل ملف JPEG لتوجيه الكمبيوتر.

إليك كيف يعمل، مقسماً إلى ثلاث خطوات ممتعة:

1. المترجم "تظاهر حتى تنجح" (مشغل ملاحظة JPEG)
كل ملف JPEG يحتوي على ملاحظة مخفية بداخله تسمى جدول التكميم (quantization table). هذا الجدول يشبه بطاقة وصفة تقول: "بالنسبة لهذه الصورة، قمنا بسحق الألوان الزاهية بهذا القدر، والألوان الداكنة بهذا القدر".
يأخذ JSGS النموذج ثلاثي الأبعاد للكمبيوتر، ويقوم بعمل رندر (تصيير) لصورة منه، ثم يمرر هذه الصورة عبر عملية JPEG "وهمية" باستخدام نفس بطاقة الوصفة الموجودة في الصورة الأصلية. إنه يشبه قول الكمبيوتر: "حسناً، سأرسم الدراجة، ولكن بعد ذلك سأسحق رسمي عمداً ليبدو تماماً مثل صورتك منخفضة الجودة". الآن، عندما يقارن رسمه المسحوق برسمك المسحوق، سيتطابقان تماماً! الكمبيوتر لا يحارب المربعات؛ بل يتعلم التحدث بلغة المربعات.

2. "محقق الترددات" (إشراف DCT المتوافق مع المجال)
تتكون الصور من أنواع مختلفة من التفاصيل. بعضها عبارة عن أشكال كبيرة وضبابية (تردد منخفض)، وبعضها عبال حواف صغيرة وحادة (تردد عالٍ). عملية "السحق" عادة ما تفسد التفاصيل متوسطة الحجم أكثر من غيرها.
يعمل JSGS كمحقق يعرف بالضبط الأجزاء التي تم سحقها بشدة في الصورة. يستخدم بطاقة الوصفة لوزن الأخطاء. إذا تم سحق الصورة بشدة في منطقة معينة، يعرف الكمبيوتر أن يكون لطيفاً هناك. وإذا كانت الصورة واضحة، يعرف الكمبيوتر أن ينتبه جيداً. إنه مثل معلم يعرف أن "خط يد هذا الطالب مهتز في منتصف الصفحة، لذا سأركز تقييمي على الجزء العلوي والسفلي حيث الخط واضح". هذا يساعد الكمبيوتر على تعلم التفاصيل الصحيحة دون أن يتشتت بالضجيج.

3. "مدير السحب" (متحكم الغاوسيان)
أحياناً، لا يزال الكمبيوتر يرى خلافاً بين الصورة والنموذج. ربى يكون في الصورة مربع صغير غريب بينما لا يوجد في النموذج.
يحتوي JSGS على مدير خاص ينظر إلى هذه الخلافات. إذا رأى الكمبيوتر سحابة صغيرة ضبابية (غاوسيان) تسبب فوضى في منطقة مربعة، يخبر المدير هذه السحابة بأن تتقلص أو تصبح أكثر نعومة. إنه مثل شرطي مرور يوجه السحب الصغيرة بعيداً عن نقاط المشاكل حتى لا تسبب ازدحاماً. هذا يحافظ على نظافة النموذج ثلاثي الأبعاد ويمنع "الصورة السيئة" من إفساد المشهد بأكهله.

ماذا وجدوا

اختبر الفريق طريقتهم الجديدة على سبعة مشاهد ثلاثية الأبعاد مختلفة، تتراوح من دراجة هوائية إلى ديناصور، باستخدام ثلاث طرق مختلفة لخلط الصور عالية الجودة ومنخفضة الجودة.

• النتائج: حقق JSGS نجاحاً هائلاً. فقد أنتج نماذج ثلاثية الأبعاد تبدو أكثر واقعية بكثير من الطرق السابقة. وتحديداً، سجل أدنى معدل خطأ (يسمى LPIPS) في كل اختبار، مما يعني أن النماذج كانت الأكثر شبهاً بالواقع. كما سجل أعلى تشابه هيكلي (SSIM)، مما يعني أن الأشكال والتفاصيل تم الحفاظ عليها بشكل أفضل.
• السرعة: أحد أروع الأشياء هو أن JSGS لم يبطئ العمليات. كان بإمكانه عمل رندر للمشاهد ثلاثية الأبعاد بسرعة تقارب 150 إطاراً في الثانية (FPS). هذه سرعة كافية لجعل العالم ثلاثي الأبعاد يبدو كأنه لعبة فيديو حقيقية، حتى وهو يقوم بكل هذه الرياضيات المعقدة لإصلاح الصور السيئة.
• المقايضة: بينما كان JSGS هو الأفضل في جعل الصور تبدو واقعية وهيكلية صحيحة، إلا أن طريقة أخرى تسمى FDS-GS كانت أفضل قليلاً في قياس سطوع البكسل الخام (PSNR). ومع ذلك، يشير المؤلفون إلى أن الظهور بمظهر "واقعي" (LPIPS منخفض) غالباً ما يكون أكثر أهمية للعين البشرية من مجرد مطابقة أرقام البكسل بدقة.

الخلاصة

تخلص الورقة إلى أنه من خلال فهم كيفية ضغط الصورة، بدلاً من مجرد معاملتها كصورة سيئة، يمكننا بناء عوالم ثلاثية الأبعاد أفضل بكثير. JSGS هو مثل مترجم يساعد الكمبيوتر على فهم "لهجات" صور JPEG المختلفة.

ومع ذلك، فإن المؤلفين صريحون بشأن الحدود. طريقتهم تعمل بشكل رائع للصور التي تم ضغطها مرة واحدة. لكنها لا تعرف تماماً كيف تتعامل مع الصور التي تم ضغطها، وحفظها، ثم ضغطها مرة أخرى (الضغط المزدوج)، لأن الضغط الثاني يمسح التعليمات الأصلية. كما أنهم اختبروا طريقتهم على صور صنعوها بأنفسهم في المختبر، لذا فهم ليسوا متأكدين بنسبة 100% من كيفية تعاملها مع كل صورة تلتقطها كاميرا عشوائية في العالم الحقيقي.

لكن في الوقت الحالي، يقدم JSGS طريقة مرحة وقوية لتحويل كومة فوضوية من الصور إلى تجربة ثلاثية الأبعاد مذهلة وعالية السرعة. إنه يثبت أنه أحياناً، لبناء شيء مثالي، عليك أن تفهم العيوب.