Scaling Sequence-to-Sequence Generative Neural Rendering
كاليدو (Kaleido) هو نموذج محول تدفق مستقيم موحد، يعتمد على فك التشفير فقط، يعامل الرندرة ثلاثية الأبعاد كمهمة توليد فيديو من تسلسل إلى تسلسل، مما يتيح توليد مناظر ثلاثية الأبعاد صريحة وبأداء متفوق من خلال الاستفادة من التدريب المسبق على فيديوهات واسعة النطاق، مع قدرة قوية على التوليد في حالة الصفر (zero-shot).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صورة واحدة لقطة تجلس على حافة نافذة. إذا أردت أن ترى كيف تبدو القطة من الخلف، أو من الجانب، فإن برنامج كمبيوتر عادي سيعاني لأن لديه فقط تلك الصورة المسطحة. هو لا "يعرف" أن للقطة جسداً ثلاثي الأبعاد؛ هو يعرف فقط البكسلات الموجودة في تلك الصورة الواحدة.
تقدم هذه الورقة البحثية Kaleido، وهو نوع جديد من الذكاء الاصطناعي يحل هذه المشكلة عبر تغيير طريقة تفكيرنا في الرؤية ثلاثية الأبعاد. بدلاً من محاولة بناء نموذج ثلاثي الأبعاد مثالي ورياضي للعالم (مثل منحوتة من الطين الرقمي)، يعامل Kaleido الرؤية ثلاثية الأبعاد كأنها لعبة فيديو.
إليك شرح مبسط لكيفية عمله، باستخدام تشبيهات من الحياة اليومية:
1. الفكرة الكبرى: الأبعاد الثلاثية هي مجرد نوع خاص من الفيديو
يجادل المؤلفون بأننا لسنا بحاجة لتعليم الحواسيب قواعد هندسية معقدة لفهم الفضاء ثلاثي الأبعاد. بدلاً من ذلك، أدركوا أن الأبعاد الثلاثية هي مجرد نوع خاص من الفيديو.
- التشبيه: فكر في الفيديو كمتتالية من الإطارات التي تعمل عبر الزمن. يتعامل Kaleido مع المشهد ثلاثي الأبعاد كمتتالية من الصور التي تعمل عبر المكان.
- كيف يعمل: إذا مشيت حول تمثال، فإن الصور التي تراها تتغير. يتعلم Kaleio هذا النمط من خلال مشاهدة ملايين الساعات من الفيديوهات العادية. إنه يتعلم أن "إذا حركت الكاميرا لليسار، فإن الجسم ينزاح لليمين". هو لا يحتاج لمعرفة رياضيات الكرة؛ هو فقط يتعلم النمط البصري لكيفية ظهور الأشياء عند التحرك حولها.
2. سحر "من أي شيء إلى أي شيء" (Any-to-Any)
كانت نماذج الذكاء الاصطناعي القديمة مثل الروبوتات الجامدة: "يمكنني فقط أخذ صورة واحدة وصنع 5 صور جديدة"، أو "يمكنني فقط أخذ 5 صور وصنع صورة واحدة جديدة".
أما Kaleido فهو يشبه الحرباء. يمكنه أخذ أي عدد من الصور التي تعطيها له (1، 5، أو 50) وتوليد أي عدد من المشاهد الجديدة التي تريدها، من أي زاوية تختارها.
- الاستعارة: تخيل أن لديك دفتر رسم سحري. إذا أظهرت له رسماً واحداً لمنزل، يمكنه فوراً رسم الجزء الخلفي، والجانب، والداخل. إذا أظهرت له عشرة رسومات للمنزل من زوايا مختلفة، يمكنه رسم نسخة أكثر كمالاً وتفصيلاً للمنزل من زاوية جديدة. لا يهم عدد الصور التي تبدأ بها؛ هو يتكيف فحسب.
3. التعلم من "مكتبة العالم"
لكي يصبح بارعاً حقاً، لم يكتفِ Kaleido بدراسة النماذج ثلاثية الأبعاد (التي تعد نادرة ويصعب صنعها). بل قرأ مكتبة بيانات الفيديو الكاملة على الإنترنت.
- التشبيه: فكر في الأمر كطفل يتعلم التحدث. هم لا يدرسون كتاب قواعد أولاً؛ بل يستمعون لآلاف الساعات من حديث الناس. "استمع" Kaleido لملايين الساعات من الفيديو. ولأن الفيديوهات تُظهر طبيعياً كيف تبدو الأشياء من زوايا مختلفة أثناء تحرك الكاميرا، فقد تعلم Kaleido "المنطق البصري السليم". لقد تعلم أن الكوب له قاع، وقمة، وجوانب، فقط من خلال رؤيته يتحرك في الفيديوهات.
4. إصلاح "السجل" (تثبيت الفوضى)
عندما حاول الباحثون جعل الذكاء الاصطناعي أكبر وأذكى، بدأ يصبح "مجنوناً". الأرقام داخل عقل الكمبيوتر أصبحت ضخمة جداً لدرجة أنها تسببت في أخطاء (مثل تجاوز سعة الآلة الحاسبة).
- التشبيه: تخيل حفلة مزدحمة حيث يصرخ الجميع. يصبح الضجيج عالياً جداً لدرجة أنه يكسر مكبرات الصوت. وجد الباحثون بضعة "أزرار كتم صوت" (تسمى سجلات/Registers) يمكنهم إضافتها للنظام. هذه الأزرار لم توقف المحادثة، لكنها امتصت الضجيج الزائد، مما حافظ على هدوء الحفلة واستقرار الذكاء الاصطناعي. سمح هذا ببناء نموذج أكبر وأقوى بكثير دون أن ينهار.
5. ماذا يمكنه أن يفعل فعلياً؟
تُظهر الورقة أن Kaleido هو حالياً الأفضل في مهمته المحددة:
- يتفوق على الخبراء: في الاختبارات التي كان عليه فيها تخمين كيف يبدو مشهد ما من زاوية جديدة، تفوق Kaleido على نماذج الذكاء الاصطناعي الأخرى، حتى عندما أُعطي عدداً قليلاً جداً من الصور الأولية.
- ينافس الطرق "البطيئة": عادةً، للحصول على عرض ثلاثي الأبعاد مثالي، عليك قضاء ساعات في ضبط مشهد معين على الكمبيوتر. يقوم Kaleido بذلك فوراً، دون أي ضبط، ويضاهي تلك الجودة العالية.
- يبني نماذج ثلاثية الأبعاد: إذا غديت Kaleido ببضع صور لشيء ما، يمكنه توليد الكثير من المشاهد المثالية بحيث يمكنك استخدامها لبناء نموذج ثلاثي الأبعاد حقيقي قابل للتدوير لذلك الشيء.
ما لا يستطيع فعله بعد (القيود)
المؤلفون صريحون بشأن ما لا يستطيع Kaleido فعله في الوقت الحالي:
- ليس محرك ألعاب فيديو في الوقت الفعلي بعد: يستغرق توليد الصور بعض الوقت، لذا لا يمكنك استخدامه للألعاب الفورية المباشرة في الوقت الحالي.
- يرتبك بسبب الزوايا المتطرفة: إذا طلولت منه النظر إلى شيء من زاوية غريبة جداً أو مستحيلة، فقد تبدو النتيجة "حالمة" أو غير دقيقة قليلاً.
- لا يتعامل مع التكبير (Zooming): يمكنه تحريك الكاميرا حول الشيء، لكنه لا يستطيع حالياً محاكاة عدسة الكاميرا وهي تقترب وتبتعد (تأثير الـ dolly zoom) أثناء الحركة.
باختة القول: Kaleio هو طريقة جديدة لتعليم الحواسيب الرؤية ثلاثية الأبعاد. بدلاً من بناء خريطة ثلاثية الأبعاد جامدة، يتعلم "تخيل" مشاهد جديدة عبر معاملة الفضاء كفيديو، مستخدماً كميات هائلة من بيانات الفيديو لتعلم كيف يبدو العالم من كل زاوية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.