💻 computer science

Camera Control for Text-to-Image Generation via Learning Viewpoint Tokens

تقدم هذه الورقة إطار عمل للتحكم الدقيق في الكاميرا في توليد الصور من النصوص عبر تعلم رموز منظور بارامترية على مجموعة بيانات هجينة من الصور المُصورة ثلاثية الأبعاد والصور الواقعية، محققةً دقة هندسية فائقة وقدرة على التعميم على فئات كائنات غير مرئية مع الحفاظ على جودة الصورة ودقة المطالبة النصية.

المؤلفون الأصليون: Xinxuan Lu, Charless Fowlkes, Alexander C. Berg

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xinxuan Lu, Charless Fowlkes, Alexander C. Berg

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مخرج تحاول إخبار رسام ذكاء اصطناعي سحري بدقة كيف يرسم لوحة. تقول له: "ارسم سيارة رياضية حمراء". فيقوم الذكاء الاصطناعي برسم سيارة رائعة، لكنها دائمًا ما تواجهك وجهًا لوجه، كأنها صورة شخصية في ملف جنائي.

تحاول أن تكون أكثر تحديدًا: "ارسمها من الجانب، وربما تنظر إليها من فوق تلة". لكن الذكاء الاصطناعي يصاب بالارتباك. قد يرسم السيارة من الأمام مرة أخرى، أو قد يرسم سيارة تبدو وكأنها تطفو في الفضاء بلا أرض تحتها، أو قد يتجاهل تعليمات الزاوية الخاصة بك تمامًا.

هذه هي المشكلة التي تحاول ورقة البحث بعنوان "التحكم في الكاميرا لتوليد الصور عبر النصوص من خلال تعلم رموز وجهة النظر" (Camera Control for Text-to-Image Generation via Learning Viewpoint Tokens) حلها.

إليك شرح بسيط لكيفية إصلاحهم لهذا الأمر، باستخدام بعض التشبيهات من الحياة اليومية.

1. المشكلة: "الفنان الغامض"

مولدات صور الذكاء الاصطناعي الحالية تشبه فنانين موهوبين للغاية شاهدوا ملايين الصور، لكنهم سيئون جدًا في اتباع التوجيهات الهندسية.

المشكلة: إذا طلبت منه "منظور 30 درجة لليسار"، فإن الذكاء الاصطناعي لا يفهم حقًا ماذا تعني "30 درجة" في الفضاء ثلاثي الأبعاد. هو فقط يخمن بناءً على ما يعتقد أنه يبدو "رائعًا" أو "طبيعيًا".
النتيجة: تحصل على صورة لسيارة، لكنها تواجه الاتجاه الخاطئ، أو أن الخلفية لا تتناسب مع زاوية السيارة.

2. الحل: "رمز نظام تحديد المواقع" (GPS Token)

أدرك المؤلفون أن اللغة الطبيعية (الكلمات) فضفاضة للغاية بالنسبة للزوايا الدقيقة. لا يمكنك قول "در 42.5 درجة" بسهولة في جملة دون أن يتوه الذكاء الاصطناعي.

لذا، فقد اخترعوا "رمز وجهة النظر" (Viewpoint Token).

التشبيه: تخيل أن عقل الذكاء الاصطناعي عبارة عن مكتبة ضخمة من الصور. عندما تكتب وصفًا (Prompt)، فأنت عادةً ما تقدم للأمين مجرد ملاحظة تقول "سيارة حمراء".
الإصلاح: أضاف المؤلفون علامة إحداثيات GPS خاصة (الرمز) إلى تلك الملاحظة. الأمر يشبه تقديم ملاحظة للأمين تقول: "سيارة حمراء، ولكن يرجى النظر إليها من الزاوية الشمالية الغربية، على بعد 20 قدمًا، مع إمالة رأسك للأسفل قليلاً".
كيف يعمل: لقد حولوا الأرقام الرياضية (مثل الزاوية، والمسافة، والميل) إلى كود خاص (رمز) يمكن للذكاء الاصطناعي قراءته مثل الكلمة. هذا الكود يخبر الذكاء الاصطناعي بالضبط أين تقف "الكاميرا".

3. التدريب: "النظام الغذائي المكون من جزأين"

لتعليم الذكاء الاصطناعي فهم رموز الـ GPS هذه، كان عليهم تغذيته بنظام غذائي محدد للغاية. إذا استخدموا نوعًا واحدًا فقط من البيانات، فسيصاب الذكاء الاصطناعي بـ "المرض" (سوف ينسى كيفية رسم مشاهد واقعية).

لقد أنشأوا مجموعة بيانات مكونة من جزأين:

الجزء الأول: "المخطط" (الرسومات ثلاثية الأبعاد):
- فكر في هذا كتدريب للذكاء الاصطناعي باستخدام نماذج ثلاثية الأبعاد مثالية تم إنشاؤها بالحاسوب. هذه تشبه المخططات المعمارية. إنها مثالية في إظهار الزوايا والهندسة، لكنها تبدو مزيفة وبلاستيكية بعض الشيء.
- لماذا يساعد هذا: إنه يعلم الذكاء الاصطناعي رياضيات الزوايا. "حسنًا، إذا كان الرقم يقول 90 درجة، فيجب أن تكون السيارة جانبية".
الجزء الثاني: "العالم الحقيقي" (التعزيز الواقعي):
- هذا هو الجزء الصعب. لقد أخذوا تلك النماذج ثلاثية الأبعاد واستخدموا ذكاءً اصطناعيًا آخر (مثل برنامج تحرير الصور) لدمجها في خلفيات حقيقية، فوضوية، وجميلة (مثل شارع في مدينة البندقية أو غابة).
- لماذا يساعد هذا: هذا يعلم الذكاء الاصطناعي الواقعية. يتعلم أن السيارة الموجودة في الشارع لها ظلال، وانعكاسات، وخط أفق يتناسب مع الزاوية.

من خلال خلط "المخططات" (من أجل الرياضيات) مع "العالم الحقيقي" (من أجل الجمال)، يتعلم الذكاء الاصطناعي أن يكون دقيقًا هندسيًا ومذهلاً بصريًا في آن واحد.

4. الخدعة السحرية: التعلم "المجزأ" (Factorized Learning)

حاولت الطرق السابقة حفظ أشياء محددة. إذا دربوهم على الأسود، فبإمكانهم إظهار أسد من الجانب، ولكن إذا طلبوا منهم "منظور جانبي لمحمص خبز"، فسيفشلون لأنهم لم يحفظوا المحمصات.

هذه الطريقة الجديدة أذكى. لقد تعلمت قواعد عامة.

التشبيه: بدلًا من حفظ "كيف يبدو الأسد من اليسار"، تعلم الذكاء الاصطناعي "كيف يبدو أي جسم من اليسار".
لقد اكتشف أن "اليسار" تعني الشيء نفسه للأسد، أو السيارة، أو وحيد القرن، أو محمصة الخبز. وهذا يسمح له بتوليد زوايا لأشياء لم يسبق له رؤيتها من قبل (مثل طائر الفينيق الأسطوري أو نوع معين من الروبوتات) والحصول على الزاوية الصحيحة.

5. النتائج

عندما اختبروا هذا النظام الجديد:

الدقة: اتبع زوايا الكاميرا بشكل أفضل بكثير من الطرق السابقة. إذا طلبت مشهدًا من الأعلى، فبدا بالفعل من الأعلى.
الاتساق: تطابقت الخلفية مع الجسم. إذا كانت الكاميرا تنظر للأسفل، فبدت الأرض صحيحة.
المرونة: نجح الأمر مع أشياء لم يراها في التدريب (مثل "بابا نويل" أو "دلفين")، مما يثبت أنه تعلم مفهوم الكاميرا، وليس فقط مفهوم حيوانات معينة.

الملخص

اعتبر هذه الورقة البحثية بمثابة منح الذكاء الاصطناعي منصة كاميرا افتراضية يمكنه التحكم فيها عبر جهاز تحكم عن بعد. في السابق، كان الذكاء الاصطناعي مثل رسام لا يستطيع إلا رسم ما هو موجود أمامه مباشرة. أما الآن، وبفضل "رموز وجهة النظر" هذه، يمكن للذكاء الاصطناعي الدوران حول الجسم، والتقريب (Zoom in)، والنظر من منظور عين الطائر، أو التلصص من الخلف، كل ذلك مع الحفاظ على واقعية الصورة واتباع تعليماتك بدقة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التحكم في الكاميرا لتوليد الصور من النصوص عبر تعلم رموز زوايا الرؤية (Viewpoint Tokens)."

1. بيان المشكلة

تواجه نماذج توليد الصور من النصوص (T2I) الحديثة صعوبة في تفسير التعليمات اللغوية الطبيعية المتعلقة بزوايا رؤية الكاميرا. وبينما تتفوق هذه النماذج في الدقة الدلالية (مثل "سيارة حمراء")، إلا أنها تفشل في الدقة الهندسية (مثل "منظر جانبي بزاوية 30 درجة يساراً" أو "منظر علوي بزاوية 45 درجة").

الغموض: اللغة الطبيعية هي لغة منفصلة وغامضة لتحديد معلمات الكاميرا ثلاثية الأبعاد المستمرة.
أنماط الفشل: غالباً ما تهلوس النماذج بوضعيات خاطئة، أو تنهار نحو زوايا نموذجية منحازة (عادةً المواجهة للأمام)، أو تنتج هندسة غير متسقة عبر التجارب المختلفة.
محدودية الأعمال السابقة:
- النماذج المدركة للبعد الثالث (3D-aware): (مثل نماذج NeRF) غالباً ما تتطلب مدخلات إضافية (خرائط العمق، صور مرجعية) بالإضافة إلى النص، مما يحد من سهولة الاستخدام.
- الطرق القائمة على الرموز (Token-based): (مثل Compass Control) غالباً ما تعاني من الإفراط في التخصيص (overfitting) لمظاهر أجسام محددة أو تفشل في التعميم على فئات أجسام غير مرئية لأنها تتعلم الارتباطات الخاصة بالأجسام بدلاً من التمثيلات الهندسية المجزأة.

2. المنهجية

يقترح المؤلفون إطار عمل يعمل على تعزيز المطالبات النصية بـ رموز زوايا رؤية بارامترية قابلة للتعلم، مما يتيح تحكماً دقيقاً في الكاميرا دون الحاجة إلى مدخلات هندسية إضافية (مثل خرائط العمق) عند الاستنتاج.

أ. بارامترية زاوية الرؤية

يتم تحديد معالم الكاميرا بالنسبة للجسم باستخدام تمثيل مجزأ خماسي العوامل ( $\theta$ ):

السمت (Azimuth - $\theta_{az}$ ): الدوران الأفقي حول الجسم.
الارتفاع (Elevation - $\theta_{el}$ ): الزاوية الرأسية بالنسبة للأفق.
نصف القطر (Radius - $r$ ): المسافة من الجسم (مقاسة بنسبة قطر الجسم).
ميل الالتفاف (Pitch - $\theta_{pitch}$ ): ميل الكاميرا للأعلى أو الأسفل.
ميل الانحراف (Yaw - $\theta_{yaw}$ ): ميل الكاميرا لليسار أو اليمين.

نظام الإحداثيات: يتم تثبيت الجسم عند نقطة الأصل بحيث يواجه الجزء الأمامي منه المحور السيني الموجب (x-axis)، مما يضمن تعريفات متسقة لـ "اليسار/اليمين" و"الأمام/الخلف" عبر جميع فئات الأجسام.

ب. ترميز رمز زاوية الرؤية

الترميز: يتم ترميز المعلمات الخمسة في متجه. يتم ترميز السمت باستخدام الجيب (sine) وجيب التمام (cosine) للتعامل مع الدورية؛ ويتم تطبيع نصف القطر؛ وتُستخدم الراديان لتمثيل الميل (pitch/yaw/elevation).
مشفر MLP: يقوم مشفر متعدد الطبقات (MLP) خفيف الوزن مكون من 3 طبقات برسم هذه المعلمات المرمزة إلى تضمين رمز زاوية الرؤية ( $\mathbf{e}_{view}$ ).
التكامل: يتم دمج هذا الرمز مع تضمينات النص وتغذيته في العمود الفقري لنموذج (T2I) (مثل Harmon أو Stable Diffusion). يتم ضبط النموذج بدقة لمعالجة النصوص الدلالية ورموز الهندسة الصريحة بشكل مشترك.

ج. بناء مجموعة البيانات (استراتيجية مكونة من جزئين)

لمنع الإفراط في التخصيص لرسومات ثلاثية الأبعاد مع الحفاظ على الإشراف الهندسي، قام المؤلفون بتنسيق مجموعة بيانات هجينة:

مجموعة بيانات مُصورة ضخمة (للإشراف الهندسي):
- 3,111 جسماً من TexVerse (حيوانات، مركبات، أشخاص، أثاث).
- تم رسمها من 120 زاوية رؤية عشوائية لكل منها (~373 ألف صورة).
- توفر حقيقة أرضية هندسية دقيقة ومثالية.
مجموعة بيانات معززة بواقعية فوتوغرافية (لتنوع المظهر):
- 800 جسم عالي الجودة تم رسمه من 20 زاوية رؤية.
- تمت معالجتها باستخدام Nano Banana (Gemini 2.5 Flash Image) لاستبدال خلفية وثقافة الجسم ثلاثية الأبعاد بمشاهد واقعية فوتوغرافية مع الحفاظ على وضعية الكاميرا الدقيقة.
- تتضمن أوصافاً متنوعة للأجسام ومطالبات للخلفية.
- النتيجة: ~6.6 ألف صورة.

استراتيجية التدريب: يتم تدريب النموذج عن طريق أخذ عينات بالتساوي من كلتا مجموعتي البيانات. هذا يجبر النموذج على تعلم العلاقة بين الرمز والمنظر، بدلاً من حفظ مظهر الشبكة ثلاثية الأبعاد (3D mesh) المحدد.

3. المساهمات الرئيسية

رموز زاوية الرؤية البارامترية: تقديم طريقة لدمج معلمات الكاميرا ثلاثية الأبعاد الصريحة مباشرة في مساحة تضمين النص، مما يحقق دقة في أعلى مستويات الأداء (SOTA) في السمت، الارتفاع، نصف القطر، الميل (pitch)، والميل (yaw).
التعميم المجزأ: على عكس الطرق السابقة التي تفرط في التخصيص لأشكال أجسام معينة، تمثل الرموز المتعلمة معلومات هندسية مجزأة. وهذا يسمح للنموذج بالتعميم على فئات أجسام غير مرئية (مثل المخلوقات الأسطورية، أو أنواع مركبات محددة) دون إعادة تدريب.
فهم المشهد العالمي: من خلال التدريب على مشاهد كاملة (المقدمة + الخلفية) بدلاً من قصاصات الأجسام المنعزلة، يتعلم الأسلوب علاقات متسقة بين المقدمة والخلفية وهندسة المشهد العالمية.
تصميم مجموعة بيانات من جزئين: نظام تدريب مبتكر يجمع بين الرسوم ثلاثية الأبعاد عالية الحجم (للهندسة) والتعزيزات الواقعية الفوتوغرافية منخفضة الحجم (للواقعية) لتحقيق التوازن بين الدقة الهندسية والبراعة البصرية.

4. النتائج التجريبية

تم تقييم الطريقة على العمود الفقري Harmon (واختبارها على SD2.1/SD3.5) مقابل خطوط الأساس مثل ControlNet-Depth وStable-Virtual-Camera وCompass Control.

الأداء الكمي:
- دقة زاوية الرؤية: حققت أقل متوسط أخطاء زاوية عبر جميع المعلمات الخمسة. على سبيل المثال، كان خطأ السمت 18.11 درجة (مقابل 31.07 درجة لـ Compass Control و54.89 درجة لـ SV-Camera).
- التعميم: في الأجسام "المتنوعة" (غير المرئية أثناء التدريب)، حافظت الطريقة على خطأ منخفض (19.06 درجة)، بينما قفز خطأ Compass Control بشكل كبير (37.29 درجة)، مما يشير إلى إفراط شديد في التخصيص.
- دقة المطالبة: حققت درجات أعلى في اختبارات CLIP similarity وGenEval مقار بـ Compass Control، مما يثبت أن إضافة رموز زاوية الرؤية لا تضعف قدرة النموذج على اتباع المطالبات النصية.
النتائج النوعية:
- نجحت في توليد مناظر معقدة (مثل الارتفاع العالي، المناظر الخلفية) حيث فشلت الطرق الأخرى أو أنتجت أشكالاً مشوهة.
- أظهرت متانة على الأجسام غير الموجودة (مثل "سيارة مصنوعة من الكروم" أو "فيل من الورق المطوي") مع الحفاظ على زاوية الرؤية الصحيحة.
دراسات الاستئصال (Ablation Studies):
- أدى حذف مجموعة البيانات المُصورة إلى انخفاض كبير في الدقة، مما يؤكد ضرورة الإشراف الهندسي.
- كان ضبط العمود الفقري (LLM/MAR) بدقة أمراً حاسماً؛ حيث أدى تجميده إلى أداء ضعيف، مما يشير إلى أن مساحة النص المدربة مسبقاً تفتقر إلى الوعي الهندسي ثلاثي الأبعاد.
- تفوق الترميز المجزأ المحدد على طرق Plücker rays و12D matrices.

5. الأهمية والقيود

الأهمية:

سد الفجوة: يعمل هذا العمل على سد الفجوة بين التوليد المدرك للبعد الثالث (الذي يتطلب عادةً صوراً مرجعية) وتوليد الصور من النصوص (الذي يفتقر إلى التحكم الهندسي).
القابلية للتوسع: النهج مستقل عن العمود الفقري (backbone-agnostic) ويعمل عبر نماذج مختلفة من (T2I).
المسار المستقبلي: يوضح أن المساحات الكامنة للنصوص والرؤية يمكن تزويدها بهيكل ثلاثي الأبعاد صريح، مما يمهد الطريق لمطالبات "مدركة هندسياً".

القيود:

الانحياز المسبق: لا يزال النموذج يرث انحيازاً من أعمدة (T2I) نحو خط الأفق المركزي ومستوى العين، خاصة للمعالم الشهيرة (مثل تاج محل).
زوايا الرؤية القصوى: تغطي مجموعة البيانات الحالية ارتفاعاً يصل إلى 45 درجة وتستبعد دوران الالتفاف (roll). يتدهور الأداء عند الارتفاعات القصوى (أكبر من 75 درجة) أو مع الدوران، ويرجع ذلك جزئياً إلى صعوبة تخليق بيانات واقعية فوتوغرافية موثوقة لهذه المناظر النادرة باستخدام أدوات تحرير الصور الحالية.
التفاصيل الدقيقة: حدوث حالات فشل عرضية في وجوه البشر والتفاصيل الهيكلية الدقيقة تحت الزوايا الحادة.

في الختام، تقدم هذه الورقة حلاً قوياً وقابلاً للتعميم للتحكم الدقيق في الكاميرا في توليد الصور من النصوص عبر تعلم رموز زوايا الرؤية المجزأة، متجاوزة الارتباطات الخاصة بالأجسام لتحقيق فهم هندسي حقيقي.