💻 computer science

Joint Optimization for 4D Human-Scene Reconstruction in the Wild

تقترح هذه الورقة البحثية JOSH، وهو أسلوب قائم على الأمثلة يعمل على إعادة بناء الحركة البشرية رباعية الأبعاد والمشاهد المحيطة بها بشكل مشترك من مقاطع فيديو الويب أحادية العدسة عبر الاستفضاء من قيود تلامس الإنسان والمشهد، بالإضافة إلى متغيره الفعال القائم على التعلم JOSH3R المدرب على تسميات مستعارة مشتقة من JOSH.

المؤلفون الأصليون: Zhizheng Liu, Joe Lin, Wayne Wu, Bolei Zhou

نُشر 2026-02-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhizheng Liu, Joe Lin, Wayne Wu, Bolei Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد فيديو منزلياً لصديق يمشي في حديقة عامة مزدحمة. يجلس على مقعد، ثم يقفز فوق بركة ماء، ويصافح شخصاً غريباً بيده (High-five).

الآن، تخيل أنك تحاول تحويل ذلك الفيديو المسطح ثنائي الأبعاد (2D) إلى فيلم ثلاثي الأبعاد (3D) حيث يمكنك التجول حول الشخصيات، ورؤية الأشجار من الخلف، وفهم كيف تلمس أقدامهم الأرض بدقة تامة. هذا أمر صعب للغاية بالنسبة للحواسيب، لأن الكاميرا تتحرك، والأشخاص يتحركون، والخلفية تتحرك جميعاً في آن واحد. الأمر يشبه محاولة حل ثلاث ألغاز مختلفة (Jigsaw puzzles) في نفس الوقت بينما يقوم شخص ما بهز الطاولة باستمرار.

تقدم هذه الورقة البحثية JOSH (التحسين المشترك لهندسة المشهد وحركة الإنسان)، وهو "محلل فائق" جديد يحل هذه الألغاز الثلاثة معاً.

إليك كيف يعمل، مقسماً عبر تشبيهات بسيطة:

1. الطريقة القديمة: خطأ "خط الإنتاج"

قبل JOSH، كانت الحواسيب تحاول حل هذه المشكلة عبر خطوات، مثل خط الإنتاج:

الخطوة 1: تخمين مكان الكاميرا.
الخطوة 2: تخمين مكان الشخص.
الخطوة 3: تخمين شكل الخلفية.

المشكلة: إذا ارتكبت خطأً صغيراً في الخطوة 1، فسيؤدي ذلك إلى إفساد الخطوة 2 والخطوة 3.

تشبيه: تخيل أنك تحاول بناء منزل عن طريق تخمين الأساس أولاً، ثم تخمين الجدران، ثم تخمين السقف. إذا كان أساسك منحرفاً قليلاً، فستميل الجدر actually وسيسقط السقف. النتيجة هي منزل متمايل وغير واقعي حيث قد تبدو أقدام الشخص وكأنها تطفو في الهواء أو تغوص في الأرض.

2. طريقة JOSH: "العناق الجماعي"

يغير JOSH قواعد اللعبة. فبدلاً من القيام بالأشياء واحداً تلو الآخر، فإنه ينظر إلى الصورة بأكملها ويعدل كل شيء في وقت واحد.

السر الخفي: "المصافحة" (التلامس)
أكبر دليل يستخدمه JOSH هو اللمس. عندما يجلس شخص على مقعد أو يخطو على رصيف، فإن جسده والعالم يتلامسان مادياً.

تشبيه: فكر في الشخص والمشهد كشخصين يمسكان بأيدي بعضهما البعض. إذا تحرك أحدهما، يجب أن يتحرك الآخر معه للحفاظ على تشابك أيديهما.
يستخدم JOSH هذه "المصافحة" (التلامس) كقاعدة. إذا اعتقد الكمبيوتر أن قدم الشخص تطفو، يقول JOSH: "انتظر، الأرض موجودة هناك تماماً! اسحب القدم للأسفل". وإذا اعتقد الكمبيوتر أن الأرض بعيدة جداً، يقول: "لا، الشخص يلمسها! قرب الأرض أكثر".

من خلال التحقق المستمر من هذه "المصافحات" (التلامسات)، يجبر JOSH الكاميرا والشخص والخلفية على الاتفاق مع بعضهم البعض. إنهم يصقلون بعضهم البعض حتى يصبح المشهد بأكمله منطقياً من الناحية الفيزيائية.

3. ما الذي يفعله JOSH فعلياً

يأخذ JOSH فيديو عادياً من الإنترنت (مثل مقطع من يوتيوب) ويخرج ثلاثة أشياء في آن واحد:

الكاميرا: يحدد بدقة كيف تحركت الكاميرا عبر المشهد.
الشخص: ينشئ نسخة رقمية ثلاثية الأبعاد من الشخص، توضح بدقة كيف تحرك في العالم الحقيقي (ليس فقط على الشاشة).
العالم: يبني خريطة ثلاثية الأبعاد مفصلة للخلفية (المباني، الأشجار، الأرصفة).

النتيجة: تحصل على إعادة بناء "رباعية الأبعاد" (4D) (الفضاء ثلاثي الأبعاد + الزمن) حيث تبدو الفيزياء واقعية. الشخص لا ينزلق عبر الأرض كالأشباح؛ بل يثبت قدمه على الأرض. ولا يمشي عبر الجدران؛ بل يصطدم بها.

4. لماذا هذا مهم: تشبيه "المعلم"

تظهر الورقة أيضاً شيئاً مذهلاً حول JOSH3R، وهي نسخة ذكاء اصطنا-ئي أسرع من JOSH.

المشكلة: لا نملك ما يكفي من الفيديوهات "المثالية" ثلاثية الأبعاد لتعليم الذكاء الاصطنا كيفية القيام بذلك. معظم فيديوهات العالم الحقيقي لا تملك ورقة "إجابات نموذجية".
الحل: JOSH بارع جداً في حل اللغز لدرجة أنه يمكنه العمل كـ "معلم فائق". فهو يشاهد آلاف الفيديوهات الحقيقية الفوضوية ويكتب "مفاتيح الإجابة" الخاصة به (التسميات التوضيحية).
الثمرة: قام المؤلفون بتدريب ذكاء اصطنا-ئي جديد وسريع (JOSH3R) باستخدام هذه المفاتيح التي صنعها بنفسه. ومن المثير للدهشة أن هذا الذكاء الاصطنا-ئي تعلم من فيديوهات الويب الفوضوية بشكل أفضل مما تعلم من مجموعات البيانات الصغيرة المثالية في المختبرات.

تشبيه: تخيل طالباً يتعلم فقط من الكتب المدرسية المثالية. قد يفشل في العالم الحقيقي. ولكن إذا كان لديك معلم عبقري (JOSH) يمكنه النظر إلى الفوضى في الحياة الواقعية وشرح القواعد، فسيتعلم الطالب بشكل أسرع بكثير ويصبح خبيراً في العالم الحقيقي.

الملخص

الهدف: تحويل الفيديوهات المسطحة إلى عوالم ثلاثية الأبعاد واقعية مع أشخاص متحركين.
الابتكار: بدلاً من حل مشاكل الكاميرا والشخص والخلفية بشكل منفصل، يحل JOSH جميعها معاً، مستخدماً التلامس الفيزيائي (مثل الأقدام على الأرض) للحفاظ على اتساق المشهد.
الأثر: إنه ينشئ عمليات إعادة بناء ثلاثية الأبعاد أكثر واقعية ويمكنه تعليم نماذج ذكاء اصطنا-ئي جديدة فهم حركة الإنسان في العالم الحقيقي دون الحاجة إلى بيانات مثالية ومكلفة.

باختصار، JOSH هو الأداة التي تسمح للحواسيب أخيراً بفهم أن البشر والأماكن مرتبطون ببعضهم البعض، ولا يمكنك فهم أحدهما دون الآخر.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التحسين المشترك لإعادة بناء البشر والمشاهد رباعية الأبعاد في البيئات الواقعية" (JOSH)، المنشورة كبحث في مؤتمر ICLR 2026.

1. تعريف المشكلة

تتناول الورقة تحدي إعادة بناء البشر والمشاهد رباعية الأبعاد (4D) من فيديوهات الويب أحادية الكاميرا "في البيئات الواقعية" (in-the-wild). الهدف هو استعادة العناصر التالية في آن واحد:

حركة الإنسان العالمية: المسار رباعي الأبعاد (الموقع ثلاثي الأبعاد + الزمن) لشخص واحد أو عدة أشخاص في إحداثيات العالم، متمثلاً بمعاملات نموذج SMPL.
إعادة بناء المشهد الكثيف: الهندسة ثلاثية الأبعاد للبيئة المحيطة كـسحابة نقاط كثيفة.
وضعيات الكاميرا: المعاملات الخارجية (الموقع والاتجاه) والمعاملات الداخلية (البعد البؤري) للكاميرا المتحركة.

التحديات الرئيسية:

الاشتباك (Entanglement): في الفيديوهات أحادية الكاميرا، تكون حركة الكاميرا وحركة الإنسان متشابكة، مما يجعل من الصعب فصلهما دون قيود قوية.
نقص الحقيقة الأرضية (Ground Truth): تفتقر فيديوهات الويب إلى حقيقة أرضية ذات مقياس متري لهندسة المشهد أو حركة الإنسان.
عدم الاتساق في الطرق السابقة: تعتمد النهج الحالية عادةً على التحسين المتسلسل (على سبيل المثال، إعادة بناء المشهد أولاً، ثم ملاءمة جسم الإنسان، أو تحسينهما بشكل منفصل). يؤدي هذا إلى نتائج غير منطقية فيزيائياً، مثل انزلاق القدم، أو اختراق القدم للأرض، أو عدم اتساق المقاييس بين الإنسان والمشهد.

2. المنهجية: إطار عمل JOSH

يقترح المؤلفون JOSH (التحسين المشترك لهندسة المشهد وحركة الإنسان)، وهو إطار عمل تحسين عام يقوم بـ التحسين المشترك لجميع المعاملات في مرحلة واحدة.

2.1 الرؤية الجوهرية

الرؤية المركزية هي أن التلامس بين الإنسان والمشهد (مثل لمس القدم للأرض، أو لمس اليد للجدار) يوفر قيوداً هندسية قوية. هذه التلامسات تربط الفجوة بين شبكة الإنسان (human mesh)، وسحابة نقاط المشهد، ووضعية الكاميرا، مما يسمح لها بتحسين بعضها البعض بشكل متبادل.

2.2 نظرة عامة على مسار العمل (Pipeline)

التهيئة (Initialization):
- المشهد: يستخدم نماذج إعادة بناء كثيفة جاهزة (مثل MASt3R، MonST3R، DROID-SLAM) لتوليد خرائط نقاط وتوافقات أولية.
- الإنسان: يستخدم نماذج استعادة شبكة الإنسان (مثل VIMO، WHAM، HMR2.0) لتقدير معاملات SMPL المحلية.
- التلامس: يستخدم نموذج التنبؤ بالتلامس (BSTRO) لتحديد رؤوس الشبكة البشرية التي يُحتمل أن تكون في حالة تلامس مع المشهد.
- القناع (Masking): يُستخدم نموذج تقسيم الفيديو (DEVA) لعزل البشر المتحركين عن إعادة بناء المشهد لمنع الضجيج في هندسة الخلفية.
التحسين المشترك:
بدلاً من الخطوات المتسلسلة، يقوم JOSH بتقليل دالة خسارة موحدة $\mathcal{L}$ لجميع المعاملات ( $\{K_t, P_t, \sigma_t, Z_t, \Theta^t_c\}$ ) في وقت واحد باستخدام مُحسّن يعتمد على التدرج (Adam).

تتكون الخسارة الإجمالية من:

$\mathcal{L}_{scene}$ : خسائر التوافق ثلاثي الأبعاد وإعادة الإسقاط ثنائي الأبعاد القياسية للخلفية الثابتة.
$\mathcal{L}_{human}$ : تتضمن النعومة الزمنية، وقيود SMPL، وخسائر إعادة إسقاط النقاط الرئيسية ثنائية الأبعاد.
$\mathcal{L}_{contact}$ (المساهمة الرئيسية): خسارتان محددتان تستفيدان من تسميات التلامس:
- خسارة تلامس المشهد ( $\mathcal{L}_{c1}$ ): تجبر الموقع ثلاثي الأبعاد لرأس التلامس المتوقع على شبكة الإنسان على أن يكون قريباً مكانياً من النقطة المقابلة في سحابة نقاط المشهد الكثيفة. هذا يربط الإنسان بالمقياس المتري للمشهد.
- خسارة التلامس الساكن ( $\mathcal{L}_{c2}$ ): تفرض بقاء نقاط التلامس ثابتة بالنسبة للمشهد عبر الإطارات (على سبيل المثال، القدم المثبتة على الأرض لا ينبغي أن تنزلق)، مما يقلل من عيوب انزلاق القدم.

تحسين البعد البؤري:
على عكس الأعمال السابقة التي تفترض بعداً بؤرياً ثابتاً، يقوم JOSH بتحسين البعد البؤري للكاميرا ( $f$ ) بشكل مشترك مع عمق الجذر المحلي. يضمن هذا الاتساق بين تقدير العمق والمعاملات الداخلية للكاميرا، وهو أمر بالغ الأهمية للدقة المترية في فيديوهات الويب غير المعايرة.

2.3 JOSH3R: التنبؤ من الطرف إلى الطرف (End-to-End)

لتمكين الاستدلال في الوقت الفعلي والتدريب القابل للتوسع، قدم المؤلفون JOSH3R، وهو شبكة عصبية من الطرف إلى الطرف.

بيانات التدريب: يُستخدم JOSH لتوليد تسميات (pseudo-labels) عالية الجودة (الحركة العالمية وهندسة المشهد) من حوالي 20 ساعة من فيديوهات الويب المتنوعة.
البنية: مبني على MASt3R (نموذج أساسي هندسي)، ويضيف JOSH3R "رأساً لحركة مسار الإنسان" خفيف الوزن للتنبؤ بالتحولات النسبية ( $\Delta T$ ) بين الإطارات.
الاستدلال: يتنبأ بالحركة العالمية للإنسان ووضعيات الكاميرا بشكل تكراري دون الحاجة إلى تحسين تكراري، محققاً سرعات في الوقت الفعلي (15.4 إطاراً في الثانية).

3. المساهمات الرئيسية

إطار عمل تحسين موحد: يعد JOSH أول إطار عمل يحسن بشكل مشترك وضعيات الكاميرا، والحركة العالمية للإنسان (متعدد الأشخاص)، وهندسة المشهد الكثيفة في مرحلة واحدة، مستخدماً التلامس بين الإنسان والمشهد كقيد أساسي.
القيود القائمة على التلامس: أدى إدخال خسارة تلامس المشهد وخسارة التلامس الساكن إلى تحسين المعقولية الفيزيائية بشكل كبير، مما قضى على العيوب الشائعة مثل انزلاق القدم واختراق المشهد.
مسار تدريب قابل للتوسع: من خلال استخدام JOSH لتوليد تسمات (pseudo-labels) من بيانات الويب غير المهيكلة، أظهر المؤلفون أن النماذج التي يتم تدريبها بنهاية إلى نهاية (JOSH3R) على هذه البيانات تتفوق على النماذج المدربة على مجموعات بيانات أصغر ومنسقة (ground-truth).
استعادة المقياس المتري: نجح الإطار في استعادة مقياس المشهد والحركة المتري دون الحاجة إلى كاميرات معايرة مسبقاً أو تقنية LiDAR، وذلك عبر الاستفادة من القيود الفيزيائية لتلامس الإنسان.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات SLOPER4D و EMDB و RICH.

جودة إعادة البناء رباعي الأبعاد (4D):
- يتفوق JOSH بشكل كبير على النموذج المرجعي SynCHMR (الذي يستخدم التحسين المتسلسل).
- المعقولية الفيزيائية: قلل JOSH من انزلاق القدم (FS) من 67.4 ملم إلى 28.2 ملم، ومن معدل طفو القدم (FFR) من 9.0% إلى 2.9% مقارنة بالنماذج المرجعية.
- دقة المشهد: في SLOPER4D، قلل JOSH3 (المهيأ بـ MASt3R) مسافة Chamfer بنسبة 70.1% مقارنة بالنموذج المرجعي.
تقدير حركة الإنسان العالمية:
- حقق JOSH مستوى جديداً من الأداء الأفضل (SOTA) في مجموعة بيانات EMDB.
- باستخدام تهيئة VIMO، حقق JOSH3 قيمة W-MPJPE قدرها 174.7 ملم، متفوقاً على الطرق السابقة مثل TRAM (222.4 ملم) و WHAM (335.3 ملم).
- كما أظهر أداءً فائقاً في خطأ ترجمة الجذر (RTE).
التدريب القابل للتوسع (JOSH3R):
- النموذج الذي تم تدريبه على فيديوهات الويب التي تم وسمها بواسطة JOSH تفوق على النموذج المدرب على بيانات EMDB (الحقيقة الأرضية) بنسبة 59.2% في WA-MPJPE.
- يحقق JOSH3R سرعة 15.4 إطاراً في الثانية، مما يسمح بالاستدلال في الوقت الفعلي، بينما يعمل تحسين JOSH التكراري بسرعة 0.8 إطار في الثانية.

5. الأهمية والتأثير

سد الفجوة: يجسد JOSH الفجوة بين إعادة البناء ثلاثي الأبعاد المقيد والغني بالمستشعرات وبين واقع فيديوهات الويب "العشوائية".
كفاءة البيانات: يثبت أنه يمكن تصنيع بيانات ثلاثية الأبعاد عالية الجودة من فيديوهات الويب غير المهيكلة، مما قد يحل مشكلة ندرة البيانات لتدريب نماذج بشر-مشهد رباعية الأبعاد واسعة النطاق.
الواقعية الفيزيائية: من خلال فرض قيود التلامس الفيزيائي، تنتج الطريقة عمليات إعادة بناء ليست دقيقة هندسياً فحسب، بل منطقية فيزيائياً أيضاً، وهو أمر بالغ الأهمية لتطبيقات مثل محاكاة القيادة الذاتية، والتخطيط الحضري، والواقع المعزز والافتراضي (AR/VR).
القدرة على التعميم: الإطار معياري ومتوافق مع مختلف نماذج التهيئة الحديثة (مثل MASt3R، DROID-SLAM)، مما يشير إلى إمكانية تحسنه مع تحسن المكونات الأساسية.

في الختام، يمثل JOSH تحولاً جذرياً من التحسين المتسلسل إلى التحسين المشترك في إعادة البناء رباعي الأبعاد، مستفيداً من الواقع الفيزيائي للتفاعل بين الإنسان والمشهد لتحقيق دقة واتساق غير مسبوقين في تحليل الفيديو أحادي الكاميرا.