💻 computer science

LMM-Track4D: Eliciting 4D Dynamic Reasoning in LMMs via Trajectory-Grounded Dialogue

تقدم هذه الورقة البحثية LMM-Track4D، وهو إطار عمل مبتكر يعزز قدرات الاستنتاج الديناميكي رباعي الأبعاد للنماذج اللغوية متعددة الوسائط من خلال مهمة ومعيار جديد للحوار المرتكز على المسار (Track4D-Bench)، وذلك باستخدام مكونات متخصصة مثل ترميز الهندسة الشعاعية-الزمنية (Ray-Time Geometry Encoding) وفك تشفير حركية كينماتيكية لفتحات الكائنات (Object-Slot Kinematic decoder) لتحقيق تقدير قوي للحالة ثلاثية الأبعاد في ظل حالات الاحتجاب وتغيرات زوايا الرؤية.

المؤلفون الأصليون: Chaoyue Li, Yongxue Xu, Jie Feng, Jiayu Ding

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chaoyue Li, Yongxue Xu, Jie Feng, Jiayu Ding

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد مباراة كرة سلة على التلفاز، ولكن بدلاً من مجرد رؤية الأحداث، فأنت تجري محادثة مع ذكاء اصطناعي فائق الذكاء.

المشكلة: الذكاء الاصطناعي "النسّاء"
نماذج الذكاء الاصطناعي الحالية (النماذج متعددة الوسائط الكبيرة - LMMs) بارعة في النظر إلى صورة واحدة أو مقطع فيديو قصير لتقول: "هذا لاعب يراوغ بالكرة". ولكن إذا سألتها سؤالاً متابعاً بعد بضع ثوانٍ، مثل: "أين ذهب ذلك اللاعب بعد أن مرر الكرة؟" أو "هل يمكنك رسم المسار الدقيق الذي اتخذته الكرة بينما كانت مختبئة خلف لاعب آخر؟"، فإنها غالباً ما تفقد التركيز.

فكر في نماذج الذكاء الاصطناعي الحالية كأنها سائح يلتقط صورة لشارع، ثم يغمض عينيه. إذا سألته: "ماذا حدث بعد ذلك؟"، فعليه أن يخمن بناءً على الصورة الوحيدة. إنهم يعانون في تتبع الأجسام التي تتحرك عبر الزمن، خاصة عندما تُحجب عن الرؤية (الانسداد/Occlusion) أو عندما تتغير زاوية الكاميرا.

المهمة الجديدة: "الحوار المرتبط بالمسار"
ابتكر مؤلفو هذه الورقة البحثية لعبة جديدة لاختبار هذا الضعف تحديداً. أطلقوا عليها اسم "الحوار الزماني والمكاني متعدد الأدوار المرتبط بالمسار" (Trajectory-Grounded Multi-Turn Spatiotemporal Dialogue).

إليك كيف تعمل هذه اللعبة:

المشهد: تعرض للذكاء الاصطناعي مقطع فيديو (مثل لقطة كرة سلة).
الدردشة: تطرح سؤالاً: "من الذي سجل الثلاثية عند الثانية 0.8؟"
التحول المفاجئ: يجب على الذكاء الاصطناعي ألا يكتفي بالإجابة بالكلمات فحسب، بل يجب أن يقدم أيضاً خريطة ثلاثية الأبعاد مهيكلة توضح أين كان ذلك اللاعب والكرة في كل لحظة، حتى لو كانا مختبئين خلف شخص آخر.
المتابعة: تطرح سؤالاً آخر بناءً على الإجابة الأولى: "الآن، أرني المسار الذي اتخذته الكرة من الثانية 0.5 إلى 1.2 ثانية."

يجب أن يعمل الذكاء الاصطناعي كحكم لا يفقد تتبع الكرة أبداً، حتى عندما تكون خلف لاعب، ويمكنه رسم مسارها الدقيق في الفضاء ثلاثي الأبعاد.

الحل: LMM-Track4D
لحل هذه المشكلة، بنى الفريق نظام ذكاء اصطناعي جديداً يسمى LMM-Track4D. وقد منحوه ثلاث "قوى خارقة" خاصة للحفاظ على استمرارية "الفيلم الذهني" لديه بسلاسة:

"بوصلة الهندسة" (RTGE):
- التشبيه: تخيل جهاز GPS لا يعرف فقط "أين" أنت على الخريطة، بل يعرف أيضاً الزاوية الدقيقة للشمس والوقت من اليوم.
- كيف يعمل: يقوم هذا الجزء من الذكاء الاصطناعي بحقن "هندسة الشعاع والزمن" (Ray-Time Geometry) في الفيديو. إنه يعلم الذكاء الاصطناعي ليس فقط البكسلات، بل أيضاً الشكل ثلاثي الأبعاد للغرفة والوقت الدقيق لكل إطار. يساعد هذا الذكاء الاصطناعي على فهم العمق والمنظور، وليس فقط الصور المسطحة.
"رمز الذاكرة" (TRK):
- التشبيه: فكر في هذا كأنه ملاحظة لاصقة يكتبها الذكاء الاصطناعي ويحتفظ بها في جيبه.
- كيف يعمل: عندما يرى الذكاء الاصطناعي لاعباً، فإنه يكتب ملاحظة حول هوية ذلك اللاعب وحركته. عندما ينتقل الحوار إلى الدور التالي، فإنه لا يبدأ من الصفر، بل يسحب تلك الملاحظة اللاصقة من جيبه. هذا يسمح للذكاء الاصطناعي بتذكر: "أوه، هذا هو اللاعب رقم 6، وكان يتحرك جهة اليمين"، حتى لو تغيرت زاوية الكاميرا أو اختفى اللاعب لفترة وجيزة. إنه يحافظ على استمرارية القصة.
"الرسام المستقر" (OSK-RA Decoder):
- التشبيه: تخيل أنك تحاول رسم خط مستقيم على قارب يهتز. معظم نماذج الذكاء الاصطناعي ترسم خطاً متعرجاً وغير منتظم. هذا "المفكك" (Decoder) يشبه مثبت الجيمبال (Gimbal) الذي يحافظ على استقرار الخط.
- كيف يعمل: يأخذ هذا الجزء من النظام ملاحظات الذكاء الاصطناعي ويحولها إلى مسار ثلاثي الأبعاد نظيف وسلس. يستخدم تقنية "المرساة المتبقية" (Residual Anchor)، مما يعني أنه يبدأ بتخمين تقريبي لمكان الجسم ثم يقوم بإجراء تعديلات دقيقة وصغيرة لتصحيح أي أخطاء، مما يضمن أن المسار لا يقفز بشكل عشوائي.

الاختبار: Track4D-Bench
لإثبات فعالية نظامهم، بنوا اختباراً جديداً يسمى Track4D-Bench.

يحتوي على 526 مقطع فيديو (معظمها من مشاهد رياضية وحركة مرور) مع أكثر من 7,500 جسم مُصنف.
إنه بمثابة امتحان نهائي حيث يتعين على الذكاء الاصطناعي الإجابة على الأسئلة ورسم المسارات ثلاثية الأبعاد في آن واحد.
يتحقق هذا الاختبار مما إذا كان بإمكان الذكاء الاصطناعي التعامل مع المواقف الصعبة مثل اختفاء الأجسام خلف السيارات (الانسداد) أو الإجابة عن أسئلة تتعلق بنفس الجسم على مدى فترة زمنية طويلة.

النتائج
عندما قاموا بتشغيل الاختبار:

الذكأ الاصطناعي القديم: حتى أذكى النماذج الموجودة (مثل GPT-4o أو نماذج الفيديو المتخصصة) استطاعت الإجابة على الأسئلة النصية بشكل جيد، لكنها فشلت فشلاً ذريعاً في رسم المسارات ثلاثية الأبعاد. غالباً ما كانوا يفقدون تتبع الجسم أو يتوقفون عن العمل عندما يكون مختبئاً.
LMM-Track4D: كان هذا النظام الجديد هو الفائز الواضح. فقد حافظ على "فيلم ذهني" متسق للمشهد. استطاع إخبارك بالضبط أين كانت الكرة عند الثانية 0.8 ورسم مسارها السلس حتى عندما كان لاعب يحجبها.

الخلاصة الكبرى
تخلص الورقة البحثية إلى أنه لجعل الذكاء الاصطناعي يفهم حقاً العالم رباعي الأبعاد (الفضاء ثلاثي الأبعاد + الزمن)، لا يمكننا فقط جعل الذكاء الاصطناعي "أكبر" أو تغذيته بمزيد من الفيديوهات. نحن بحاجة إلى بناء أدوات محددة (مثل رمز الذاكرة وبوصلة الهندسة) التي تجبر الذكاء الاصطناعي على تتبع حالة الأجسام صراحةً أثناء حركتها. إنه الفرق بين كاميرا تلتقط لقطات ثابتة، ومخرج يحافظ على سيناريو مستمر للفيلم.

ملخص تقني: LMM-Track4D

بيان المشكلة
أظهرت النماذج اللغوية متعددة الوسائط الكبيرة (LMMs) الحديثة قدرات كبيرة في فهم الصور والفيديو. ومع ذلك، فهي تعاني من صعوبة في الاستدلال الديناميكي المستدام رباعي الأبعاد (4D) عبر الزمن، وزوايا الرؤية، والتفاعلات متعددة الأدوار. النماذج الحالية مُحسّنة لتفسير المحتوى المرصود بالفعل، لكنها تفتقر إلى الآليات التي تحافظ على حالة ديناميكية صريحة. وبناءً على ذلك، بينما قد تتعرف على الملاحظات المنعزلة، فإنها تفشل في الحفاظ على سجل متماسك فيزيائياً لحالات المشهد المتطورة مع وصول أدلة جديدة، لا سيما عند التعامل مع حالات الحجب (occlusions)، واستمرارية الهوية، واتجاهات الحركة طويلة الأمد.

المنهجية: LMM-Track4D
لمعالجة هذه الفجوة، يقترح المؤلفون LMM-Track4D، وهو إطار عمل مصمم للحفاظ على الحالة الديناميكية وتحديثها طوال فترة التفاعل. يعتمد النظام على نموذج خلفي هو Qwen3.5-9B مع استخدام التكيف منخفض الرتبة (LoRA)، ويدمج ثلاث وحدات قابلة للتدريب الأساسية:

ترميز الهندسة الشعاعية-الزمنية (RTGE): يتم إدراج RTGE بين المشفر البصري والنموذج الخلفي متعدد الوسائط، حيث يقوم بحقن معلومات هندسية وزمنية صريحة في الرموز البصرية (visual tokens). يقوم RTGE بحساب واصفات "بليوكير" (Plücker descriptors) سداسية الأبعاد (تجمع بين اتجاه الشعاع واللحظة) من المعايير الداخلية والخارجية للكاميرا، ويطبق تضمينات فوريه (Fourier embeddings) للزمن. تُضاف هذه المعلومات إلى ميزات الرقع (patch features)، مما يسمح للنموذج بربط الرموز البصرية بالفضاء ثلاثي الأبعاد والزمن.
رمز الحالة المتدفقة (TRK): رمز ذاكرة حالة مستمر يعمل بمثابة "فتحة هدف" (target slot). بدلاً من إعادة استنتاج هوية الهدف وحركته من التاريخ الخام في كل دور، يقوم رمز TRK بتجميع الأدلة عبر أدوار الحوار. يتم تمرير حالته الخفية من الدور $k$ إلى $k+1$ ، مما يضمن استمرارية الهوية وديناميكيات الحركة.
مفكك الشفرة (OSK-RA) الحركي، ذو المرساة المتبقية: تتعامل هذه الوحدة مع فك تشفير المسار ثلاثي الأبعاد النهائي. وهي تفصل بين اختيار الهدف (الاستعلام الدلالي) وبين الصقل الهندسي (الاستعلام الحركي). يقوم مفكك الشفرة بتقييم أشعة الأدلة المرتبطة بالرموز البصرية، ودمجها، وحساب مرساة ثلاثية الأبعاد خشنة عبر تقاطع الخطوط الموزون. ثم يقوم رأس متبقي (residual head) بصقل هذه المرساة لإنتاج الإحداثيات ثلاثية الأبعاد النهائية. تصميم "المرساة بالإضافة إلى المتبقي" هذا يقلل من تراكم انحياز الخطوة الأولى.

الاختبار المعياري: Track4D-Bench
قدم المؤلفون Track4D-Bench، وهو اختبار معياري تم بناؤه من خلال مسار مهيكل يربط بين المسارات ثلاثية الأبعاد المتحقق منها، والأدلة البصرية، والحوار.

النطاق: 526 عينة حوار على مستوى المقطع (428 مقطعاً قصيراً، و98 مقطعاً طويلاً) تغطي 23.5 ألف إطار و7.5 ألف تسمية كائن، مستمدة من APIDIS وKITTI وWildTrack.
المهمة: حوار مكاني-زماني متعدد الأدوار مرتبط بالمسار. يجب على النماذج الإجابة على أسئلة مكانية-زمانية نوعية، وعند الاقتضاء، إخراج مسارات ثلاثية الأبعاد مهيكلة عبر مقاطع قصيرة أو أجزاء محلية من تفاعلات أطول.
التقييم: يستخدم بروتوكول أدوار حوار موحد. تُقاس جودة اللغة عبر CIDEr وBLEU-4 وMETEOR. أما الدقة الهندسية فتُقاس عبر $SAcc@0.5 $(دقة النقطة)، و$ Traj-Acc@1.0 $(دقة المسار)، و$ TAcc@0.5$ (دقة النقطة الزمنية)، وكلها في إحداثيات العالم الحقيقية.

المساهمات الرئيسية

صياغة المهمة: تحديد القصور في النماذج اللغوية متعددة الوسائط الحالية في الاستدلال المستدام رباعي الأبعاد، وصياغة "الحوار المكاني-الزماني متعدد الأدوار المرتبط بالمسار" لدراسة ذلك.
الاختبار المعياري: تقديم Track4D-Bench، الذي يوفر بيئة قابلة للتدريب والقياس والتفسير التشخيصي للاستدلال الديناميكي رباعي الأبعاد مع أنظمة المقاطع القصيرة والمقاطع الطويلة.
بنية النموذج: اقتراح LMM-Track4D، الذي يدمج RTGE، وتمرير حالة TRK المستمرة، وفك تشفير OSK-RA للحفاظ على المعلومات الديناميكية وتحديثها عبر الرؤى والزمن وأدوار الحوار.
الأدلة التجريبية: إثبات أن نمذجة الحالة الديناميكية الصريحة هي مبدأ تصميم مفيد لاستخراج الاستدلال رباعي الأبعاد، مما أظهر تحسينات ثابتة مقارنة بالنماذج المرجعية القوية في الاستدلال كثيف غير الإطارات المفتاحية، والتعافي من الحجب، والحفاظ على الهوية طويل المدى.

النتائج
كشفت التجارب على Track4D-Bench عن فجوة أداء كبيرة بين النماذج اللغوية متعددة الوسائط العامة وLMM-Track4D:

أداء النماذج المرجعية: تحقق النماذج المملوكة القوية (مثل GPT-4o) والنماذج مفتوحة المصدر (مثل Qwen3-VL وLLaVA-Video) درجات لغوية غير ضئلة ولكنها تفشل في تقديم مخرجات ثلاثية الأبعاد مهيكلة مماثلة. حتى نماذج الضبط الدقيق (SFT) من نفس مجموعة البيانات تظل أقل بكثير من LMM-Track4D.
أداء LMM-Track4D: حقق أفضل النتائج عبر جميع المقاييس، بما في ذلك $0.758 $لـ$ SAcc@0.5 $، و$ 0.626 $لـ$ Traj-Acc@1.0 $، و$ 0.619 $لـ$ TAcc@0.5$.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة OSK-RA إلى أكبر انخفاض في دقة الخطوات ($TAcc@0.5$ انخفضت من 0.619 إلى 0.425).
- أدت إزالة RTGE إلى ثاني أكبر تدهور في المقاييس الهندسية.
- أدت إزالة TRK (أو استخدام النموذج الخلفي فقط) إلى إلغاء مخرجات الهندسة المهيكلة المستقرة تماماً، مما يؤكد ضرورة تمرير الحالة المستمرة.
الاعتماد على التاريخ: أظهر التحليل أن إعدادات "بلا تاريخ" (No-history) هي الأسوأ، خاصة في الأدوار المتأخرة، بينما يتفوق نظام "التاريخ الذاتي" (Self-history) (باستخدام حالة TRK الخاصة بالنموذج) باستمرار، مقترباً من الحد الأعلى لـ "التاريخ الذهبي" (Gold history/Oracle).

الأهمية والادعاءات
يزعم البحث أن استخراج الاستدلال الديناميكي رباعي الأبعاد في النماذج اللغوية متعددة الوسائط ليس مجرد مسألة توسيع نطاق إدراك الفيديو أو الأسئلة والأجوبة العامة للفيديو، بل يتطلب صياغة مهام، وإشرافاً، وبنى هندسية تعمل صراحةً على نمذجة ديناميكيات المشهد المتطورة بمرور الوقت. تشير النتائج إلى أن نمذجة الحالة الديناميكية الصريحة تعمل كتحيز استقرائي (inductive bias) فعال لهذه القدرة.

يظل المؤلفون متواضعين فيما يتعلق بالقيود الحالية: فالإعداد يعتمد على الإشراف المهيكل، والنطاق محدود مقارنة بمجموعات بيانات الفيديو العامة، كما أن الأفق الزمني وانفتاح التفاعل مقيدان. ومع ذلك، فإن هذا العمل يرسخ حقيقة أن الحفاظ على حالة فيزيائية متماسكة عبر التفاعلات متعددة الأدوار هو تحدٍ متميز وقابل للحل باستخدام التحيزات الاستقرائية المعمارية المناسبة.

أبحاث مشابهة