CARLAverse: A Highly Modular, Distributed, and Multimodal Framework for Human-in-the-Loop Simulation
إن CARLAverse هو إطار عمل محاكاة مفتوح المصدر، وموزع، ومتعدد الوسائط يدمج بيئات القيادة وركوب الدراجات والمشاة لتمكين تجارب بشرية في الحلقة (human-in-the-loop) قابلة للتوسع من خلال فصل التغذية الراجعة اللمسية الحرجة لزمن الاستجابة عن اختناقات الشبكة عبر بنية مبتكرة تعتمد على عميل محلي وخادم مركزي.
المؤلفون الأصليون:Patrick Rebling, Philipp Nenninger, Reiner Kriesten
لبناء سيارات يمكنها القيادة من تلقاء نفسها بأمان، يجب على المهندسين تعليمها كيفية التنقل في عالم مليء بالبشر غير المتوقعين. وبينما تتفوق الحواسيب في اتباع القواعد الصارمة، فإنها غالبًا ما تعاني في فهم المفاوضات الضمنية وغير المنطوقة التي تحدث في شارع مزدحم: مثل راكب دراجة يلتفت فوق كتفه قبل الانعطاف، أو مشاة يترددون عند ممر المشاة، أو سائق يشير لتغيير مساره. ولدراسة هذه التفاعلات المعقدة دون المخاطرة بحياة البشر، يستخدم الباحثون أجهزة المحاكاة. تتيح هذه البيئات الرقمية للبشر تمثيل سيناريوهات القيادة بينما تقوم الحواسيب بتسجيل ردود أفعالهم. ومع ذلك، لا تزال هناك عقبة رئيسية: معظم أجهزة المحاكاة الحالية هي جزر معزولة. فهي يمكن أن تظهر لسائق بشري عالمًا افتراضيًا، لكنها تجد صعوبة في ربط هذا السائق ببشر حقيقيين آخرين يعملون كراكبي دراجات أو مشاة في نفس المساحة المشتركة. وعندما يحاول عدة أشخاص التفاعل في عالم افتراضي عبر شبكة، فإن التأخير في إرسال المعلومات يمكن أن يكسر الإيهام، مما يجعل التجربة تبدو بطيئة أو يسبب عدم ارتياح جسدي.
لقد عالج فريق من الباحثين في جامعة كارلسروه للعلوم التطبيقية هذا التحدي من خلال إنشاء نظام جديد مفتوح يسمى CARLAverse. يعمل هذا الإطار كجسر، مما يسمح لأنواع مختلفة من أجهزة المحاكاة — تلك المخصصة للسيارات، والدراجات، والمشاة — بالاتصال والتفاعل في مدينة افتراضية واحدة متزامنة. يكمن الابتكار الجوهري في كيفية معالجة النظام لفيزياء الحركة. فبدلاً من إرسال كل تفصيل صغير حول توجيه الشخص أو تبديله للسرعات إلى حاسوب مركزي وانتظار الرد، يقوم النظام بتقسيم العمل. حيث يقوم الجهاز المحلي لكل مشارك بحساب القوى الفورية عالية السرعة التي يشعر بها، مثل المقاومة في عجلة القيادة أو الاهتزاز في مقود الدراجة، بينما يدير خادم مركزي حركة المرور الأوسع ومواقع المركبات الأخرى. يضمن هذا التصميم أن تكون التغذية الراجعة التي يشعر بها الإنسان فورية وواقعية، حتى لو كان المشاركون في مبانٍ أو مدن مختلفة. ومن خلال الجمع بين هذه الحسابات الموزعة والبيئة الافتراضية المشتركة، أنشأ الباحثون منصة حيث يمكن لعدة أشخاص التدرب بأمان ودراسة كيفية تفاعلهم مع بعضهم البعض في حركة مرور مختلطة، مما يلتقط الديناميكيات الاجتماعية الحقيقية التي غالبًا ما يفتقدها الذكاء الاصطناعي.
بُني النظام على أساس من النمطية، مما يعني أنه يمكنه التكيف مع مختلف إعدادات الأجهزة دون الحاجة إلى إعادة بناء كاملة. وهو يدعم ثلاثة أنماط متميزة للتنقل: قيادة سيارة، ركوب دراجة، والمشي. بالنسبة للسيارة، يتصل النظام بأجهزة محاكاة القيادة القياسية المزودة بعجلات قيادة ودواسات. وبالنسبة للدراجة، فإنه يرتبط بأجهزة تدريب ذكية يمكنها تعديل المقاومة لمحاكاة التلال أو الرياح. أما بالنسبة للمشاة، فيستخدم النظام سماعات الواقع الافتراضي والكاميرات لتتبع حركات الجسم، مما يسمح للشخص بالمشي بشكل طبيعي ورؤية العالم من ارتفاع بشري. وما يجعل هذا النهج فريدًا هو قدرته على إبقاء هذه التجارب المختلفة في تزامن تام. فعندما ينزل مشاة في الواقع الافتري من الرصيف، يرى السائق في محاكي السيارة تلك الحركة فورًا ويشعر بالتغيير المناسب في بيئة الطريق. ويحقق النظام ذلك من خلال الفصل الدقيق بين المهام الثقيلة لإدارة حركة المرور العالمية والحسابات الحساسة والسريعة للحركة الفردية.
في الماضي، كان ربط عدة أجهزة محاكاة يعتمد غالبًا على طبقات برمجية تعمل كوسيط، تمرر الرسائل ذهابًا وإيابًا. وقد وجد الباحثون أن هؤلاء الوسطاء يتسببون في الكثير من التأخير، وهو أمر غير مقبول للأنظمة التي تعتمد على التغذية الراجعة الفيزيائية مثل التغذية الراجعة للقوة أو منصات الحركة. ولحل هذه المشكلة، يتجاوز نظام CARLAverse هذه الطبقات الإضافية، مما يسمح للأجهزة المحلية بالتحدث مباشرة إلى الخادم المركزي باستخدام قنوات اتصال انسيابية. يضمن خط الاتصال المباشر هذا أنه عندما يدير السائق العجلة، تستجيب السيارة الافتراضية فورًا، وتدفع محركات التغذية الراجعة للقوة ضد يده دون تأخير ملحوظ. وبالمثل، عندما يبدل راكب الدراجة، تتعدل المقاومة في الوقت الفعلي لتناسب التضاريس الافتراضية. هذه الدقة حيوية لأن أي تأخير بسيط يمكن أن يسبب للإنسان الشعور بالمرض أو فقدان إحساسه بالحضور في المحاكاة.
كما دمج الباحثون ميزات متقدمة لجعل التجربة أكثر انغماسًا. يقوم النظام بتوليد الصوت بناءً على موقع المستخدم، بحيث يسمع السائق زئير المحرك بشكل مختلف اعتمادًا على مكانه في المدينة، ويسمع المشاة سيارة تقترب من الاتجاه الصحيح. ويتم التعامل مع المرئيات بعناية لضمان توافق الصور على الشاشات أو السماعات تمامًا مع منظور المستخدم، مما يمنع الدوار الذي يصيب الواقع الافتراضي غالبًا. وبالنسبة لمحاكي الدراجة، يقوم النظام حتى بحساب القوى الفيزيائية للرياح ومنحدر الطريق لتعديل المقاومة في جهاز التدريب، مما يجعل الرحلة تبدو حقيقية. وبالنسبة للمشاة، يستخدم النظام كاميرات ويب قياسية لتتبع حركات الجسم، وترجمة طريقة ميل الشخص أو إيماءاته إلى العالم الافتراضي، مما يسمح بتفاعلات طبيعية مثل التلويح أو النظر حوله.
الهدف النهائي من هذا العمل هو توفير أداة لفهم السلوك البشري في حركة المرور. فمن خلال وضع أشخاص حقيقيين في مساحة افتراضية مشتركة، يمكن للباحثين مراقبة كيفية تفاوضهم على حق الأولوية، وكيفية الإشارة إلى نواياهم، وكيفية رد فعلهم تجاه الأحداث غير المتوقعة. إن هذه البيانات يصعب جمعها عبر الوكلاء الاصطناعيين وحدهم، حيث غالبًا ما تفشل الحواسيب في محاكاة الفروق الدقيقة في لغة الجسد البشرية أو التردد. يتيح إطار عمل CARLAverse إجراء تجارب واسعة النطاق حيث يمكن لمؤسسات متعددة المشاركة في وقت واحد، والاتصال بأجهزة المحاكاة عبر مسافات شاسعة. تفتح هذه القدرة الباب لدراسة سيناريوهات المرور المعقدة التي تشمل السيارات والدراجات والمشاة جميعًا في آن واحد، مما يوفر فهمًا أغنى للنسيج الاجتماعي لطرقنا. وبينما يعد النظام حاليًا عملية محاكاة، يخطط الباحثون للتحقق من نماذجهم الفيزيائية بشكل أكبر وتوسيع قدراتهم، بما في ذلك إضافة منصات حركة للدراجات وأجهزة مشي متعددة الاتجاهات للمشاة. ومن خلال جعل هذه التكنولوجيا مفتوحة ومتاحة، يأمل الفريق في خفض الحواجز أمام الباحثين الآخرين لإجراء دراسات مماثلة، مما يعزز جهدًا تعاونيًا لجعل أنظمة النقل المستقبلية أكثر أمانًا وأكثر استجابة للاحتياجات البشرية.
ملخص تقني: CARLAverse
بيان المشكلة
يتطلب تطوير أنظمة القيادة الذاتية اختبارات صارمة في سيناريوهات حركة المرور المختلطة التي تشمل مستخدمي الطرق الضعفاء (VRUs) مثل راكبي الدراجات والمشاة. وبينما يمكن للوكلاء الاصطناعيين (NPCs) محاكاة تدفق حركة المرور، إلا أنها غالبًا ما تفشل في التقاط التفاوض الاجتماعي البشري الأصيل، والسلوكيات الدقيقة مثل التواصل البصري والتنازل، والإشارات غير اللفظية. وبناءً على ذلك، تعد المحاكاة التي تشرك الإنسان في الحلقة (HITL) ضرورية لدراسة هذه التفاعلات بأمان. ومع ذلك، تواجه منصات المحاكاة متعددة الوكلاء التي تعتمد على (HITL) عوائق تقنية كبيرة:
زمن الاستجابة والمزامنة: تتطلب التغذية الراجعة اللمسية عالية الدقة (التغذية الراجعة للقوة، وتلميح الحركة) معدلات تحديث تتجاوز غالبًا 100 هرتز. وتؤدي البنى المركزية التي تمرر إشارات التحكم عالية التردد عبر البرمجيات الوسيطة (مثل ROS/DDS) إلى زيادة عبء التسلسل (serialization overhead) والاضطراب في الشبكة (network jitter)، مما يقلل من الانغماس الفيزيائي وقد يسبب دوار المحاكاة.
تكامل الأجهزة: غالبًا ما تكون أجهزة المحاكاة المتصلة التجارية باهظة الثمن ومملوكة لجهات معينة، بينما تفتقر البدائل مفتوحة المصدر في كثير من الأحيان إلى الدعم الأصلي للانغماس الفيزيائي أو التجريد السلس للأجهزة المطلوب لإنشاء أنظمة بيئية متماسكة متعددة الفاعلين.
القابلية للتوسع: تعاني الأطر الحالية غالبًا في دعم العقد المتباعدة جغرافيًا وغير المتجانسة (مثل الجمع بين كبينة مركبة، وجهاز تدريب دراجة، وإعداد واقع افتراضي للمشاة) دون المساس بالمزامنة المطلوبة لبيانات السلوك الصحيحة.
المنهجية
يقدم البحث CARLAverse، وهو نظام بيئي للمحاكاة متعدد الوسائط مفتوح المص المصدر مبني على محاكي القيادة CARLA. تعتمد المنهجية الأساسية على بنية فيزياء موزعة وإطار تجريد للأجهزة معياري مصمم لفصل الحسابات المحلية الحرجة لزمن الاستجابة عن المزامنة الشبكية العالمية.
1. بنية الفيزياء الموزعة
على عكس أجهزة المحاكاة التقليدية المركزية حيث يقوم خادم واحد بحساب جميع العمليات الفيزيائية، يقوم CARLAverse هيكليًا بفصل المحاكاة:
الخادم المركزي: يعمل خادم CARLA مخصص كمنظم سلطوي. يقوم بحساب إدارة حركة المرور العالمية، وفيزياء الشخصيات غير اللاعبة (NPC)، والظروف الجوية، ومصفوفة التصادم العالمية. يقوم بمزامنة حالة العالم ولكنه لا يحسب الديناميكيات المحلية للمشاركين البشريين.
العقد المحلية: يعمل كل مشارك بشري على عقدة محلية مخصصة (على سبيل المثال، جهاز كمبيوتر محدد للسائق، أو لراكب الدراجة، أو للمشاة). تقوم هذه العقد بحساب الفيزياء الذاتية (ego-physics) محليًا. ويشمل ذلك التفاعل بين الإطارات والطريق، وعزوم التوجيه الذاتي للتغذية الراجعة للقوة، وخوارزميات تلميح الحركة، وتقدير الوضعية.
الاتصال: يتجاوز النظام البرمجيات الوسيطة الثقيلة (مثل ROS) للتحكم النشط. بدلاً من ذلك، يستخدم استدعاءات الإجراءات عن بُعد (RPCs) المباشرة من نوع API الخاص بـ CARLA عبر بروتوكول TCP لتحديثات الحالة، وبروتوكول UDP عديم الاتصال للقياسات عن بعد عالية التردد (التغذية الراجعة للقوة، وأوامر الحركة). وهذا يلغي عبء "النشر-الاشتراك"، مما يقلل زمن استجابة الحلقة اللمسية ليقتصر حصريًا على المكونات المحلية (Tlocal=tinput+tphysics,local+tactuation).
2. تجريد الأجهزة المعياري
يستخدم النظام البيئي طبقة تجريد الأجهزة (HAL) لضمان استقلالية الأجهزة:
مدفوع بالتكوين: يتم التحكم في إنشاء المحاكي عبر ملفات تكوين YAML، مما يسمح بإعادة التكوين السريع من إعدادات المكتب إلى منصات الحركة عالية الد fidelity دون تعديل الكود المصدري.
الأنظمة الفرعية المتخصصة:
التغذية الراجعة للقوة (FFB): يقوم خادم C++ مستقل بترجمة حسابات الفيزياء إلى أوامر DirectInput/Evdev عبر حمولة UDP مكونة من 40 بايت مضغوطة. ويتضمن مراقبًا للسلامة (watchdog) لضمان الأمان.
تلميح الحركة (Motion Cueing): يقوم خادم C++ منفصل بترجمة بيانات المركبة (الدوران، الميل، الارتفاع) إلى أوامر منصة الحركة (مثل D-BOX)، باستخدام مرشحات الغسيل (washout filters) للحفاظ على الواقعية.
الصوت المكاني: يقوم محرك مركزي (CARLAcoustics) بتوليد مشاهد صوتية سياقية متعددة القنوات بناءً على موقع المستخدم، مع تنفيذ عملية الرندرة (rendering) محليًا.
3. عقد المحاكاة متعددة الوسائط
يدمج الإطار ثلاثة مجالات تفاعل متميزة:
DrivoCARLA (المركبة): يدعم الانغماس القابل للتوسع من إعدادات المكتب إلى نماذج الكبائن الكاملة. ويتميز بخط أنابيب تحكم مخصص مع رسم غير خطي للتوجيه/الدواسات، وآلة حالة لأنظمة المركبة (الأضواء، الإشارات)، والتكامل مع اختبارات ADAS.
CycloCARLA (الدراجة): يقوم باستبدال فيزياء العجلات الأربع الأصلية في CARLA بنموذج دراجة حركي أحادي المسار مخصص. ويقوم بالتقاط سرعة العجلات عالية التردد عبر متحكم دقيق (متجاوزًا زمن استجابة BLE القياسي) ويستخدم جدول بحث ثنائي الأبعاد (2D Lookup Table) لترجمة قوى المقاومة الفيزيائية إلى أوامر مدرب ذكي.
WalkoCARLA (المشاة): عقدة تعتمد على الواقع الافتراضي (VR) تستخدم OpenXR لتجريد الأجهزة. وتستخدم خط أنابيب تقدير الوضعية القائم على الرؤية (MediaPipe) لاستخراج 33 معلمًا هيكليًا من كاميرا ويب قياسية، وتحويلها إلى نظام إحداثيات شخصية الـ avatar في CARLA لالتقاط لغة الجسد والنوايا بشكل أصيل.
المساهمات الرئيسية
نموذج الفيزياء الموزعة: المساهمة المنهجية الأساسية هي فصل الفيزياء الذاتية عن الخادم المركزي. ومن خلال توطين الحسابات الحرجة لزمن الاستجابة (اللمس، الحركة، الوضعية)، يدعم النظام حلقات التحكم عالية التردد الضرورية للانغماس الواقعي مع تحمل زمن استجابة الشبكة الواسعة (WAN) للمزامنة العالمية.
نظام بيئي متعدد الوسائط مفتوح المصدر: يوفر CARLAverse إطارًا مفتوح المصدر يدمج محاكيات المركبات والدراجات والمشاة في بيئة افتراضية مشتركة. وبينما قامت أطر عمل أخرى مثل "Simulation for All" (2025) بدمج أنواع متعددة من الوكلاء، يتميز CARLAverse من خلال بنية الفيزياء الموزعة وتصميم الأجهزة المستقل عن نوع الجهاز.
التجريد المستقل عن الأجهزة: من خلال استخدام تكوينات YAML، وخوادم C++ المخصصة لـ FFB والحركة، وواجهات OpenXR/SDL، يسمح النظام للباحثين بدمج أجهزة متنوعة (منصات الحركة، المدربين الأذكياء، سماعات VR) دون الارتباط بجهات معينة.
التنسيق المباشر لـ API: يتجنب الهيكل عمدًا تمرير إشارات التحكم عالية التردد عبر البرمجيات الوسيطة مثل ROS، مستخدمًا بدلاً من ذلك تدفقات RPC وUDP المباشرة لتقليل الاضطراب وزمن استجابة التسلسل.
النتائج والتحقق
يعرض البحث بشكل أساسي البنية، والتنفيذ، ومبادئ التكامل لـ CARLAverse.
نشر النظام: تم نشر الإطار بنجاح لدعم المحاكاة المشتركة الموزعة جغرافيًا والمؤسسية، مما يسمح للباحثين في مؤسسات مختلفة بالتفاعل في آن واحد في تقاطع افتراضي مشترك.
الادعاءات المتعلقة بالأداء: صُممت البنية الموزعة لإزالة تأخيرات النقل الشبكي من الحلقة اللمسية الحرجة للزمن. ويُزعم أن استخدام تدفقات UDP المباشرة وحسابات الفيزياء المحلية يدعم معدلات التحديث العالية (مئات الـ هرتز) المطلوبة للتغذية الراجعة اللمسية المستقرة وتلميح الحركة.
حالة التحقق: ينص البحث صراحةً على أن التحقق الكمي التفصيلي للأنظمة الفرعية الفيزيائية والإدراكية الفردية (مثل الدقة الرياضية لديناميكيات الدراجة، والنمذجة الصوتية لـ CARLAcoustics، وقياسات زمن الاستجابة المحددة) يتم تناولها في منشورات مرافقة مخصصة وعمل مستمر. كما تمت الإشارة إلى دراسة مستخدم أولية لخط أنابيب DrivoCARLA أظهرت فائدة تجريبية.
الأهمية والادعاءات
يضع البحث CARLAverse كخطوة حاسمة نحو بحث حركة المرور المختلطة ذي الصلاحية البيئية. وتكمن أهميته في:
سد الفجوة السلوكية: من خلال تمكين مشاركين بشريين متعددين من التفاعل في مساحة مشتركة، فإنه يلتقط التفاوض الاجتماعي والإشارات غير اللفظية التي تفشل الشخصيات الاصطناعية (NPCs) التي يقودها الذكاء الاصطناعي حاليًا في محاكاتها.
القابلية للتوسع والوصول: إن الطبيعة مفتوحة المصدر والمستقلة عن الأجهزة تقلل من الحواجز المالية والتقنية، مما يسهز التعاون بين المؤسسات والتجارب القابلة للتكرار التي كانت محدودة سابقًا بالإعدادات التجارية المكلفة والمملوكة لجهات معينة.
الدقة المنهجية: يقدم نهج الفيزياء الموزعة حلاً للمقايضة الأساسية بين الواقعية اللمسية المحلية والمزامنة البيئية المركزية، مما يسمح بتجارب متعددة الوكلاء متصلة وقابلة للتوسع دون المساس بالانغماس الفيزيائي.
يخلص المؤلفون إلى أنه بينما البنية التحتية الأساسية تعمل بالفعل، فإن العمل المستقبلي سيركز على التحقق التجريبي من النماذج الفيزيائية، وتوسيع الأجهزة (مثل أجهزة المشي متعددة الاتجاهات)، وتجارب HITL واسعة النطاق باستخدام ملفات OpenSCENARIO القياسية للتحقيق في سلوكيات التنازل وديناميكيات الثقة.