AI-Assisted Tutorial Generation for Immersive Training in Virtual and Mixed Reality

تخيل أنك تحاول تعلم كيفية بناء مجموعة "ليغو" (LEGO) معقدة، لكن التعليمات ليست سوى جدار من النصوص الصغيرة والمربكة. ليس لديك أدنى فكرة عن القطعة التي توضع أين، أو كيف تلتوي معصمك لتثبيتها في مكانها. الآن، تخيل لو أنه بدلاً من القراءة، يمكنك رؤية نسخة شبحية عائمة لـ "بناء محترف" بجانبك تماماً، يحرك يديه تماماً كما فعلوا أثناء البناء، بينما يهمس صوت بما يجب عليك فعله بالضبط. هذا هو عالم التدريب الغامر (Immersive Training)، وهو مجال تستخدم فيه الحواسيب عوالم افتراضية أو "مختلطة" لتعليم الناس المهارات. في عالم الواقع الافتراضي (VR)، تكون داخل محاكاة حاسوبية بالكامل، مثل كونك داخل لعبة فيديو. أما في الواقع المختلط (MR)، فأنت ترتدي سماعة خاصة تسمح لك برؤية غرفتك وأدواتك الحقيقية، ولكن مع إضافة تلميحات وأشباح رقمية فوقها.

المشكلة الكبيرة التي صارعها العلماء هي أن صنع دروس "الباني الشبح" هذه أمر صعب للغاية ومكلف. عادةً، تحتاج إلى فريق من فناني التصميم ثلاثي الأبعاد (3D) والمبرمجين لبناء كل خطوة من خطوات التدريب يدوياً. الأمر يشبه محاولة تصوير فيلم عن طريق رسم كل إطار (frame) يدوياً. ولكن ماذا لو استطاع الكمبيوتر فقط أن يشاهد خبيراً يؤدي المهمة مرة واحدة، ويستمع إليه وهو يشرحها، ثم يبني دليل التدريب لك تلقائياً؟ هذا هو السؤال الذي يطرحه هذا البحث: هل يمكننا استخدام الذكاء الاصطناعي (AI) لتحويل عرض توضيحي واحد من خبير إلى دليل تدريبي تفاعلي وقابل لإعادة الاستخدام يعمل في كل من العوالم الافتراضية والمختلطة؟

---

خدعة السحر "المرة الواحدة" (One-Shot)

قام الباحثون، وهم فريق من المجر وألمانيا، ببناء نظام يعمل ككاميرا روبوت فائقة الملاحظة. فكرتهم الأساسية بسيطة: بدلاً من قضاء أسابيع في بناء دورة تدريبية، يحتاج الخبير فقط إلى أداء المهمة مرة واحدة.

فكر في الأمر على هذا النحو: لديك طاهٍ ماهر يعرف كيفية صنع "سوفليه" مثالية. في الأيام الخوالي، كان عليك تدوين كل مكون، وقياس كل ثانية، ورسم مخططات لكيفية خفق البيض. في هذا النظام الجديد، يرتدي الطاهي فقط سماعة خاصة ويطبخ "السوفليه" بينما يتحدث إلى الكاميرا. يقوم النظام بتسجيل كل شيء:

• ما يقوله: يتم تحويل صوته إلى نص.
• أين ينظر: يتتبع النظام عينيه ليرى أين يركز اهتمامه.
• كيف يتحرك: يلتقط الموقع الدقيق ليديه ورأسه.

بمجرد انتهاء الطاهي، يتدخل عقل الكمبيوتر (نموذج لغوي كبير يُعرف بـ LLM). يأخذ التعليمات المنطوقة الفوضوية والبيانات المرئية الخام وينظمها في دليل نظيف ومرتب خطوة بخطوة. يقوم بتصحيح الأخطاء القواعدية، وتقسيم المهمة الكبيرة إلى خطوات صغيرة سهلة الهضم، بل ويقوم حتى بإنشاء "أفاتار" رقمي (شبح ثلاثي الأبعاد) يعيد تمثيل حركات الطاهي بدقة وتزامن مع التعليمات.

العالمان: الافتراضي والمختلط

اختبر الفريق هذه الخدعة السحرية في "ملعبين" مختلفين لمعرفة ما إذا كانت تعمل حقاً.

1. اختبار الواقع الافتراضي (VR): تجميع المحرك
أولاً، وضعوا النظام في عالم افتراضي بالكامل باستخدام سماعة تُسمى Meta Quest 2. أنشأوا سيناريو حيث يتعين على المتدربين تجميع محرك صناعي ذي ست أسطوانات.

• الإعداد: حصل بعض المتدربين على درس تعليمي قياسي يحتوي على نصوص وأسهم. بينما حصل آخرون على "الدرس الخارق" الذي يتضمن الخطوات المولدة بواسطة الذكاء الاصطناعي بالإضافة إلى الأفاتار الشبح للخبير الذي يعيد تمثيل حركات يديه أمامهم مباشرة.
• النتيجة: صنع "الشبح" فرقاً هائلاً. عندما كان أفاتار الخبير يعيد تمثيل الحركات، أنهى المتدربون تجميع المحرك أسرع بـ 75.4 ثانية في المتوسط (انخفض من 579.2 ثانية إلى 503.8 ثانية).
• الشعور: شعر المتدربون بثقة أكبر. أخبروا الباحثين أن رؤية حركات أيدي الخبير ساعدتهم على فهم كيفية الإمساك بالأجزاء وتدويرها، وليس فقط أين يضعونها. ومع ذلك، أشاروا أيضاً إلى أن الشبح لم يكن مطلوباً دائماً؛ فإذا كانت الخطوة بسيطة للغاية أو إذا كانوا قد قاموا بها من قبل، فقد يصبح الشبح أحياناً عائقاً.

2. اختبار الواقع المختلط (MR): ميكانيكي الطائرات
بعد ذلك، انتقلوا إلى العالم الحقيقي باستخدام سماعة HoloLens 2. هنا، كان المتدربون في غرفة بها أجزاء طائرة حقيقية (أو أجزاء حقيقية محاكية) وكان الشبح الرقمي يحوم فوقهم.

• التحول: في هذا الاختبار، لم يكتفِ الباحثون بمراقبة الناس وهم يتعلمون؛ بل شاهدوا الناس وهم يعلمون. حاول المشاركون استخدام النظام لإنشاء دروسهم الخاصة من خلال التحدث بالتعليمات وأداء مهمة ما.
• النتيجة: عمل النظام بشكل جيد بشكل مفاجئ. عندما تحدث الناس، قام الذكاء الاصطناعي بتحويل كلامهم إلى نص ثم نظمه في درس تعليمي. ارتكب الذكاء الاصطناعي أخطاء قليلة جداً. من بين تعليمات نموذجية تتكون من 15-20 جملة، سجل تحويل الكلام إلى نص حوالي 1.36 خطأ في المتوسط، ولكن "عقل" الذكاء الاصطناعي قام بتصحيح معظمها، تاركاً 0.18 خطأ فقط لكل درس تعليمي.
• التعلم: الأشخاص الذين استخدموا تدريب الواقع المختلط تذكروا الخطوات بشكل أفضل بالفعل بعد 24 ساعة. لقد استطاعوا ترتيب خطوات صيانة الطائرة بشكل صحيح بدقة أكبر بعد التدريب.

ماذا تقول الأرقام؟

لم يكتفِ الباحثون بالتخمين؛ بل قاموا بقياس كل شيء.

• السرعة: في الواقع الافتراضي، قلل إعادة عرض الخبير من الوقت بنسبة تقارب 13%.
• الثقة: في الاستطلاع النهائي، قال 16 من أصل 19 مشاركاً إن إعادة عرض الخبير جعلت التقنية الصحيحة أكثر وضوحاً. وقال 12 من أصل 19 إنهم يفضلون هذه الطريقة للتعلم مستقبلاً.
• سهولة الاستخدام: حصل كل من نظامي الواقع الافتراضي والواقع المختلط على درجات عالية في اختبارات "سهولة الاستخدام". حصل نظام الواقع الافتراضي على متوسط قدره 81.84، وحصل نظام الواقع المختلط على 83.18 (حيث يُعتبر أي شيء فوق 80 "ممتازاً").
• الدقة: كان الذكاء الاصطناعي بارعاً في تصحيح الكلام الفوضوي للخبراء، محولاً تسجيلاً غير منظم إلى دليل مصقول بأقل قدر من المساعدة البشرية.

الحكم النهائي

يشير البحث إلى أن طريقة "المرة الواحدة" هذه هي نقطة تحول في مجال التدريب. فهي تثبت أنك لست بحاجة إلى فريق إنتاج هوليوودي لصنع فيديوهات تدريبية عالية الجودة. إذا كان لديك خبير وسماعة رأس، يمكن للذكاء الاصطناعي القيام بالعمل الشاق.

ومع ذلك، يوضح المؤلفون أن هذا ليس عصا سحرية لكل شيء.

• الواقع الافتراضي مقابل الواقع المختلط: الواقع الافتراضي رائع للممارسة في بيئة آمنة ومسيطر عليها حيث لا يمكنك كسر الأشياء الحقيقية، لكنه يتطلب الكثير من العمل لبناء العالم الافتراضي أولاً. أما الواقع المختلط فهو أسرع في الإعداد لأنك تستخدم العالم الحقيقي، ولكن من الصعب حالياً جعل الكمبيوتر "يرى" ويسلط الضوء على أشياء محددة في العالم الحقيقي بدقة تامة.
• دور الشبح: إعادة عرض الخبير تكون أكثر فائدة للخطوات الصعبة والمربكة. أما بالنسبة للمهام البسيطة والمتكررة، فقد يكون من الأفضل ترك المتعلم يقوم بها دون وجود الشبح يحوم فوقه.

باختصار، نجح الباحثون في بناء جسر بين الخبرة البشرية والأتمتة الحاسوبية. لقد أظهروا أنه من خلال تسجيل خبير مرة واحدة، يمكنك إنشاء دليل تدريبي تفاعلي قابل لإعادة الاستخدام يساعد الناس على التعلم بشكل أسرع والتذكر بشكل أفضل، سواء كانوا داخل غرفة محركات افتراضية أو واقفين في حظيرة طائرات حقيقية. لم تُحل المشكلة بالكامل بعد—لا يزال هناك عمل يتعين القيام به لجعل الكمبيوتر يفهم العالم الحقيقي بشكل مثالي—لكن الطريق أمامنا يبدو مشرقاً للغاية.