Behavioral Engagement in VR-Based Sign Language Learning: Visual Attention as a Predictor of Performance and Temporal Dynamics
تُظهر هذه الدراسة أنه في تطبيق لتعلم لغة الإشارة قائم على الواقع الافتراضي، يُعد الانتباه البصري المستدام ووقت المشاهدة بعد التشغيل من المتنبئات الهامة لأداء التعلم، بينما يكشف التحليل الزمني عن أنماط تفاعل متميزة تتماشى مع كثافة المعلومات ومراحل التعلم.
المؤلفون الأصليون:Davide Traini, José Manuel Alcalde-Llergo, Mariana Buenestado-Fernández, Domenico Ursino, Enrique Yeguas-Bolívar
تخيل أنك تتعلم رقصة جديدة، ولكن بدلاً من معلم بشري، أنت تتعلم من روبوت في عالم واقع افتراضي (VR). تضع سماعة الرأس، وفجأة تجد نفسك في قاعة دراسية جامعية. "معلمتك" هي شخصية رمزية (Avatar) صماء تُدعى "إيسي"، وهي تعلمك كيفية قول "مرحباً"، و"سعدت بلقائك"، وعبارات أساسية أخرى باستخدام لغة الإشارة.
هذه الورقة البحثية تشبه قصة بوليسية. أراد الباحثون حل لغز: كيف يمكننا معرفة ما إذا كان الطالب يتعلم حقاً بمجرد مراقبة بصماته الرقمية؟
في العالم الحقيقي، قد يرى المعلم الطالب وهو يهز رأسه، أو يميل للأمام، أو يبدو عليه الارتباك. في الواقع الافتراضي، لا يستطيع الكمبيوتر رؤية وجهك، لكنه يستطيع رؤية الاتجاه الذي يشير إليه رأسك وما تضغط عليه. استخدم الباحثون هذه الأدلة الرقمية لتخمين من سينجح في الاختبار في نهاية الدرس.
إليك تفاصيل هذا التحقيق، مشروحة ببساطة:
القرائن الثلاثة (مؤشرات التفاعل)
بحث العلماء في ثلاثة سلوكيات محددة لمعرفة أي منها يتنبأ بالحصول على درجة جيدة:
الانتباه البصري (شعاع الليزر): يقيس مقدار الوقت الذي قضيته في التحديق مباشرة في الشخصية الرمزية التي تؤدي الإشارات.
الاستعارة: تخيل أن انتباهك هو مؤشر ليزر. إذا أبقيت الليزر ثابتاً على يدي المعلم، فأنت "مندمج تماماً". أما إذا تاه الليزر الخاص بك في أرجاء الغرفة لينظر إلى السبورة الافتراضية أو يديك، فأنت "تائه".
وقت المشاهدة بعد التشغيل (الصورة المتبقية): يقيس المدة التي أبقيت فيها الفيديو على الشاشة بعد انتهائه من العمل.
الاستعارة: تخيل أنك تشاهد خدعة سحرية. عندما ينتهي الساحر، هل تشيح بنظرك فوراً، أم تظل تحدق في المسرح الفارغ لثوانٍ قلي بعض محاولة فهم كيف قام بالخدعة؟ وقت التحديق الإضافي هذا هو "الصورة المتبقية". إنه يشير إلى أن عقلك لا يزال يعمل على معالجة المعلومات.
تكرار إعادة تشغيل الفيديو (زر الإعادة): يحسب عدد المرات التي ضغطت فيها على زر "إعادة التشغيل" لمشاهدة الفيديو مرة أخرى.
الاستعارة: هذا يشبه الضغط على زر "التكرار" في أغنية. تساءل الباحثون: "هل الضغط على زر التكرار 10 مرات يعني أنك متعلم فائق، أم مجرد شخص مرتبك؟"
الاكتشاف الكبير
اختبر الباحثون 117 طالباً جامعياً. وإليكم ما وجدوه:
"شعاع الليزر" (الانتباه البصري) كان هو النجم: كانت هناك علاقة قوية بين الطلاب الذين أبقوا نظرهم مثبتاً على المعلم وبين حصولهم على درجات عالية في الاختبار. إذا شاهدت الأيدي، فقد تعلمت الإشارات.
"الصورة المتبقية" (وقت ما بعد التشغيل) كانت في المرتبة الثانية: الطلاب الذين تمهلوا أمام الشاشة بعد توقف الفيديو حققوا أيضاً نتائج ممتازة. يبدو أن منح لحظة لتترك المعلومات "تترسخ" هي استراتيجية تعلم قوية.
"زر الإعادة" (تكرار التشغيل) لم يكن ذا جدوى: للمفاجأة، لم يتنبأ الضغط المتكرر على زر الإعادة بالحصول على درجة جيدة. في الواقع، لم يكن للأمر أي تأثير على الإطلاق.
الدرس المستفاد: الأمر لا يتعلق بعدد المرات التي تشاهد فيها الفيديو؛ بل يتعلق بمدى جودة مشاهدتك له في المرة الأولى. الجودة تغلب الكمية. إذا كنت تحدق بتركيز، فلن تحتاج للضغط على زر الإعادة. أما إذا كنت تحدق بذهن شارد، فإن الضغط على زر الإعادة لن يفيدك.
"نبض" التعلم
نظر الباحثون أيضاً في متى كان الطلاب ينتبهون. أنشأوا رسماً بيانياً يشبه جهاز مراقبة نبضات القلب.
الإحماء: في البداية، كان الانتباه منخفضاً بينما كان الطلاب يعتادون على سماعة الواقع الافتراضي.
القمم: في كل مرة يتم فيها تعليم إشارة جديدة، كانت "نبضة القلب" ترتفع. ركز الطلاب بشدة على الأجزاء الصعبة (مثل شكل يد معين).
الوديان: بين القمم، انخفض الانتباه. لم يكن هذا مللاً! يعتقد الباحثون أن هذا كان عقل الطلاب يأخذ "استراحة" لمعالجة ما رأوه للتو.
طفرة الاختبار: عندما بدأ الاختبار، ارتفع الانتباه مرة أخرى، مما أظهر أن الطلاب كانوا يركزون على استرجاع ما تعلموه.
لماذا يهم هذا؟
هذه الدراسة تشبه العثور على شفرة سرية لتعلم أفضل.
للطلاب: تخبرنا أنه يجب علينا التركيز على البقاء حاضرين بدلاً من مجرد إعادة مشاهدة الأشياء بلا وعي. إذا لاحظت أن عقلك يشرد، أعد "شعاع الليزر" الخاص بك إلى المعلم.
للمعلمين ومطوري التطبيقات: تخيل تطبيق واقع افتراضي يمكنه أن يقول: "مهلاً، لاحظت أن انتباهك يتشتت، دعنا نتمهل"، أو "لقد حدقت في تلك الإشارة لفترة طويلة؛ هل تريد تجربتها مرة أخرى؟". هذا يمكن أن يساعد في إنشاء فصول دراسية "ذكية" تتكيف مع طريقة تعلمك في الوقت الفعلي.
باختصار: تعلم لغة الإشارة في الواقع الافتراضي لا يتعلق بعدد المرات التي تضغط فيها على "إعادة". بل يتعلق بإبقاء عينيك على الهدف ومنح عقلك لحظة لهضم المعلومات. يمكن للكمبيوتر رؤية هذا التركيز، وهذا التركيز هو مفتاح النجاح.
إليك ملخص تقني مفصل للورقة البحثية بعنوان: "الارتباط السلوكي في تعلم لغة الإشارة القائم على الواقع الافتراضي: الانتباه البصري كمؤشر للأداء والديناميكيات الزمنية."
1. بيان المشكلة
بينما أظهر الواقع الافتراضي (VR) إمكانات واعدة في تعليم لغة الإشارة، إلا أن هناك فجوة حرجة تكمن في فهم كيفية ارتباط مؤشرات الارتباط السلوكي الموضوعية المستخرجة من تفاعلات المتعلمين بالنتائج التعليمية الفعلية. تركز معظم الدراسات الحالية على الفعالية العامة أو سهولة الاستخدام، لكنها تفتقر إلى تحليل منهجي لكيفية تنبؤ آثار سلوكية محددة (مثل أنماط التحديق أو سجلات التفاعل) بالأداء. علاوة على ذلك، هناك بحث محدود حول الديناميكيات الزمنية للارتباط — أي كيف يتطور الانتباه لحظة بلحظة خلال جلسات التعلم الغامرة. تعالج هذه الدراسة هذه الفجوات من خلال استقصاء ما إذا كان يمكن للمقاييس السلوكية المستمدة آليًا التنبؤ بالنجاح في تعلم بيئة لغة الإشارة بالواقع الافتراضي، وكيف تتغير أنماط الارتباط بمرور الوقت.
2. المنهجية
الإعداد التجريبي والتطبيق
التطبيق: استخدمت الدراسة تطبيق SONAR، وهو تطبيق واقع افتراضي تم تطويره ضمن مشروع ISENSE. يحاكي التطبيق فصلًا جامعيًا حيث يتفاعل طالب سامع مع شخصية رمزية (Avatar) صماء تُدعى (Essie) لتعلم عبارات أساسية في لغة الإشارة.
المراحل: تتكون التجربة من مرحلتين:
التدريب: مشاهدة ذاتية التوجيه لـ 12 فيديو تعليمي. يمكن للمستخدمين إعادة تشغيل الفيديوهات ومراقبة الإشارات من منظور الشخص الأول.
التحقق: اختبار (Quiz) حيث يجب على المستخدمين اختيار فيديو الإشارة الصحيح المقابل للعبارة، وذلك لاختبار القدرة على الاسترجاع.
الأجهزة: نظارات Meta Quest (تتبع حركة 6 درجات من الحرية 6DoF) باستخدام تتبع اليد بدون وحدات تحكم لزيادة الانغماس وضمان توفر اليدين باستمرار لممارسة الإشارة.
المشاركون: 117 طالبًا جامعيًا (86% ليس لديهم خبرة سابقة في لغة الإشارة؛ 56.1% ليس لديهم خبرة سابقة في الواقع الافتراضي).
المؤشرات السلوكية (الميزات)
حددت الدراسة ثلاثة مقاييس ارتباط مستمدة آليًا:
الانتباه البصري (VA): نسبة الوقت الذي يتجه فيه وضع رأس المستخدم (الذي يُستخدم كبديل للتحديق نظرًا لعدم وجود تتبع للعين في أجهزة الواقع الافتري الاستهلاكية) نحو شاشة الفيديو التي تعرض الموقع (Signer).
تكرار إعادة تشغيل الفيديو (VRF): عدد المرات التي يتم فيها إعادة تشغيل فيديو التدريب، مقسومًا على إجمالي وقت الجلسة.
وقت المشاهدة بعد التشغيل (PPVT): المدة التي يظل فيها الفيديو مرئيًا على الشاشة بعد انتهاء التشغيل وقبل انتقال المستخدم إلى الفيديو التالي أو إعادة تشغيله. ويعمل هذا كبديل للمعالجة المعرفية بعد العرض (مثل المحاكاة الذهنية).
النهج التحليلي
تحليل الارتباط: تم حساب معاملات ارتباط بيرسون بين المؤشرات السلوكية الثلاثة وأداء الاختبار (عدد الإجابات الصحيحة).
نمذجة الانحدار: تم استخدام نموذج خطي عام ثنائي الحدين (Binomial GLM) مع دالة ربط لوجيت (logit link function) للتنبؤ بنسبة الإجابات الصحيحة باستخدام متغيرات VA وPPVT وVRF المعيارية كمؤشرات.
التحليل الزمني: تم تجميع آثار الانتباه البصري (VA) لحظة بلحظة عبر جميع المشاركين لتوصيف تطور الارتباط خلال مرحلتي التدريب والتحقق.
3. المساهمات الرئيسية
الصلاحية التنبؤية للآثار السلوكية: تثبت الدراسة أن مقاييس ارتباط محددة ومُلتقطة آليًا (VA وPPV) هي مؤشرات قوية لأداء التعلم في تدريب لغة الإشارة القائم على الواقع الافتراضي.
جودة مقابل كمية الارتباط: تتحدى الدراسة الافتراض بأن التكرار المتكرر (إعادة تشغيل الفيديوهات) يعني تعلمًا أفضل، حيث أثبتت أن جودة الانتباه (التركيز المستدام والمعالجة بعد التشغيل) أكثر أهمية من كمية عمليات إعادة التشغيل.
ديناميكيات الارتباط الزمني: تقدم الورقة ملفًا زمنيًا دقيقًا لارتباط المستخدم، مما يكشف عن مراحل متميزة من التكيف، ودورات انتباه تذبذبية أثناء التعلم، وذروات انتباه محددة أثناء التقييم.
إطار تحليلي قابل للتوسع: من خلال استخدام بيانات وضع الرأس بدلاً من أجهزة تتبع العين المتخصصة، تقترح الدراسة طريقة قابلة للتوسع لتحليلات الارتباط في تطبيقات التعليم بالواقع الافتري الاستهلاكية.
4. النتائج
نتائج الارتباط والانحدار (RQ1)
الانتباه البصري (VA): أظهر أقوى ارتباط إيجابي مع أداء الاختبار (r=0.76,p<0.001). في نموذج GLM، كان VA مؤشرًا عالي الأهمية (نسبة الأرجحية ≈2.13)، مما يشير إلى أن زيادة انحراف معياري واحد في VA تضاعف أكثر من احتمالية الإجابة الصحيحة.
وقت المشاهدة بعد التشغيل (PPVT): أظهر أيضًا ارتباطًا إيجابيًا قويًا (r=0.66,p<0.001) وكان مؤشرًا مهمًا في نموذج GLM (نسبة الأرجحية ≈1.55). يشير هذا إلى أن الوقت المستغرق في مراجعة المحتوى بعد التشغيل أمر بالغ الأهمية للترسيخ.
تكرار إعادة تشغيل الفيديو (VRF): أظهر ارتباطًا ضئيلًا وغير معتد به إحصائيًا مع الأداء (r=0.02,p=0.811). كان معامل نموذج GLM قريبًا من الصفر، مما يشير إلى أن إعادة تشغيل الفيديوهات لا يتنبأ بالنجاح بشكل مستقل بمجرد أخذ VA وPPVT في الاعتبار.
أداء النموذج: حقق نموذج GLM ثنائي الحدين قيمة Cox-Snell pseudo-R2 بلغت 0.83، مما يشير إلى أن الجمع بين VA وPPVT يفسر جزءًا كبيرًا من التباين في نتائج التعلم.
الديناميكيات الزمنية (RQ2)
التكيف: أظهر VA تصاعدًا تدريجيًا في بداية الجلسة مع تعود المستخدمين على بيئة الواقع الافتراضي.
الأنماط التذبذبية: خلال مرحلة التدريب، أظهر VA 12 ذروة متميزة تتوافق مع الـ 12 فيديو تعليمي. بين الذروات، انخفض VA، مما يشير إلى نمط من التركيز العالي خلال الأجزاء الكثيفة بالمعلومات يليه فترات من المعالجة الداخلية أو التأمل.
مرحلة التحقق: حدث انتقال إلى خط أساس أقل قبل مرحلة التحقق، تبعه مجموعة ثانية من 12 ذروة تتوافق مع عناصر الاختبار، مما يشير إلى تجدد الانتباه المدفوع بالمهمة أثناء التقييم.
الإنهاء: حدث انهيار حاد في VA فور انتهاء الجلسة، مما يؤكد أن أنماط الانتباه الملحوظة كانت مدفوعة بالمهمة ومرتبطة بالمثيرات.
5. الأهمية والآثار المترتبة
الأثر النظري: توسع النتائج نظرية الحمل المعرفي ومبادئ التعلم المجسد لتشمل سياقات لغة الإشارة في الواقع الافتراضي، مؤكدة أن الانتباه البصري المستدام والمعالجة بعد العرض ضروريان لترميز المعلومات الحركية واللغوية المعقدة.
التطبيق العملي: يمكن حساب هذه المقاييس في الوقت الفعلي لتمكين تحليلات التعلم المدركة للانتباه. يمكن للأنظمة استخدام بيانات VA وPPVT لتفعيل تدخلات تكيفية، مثل:
حث المستخدمين على إعادة التركيز إذا انخفض الانتباه.
اقتراح مراجعة مستهدفة للمحتوى إذا كان PPVT غير كافٍ.
تجنب المقاطعات غير الضرورية خلال مراحل الارتباط العالي.
الاتجاهات المستقبلية: يشير المؤلفون إلى أنه بينما هذه الدراسة ارتباطية، يجب أن تتضمن الأعمال المستقبلية تصميمات تجريبية لإثبات السببية. بالإضافة إلى ذلك، يُوصى بتوسيع هذه النتائج لتشمل مجموعات سكانية متنوعة (مثل الأطفال أو كبار السن) ومهام لغة إشارة أكثر تعقيدًا للتحقق من عمومية أنماط الارتباط هذه.
في الختام، تثبت هذه الورقة أن الانتباه البصري المستدام والمعالجة الاستراتيجية بعد التشغيل هما المحركان الأساسيان للنجاح في تعلم لغة الإشارة عبر الواقع الافتراضي، مما يوفر إطارًا قويًا قائمًا على البيانات لتطوير أدوات تعليمية غامرة وتكيفية وشاملة.