Can LLMs Reason About Attention? Towards Zero-Shot Analysis of Multimodal Classroom Behavior
تقدم هذه الورقة البحثية مسار معالجة يعتمد على وحدة معالجة رسوميات واحدة ويحافظ على الخصوصية، يستخدم بيانات الهيكل العظمي ونظرات العين التي تتم معالجتها بواسطة نموذج لغوي كبير استدلالي لإجراء تحليل صفري للمشاركة الطلابية في فيديوهات الفصول الدراسية، مما يبرز إمكانات النماذج اللغوية الكبيرة في فهم السلوك متعدد الوسائط مع تسليط الضوء على قيودها الحالية في الاستدلال المكاني.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الفصل الدراسي كمطبخ صاخب ومزدحم، حيث يحاول الطاهي (المعلم) إعداد درس رائع، لكنه لا يستطيع دائمًا معرفة ما إذا كان الزبائن (الطلاب) جائعين حقًا، أم يشعرون بالملل، أم يكتفون بمجرد التحديق في الجدار.
تقليديًا، لمعرفة ذلك، ستحتاج إلى ناقد طعام بشري يجلس في مؤخرة الغرفة ويدون الملاحظات لساعات. وهذا أمر مكلف وبطيء، كما أنه يجعل الزبائن يشعرون بالتوتر. أو يمكنك وضع كاميرا لتسجيل كل شيء، لكن هذا يبدو وكأنه تجسس ويثير مخاوف كبيرة تتعلق بالخصوصية (مثل قواعد "FERPA" في المدارس التي تحمي بيانات الطلاب).
خط إنتاج "درع الخصوصية السحري"
قام الباحثون (Platt et al) ببناء نظام جديد يعمل مثل مساعد طاهٍ ذكي للغاية ومهووس بالخصوصية. وإليك كيف يعمل، خطوة بختوة:
خدعة "التغبيش والمحو":
يراقب النظام بث الفيديو، ولكن في اللحظة التي يرى فيها وجهًا، يقوم فورًا بتطبيق مرشح "تغبيش" كثيف — مثل مسح إصبع على عدسة الكاميرا. ثم يقوم بعد ذلك مباشرة بحذف الفيديو الأصلي. الأمر كما لو أن النظام ينظر إلى شخص ما، ثم يرسم مخططًا لشخص عصوي على ورقة، وبعد ذلك يحرق صورة الشخص الحقيقي. لا يمكن لأحد أبدًا رؤية من كان في الغرفة؛ فقط تظل تلك الأشكال العصوية موجودة.مترجم "الشخص العصوي":
يستخدم النظام أداتين خاصتين:
- OpenPose: تقوم بتحويل الطالب المغبش إلى شخص عصوي رقمي، يتتبع أين توجد رأسه، وذراعيه، وساقيه.
- Gaze-LLE: تعمل مثل مؤشر الليزر، حيث تخمن بدقة أين ينظر نظر الطالب (إلى السبورة؟ إلى حاسوبه المحمول؟ إلى النافذة؟).
- النتيجة: بدلًا من الفيديو، يمتلك الكمبيوتر الآن ملفًا نصيًا بسيطًا (JSON) مليئًا بالإحداثيات، مثل شفرة سرية تصف الحركة.
- المحلل "ذو العقل الفائق" (النموذج اللغوي الكبير - LLM):
هنا يحدث السحر. يقوم النظام بتغذية هذه الأكواد الخاصة بالشخص العصوي وبيانات اتجاه العين في عقل اصطناعي ضخم يسمى QwQ-32B.
- فكر في هذا الذكاء الاصطناعي كأنه محقق لم يقابل الطلاب قط، لكنه بارع للغاية في قراءة لغة الجسد.
- لا يحتاج الذكاء الاصطناعي إلى التدريب على فيديوهات فصل دراسي محددة. هو فقط ينظر إلى بيانات الشخص العصوي ويقول: "آه، في الساعة 10:15 صباحًا، مال الفصل بأكمله للأمام ونظر إلى الشاشة. هذا يعني أنهم كانوا مندمجين! لكن في الساعة 10:30 صباحًا، انحنى الجميع وتحدقوا في هواتفهم. هذه هي 'منطقة الملل'."
- "لوحة تحكم المعلم":
يحصل المعلم على صفحة ويب بسيطة تعرض:
- الخرائط الحرارية (Heatmaps): خريطة ملونة للغرفة توضح أين تركزت العيون (مثل خريطة الطقس التي تظهر هطول الأمطار).
- الجدول الزمني: رسم بياني يوضح متى كان الفصل "مستيقظًا" ومتى كان "نائمًا".
الأخبار الجيدة و"الخلل"
وجد الباحثون أن هذا النظام جيد جدًا في رصد الأنماط الزمنية. فهو يعرف متى ينتبه الفصل ومتى يفقدون التركيز. إنه مثل الساعة الذكية التي تخبرك بارتفاع معدل ضربات قلبك.
ومع ذلك، هناك عقبة: لا يزال الذكاء الاصطناعي سيئًا نوعًا ما في فهم الفضاء ثلاثي الأبعاد.
- التشبيه: تخيل أن الذكاء الاصطناعي يرى طالبًا ينظر إلى جهة "اليسار". المعلم البشري يعرف: "أوه، السبورة البيضاء على اليسار، إذًا هو ينتبه". أما الذكاء الاصطناعي، فقد يعتقد: "إنه ينظر لليسار! لا بد أنه مشتت!".
- يعاني الذكاء الاصطناعي في فهم تخطيط الغرفة (أين الشاشة، الباب، أو النوافذ). الأمر يشبه امتلاك عبقري يمكنه قراءة قصة ببراعة، لكنه يضيع إذا طُلب منه التنقل في متاهة.
لماذا هذا مهم؟
هذه الورقة البحثية هي إثبات لمفهوم (Proof-of-concept) يوضح أنه يمكننا استخدام الذكاء الاصطناعي لمساعدة المعلمين على فهم طلابهم دون انتهاك خصوصيتهم أبدًا. إنها تثبت أننا لسنا بحاجة لتسجيل الوجوه لنعرف ما إذا كان الدرس ناجحًا أم لا.
المستقبل
يخطط الباحثون لإصلاح "الارتباك المكاني" من خلال تزويد الذكاء الاصطناعي بخريطة للفصل الدراسي (إخباره بمكان السبورة والنوافذ بالضبط). كما يريدون جعل النظام أسرع بحيث يمكنه التعامل مع فصول دراسية متعددة في وقت واحد، لتحويل هذا من "تجربة فردية" إلى أداة قياسية للمدارس في كل مكان.
باختصار: لقد بنوا نظامًا يحول الطلاب إلى شخصيات عصوية غير مرئية، ويسمح لذكاء اصطناعي فائق ببراعة بقراءة لغة جسدهم لمساعدة المعلمين على التحسن، ثم يحذف الأدلة حتى لا يتم المساس بخصوصية أي شخص أبدًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.