SERUM: State Extraction and Refinement for User Modeling
تقدم الورقة البحثية إطار عمل SERUM، وهو إطار عمل متعدد المراحل يستفيد من التوسيم الهرمي للنماذج اللغوية البصرية (VLM) والتحسين التكراري لاستخراج نماذج سلوك المستخدم المهيكلة والقابلة للتفسير تلقائياً من فيديوهات الشاشة من منظور الشخص الأول غير المهيكلة، مما يحسن بشكل كبير من دقة التنبؤ وتماسك الملصقات مقارنة بالطرق أحادية المرحلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يكون مساعداً وفياً. لكي تفعل ذلك، يحتاج الروبوت إلى فهم ليس فقط ما تفعله الآن، بل لماذا تفعله وما ستفعله على الأرجح بعد ذلك. هذا هو عالم "نمذجة المستخدم"، وهو فرع من فروع الذكاء الاصطناعي حيث تحاول الحواسيب بناء خريطة ذهنية للسلوك البشري. عادةً، لبناء هذه الخرائط، يتعين على العلماء مشاهدة ساعات من الفيديو يدوياً وتدوين كل فعل بدقة، مثل لعبة "أنا أرى" (I Spy) بطيئة جداً ومكلفة للغاية. ولكن ماذا لو استطعنا فقط تسليم الروبوت فيديو خام ليوم شخص ما وتركه يستنتج الأنماط بنفسه؟ هذا هو السؤال الكبير الذي تعالجه هذه الورقة البحثية: هل يمكننا تحويل مقاطع الفيديو الفوضوية وغير المنظمة إلى قصة واضحة ومنظمة عن النوايا البشرية دون الحاجة إلى إنسان يكتب تسمية توضيحية واحدة؟
تقدم الورقة نظاماً جديداً يسمى SERUM (استخراج الحالة وصقلها لنمذجة المستخدم). فكر في SERUM كأنه محقق صبور وذكي للغاية يشاهد الفيديو ليس لمرة واحدة فقط، بل مرات عديدة، ويصبح أفضل في أداء المهمة مع كل مشاهدة.
في البداية، إذا طلبت من ذكاء اصطناعي قياسي وصف فيديو، فقد يقول: "الشخص يمسك بمثقاب"، ثم "الشخص ينظر إلى صندوق"، ثم "الشخص يضغط على زر". إنه يرى الأفعال، لكنه يفتقد الصورة الكبيرة. هو لا يعرف أن كل هذه الأفعال الصغيرة هي في الواقع جزء من هدف واحد كبير: "إصلاح مكيف الهواء". والأسوأ من ذلك، إذا شاهد الذكاء الاصطناعي الفيديو إطاراً تلو الآخر دون تذكر ما حدث قبل خمس ثوانٍ، فقد يصاب بالارتباك، فيسمي نفس الفعل "تنظيف الخضروات" في ثانية و"شطف المنتجات" في الثانية التالية. هذا ما يسمى بـ "الهلوسة" و"الخلط الزمني"؛ أي أن الذكاء الاصطناعي يختلق أشياء أو يخلط الجدول الزمني لأنه يفتقر إلى السياق.
يعالج SERUM هذه المشكلة باستخدام استراتيجية "متعددة المراحل" ذكية. تخيل أنك تحاول حل لغز معقد. في محاولتك الأولى، قد تضع القطع الطرفية فقط وتخمن الصورة. في محاولتك الثانية، تنظر إلى الصورة التي بدأت في بنائها وتدرك: "أوه، هذه القطعة ليست سحابة في السماء، بل هي جزء من جبل!". أنت تعدل تخمينك. يفعل SERUM الشيء نفسه مع الفيديو. فهو يمر عبر الفيديو عدة مرات:
- المرحلة الأولى: ينظر إلى الإطارات ويعطي وصفاً تقريبياً للأفعال (مثل "الكتابة على لوحة المفاتيح").
- المرحلة الثانية: ينظر إلى تلك الأفعال ويحاول تخمين النية أو الهدف (مثل "كتابة الكود البرمجي").
- المرحلة الثالثة: يعود إلى الأفعال، ولكن هذه المرة، يستخدم تخمين "النية" الجديد لتنقيح وصف الفعل. ربما لم يكن "الكتابة على لوحة المفاتيح" مجرد كتابة، بل كان "تصحيح الكود البرمجي".
- المرحلة الرابعة: يقوم بصقل "النية" مرة أخرى بناءً على تسميات الأفعال الأكثر دقة.
يستمر النظام في الدوران حول الفيديو، متنقلاً بين تخمين الأفعال وتخمين الأهداف، مستخدماً "ذاكرة" الجولة السابقة لتصحيح الأخطاء. وجد المؤلفون أنه بعد حوالي 8 جولات من هذا التبادل، يتوقف النظام عن تغيير رأيه. يسمون هذا "التوازن الهيكلي" (schematic equilibrium). إنه يشبه اللغز الذي يستقر أخيراً في مكانه، حيث يصل الذكاء الاصطناعي إلى مفردات مستقرة ومتسقة لوصف ما يحدث.
ولكن هناك خطوة واحدة أخيرة. نظرًا لأن الذكاء الاصطناعي مبدع، فقد يستخدم كلمات مختلفة لنفس الشيء، مثل "إصلاح المكيف" و"إصلاح نظام التكييف (HVAC)". يحتوي SERUM على مرحلة "تنظيف" نهائية حيث يستخدم أداة رياضية لإدراك أن هذين المصطلحين هما نفس الشيء ويدمجهما في تسمية واحدة واضحة. هذا يقلص قائمة الحالات المحتملة ويجعل النموذج النهائي أكثر دقة.
اختبر الفريق هذا النظام على 61 فيديو تغطي أربعة عوالم مختلفة: البرمجة، الطبخ، الأنشطة البدنية، والحياة اليومية. ووجدوا أن نماذج SERUM النهائية كانت أفضل بكثير في التنبؤ بما سيفعله الشخص بعد ذلك مقارنة باستراتيجيات التخمين البسيطة. على سبيل المثال، في فيديوهات البرمجة، نجح النظام في تحديد الفعل التالي بنسبة 76.4% بعد عملية التطبيع (normalization)، بينما نجحت استراتيجية "تخمين الشيء الأكثر شيوعاً" البسيطة بنسبة 47% فقط تقريباً.
كما قام خبراء بشريون بمراجعة النتائج. وقد وافقوا على أن التسميات من الجولة النهائية لـ SERUM كانت صحيحة بنسبة 88.3% من الوقت، وفضلوا هذه التسميات المنقحة على التخمينات الأولى الفوضوية بنسبة 82.8% من الوقت. وهذا يشير إلى أن عملية "الدوران" تساعد الذكاء الاصطناعي حقاً على فهم القصة وراء الفيديو، وليس مجرد الإطارات الفردية.
باختصار، يظهر SERUM أننا لسنا بحاجة إلى بشر لتسمية كل ثانية من الفيديو يدوياً لفهم السلوك البشري. من خلال السماح للذكاء الاصطناعي بإعادة مشاهدة وتفكير المحتوى مراراً وتكراراً، يمكننا بناء خريطة مهيكلة وموثوقة لما يفعله الناس ولماذا، مما يفتح الباب أمام مساعدين مستقبليين من الذكاء الاصطناعي يمكنهم حقاً فهم سير عملنا ومساعدتنا بشكل استباقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.