Omni-Persona: Systematic Benchmarking and Improving Omnimodal Personalization
تقدم هذه الورقة البحثية "Omni-Persona"، وهو أول معيار شامل للتخصيص متعدد الوسائط (omnimodal) يوحد تقييم النصوص والصور والصوت باستخدام مقياس "الدقة المعايرة" (Calibrated Accuracy) المبتكر، مما يكشف عن فجوات حرجة في قدرات التأسيس (grounding) لدى النماذج الحالية ومحدودية أساليب ما بعد التدريب الحالية مثل الضبط الدقيق الخاضع للإشراف (SFT) والتعلم المعزز من التغذية الراجعة عبر التحقق (RLVR).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً رقمياً فائق الذكاء يمكنه رؤية الصور، وسماع الأصوات، وقراءة النصوص في آن واحد. هذا هو عالم الذكاء الاصطناعي "متعدد الوسائط" (omnimodal)، حيث يحاول عقل واحد فهم العالم من خلال العيون والآذان والكلمات في وقت واحد. لكن هناك جزءاً صعباً: وهو جعل هذا المساعد "شخصياً" حقاً. فأنت تريده أن يتعرف على وجهك أنت وسط الحشد، ويعرف صوتك أنت من بين أصوات الغرباء، ويتذكر قصصك المفضلة. ومع ذلك، فإن الحياة الواقعية فوضوية؛ فأحياناً تسأل: "من هذا؟" ويكون الشخص غير موجود أصلاً. المساعد الذكي حقاً لا ينبغي له أن يخمن فحسب، بل يجب أن يعرف متى يقول: "لا أعرف".
لفترة طويلة، اختبر الباحثون هؤلاء المساعدين في الغالب على الصور والكلمات، متجاهلين الجزء المتعلق بالصوت. كما اختبروهم غالباً في غرف مثالية ونظيفة حيث تكون الإجابة موجودة ومضمونة. تقدم هذه الورقة البحثية اختباراً جديداً وأكثر صعوبة يسمى Omni-Persona. فكر في هذا الاختبار كأنه "اختبار جهد" للذكاء الاصطناعي الشخصي. فبدلاً من مجرد السؤال: "هل حصل على الإجابة الصحيحة؟" (وهو ما يشبه التحقق مما إذا كان الطالب قد حفظ الكتاب المدرسي)، يسأل هذا الاختبار: "هل عرف متى لا يجيب؟". إنه يتحقق مما إذا كان بإمكان الذكاء الاصطناعي التعامل مع ضجيج العالم الحقيقي، حيث قد يكون الشخص الذي تسأل عنه غائباً تماماً عن ذاكرة النظام.
قام الباحثون ببناء ساحة لعب ضخمة تحتوي على حوالي 750 سيناريو مختلفاً لمعرفة مدى قدرة نماذج الذكاء الاصطناعي الحالية على التعامل معها. لقد أنشأوا نظاماً يسمى Persona Modality Graph، وهو يشبه شبكة ضخية من الروابط. كل شخص في ذاكرة الذكاء الاصطناعي هو "عقدة" تتكون من ثلاثة خيوط: صورة، ومقطع صوتي، وسيرة ذاتية نصية. عندما تطرح سؤالاً، يتعين على الذكاء الاصطناعي العثين على الخيط الصحيح في الشبكة وسحب الخيط المناسب. يتضمن الاختبار أربعة أنواع رئيسية من التحديات: مطابقة وجه بوجه، وصوت بصوت، وخيط نصي بسيرة ذاتية نصية، والتحدي الأصعب وهو استخدام خيط نصي للعثور على شخص بناءً على صوته أو صورته. ومن الأهمية بمكان أن حوالي نصف هذه الأسئلة هي "أسئلة خدعة" حيث لا يكون الشخص الذي تسأل عنه موجوداً في الذاكرة على الإطلاق. الهدف هو معرفة ما إذا كان بإمكان الذكاء الاصطناعي أن يقول بثقة: "لا يمكنني اتخاذ قرار"، بدلاً من تأليف قصة من خياله.
أخضع الفريق عدة نماذج ذكاء اصطناعي شهيرة لهذا الاختبار القاسي، بما في ذلك نماذج من شركات تقنية كبرى وأخرى مفتوحة المصدر. وقد وجدوا بعض الأشياء المفاجئة. أولاً، النماذج أفضل بكثير في التعرف على الوجوه منها في الأصوات. الأمر يشبه امتلاكهم لعيون حادة وآذان مشوشة؛ يمكنهم تمييز الوجه بسهولة ولكنهم غالباً ما يرتبكون بسبب الصوت، حتى عندما يكون الصوت هو الخيط الوحيد المتاح. ثانياً، مجرد جعل الذكاء الاصطناعي أكبر (بإضافة المزيد من "قوة الدماغ" أو المعاملات/parameters) لا يجعله دائماً أكثر ذكاءً في كونه شخصياً. في الواقع، كانت بعض أكبر النماذج هي الأسوأ في معرفة متى يجب أن يلتزم الصمت، حيث كانت "تهلوس" (تؤلف أشياء من خيالها) عندما لا تكون الإجابة موجودة.
اختبر الفريق أيضاً طريقتين مختلفتين لتدريب هذه النماذح لتصبح أفضل. الطريقة الأولى تسمى SFT (الضبط الدقيق الخاضع للإشراف)، وهي تشبه إعطاء الذكاء الاصطناعي مجموعة ضخمة من البطاقات التعليمية (flashcards) مكتوب عليها الإجابات الصحيحة. حاول الباحثون إعطاءه 1,000 بطاقة ثم 10,000 بطاقة، لكن الذكاء الاصطناعي لم يتحسن كثيراً في التعامل مع أسئلة "الشخص المفقود" الماكرة. يبدو أن مجرد حفظ المزيد من الأمثلة لا يعلم الذكاء الاصطناعي كيفية التعامل مع عدم اليقين.
الطريقة الثانية هي RLVR (التعلم المعزز بالمكافآت القابلة للتحقق)، وهي تشبه ألعاب الفيديو. يحاول الذكاء الاصطناعي الإجابة، وإذا أجاب بشكل صحيح، يحصل على نقاط، وإذا أخطأ، يخسر نقاطاً. وجد الباحثون أن هذه الطريقة جعلت الذكاء الاصطناعي أفضل بكثير في العثور على الإجابات الصحيحة عندما يكون الشخص موجوداً. ومع ذلك، كان لهذا الأمر أثر جانبي: أصبح الذكاء الاصطناعي متلهفاً جداً للعب اللعبة. بدأ يخمن حتى عندما لا يعرف الإجابة، فقط من أجل الحصول على النقاط. هذا جعله أسوأ في درجة "الدقة المعايرة" (calibrated accuracy)—وهي طريقة منمقة للقول: "أن تكون مصيباً وتعرف أيضاً متى تتوقف". تشير الورقة إلى أنه بينما يساعد هذا التدريب الشبيه بالألعاب الذكاء الاصطناعي على العثور على الأشياء، إلا أنه يحتاج إلى "قواعد لعبة" أفضل لتعليمه متى يقول: "لا أعرف".
في النهاية، يخلص المؤلفون إلى أننا لا نزال بعيدين جداً عن الوصول إلى ذكاء اصطناعي شخصي مثالي. النماذج الحالية بارعة في التعرف على الأشياء عندما تكون أمام أعينها مباشرة، لكنها تعاني مع الواقع الفوضوي للمعلومات المفقودة. إنها واثقة جداً عندما ينبغي لها أن تكون متواضعة. لا تقدم الورقة حلاً سحرياً، لكنها توفر خريطة واضحة جداً لمواضع فشل الذكاء الاصطناعي، موضحة أن الخطوة التالية ليست مجرد جعل النماذج أكبر، بل تعليمها فن معرفة ما لا تعرفه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.