💻 computer science

Contextualized Visual Personalization in Vision-Language Models

تقدم هذه الورقة البحثية CoViP، وهو إطار عمل موحد يعالج تحدي التخصيص البصري السياقي في نماذج الرؤية واللغة من خلال صياغة المهمة، وتوظيف التعلم التعزيزي والتوليد المعزز بالتعليقات الوصفية لتحسين وصف الصور المخصص، وإثبات المكاسب الشاملة عبر مهام التخصيص اللاحقة مع التحقق من الاستخدام الحقيقي للسياق البصري من خلال تقييمات تشخيصية صارمة.

المؤلفون الأصليون: Yeongtak Oh, Sangwon Yu, Junsung Park, Han Cheol Moon, Jisoo Mok, Sungroh Yoon

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yeongtak Oh, Sangwon Yu, Junsung Park, Han Cheol Moon, Jisoo Mok, Sungroh Yoon

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة الكبرى: الذكاء الاصطناعي "فاقد الذاكرة"

تخيل أن لديك أمين مكتبة ذكي جداً ومطلع (الذكاء الاصطناعي). تعرض عليه صورة لرجل يرتدي بدلة، فيستطيع أن يقول لك: "هذا رجل يرتدي بدلة سوداء".

لكن إذا سألته: "هل تتذكر من هذا؟" سيقول لك: "لا، لم أره من قبل".

على الرغم من أنك أخبرت أمين المكتبة بالأمس: "هذا أخي جيف، وهو يكره القهوة لكنه يحب الشاي الأخضر"، إلا أن الذكاء الاصطناعي قد نسي. هو يرى الصورة ولكنه لا يستطيع ربطها بتاريخك الشخصي. الأمر يشبه امتلاك صديق يتعرف على الوجوه، لكن ليس لديه أي ذاكرة عن قصص حياتكما المشتركة.

نماذج الذكاء الاصطناعي الحالية بارعة في وصف ما تراه، لكنها سيئة جداً في تذكر من يكون هؤلاء الأشخاص بالنسبة لك تحديداً.

الحل: CoViP (الذكاء الاصطناعي "المعتمد على الذاكرة")

ابتكر الباحثون إطار عمل جديداً يسمى CoViP (التخصيص البصري السياقي). فكر في CoViP كبرنامج تدريبي يعلم الذكاء الاصطناعي كيف يصبح "خارق الذاكرة".

بدلاً من مجرد حفظ الحقائق، يعلم CoViP الذكاء الاصطناعي أن يعامل كل صورة جديدة كقطعة أحجية يجب أن تتناسب مع قصة ضخمة ومستمرة كنت ترويها له.

كيف يعمل: الوصفة المكونة من ثلاث خطوات

1. "صالة تدريب الوصف" (المهمة البديلة)

أدرك الباحثون أنه لكي يجعلوا الذكاء الاصطناعي جيداً في تذكر الأشخاص، لا ينبغي عليهم فقط سؤاله عن أسئلة عامة، بل جعلوه يتدرب على كتابة التوصيفات (Captions) للصور.

التشبيه: تخيل أنك تدرب كلباً. بدلاً من مجرد أمره بـ "الجلوس"، تجعله يجلب كرة محددة، ثم عصا محددة، ثم لعبة محددة، بينما تقوم أنت بسرد قصة مكان العثور عليها.
العملية: يُعرض على الذكاء الاصطناعي صورة جديدة وقائمة طويلة من المحادثات السابقة (ذاكرتك). وعليه أن يكتب وصفاً للصورة يدمج فيه تلك القصص الماضية.
- الذكاء الاصطناعي السيئ: "هذا رجل يرتدي بدلة."
- ذكاء CoViP الاصطناعي: "هذا جيف، أخوك! أتذكر أنك أخبرتني أنك قابلته في 'نيو ريان' في 11 أكتوبر 2025. إنه الشخص الذي أخبرك أنه لا يستطيع شرب القهوة ويشرب الشاي الأخضر فقط."

2. "المدرب الصارم" (التعلم المعزز)

كيف يتعلم الذكاء الاصطناعي القيام بذلك بإتقان؟ استخدم الباحثون طريقة تسمى التعلم المعزز (Reinforcement Learning).

التشبيه: تخيل مدرباً صارماً يراقب الذكاء الاصطناعي وهو يكتب وصفه.
- إذا نسي الذكاء الاصطناعي تفصيلاً (مثل عادة جيف في شرب الشاي الأخضر)، يعطيه المدرب "إشارة سلبية" (عقوبة).
- إذا أصاب في التفاصيل، يعطيه المدرب "إشارة إيجابية" (مكافأة).
- والأهم من ذلك، يتحقق المدرب أيضاً: "هل اخترعت قصة عن الشاي الأخضر بينما لم تظهر الصورة ذلك؟" إذا كذب الذكاء الاصطناعي أو خمن، فإنه يتعرض للعقوبة.
النتيجة: يتعلم الذكاء الاصطناعي أن يكون دقيقاً. فهو لا يسحب التفاصيل من ذاكرتك إلا إذا كان متأكداً بالفعل من أن الشخص في الصورة يطابق تلك الذاكرة.

3. "غرفة الصدى" (التوليد المعزز بالوصف)

بمجرد أن يتدرب الذكاء الاصطناعي على كتابة هذه الأوصاف التفصيلية، يستخدم الباحثون حيلة ذكية للإجابة النهائية.

التشبيه: تخيل أنك تحاول حل لغز. بدلاً من الإجابة فوراً، تقوم أولاً بهمس ملخص للأدلة لنفسك، ثم تعطي الإجابة النهائية.
العملية: عندما تسأل الذكاء الاصطناعي سؤالاً حول صورة ما، فإنه يقوم أولاً بتوليد وصف تفصيلي (الهمس)، ثم يستخدم هذا الوصف لمساعدته في الإجابة على سؤالك. هذا يضمن أن تكون الإجابة مبنية على التفاصيل المحددة التي "تذكرها" للتو.

"اختبارات الفخ" (التقييمات التشخيصية)

كان الباحثون قلقين من احتمال قيام الذكاء الاصطناعي بالغش. فكروا: "ماذا لو قرأ الذكاء الاصطناعي السؤال وخمن الإجابة دون النظر فعلياً إلى الصورة؟"

لإيقاف ذلك، أنشأوا "اختبارات فخ":

اختبار "آخر ظهور": عرضوا على الذكاء الاصطناعي صورة لشخص وسألوه: "أين رأيت هذا الشخص لآخر مرة؟" كان على الذكاء الاصطناत्मक النظر إلى الصورة، وإيجاد الشخص المطابق في ذاكرته، والتحقق من التواريخ لإيجاد أحدث تاريخ.
اختبار "الكلمة المفتاحية": أخبروا الذكاء الاصطناعي: "إذا رأيت جيف مرة أخرى، قل الكلمة السحرية 'SKS'". لاحقاً، عرضوا عليه صورة لجيف لكن دون سؤاله عن الكلمة. الذكاء الاصطناعي الذكي سيبادر بالقول: "أوه، هذا جيف! SKS!". أما الذكاء الاصطناعي الكسول فسيقول فقط: "هذا جيف".

اجتاز CoViP هذه الاختبارات بشكل أفضل بكثير من النماذج الأخرى، مما أثبت أنه لم يكن يخمن فحسب، بل كان يربط فعلياً بين النقاط البصرية وذاكرتك.

النتائج: ماذا حدث؟

الذكاء الاصطناعي القديم: كان بإمكانه وصف صورة ولكنه ينسى قصصك الشخصية. وغالباً ما فشل في ربط الوجه في الصورة بالاسم الموجود في ذاكرتك.
ذكاء CoViP الاصطناعي: أصبح أفضل بكثير في ربط المرئي (الصورة) مع النصي (قصصك). لقد تحسن في قدرته على تذكر تفاصيل محددة مثل "الشاي الأخضر" أو "11 أكتوبر" واستخدامها بشكل صحيح.
العقبة: لاحظ الباحثون أنه بينما يعد CoViP رائعاً في التذكر، فإنه لا يجعل الذكاء الاصطناعي "يهلوس" (يختلق أشياء) أكثر من المعتاد. فهو يظل متمسكاً بالحقائق التي قدمتها له.

الملخص

تقدم الورقة البحثية CoViP، وهي طريقة لتدريب الذكاء الاصطناعي ليتوقف عن كونه غريباً "فاقداً للتعرف على الوجوه" ويبدأ في كونه "صديقاً يتذكر". من خلال إجبار الذكاء الاصطناعي على التدرب على كتابة أوصاف تفصيلية غنية بالذاكرة للصور، فإنه يتعلم بطريقة طبيعية ربط الصور الجديدة بمحادثاتك الماضية. وهذا يجعل الذكاء الاصطناعي أفضل بكثير في فهم عالمك الخاص، وليس فقط العالم العام.

ملخص تقني: التخصيص البصري السياقي في نماذج الرؤية واللغة

1. تعريف المشكلة: التخصيص البصري السياقي

على الرغم من التقدم الأخير في نماذج الرؤية واللغة (VLMs)، إلا أن النهج الحالية تعاني في توليد استجابات قائمة على التاريخ البصري المحدد للمستخدم. غالبًا ما تفشل النماذج الحالية في ربط مدخل بصري (مثل شخص في صورة جديدة) بالسياق المتراكم الخاص بالمستخدم (مثل التفاعلات السابقة التي تصف عادات ذلك الشخص أو أماكن تواجده).

صاغ المؤلفون هذا التحدي تحت مسمى التخصيص البصري السياقي. يتطلب هذا النموذج من نماذج الرؤية واللغة القيام بما يلي:

التعرف على المفاهيم البصرية في صورة الاستعلام الجديدة.
استرجاع التجارب الخاصة بالمستخدم المقابلة من سياق يحتوي على حوارات متداخلة من الصور والنصوص.
دمج هذا السياق المسترجع لتوليد استجابات مخصصة.

يكمن القصور الحرج في الأعمال السابقة في الاعتماد على "الاختصارات النصية"، حيث تجيب النماذج على الأسئلة عن طريق مطابقة الكلمات المفتاحية في الحوار دون التعرف فعليًا على الكيان البصري أو ربط الاستجابة بدليل بصري. علاوة على ذلك، تركز الطرق الحالية غالبًا على تخصيص السمات البسيطة (مثل الأسماء) بدلاً من الذاكرة الحلقية المعقدة التي تتضمن إشارات بصرية ونصية دقيقة.

2. المنهجية: إطار عمل CoViP

لمعالجة هذه القيود، اقترح المؤلفون إطار عمل CoViP (التخصيص البصري السياقي عبر وصف الصور)، وهو إطار عمل موحد يعامل وصف الصور المخصص كمهام وسيطة لتعلم العملية الأساسية للتخصيص البصري السياقي.

2.1. الرؤية الجوهرية

يفترض المؤلفون أن مهام التخصيص المتنوعة تشترك في آلية أساسية واحدة: تفسير صورة الاستعلام ضمن سياق تجارب المستخدم الماضية. قاموا بتفكيك العملية الداخلية لنموذج الرؤية واللغة إلى مرحلتين:

المشفر البصري السياقي ( $h_\theta$ ): يعمل على ربط صورة الاستعلام والسياق في تمثيل كامن مخصص.
مولد المهام المحددة ( $g_\theta$ ): ينتج الاستجابة النهائية بناءً على التمثيل الكامن والمطالبة (prompt) المحددة.

بما أن $h_\theta$ مشترك عبر المهام، يرى المؤلفون أن تحسين النموذج لتوليد أوصاف صور مخصصة (والتي تعكس $h_\theta$ بشكل مباشر) سيؤدي بشكل شامل إلى تحسين قدرات التخصيص عبر جميع المهام اللاحقة.

2.2. معيار تقييم وصف الصور المخصص

لتدريب وتقييم هذه القدرة، أنشأ المؤلفون معيارًا تحديًا:

بناء مجموعة البيانات: باستخدام نماذج الرؤية واللغة التوليدية، قاموا بتخليق 2.8 ألف عينة تدريب و1.3 ألف عينة اختبار. تتضمن هذه العينات صور استعلام تحتوي على 1-4 مفاهيم (بشر، أشياء، حيوانات) وحوارات متداخلة تحتوي على عينات حوار إيجابية (ذات صلة) وسلبية (مشتتة).
بروتوكول التقييم (CapEval-QAs): لمنع النماذج من تجاوز التعرف البصري، قدم المؤلفون بروتوكول استقصاء يعتمد على الإجابة على أسئلة متعددة الخيارات (MCQA). يقوم نموذج حكم خارجي بتقييم ما إذا كان الوصف المولد يحتوي على أدلة كافية للإجابة على أسئلة واقعية مستمدة فقط من حوارات السياق الإيجابية.
- الدقة الإيجابية ( $Acc^+$ ): تقيس ما إذا كان الوصف يجيب بشكل صحيح على الأسئلة المتعلقة بالمفاهيم ذات الصلة.
- الدقة السلبية ( $Acc^-$ ): تقيس ما إذا كان الوصف يمتنع بشكل صحيح عن الإجابة (يختار "لا يمكن التحديد") بالنسبة للأسئلة المتعلقة بالمفاهيم غير ذات الصلة.

2.3. التدريب اللاحق بالتعلم التعزيزي (RL)

يستخدم إطار العمل استراتيجية تدريب لاحق تعتمد على التعلم التعزيزي لتحسين نموذج الرؤية واللغة لوصف الصور المخصص:

المكافأة القابلة للتحقق (VR): يتم تفكيك دالة المكافأة $r(s, x, c)$ $r (s, x, c)$ إلى:
- مكافأة التعرف ( $r_{vis}$ ): درجة تعتمد على مقياس F1 تقيس قدرة النموذج على تحديد أي من صور المفاهيم من السياق تظهر في صورة الاستعلام بشكل صحيح.
- مكافأة الاسترجاع ( $r_{caps}$ ): مكافأة تباينية تشجع النموذج على الإجابة على الأسئلة الإيجابية متعددة الخيارات بشكل صحيح مع تجنب الهلوسة في الأسئلة السلبية.
التحسين: يستخدم المؤلفون خوارزمية GSPO (تحسين سياسة المجموعة المتسلسلة) لتعظيم المكافأة القابلة للتحقق المتوقعة، مما يضمن استقرار التدريب على التوليد طويل المدى.

2.4. التوليد المعزز بالوصف (CAG)

عند الاستدلال، يقدم CoViP تقنية التوليد المعزز بالوصف (CAG). فبدلاً من توليد استجابة لاحقة مباشرة، يقوم النموذج أولاً بتوليد وصف وصفي $s$ مشروط بالصورة والسياق. ثم يُعاد استخدام هذا الوصف كإشارة شرطية صريحة لتوجيه توليد الاستجابة المخصصة النهائية. يتيح ذلك للنموذج الاستفيد من التفاصيل الدقيقة التي تم التقاطها خلال مرحلة وصف الصور.

2.5. التقييم التشخيصي

لاختبار التعميم بصرامة واستبعاد الاختصارات، صمم المؤلفون ثلاث مهام تشخيصية لاحقة:

كشف آخر ظهور (LSD): يتطلب تحديد أحدث لقاء مع شخص في صورة الاستعلام من تاريخ من التفاعلات المتعددة.
استدعاء آخر إجراء (LAR): يتطلب استرجاع الإجراء المحدد الذي تم القيام به خلال أحدث لقاء.
الاستدعاء المحفز بالتعليمات (ITR): يقيم التخصيص الاستباقي حيث يجب على النموذج استدعاء تعليمات كلمة رئيسية محددة يتم تحفيزها بوجود شخص بصري، حتى لو لم يتم طلب ذلك صراحة في الدور الحالي.

3. النتائج الرئيسية

تثبت التجارب المكثفة على كل من المعيار والمهام التشخيصية فعالية CoViP:

أداء المعيار: يتفوق CoViP بشكل كبير على نماذج الرؤية واللغة مفتوحة المصدر (مثل Qwen3-VL) والملكية (مثل GPT-4o وGemini-3.0 Pro). يحقق التدريب اللاحق القائم على التعلم التعزيزي زيادة في الأداء بمتوسط تقريبي قدره 40% في الدقة الإيجابية ( $Acc^+$ ) عبر مختلف تعقيدات المفاهيم.
التعميم في المهام اللاحقة: يحسن CoViP باستمرار الأداء عبر جميع المهام التشخيصية (LSD، LAR، IR). ومن الملاحظ أنه بينما تظهر النماذج المملوكة سلوكًا غير مستقر أو مكاسب مرتبطة بمهام محددة، يوفر CoVip تحسينات شاملة.
تأثير CAG: يؤدي تطبيق CAG إلى تعزيز الأداء بشكل أكبر، خاصة بالنسبة لـ CoViP، من خلال الاستفادة من المعلومات السياقية التفصيلية الملتقطة في الوصف المولد. في المقابل، فإن تطبيق CAG على النماذج المرجعية بدون التدريب اللاحق المحدد يؤدي غالبًا إلى انخفاض في الأداء، مما يسلط الضوء على ضرورة مرحلة التدريب المسبق لوصف الصور.
دراسات الاستئصال: تؤكد النتائج أن كلاً من مكوني التعرف ( $r_{vis}$ ) والاسترجاع ( $r_{caps}$ ) في المكافأة ضروريان. علاوة على ذلك، فإن استخدام GSPO وتصفية التدهور (لمنع المخرجات المتكررة) أمر بالغ الأهمية لاستقرار التدريب والأداء.

4. الأهمية والمساهمات

يدعي البحث المساهمات التالية:

نموذج جديد: صاغ مفهوم التخصيص البصري السياقي، محولًا التركيز من مجرد استرجاع السمات البسيطة إلى ربط الفهم البصري بالتاريخ الحلقي الخاص بالمستخدم.
إطار عمل موحد (CoViP): قدم إطار عمل يشغل هذا المفهوم من خلال وصف الصور المخصص، والتدريب اللاحق القائم على التعلم التعزيزي، والتوليد المعزز بالوصف، مما يثبت أن مهمة وسيطة واحدة يمكن أن تعزز قدرات متنوعة لاحقة.
التقييم التشخيصي: اقترح مجموعة من المهام التشخيصية وبروتوكولات التقييم (CapEval-QAs) التي تستبعد صراحة الاختصارات النصية، مما يوفر طريقة منهجية لتحليل قيود النماذج المرجعية الحالية.
التحقق التجريبي: يوضح العمل أن نماذج الرؤية واللغة الحالية تفتقر إلى الربط السياقي القوي، وأن CoViP يحقق تحسينات ثابتة وكبيرة، مما يضعها كخطوة تأسيسية نحو تخصيص قوي وقابل للتعميم في نماذج الرؤية واللغة.

يخلص المؤلفون إلى أنه على الرغم من اعتماد معيارهم على بيانات اصطناعية، إلا أنه يضع أساسًا تشخيصيًا صارمًا. ويؤكدون أنه لتحقيق تخصيص قوي، من الضروري وجود مرحلة تدريب لاحق تركز على وصف الصور المخصص قبل تكييف النماذج مع المهام اللاحقة.