Relational Visual Similarity

إليك ملخص تقني مفصل لورقة البحث بعنوان "التشابه البصري العلاقاتي" (Relational Visual Similarity).

1. بيان المشكلة

تركز نماذج التشابه البصري الحالية (مثل LPIPS وCLIP وDINO) بشكل أساسي على تشابه السمات (Attribute Similarity). تحدد هذه النماذج التشابه بناءً على الميزات الإدراكية المشتركة مثل اللون، والشكل، والملمس، والنوع الدلالي. وبينما تعد هذه النماذج فعالة في مهام مثل التعرف على الأشياء، إلا أنها تفشل في التقاط التشابه العلاقاتي (Relational Similarity) — وهي القدرة البشرية على إدراك التشابه بناءً على هياكل منطقية مجردة، أو علاقات وظيفية، أو تحولات بين العناصر البصرية، حتى عندما تختلف المظاهر السطحية اختلافًا جذريًا.

• الفجوة: يمكن للبشر إدراك أن تسلسل احتراق عود ثقاب يشبه تسلسل نضوج موزة، لأن كليهما يمثل "تحولاً عبر الزمن"، رغم عدم وجود سمات بصرية مشتركة بينهما. النماذج الحالية لا تستطيع إجراء هذا الربط.
• التحدي: كيف يمكن قياس ونمذجة التشابه البصري الذي يعتمد على المنطق العلاقاتي بدلاً من المحتوى المرئي، وكيف يمكن تقريب هذه الصور من بعضها البعض في فضاء التمثيل.

2. المنهجية

يقترح المؤلفون إطار عمل يسمى التشابه البصري العلاقاتي (RelSim)، والذي يستفيد من نماذج الرؤية واللغة (VLMs) ومسار مبتكر لبناء مجموعة بيانات لالتقاط المنطق العلاقاتي.

أ. بناء مجموعة البيانات (114 ألف زوج من الصور والتعليقات المجهولة)

بما أنه لا توجد مجموعة بيانات حالية تلتقط التشابه العلاقاتي، فقد قام المؤلفون بتنسيق مجموعة بيانات جديدة من خلال عملية مكونة من ثلاث خطوات:

1. تصفية الصور: قاموا بتصفية مجموعة بيانات LAION-2B الضخمة لتحديد الصور "المثيرة للاهتمام علاقاتيًا" (تلك التي تحتوي على هياكل علاقاتية قابلة للنقل بدلاً من مجرد أشياء ثابتة). تم استخدام نموذج Qwen2.5-VL-7B-Instruct مضبوط بدقة لتصنيف الصور، مما نتج عنه 114,000 مرشح عالي الجودة.
2. التعليق المجهول (Anonymous Captioning): لتجريد الأشياء المحددة والتركيز على المنطق، قام المؤلفون بتنسيق 532 مجموعة من الصور التي تشترك في نفس النمط العلاقاتي الأساسي (على سبيل المثال، مجموعة من الصور التي تظهر "تحول موضوع ما عبر الزمن").
   • تم استخدام نموذج VLM مجمد مع هذه المجموعات لتوليد تعليقات مجهولة.
   • تستبدل هذه التعليقات أسماء الأشياء المحددة بعناصر نائبة (مثل {subject} و {object}) لوصف المنطق العلاقاتي (مثل "{subject} يبرز مقابل خلفية رمادية" أو "تحول الـ {subject} عبر الزمن").
   • يؤدي هذا إلى إنشاء مجموعة بيانات من أزواج {الصورة، التعليق المجهول} حيث يشفر التعليق المنطق العلاقاتي بدلاً من المحتوى البصري.
3. هدف التدريب:
   • المُشفر البصري ($f_V$): يتم استخدام نموذج VLM (وهو Qwen2.5-VL-7B-Instruct) كمستخرج للميزات البصرية. وخلافًا لمشفرات الرؤية البحتة، تدمج نماذج VLMs المعرفة العالمية الضرورية للاستدلال العلاقاتي.
   • المُشفر النصي ($f_T$): يقوم مشفر نصي قياسي (all-MiniLM-L6-v2) بتشفير التعليقات المجهولة.
   • دالة الخسارة (Loss Function): يتم تدريب النموذج باستخدام خسارة التباين InfoNCE. الهدف هو تعظيم تشابه جيب التمام (cosine similarity) بين التضمين البصري للصورة وتضمين التعليق المجهول المقابل لها، مع تقليل التشابه مع التعليقات الأخرى في الدفعة (batch).

ب. بنية النموذج

• العمود الفقري (Backbone): Qwen2.5-VL-7B-Instruct.
• استراتيجية التدريب: يتم ضبط المُشفر البصري باستخدام تقنية LoRA (التكيف منخفض الرتبة) لمدة 15 ألف تكرار. يتم إلحاق رمز استعلام قابل للتعلم (learnable query token) بمدخل الصورة لتوجيه استخراج الميزات العلاقاتية.
• الاستنتاج: لقياس التشابه بين صورتين، يستخرج النموذج التضمينات البصرية ويحسب تشابه جيب التمام بينهما. يتعلم النموذج ضمنيًا محاذاة الصور التي قد تولد تعليقات مجهولة متشابهة.

3. المساهمات الرئيسية

1. مفهوم جديد: تعريف وصياغة التشابه البصري العلاقاتي كبعد متميز وقابل للقياس للتشابه الصوري، ليكمل التشابه التقليدي القائم على السمات.
2. مجموعة بيانات مبتكرة: إنشاء مجموعة بيانات مكونة من 114 ألف زوج من {الصورة، التعليق المجهول}، مصممة خصيصًا لالتقاط المنطق العلاقاتي المجرد والتجريد بدلاً من الدلالات السطحية.
3. مقياس جديد (RelSim): تطوير مقياس مضبوط نجح في التقاط التشابه العلاقاتي، متفوقًا على جميع الخطوط المرجعية (baselines) الحالية.
4. التحليل التجريبي: إثبات أن النماذج الحالية المتطورة (CLIP, DINO, LPIPS) تفشل في التقاط التشابه العلاقاتي، حتى عند ضبطها بدقة، مما يسلط الض الضوء على فجوة حرجة في الحوسبة البصرية.
5. التطبيقات: التحقق من فائدة RelSim في استرجاع الصور العلاقاتي والتوليد الصوري القياسي (Analogical Image Generation).

4. النتائج التجريبية

قام المؤلفون بتقييم RelSim مقابل الخطوط المرجعية (LPIPS, DINO, DreamSim, CLIP-I, وطرق الاسترجاع القائمة على التعليقات) باستخدام كل من التقييم الآلي والتقييم البشري.

• التقييم الآلي (حكم GPT-4o):

  • في مهمة الاسترجاع، قام GPT-4o بتسجيل التشابه العلاقاتي للصور المسترجعة على مقياس من 0 إلى 10.
  • النتائج: سجلت المقاييس الحالية بين 4.56 (LPIPS) و 5.91 (CLIP-I).
  • RelSim: حقق أعلى درجة وهي 6.77، متفوقًا بشكل كبير على جميع الخطوط المرجعية.
  • الدراسة الاستبعادية (Ablation): أدى ضبط مشفرات الرؤية البحتة (CLIP/DINO) باستخدام التعليقات المجهولة إلى تحسين درجاتها قليلاً، لكنها ظلت دون مستوى نموذج RelSim القائم على VLM، مما يثبت أن المعرفة العالمية (من LLM) ضرورية للاستدلال العلاقاتي.

• التقييم البشري (دراسة المستخدم):

  • طُلب من المشاركين اختيار أي من صورتين مسترجعتين كانت أكثر تشابهاً علاقاتياً مع الاستعلام.
  • النتائج: فضل المستخدمون RelSim على الخطوط المرجعية في 42.5% إلى 60.7% من الحالات (اعتمادًا على الخط المرجعي)، مع أعلى تفضيل ضد CLIP-I بنسبة 59.7%. وهذا يؤكد أن البشر يدركون التشابه العلاقاتي وأن RelSim يتوافق مع الحدس البشري.

• التحليل النوعي:

  • الاسترجاء (Retrieval): نجح RelSim في استرجاع صور ذات أشياء مختلفة ولكن بمنطق متطابق (على سبيل المثال، العثور على تسلسل "نضوج الموز" عند الاستعلام عن تسلسل "احتراق عود الماتش")، بينما استرجع CLIP صورًا متشابهة بصريًا ولكن غير مرتبطة منطقيًا.
  • التوليد (Generation): في مهام التوليد الصوري القياسي، استُخدم RelSim لتقييم مدى قدرة النماذج على الحفاظ على "الفكرة الأساسية" لصورة المدخلات. حققت النماذج المملوكة (مثل GPT-4o, Nano-Banana) درجات RelSim أعلى (0.82–0.84) من النماذج مفتوحة المصدر (0.71–0.74)، مما يشير إلى وجود فجوة في قدرتها على نقل الهياكل العلاقاتية العميقة.

5. الأهمية والتوجهات المستقبلية

• سد الفجوة: يعمل هذا العمل على جسر الهوة بين العلوم المعرفية والرؤية الحاسوبية، موضحًا أن الفهم البصري الشبيه بالبشر يتطلب الاستدلال حول العلاقات، وليس فقط التعرف على السمات.
• التطبيقات: يتيح هذا المقياس قدرات جديدة في البحث الإبداعي (البحث عن الإلهام بناءً على المنطق بدلاً من المظهر) والتوليد القياسي (نقل الأفكار المفاهيمية عبر مجالات مختلفة).
• القيود والعمل المستقبلي:
  • تعتمد مجموعة البيانات الحالية على مجموعات منسقة يدويًا (532 مجموعة)، مما يحد من قابليتها للتوسع وقد يدخل التحيز.
  • يمكن لنموذج التعليق المجهول أن يهلوس أو يظهر تحيزات.
  • يهدف العمل المستقبلي إلى أتمتة توسيع مجموعات المنطق العلاقاتي وتطوير طرق للتعامل مع خرائط علاقاتية متعددة وصحيحة لصورة واحدة.

في الختام، يمثل RelSim تحولًا في النموذج من "ماذا تبدو الصورة" إلى "ماذا تمثل الصورة منطقيًا"، مما يقدم خطوة حاسمة نحو ذكاء بصري أكثر شبهاً بالبشر.