ملخص تقني: ما وراء التعديلات الثنائية: محاذاة الفضاء الفرعي الخصامي لتعديل المعرفة متعدد الوسائط القوي

1. تعريف المشكلة

تتطلب النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) آليات فعالة لتحديث المعرفة الواقعية دون إضعاف القدرات الحالية. وبينما يوفر تعديل المعرفة الجوهري (KE) تحديثات مستمرة وقوية من خلال تعديل بارامترات النموذج مباشرة، تعاني الأساليب الحالية من محدودية العمومية. وتحديدًا، تفشل النهج الحالية غالبًا في تعميم التعديلات على المدخلات المتكافئة دلاليًا عند حدوث تغيرات بصرية أو لغوية (مثل إعادة صياغة النص أو تغيير خلفيات الصور).

يحدد البحث ثلاثة تحديات جوهرية تعيق التعديل متعدد الوسائط القوي:

1. الافتقار إلى الإشراف الدلالي القابل للتوسع: لا يمكن فرض التعميم بشكل موثوق عبر أهداف إشراف بسيطة لأن المدخلات المتكافئة دلاليًا غالبًا ما تقع في مناطق متباعدة في فضاءات عالية الأبعاد ومنحنية. تقوم الأساليب الحالية بإجراء تشوهات موضعية حول عينات محدودة، مما يخلق مناطق تأثير دلالية ضيقة.
2. نطاقات التعديل الثنائية الجامدة: تفترض معظم الأساليب وجود حدود ثنائية ثابتة بين المعرفة "داخل النطاق" (المعدلة) و"خارج النطاق". هذا يبسط الطبيعة المستمرة للارتباط الدلالي بشكل مفرط، مما يجعل النماذج تعامل نطاقات التعديل كقرارات حادة بدلاً من كونها حدودًا قابلة للتعلم، مما يؤدي إلى أحكام خاطئة تحت تحولات التوزيع.
3. الارتكاز الدلالي غير الموثوق: ترتكز الأساليب الحالية في تحديثات البارامترات على عينات فردية، مما يتسبب في جعل النموذج يفرط في التكيف (overfit) مع الأنماط البصرية العرضية أو السمات اللغوية. هذا يحد من حدود التعميم ويقيد المتانة تجاه المدخلات المعاد صياغتها.

الهدف هو تحقيق تعديل معرفة قوي، ويُعرف بأنه تحديث نموذج $f_\theta$ بحيث يكون النموذج المحدث $f_{\theta'}$ قادرًا على التنبؤ بالهدف $y^*$ لجميع الأزواج $(x_v, x_t) \in K_i$ لكل وحدة معرفة $K_i$ (مجموعة من أزواج المدخلات المتكافئة دلاليًا)، مع الحفاظ على التنبؤات الخاصة بالمعرفة خارج النطاق.

2. المنهجية: إطار عمل ASAM

يقترح المؤلفون ASAM (محاذاة الفضاء الفرعي الخصامي)، وهو إطار عمل مصمم لاستيعاب المعرفة المعدلة كـ "مفهوم دلالي متسق" مستقر عبر التغيرات متعددة الوسائط. يعمل ASAM على مستوى التمثيل من خلال ثلاثة مكونات مترابطة وثيقًا:

2.1 التقوية الخصامية الكامنة (LAR)

لمعالجة الافتقار إلى الإشراف القابل للتوسع (التحدي 1)، يقدم ASAM آلية LAR، وهي آلية مدفوعة بالتدرج تولد متغيرات خصامية متنوعة ومتماسكة دلاليًا داخل الفضاء الكامن المشترك للرؤية واللغة.

• الآلية: بالنظر إلى طلب تعديل بتمثيلات كامنة $z = [e_v, e_t]$، تحسب LAR تدرج خسارة الإنتروبيا المتقاطعة بالنسبة للمدخل: $g_z = \nabla_z \mathcal{L}_{ce}(f_\theta(z), y^*)$.
• التوليد: تقوم بحل مشكلة تعظيم داخلية لإيجاد اضطرابات $\delta^*$ تزيد من الخسارة مع البقاء ضمن ميزانية انحراف دلالي $\epsilon$:
  $$\delta^* = \arg \max_{\|\delta\| \le \epsilon} \mathcal{L}_{ce}(f_\theta(z + \delta), y^*)$$
• النتيجة: يولد هذا $n$ من المتغيرات الخصامية $\{z^*_1, \dots, z^*_n\}$ التي تتحدى بارامترات النموذج الحالية، مما يؤدي فعليًا إلى توسيع الجوار الدلالي حول المفهوم المعدل دون الاعتماد على إشراف خارجي.

2.2 تعلم الفضاء الفرعي المقيد بالرتبة (RCSL)

لمنع الارتكاز غير الموثوق للعينات (التحدي 3) وفرض الاتساق، يقترح ASAM آلية RCSL.

• الرؤية الجوهرية: يتطلب التعميم القوي تعلم حدود مستمرة وتكيفية حيث تتقارب جميع المتغيرات الخصامية نحو جوهر دلالي مشترك، بدلًا من معاملة العينات الفردية كإيجابيات مطلقة.
• التنفيذ: تفرض RCSL أن تتماشى الحالات المخفية لجميع المتغيرات (الأصلية والخصامية) ضمن فضاء فرعي تمثيلي منخفض الرتبة.
• الصياغة الرياضية: لتكن $H_s$ هي مصفوفة الحالات المخفية المعيرة بـ $\ell_2$. تلتقط مصفوفة جرام $G = H_s H_s^\top$ التشابهات الزوجية. التماثل المثالي يعني أن $G = \mathbf{1}\mathbf{1}^\top$، وهو ما يوافق مصفوفة من الرتبة 1.
• الهدف: باستخدام تحليل القيم المفردة (SVD) على $H_s$، تقلل الطريقة من خسارة المحاذاة التي تعمل على كبح القيم المفردة الثانوية ($\sigma_{j>1}$) بالنسبة للقيمة المفردة المهيمنة ($\sigma_1$):
  $$\mathcal{L}_{align} = -\log \left( \frac{\exp(\sigma_1/\tau)}{\sum_{j=1}^{n+1} \exp(\sigma_j/\tau)} \right)$$
  هذا يدفع جميع التمثيلات الخصامية نحو محور دلالي واحد مشترك.

2.3 تدفق التدرج غير المتماثل

للتخفيف من حدة النطاقات الثنائية الجامدة (التحدي 2)، يستخدم ASAM تدفق تدرج غير متماثل.

• الآلية: تعمل الحالة المخفية الأصلية $\hat{h}_0$ كمرساة دلالية ويتم فصلها (detached) عن خسارة المحاذاة $\mathcal{L}_{align}$. فقط المتغيرات الخصامية $\{\hat{h}_i\}_{i=1}^n$ هي التي تنقل التدرجات عبر هدف المحاذاة.
• الأثر: يضمن هذا تحقيق المتانة من خلال تحديث بارامترات طبقة التعديل تكيفيًا لمحاذاة المدخلات المتنوعة مع الدلالات الأصلية، بدلاً من تشويه التمثيل الأصلي.
• الهدف الإجمالي: يجمع التحسين النهائي بين الموثوقية، والمحلية، والمحاذاة:
  $$\mathcal{L}_{total} = \mathcal{L}_{rel} + \mathcal{L}_{loc} + \beta \mathcal{L}_{align}$$

3. المساهمات الرئيسية

1. اقتراح إطار العمل: تقديم ASAM، وهو إطار عمل لمحاذاة الفضاء الفرعي الخصامي لتعديل المعرفة متعدد الوسائط القوي الذي يتجاوز التحديثات المتمحورة حول العينة.
2. التقوية الخصامية الكامنة (LAR): طريقة مبتكرة لتوليد متغيرات كامنة متنوعة ومتماسكة عبر الاضطراب المدفوع بالتدرج، مما يسمح بإشراف دلالي قابل للتوسع للتعديل.
3. تعلم الفضاء الفرعي المقيد بالرتبة (RCSL): تقنية تستخدم أهدافًا قائمة على القيم المفردة لفرض محاذاة دلالية منخفضة الرتبة وتشكيل حدود تكيفية، مما يتغلب على نطاقات التعديل الجامدة والارتكاز غير الموثوق للعينات.
4. التحقق التجريبي: تجارب مكثفة تثبت تفوق ASAM على الأساليب الحالية من حيث العمومية، والموثوقية، والمحلية.

4. النتائج التجريبية

قيم المؤلفون ASAM على معيار MMEdit (الذي يغطي مهام تعديل VQA وتعديل وصف الصور) باستخدام BLIP2-OPT و MiniGPT-4 كنماذج أساسية.

• أداء التعديل الفردي: عزز ASAM العمومية باستمرار عبر نماذج التعديل (على سبيل المثال، تحسين عمومية WISE على BLIP2 E-VQA من 84.80 إلى 93.97) دون التضحو بالموثوقية أو المحلية.
• التعديل المتسلسل: في سيناريوهات التعديل المستمر (حتى 100 تعديل متسلسل)، تفوق ASAM على النماذج المرجعية مثل WISE، حيث أظهر فجوة متزايدة في العمومية مع زيادة عدد التعديلات (على سبيل المثال، 34.90 مقابل 50.90 عند $n=100$)، مما يشير إلى مقاومة أفضل للتداخل الدلالي وتراكم الأخطاء.
• استقلالية النموذج: أظهر إطار العمل تحسينات متسقة عبر مختلف النماذج الأساسية لـ MLLM (بما في ذلك LLaVA و Qwen2VL)، مما يشير إلى أنه يعمل على مستوى تمثيل مستقل عن النموذج.
• دراسات الاستئصال (Ablation Studies):
  • LAR مقابل إعادة الصياغة: قدمت المتغيرات المولدة بواسطة LAR مكاسب في العمومية مقارنة بإعادة الصياغة السطحية (SimCSE)، مما يثبت ضرورة كشف الحساسيات الدلالية الخاصة بالنموذج.
  • RCSL مقابل المحاذات الأخرى: تفوقت المحاذاة المقيدة بالرتبة على قيود تشابه جيب التمام (cosine similarity) و $\ell_2$-norm، مما يؤكد أن فرض اتجاه دلالي رئيسي مشترك أمر بالغ الأهمية للاستيع