ملخص تقني: نقل التفسير من اللغة إلى الرؤية عبر المشفّرات التلقائية المتفرقة

1. بيان المشكلة

لا تزال قابلية التفسير في النماذج اللغوية الكبيرة متعددة الوسائط (LMMs) تشكل تحديًا كبيرًا. وبينما نجحت المشفّرات التلقائية المتفرقة (SAEs) في تفكيك السمات اللغوية متعددة المعاني إلى مفاهيم أحادية المعنى وقابلة للتفسير داخل النماذج اللغوية الكبيرة (LLMs)، فإن تطبيق هذا النجاح على المجال البصري يعوقه سببان رئيسيان:

1. غموض التسمية: إن تدريب مشفّرات (SAEs) خاصة بالمجال البصري على مشفرات رؤية ينتج سمات بصرية أحادية المعنى، لكن تسمية هذه السمات أمر صعب؛ إذ يصعب التمييز ما إذا كانت السمة تمثل كائنًا معينًا، أم سلالة، أم فعلًا. علاوة على ذلك، فإن مشفّرات (SAEs) المقتصرة على الرؤية لا تكشف كيف يتم تفسير السمات البصرية بمجرد دخولها إلى المجرى المتبقي (residual stream) للنموذج اللغوي الكبير.
2. التكلفة الحسابية: يعد ضبط (fine-tuning) المشفّرات التلقائية المتفرقة الموجودة والقائمة على النماذج اللغوية الكبيرة لدمج المعلومات البصرية أمرًا مكلفًا للغاية. فعلى سبيل المثال، يتطلب تكييف نموذج مثل Gemma Scope موارد حوسبة هائلة وجهودًا مكثفة لإعادة التسمية (مثل مئات الآلاف من طلبات النماذج اللغوية الكبيرة) لمراعاة الفضاءات الكامنة المزاحة.

السؤال المركزي الذي يتناوله البحث هو: هل يمكن إعادة استخدام المشفّرات التلقائية المتفرقة اللغوية لتفسير المفاهيم البصرية دون الحاجة لتدريب مشفّرات (SAEs) جديدة خاصة بالرؤية؟

2. المنهجية: إطار عمل VISTA

يقترح المؤلفون إطار عمل VISTA (المواءمة لنقل التفسير من الرؤية إلى اللغة)، وهو مصمم لنقل التفسير من اللغة إلى الرؤية داخل نموذج لغوي بصري من نوع LLaVA. الابتكار الجوهري يكمن في تقييد المُسقط البصري (visual projector) ليرسم الخرائط من الرموز البصرية مباشرة إلى فضاء الرموز النصية الموجود مسبقًا والموسوم في الـ SAE الخاص بالنموذج اللغوي الكبير.

البنية وهدف التدريب

• الإعداد: يستخدم إطار العمل مشفر رؤية مجمد (مثل DINOv2 أو CLIP) ونموذجًا لغويًا كبيرًا مجمدًا. يقوم مُسقط خطي قابل للتدريب ($P_\theta$) برسم خرائط الرموز البصرية ($v$) إلى فضاء التضمين الخاص بالنموذج اللغوي ($e_v$).
• دالة الخسارة: على عكس التدريب القياسي الذي يقلل فقط من خسارة الإنتروبيا المتقاطعة ($L_{CE}$) على النص المستهدف، يقدم VISTA خسارة إضافية وهي خسارة إعادة بناء الـ SAE ($L_{SAE}$).
  • يُستخدم SAE مدرب مسبقًا، تم تدريبه على المجرى المتبقي للنموذج اللغوي باستخدام البيانات النصية فقط، كقيد.
  • تقلل الخسارة من متوسط مربع الخطأ بين الرموز البصرية المسقطة وإعادة بنائها بواسطة الـ SAE النصي: $L_{SAE} = \frac{1}{|M|} \sum_{l \in M} ||SAE_l(e^l_v) - e^l_v||^2_2$.
  • الهدف الإجمالي هو $L_{total} = L_{CE} + L_{SAE}$.
• الآلية: هذا يجبر الرموز البصرية على الاستقرار ضمن المنطو (manifold) الذي تحدده الـ SAEs النصية. وبناءً على ذلك، يمكن تفسير المدخلات البصرية عبر مفاهيم الـ SAE النصية الموسومة مسبقًا بتكلفة حسابية ضئيلة، مما يتجاوز الحاجة لتدريب SAE خاص بالرؤية.

التوجيه دقيق التفاصيل

بمجرد المواءمة، يصبح التلاعب البصري عملية حسابية ضمن المنطو اللغوي. يتيح إطار العمل التوجيه الموضعي عن طريق إضافة أو طرح اتجاهات فك التشفير (المفاهيم) الخاصة بالـ SAE النصي لمواضع رموز بصرية محددة ($v_{source}$):

• الإزالة: $v_{steered} = v_{source} - \beta \cdot v_{remove}$
• الاستبدال: $v_{steered} = v_{source} + \alpha \cdot v_{add}$
  يسمح هذا بإزالة أو استبدال كائنات محددة في إدراك النموذج مع الحفاظ على سياق المشهد المحيط.

3. المساهمات الرئيسية

1. نقل التفسير: تقديم هدف تدريبي يواءم الرموز البصرية مع سمات الـ SAE للنموذج اللغوي، مما يسهل نقل التفسير عبر الوسائط دون العبء الحسابي لتدريب أو تسمية SAEs خاصة بالرؤية.
2. تحليل المشفر: مقارنة صارمة للمشفرات البصرية مكنها VISTA، والتي كشفت أن DINOv2 يحقق تموضعًا مكانيًا فائقًا ومستقرًا بنيويًا. بخلاف النماذج التباينية مثل CLIP، التي تعطي الأولوية للملخصات العالمية وتعاني من الارتباك المكاني، فإن هدف DINOv2 (الذاتي التوجيه من المحلي إلى العالمي) يحافظ على المعلومات المحلية الدقيقة المطلوبة لدقة مستوى الرقعة (patch-level).
3. التحقق السببي: إثبات أن التدخلات الحسابية على الرموز البصرية باستخدام اتجاهات الـ SAE النصية تنتج تغييرات متماسكة وموضعية في مخرجات النموذج. يوفر هذا دليلًا سببيًا على أن الرموز البصرية تسكن بالفعل في منطو الـ SAE النصي.

4. النتائج والمكتشفات

المواءمة ومعدل المطابقة

• معدل المطابقة: تؤدي قيود VISTA إلى زيادة ثلاث أضعاف في معدل المطابقة (الدقة التي تتوافق بها المفاهيم النصية المنشطة مع العناصر الدلالية في الصورة) مقارنة بالنماذج المرجعية التي تفتقر للقيود.
• المواءمة المتأخرة: يتحدى البحث مفهوم "المواءمة المتأخرة" (حيث تتوافق الرموز البصرية طبيعيًا مع السمات النصية فقط في الطبقات الأعمق). وبينما لوحظت هذه الظاهرة في نماذج Gemma بدون قيود، إلا أنها لا تحدث عالميًا (مثل LLaMA-3.1-8B). تفرض قيود VISTA مواءمة فورية عبر جميع البنيات والطبقات.
• إعادة البناء والتشتت: مع قيود SAE، تحقق الرموز البصرية تقاربًا فوريًا في خطأ إعادة البناء والتشتت، لتطابق توزيع الرموز النصية من الطبقة الأولى، بينما تظل الرموز غير المقيدة كثيفة وعالية الخطأ طوال الشبكة.

التموضع المكاني

• DINOv2 مقابل CLIP: أظهر DINOv2 دقة تموضع مكاني (SLA) بلغت 0.927 (مع Gemma-2-2B)، متفوقًا بشكل كبير على CLIP (0.201) و I-JEPA (0.702).
• محدودية CLIP: تظهر تنشيطات CLIP ارتباكًا مكانيًا، حيث تنشط غالبًا مفاهيم بعيدة عن الكائن ذي الصلة، مما يجعل التوجيه دقيق التفاصيل غير مستقر.
• المتانة: يحافظ DINOv2 على دقة تموضع عالية عبر مختلف ركائز النماذج اللغوية (Gemma-2-2B, Gemma-2-9B, LLaMA-3.1-8B)، بينما يتباين أداء CLIP بشكل كبير ويبقى منخفضًا.

أداء التوجيه

• المكاسب الكمية: بالاستفادة من دقة DINOv2، يحقق VISTA تحسنًا بنسبة 35% في مهام إزالة الكائنات وتحسنًا بنسبة 47% في مهام استبدال الكائنات مقارنة بأفضل النماذج المرجعية القائمة على الرؤية فقط (VisionSAE و PatchSAE).
• النتائج النوعية: يسمح التوجيه باستخدام DINOv2 بإجراء تعديلات دقيقة (مثل تغيير "كلب يركض" إلى "قط يركض" أو إزالة قط من فوق أريكة) مع الحفاظ على السياق العام للمشهد. في المقابل، يؤدي التوجيه القائم على CLIP غالبًا إلى هلاوس أو تغييرات في السياق العالمي.
• الدليل السببي: تؤكد المقارنات المنضبطة أن VISTA يعدل إدراك النموذج لرقعات بصرية محددة بدلاً من اختطاف مسار التوليد اللغوي. كما أن التوجيه النصي أو التوجيه عبر الأوامر (prompt steering) يفشل في الحفاظ على تماسك المشهد.

تأثير الأداء

• النماذج الصغيرة: في النماذج الأصغر (مثل Gemma-2-2B)، تسبب قيود SAE تراجعًا طفيفًا في الدقة في بعض الاختبارات، ويرجع ذلك على الأرجب إلى محدودية القدرة التمثيلية.
• النماذج الكبيرة: في البنيات الأكبر (مثل LLaMA-3.1-8B)، تعمل قيود SAE كمنظم مفيد، مما يحسن الأداء عبر معظم الاختبارات.
• المتانة خارج التوزيع (OOD): تتعمم مواءمة VISTA على البيانات الخارجة عن التوزيع (DomainNet)، حيث تحافظ على ثبات إعادة البناء، والتشتت، ومعدلات المطابقة، مما يشير إلى أن المواءمة هي خاصية هيكلية وليست مجرد نتاج لمجموعة بيانات التدريب.

5. الأهمية والادعاءات

يدعي البحث أن التفسير هو خاصية قابلة للنقل عبر الوسائط. فمن خلال فرض قيود SAE أثناء مواءمة مشفرات الرؤية مع النماذج اللغوية الكبيرة، يقوم VISTA برسم خرائط الرموز البصرية إلى فضاء سمات لغوية موجود مسبقًا وموسوم. وهذا يلغي الحاجة إلى التكاليف الحسابية وتكاليف التسمية المرتبطة بتدريب مشفّرات (SAEs) خاصة بالرؤية.

يؤكد المؤلفون أن نجاح التفسير الموضعي والتوجيه مرتبط جوهريًا بـ الدقة المكانية للخلفية البصرية. لقد أثبتوا أن هدف DINOv2 المحلي يوفر الدقة اللازمة لهذا النقل، متفوقًا بشكل كبير على النماذج التباينية مثل CLIP. يوفر نموذج "نقل التفسير" هذا مسارًا قابلاً للتوسع لفهم والتحكم في الأنظمة متعددة الوسائط المعقدة، مما يتيح تدخلات سببية دقيقة وتحليل دوائر السمات دون التكاليف الباهظة لإعادة تدريب النماذج التأسيسية.

تم التحقق من العمل عبر نماذج لغوية متعددة (Gemma, LLaMA) ومشفرات بصرية متنوعة (CLIP, DINOv2)، مع إتاحة الكود لدعم المزيد من الأبحاث في التفسير الآلي للأنظمة متعددة الوسائط.