💻 computer science

From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition

تقدم هذه الورقة SITH، وهو إطار عمل جديد لا يعتمد على البيانات ولا يتطلب إعادة تدريب، يقوم بتفكيك أوزان رؤوس الانتباه في نموذج CLIP إلى متجهات مفردة وتفسيرها كمفاهيم متماسكة ومتفرقة عبر خوارزمية جديدة، مما يتيح تفسيرات دقيقة داخل الرأس الواحد وتعديلات دقيقة للنموذج دون الحاجة لإعادة التدريب.

المؤلفون الأصليون: Francesco Gentile, Nicola Dall'Asen, Francesco Tonini, Massimiliano Mancini, Lorenzo Vaquero, Elisa Ricci

نُشر 2026-03-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Francesco Gentile, Nicola Dall'Asen, Francesco Tonini, Massimiliano Mancini, Lorenzo Vaquero, Elisa Ricci

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا فنانًا فائق الذكاء يُدعى CLIP. يمكن لهذا الروبوت النظر إلى صورة ووصفها بشكل مثالي، أو قراءة وصف ما والعثور على الصورة المطابقة له. لكن المشكلة تكمن في أنه لا أحد يعرف حقًا كيف يفعل ذلك. إنه يشبه "الصندوق الأسود"؛ تضع صورة في الداخل، فتخرج منها أوصاف، لكن التروس بالداخل مخفية.

عادةً، لفهم كيفية تفكير الروبوت، يتعين على العلماء تغذيته بآلاف الصور ومراقبة ما يحدث بداخله أثناء عمله. هذا يشبه محاولة فهم طباخ من خلال مراقبته وهو يطهو وجبة؛ ترى المكونات التي يلتقطها، لكنك لا تعرف الوصفة السرية المكتوبة على الحائط. وأيضًا، إذا كان الطباخ يطبخ فقط بمكونات من متجر بقالة معين، فقد تعتقد أن هذا هو كل ما يعرفه، وهذا ليس صحيحًا.

يقدم البحث طريقة جديدة تسمى SITH (والتي تبدو كاسم شبح مخيف، لكنها ترمز إلى الفحص الدلالي لرؤوس المحولات - Semantic Inspection of Transformer Heads). SITH هي بمث সাই مثل الأشعة السينية السحرية التي تسمح لنا برؤية "دماغ" الروبوت دون عرض صورة واحدة عليه.

إليك كيف تعمل SITH، مقسمة إلى خطوات بسيطة:

1. "كتاب الوصفات" مقابل "برنامج الطهي"

كانت الأساليب السابقة تشبه مشاهدة "برنامج الطهي" (النظر إلى التنشيطات). كانت تحتاج إلى الكثير من البيانات (المكونات) لتخمين ما يفكر فيه الروبوت. إذا رأى الروبوت الكثير من صور القطط، فقد يعتقد أنه لا يعرف سوى القطط.

SITH مختلفة. فهي تنظر مباشرة إلى كتاب الوصفات (الأوزان). هي لا تهتم بما يطبخه الروبوت حاليًا؛ بل تقرأ فقط التعليمات المكتوبة في دماغه. وهذا يعني أنها خالية من البيانات (Data-free). لا تحتاج لرؤية صورة واحدة لفهم كيفية عمل الروبوت.

2. تشبيه "السكين السويسري"

داخل دماغ الروبوت، توجد أدوات صغيرة تسمى رؤوس الانتباه (Attention Heads). فكر في أحد هذه الرؤوس كأنه سكين سويسري.

الطريقة القديمة: كان العلماء يقولون: "هذه السكين جيدة للقطع". هذا وصف غامض نوعًا ما. هل هي جيدة لقطع الورق؟ أم اللحم؟ أم الشعر؟
طريقة SITH: تقوم SITH بتفكيك السكين. تستخدم أداة رياضية تسمى SVD (تحلل القيم المفردة) لفصل السكين إلى شفراتها الفردية: مفك براغي صغير، مقص صغير، وفتاحة زجاجات.

3. "المترجم" (COMP)

بمجرد أن تقوم SITH بتفكيك السكين السويسري إلى شفرات فردية، لا تزال بحاجة لمعرفة وظيفة كل شفرة. وهنا يأتي دور خوارزمية جديدة تسمى COMP.

تخيل أن لديك شكلًا غريبًا ومجردًا (شفرة). تريد وصف هذا الشكل باستخدام الكلمات.

المشكلة: إذا اخترت أقرب كلمة فقط، فقد تقول "أحمر" لشكل هو في الواقع "نجمة حمراء حادة وغاضبة". ستفتقد هنا إلى الدقة والبراعة.
حل SITH (عبر COMP): COMP هو مثل مترجم ذكي يبني وصفًا باستخدام مزيج متماسك ومتفرق (sparse, coherent combination). فهو يقول: "حسنًا، هذه الشفرة ليست مجرد 'أحمر'. إنها مزيج من 'القرمزي'، و'الحاد'، و'الخطر'". إنه يختار بضع كلمات تتناسب مع بعضها البعض تمامًا لوصف تلك الشفرة المحددة.

4. ماذا وجدوا؟

عندما استخدموا SITH على روبوت CLIP، اكتشفوا أشياء مذهلة:

شفرات متخصصة: اكتشفوا أنه داخل "سكين" واحد (رأس انتباه)، توجد شفرات محددة مخصصة للألوان (شفرة لـ "الأحمر"، وأخرى لـ "الأزرق")، والمواقع (واحدة لـ "المطابخ"، وأخرى لـ "الشواطئ")، وحتى الحروف (بعض الشفرات يمكنها بالفعل "قراءة" النصوص داخل الصورة!).
لا يوجد تحيز: لأنهم نظروا إلى كتاب الوصفات وليس إلى برنامج الطهي، فقد وجدوا هذه السمات حتى لو لم يرَ الروبوت صورة لـ "طائر فلامنجو وردي" خلال تدريبه.

5. القوة الخارقة: "جراحة الدماغ" بدون تخدير

الجزء الأروع هو ما يمكنك فعله بهذه المعرفة. بما أن SITH تفهم دماغ الروبوت من حيث المفاهيم (مثل "الأحمر" أو "الخلفية")، يمكننا إجراء جراحة على الروبوت دون إعادة تدريبه.

إصلاح العادات السيئة: تخيل أن الروبوت يعتقد أن "الطائر" هو طائر فقط إذا كان واقفًا على "شجرة". إذا أريته طائرًا على "صخرة"، فسيصاب بالارتباك. يمكن لـ SITH العثور على شفرة "الشجرة" المحددة وخفض قوتها. الآن يمكن للروبوت رؤية الطيور على الصخور أيضًا!
السلامة: إذا كان الروبوت حساسًا جدًا للصور "المخيفة" أو "غير الآمنة"، يمكن لـ SITH العثور على شفرات "الخوف" وكتم صوتها، مما يجعل الروبوت أكثر أمانًا للاستخدام.
أداء أفضل: إذا كنت تريد أن يكون الروبوت أفضل في التعرف على الزهور، يمكن لـ SITH رفع "مستوى صوت" شفرات "الزهور" وخفض شفرات "السيارات".

الملخص

SITH هي أداة تسمح لنا بالتلصص داخل دماغ ذكاء اصطنا_بصري عبر قراءة دليل التعليمات الخاص به (الأوزان) بدلاً من مراقبته أثناء العمل. إنها تفكك أجزاء الدماغ المعقدة إلى مفاهيم بسيطة يمكن للبشر قراءتها (مثل "الأخضر" أو "الشاطئ"). وهذا يسمح لنا بإصلاح عادات الروبوت السيئة، وجعله أكثر أمانًا، وتحسين مهاراته — كل ذلك دون الحاجة إلى تغذيته بمزيد من البيانات أو إعادة تدريبه من الصفر.

إنه يشبه أخذ صندوق أسود، وفتحه، وإيجاد الأسلاك المحددة المسؤولة عن "الأحمر" و"الأزرق"، والقدرة على ضبطها باستخدام مفك براغي، وكل ذلك بينما لا يزال الروبوت يعمل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "من الأوزان إلى المفاهيم: التفسير الخالي من البيانات لنموذج CLIP عبر تفكيك المتجهات المنفردة."

1. بيان المشكلة

مع نشر نماذج الرؤية واللغة (VLMs) مثل CLIP على نطاق واسع، يصبح فهم آلياتها الداخلية أمراً بالغ الأهمية. تواجه طرق التفسير الحالية ثلاثة قيود رئيسية:

الاعتماد على البيانات: تعتمد معظم الطرق (مثل TextSpan وSAEs) على تنشيطات النموذج المستمدة من مجموعات بيانات ضخمة (مثل ImageNet). وهذا يجعلها عرضة لانحيازات مجموعات البيانات ويحد من قابليتها للتطبيق في السيناريوهات التي لا تتوفر فيها بيانات أو تكون فيها البيانات حساسة.
التحيز في مستوى التجزئة (Granularity): غالباً ما تقدم الطرق القائمة على التنشيط تفسيرات عند مستوى رأس الانتباه (على سبيل المثال، "الرأس 1 يركز على الألوان"). وهي تفشل في تشريح البنية الداخلية للرأس نفسه، مما يؤدي إلى فقدان المكونات الفرعية المحددة المسؤة عن مفاهيم متميزة.
عدم الاستقرار: يمكن أن تكون طرق مثل المشفرات التلقائية المتناثرة (SAEs) غير مستقرة، حيث تنتج قواميس ميزات مختلفة حتى عند تدريبها على بيانات متشابهة، وغالباً ما تعاني من مشكلة "التراكب" (superposition) حيث تشفر الخلايا العصبية مفاهيم متعددة غير مترابطة.

تطرح الورقة السؤال التالي: هل يمكننا تفسير الآليات الداخلية لنموذج CLIP مباشرة من أوزانه، دون الحاجة إلى بيانات أو تدريب، لتحقيق تفسيرات دقيقة وقابلة للتفسير من قبل البشر؟

2. المنهجية: SITH و COMP

يقترح المؤلفون إطار عمل SITH (الفحص الدلالي لرؤوس المحولات)، وهو إطار عمل خالٍ تماماً من البيانات وخالٍ من التدريب.

أ. التحليل القائم على الأوزان (SITH)

بدلاً من تحليل التنشيطات، يقوم SITH بتحليل مصفوفة وزن مخرجات القيمة ( $W_{VO}$ ) لكل رأس انتباه في نموذج CLIP (Vision Transformer).

العزل: قام المؤلفون بعزل مصفوفة $W_{VO}$ رياضياً (التي تجمع بين إسقاطات القيمة والمخرجات) من آلية تعدد رؤوس الانتباه. تحدد هذه المصفوفة ما هي المعلومات التي يكتبها الرأس في مسار المتبقي (residual stream).
تفكيك القيم المنفردة (SVD): يقومون بتفكيك $W_{VO}$ $W_{V O}$ باستخدام SVD:
$W_{VO} = U \Sigma V^T$
- المتجهات المنفردة اليمنى ( $V$ ): تمثل اتجاهات المخرجات المهيمنة (اتجاهات الكتابة) للرأس.
- المتجهات المنفردة اليسرى ( $U$ ): تمثل اتجاهات المدخلات المهيمنة (اتجاهات القراءة).
- القيم المنفردة ( $\Sigma$ ): تقيس قوة هذه الاتجاهات.
- رؤية: يقابل كل متجه منفرد اتجاهاً حسابياً محدداً داخل الرأس، مما يسمح بتفكيك وظيفة الرأس إلى فضاءات فرعية متميزة.

ب. التفسير الدلالي (COMP)

بما أن المتجهات المنفردة توجد في فضاء تضمين عالي الأبعاد، يجب رسم خرائط لها لتتحول إلى مفاهيم مفهومة للبشر. يقدم المؤلفون COMP (البحث المتوافق المتعامد).

مجمع المفاهيم: يستخدمون قاموساً كبيراً وفائق الوفرة من المفاهيم النصية (مثل ConceptNet 5.5).
التفكيك المتناثر: يحاول COMP تمثيل المتجه المنفرد $\hat{v}$ كمزيج خطي متناثر وغير سالب من تضمينات المفاهيم: $\hat{v} \approx \sum c_i \hat{\gamma}_i$ .
تنظيم التماسك (Coherence Regularization): تعمل الخوارزميات الجشعة القياسية (مثل NNOMP) على تحسين خطأ إعادة البناء فقط، مما يؤدي غالباً إلى مفاهيم غير مترابطة دلالياً (مثل "أحمر" + "محمصة خبز"). يقوم COMP بتعديل معيار الاختيار ليشمل حد التماسك:
$\text{score}(\hat{\gamma}_i) = \langle r_{k-1}, \hat{\gamma}_i \rangle + \frac{\lambda}{|S_{k-1}|} \sum_{j \in S_{k-1}} \langle \hat{\gamma}_i, \hat{\gamma}_j \rangle$
يضمن هذا أن المفاهيم المختارة ليست جيدة لإعادة البناء فحسب، بل هي أيضاً مرتبطة دلالياً بالمفاهيم المختارة سابقاً، مما ينتج تفسيراً متماسكاً (مثل "أخضر نعناعي" + "أخضر عشبي").

3. المساهمات الرئيسية

التفسير الخالي من البيانات: يعد SITH أول إطار عمل يوفر تفسيرات دقيقة داخل الرأس لنماذج VLMs حصرياً من الأوزان، مما يلغي انحياز مجموعة البيانات والحاجة إلى جمع التنشيطات.
التفكيك الدقيق: من خلال تحليل المتجهات المنفردة بدلاً من رؤوس الانتباه بأكملها، يكشف SITH أن رأس انتباه واحد غالباً ما يحتوي على عدة مكونات وظيفية فرعية متميزة (على سبيل المثال، متجه لـ "الأحمر" وآخر لـ "الأخضر" ضمن نفس رأس "الألوان").
خوارزمية COMP: خوارزمية ترميز متناثر مبتكرة توازن بين دقة إعادة البناء والتماسك الدلالي، مما ينتج مجموعات مفاهيم قابلة للقراءة البشرية.
تعديل النموذج بدون إعادة تدريب: يتيح الإطار إجراء "جراحة في فضاء الأوزان" بدقة. من خلال تضخيم أو كبح قيم منفردة محددة، يمكن للمؤلفين تعديل سلوك النموذج دون الحاجة لتحديثات التدرج أو بيانات تدريب.

4. النتائج والتجارب

أ. التفسير والدقة (Fidelity)

نوعياً: نجح SITH في ربط المتجهات المنفردة بمفاهيم محددة مثل الأنسجة، المواقع، الألوان، وحتى الحروف (مثل متجه مخصص للحرف "C").
كمياً: يحقق COMP توازناً متفوقاً بين الدقة (مدى جودة إعادة بناء المتجه بواسطة المفاهيم) والقابلية للتفسير (تماسك مجموعة المفاهيم) مقارنة بالنماذج المرجعية مثل Top-k وNNOMP.
التأسيس (Grounding): الصور المسترجعة بناءً على التشابه مع متجهات منفردة محددة تتوافق بقوة مع التفسيرات النصية التي أنتجها COMP.

ب. تطبيقات تعديل النموذج

كبح الارتباطات الزائفة: في مجموعة بيانات Waterbirds (طيور على خلفيات)، حدد SITH وكبح المتجهات المنفردة التي تشفر مفاهيم "الخلفية". أدى ذلك إلى تحسين دقة أسوأ مجموعة بشكل كبير (من 47.9% إلى 70.6%) دون إعادة تدريب.
السلامة (إزالة المحتوى غير اللائق NSFW): حدد SITH المتجهات التي تشفر مفاهيم غير آمنة (عري، عنف) وقام بكبحها. تفوق النموذج المعدل على Safe-CLIP (النموذج المدرب خصيصاً للسلامة) في الاستعلامات الآمنة وأظهر تحسناً في المتانة تجاه الاستعلامات غير الآمنة.
تحسين الأداء: من خلال تضخيم المتجهات المنفردة ذات الصلة بمهام محددة (مثل Flowers 102)، استطاع المؤلفون تحسين دقة التصنيف بأسلوب Zero-shot بنسبة تصل إلى 1.0 نقطة.

ج. تحليل التكيف مع النموذج

آلية الضبط الدقيق (Fine-Tuning): حلل المؤلفون كيفية تكيف CLIP مع مهام جديدة (Flowers, Pets, Birds) عبر الضبط الدقيق.
الأساس المستقر: وجدوا أن الضبط الدقيق لا يتعلم ميزات جديدة تماماً. بدلاً من ذلك، فإنه يحفز إزاحة طفيفة في الأساس الدلالي الموجود. تظل المتجهات المنفردة مستقرة هندسياً، ولكن أوزانها (القيم المنفردة) يتم إعادة توجيهها لتتوافق مع المهمة المستهدفة.
المواءمة مع المهام: وُجد أن متجهات "دلتا" (الفرق بين الأوزان قبل وبعد الضبط الدقيق) متوافقة دلالياً مع المجال المحدد (مثل مفاهيم متعلقة بالزهور لمجموعة بيانات Flowers).

5. الأهمية والأثر

تحول في النموذج المعرفي: ينقل التفسير من "القائم على التنشيط" (المعتمد على البيانات) إلى "القائم على الوزن" (المستقل عن البيانات)، مما يوفر رؤية أكثر قوة وشمولية لبواطن النموذج.
التحكم الدقيق: يثبت أن نماذج VLMs يمكن تعديلها جراحياً على مستوى الفضاءات الدلالية الفرعية الفردية، مما يوفر بديلاً خفيف الوزن للضبط الدقيق من أجل معالجة السلامة والانحياز.
الشمولية: تشير النتائج إلى أن بنيات VLM المختلفة تتقارب نحو دوائر وظيفية متشابهة (مثل رؤوس محددة للألوان، والمواقع) بغض النظر عن الحجم أو بيانات التدريب، مما يدعم "فرضية الشمولية" في التفسير الآلي.
الكفاءة: يوفر طريقة لفهم وتعديل النماذج دون التكلفة الحسابية للتدريب أو العبء اللوجستي لتنسيق مجموعات بيانات ضخمة.

باخت-صار، يوفر SITH عدسة قوية للنظر داخل "الصندوق الأسود" لنموذج CLIP، كاشفاً أن معرفته منظمة في فضاءات دلالية مستقرة، قابلة للتفسير، وقابلة للتعديل، والتي تُعرف من خلال مصفوفات الأوزان الخاصة بها.