🤖 machine learning

Feature Rivalry in Sparse Autoencoder Representations: A Mechanistic Study of Uncertainty-Driven Feature Competition in LLMs

تقدم هذه الورقة البحثية مفهوم "التنافس الميزاتي" (feature rivalry) كأزواج من ميزات المشفر التلقائي المتناثر (Sparse Autoencoder) ذات ارتباط سلبي، والتي تعمل كبصمة ميكانيكية لعدم اليقين في نموذج Gemma-2-2B، حيث تُظهر أن المطالبات عالية الإنتروبيا تُحفز تنافساً أقوى عند طبقات محددة، وأن التوجيه عبر محاور التنافس يؤثر سببياً على المخرجات، وأن درجات التنافس يمكنها التنبؤ بصحة الإجابة.

المؤلفون الأصليون: Harshavardhan

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Harshavardhan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة ضخم (LLM) مثل Gemma-2 كمدينة صاخبة ومزدحمة حيث يعمل ملايين العمال الصغار (النيورونات/الخلايا العصبية) باستمرار، يتبادلون الملاحظات فيما بينهم للإجابة على الأسئلة. عادةً ما يكون هؤلاء العمال منظمين في فرق متخصصة. ولكن في بعض الأحيان، عندما لا يكون النموذج متأكداً من الإجابة، يظهر فريقان مختلفان في نفس الوقت، ويصرخان فوق بعضهما البعض، محاولين السيطرة على المحادثة.

تسمي هذه الورقة البحثية هذه الفوضى بـ "تضارب الميزات" (Feature Rivalry).

إليك تفصيل بسيط لما وجده الباحثون، باستخدام تشبيهات من الحياة اليومية:

1. الفكرة الجوهرية: "الجدل" داخل الدماغ

استخدم الباحثون أداة خاصة تسمى المشفّر التلقائي المتناثر (Sparse Autoencoder - SAE). فكر في هذه الأداة كأنها نظارات عالية التقنية تسمح لنا برؤية "المفاهيم" الفردية التي يفكر فيها النموذج، بدلاً من مجرد رؤية الإجابة النهائية.

عندما يكون النموذج واثقاً: يشبه الأمر جوقة غنائية تغني بتناغم تام. يرتفع لحن واحد واضح (مفهوم مهيمن واحد) فوق البقية.
عندما يكون النموذج غير متأكد: يشبه الأمر جدلاً حاداً في قاعة اجتماعات البلدية. تبدأ فكرتان متضادتان (ميزات متنافسة) في الصراخ فوق بعضهما البعض، محاولتين قمع الفكرة الأخرى. وجدت الورقة أنه عندما يكون النموذج غير متأكد، تصبح هذه المفاهيم "المتنافسة" مرتبطة سلبياً بشكل قوي—أي أنها تحارب بعضها البعض بنشاط لإلغاء تأثير الآخر.

2. التجربة الأولى: أين يحدث القتال؟

سأل الباحثون النموذج 400 سؤالاً، وقسموهم إلى مجموعتين:

الأسئلة السهلة: عرف النموذج الإجابة فوراً (اعتلال منخفض/Entropy منخفض).
الأسئلة الصعبة/الغامضة: كان النموذج مرتبكاً وأعطى إجابات مختلفة في كل مرة (اعتلال مرتفع/Entropy مرتفع).

الاكتشاف:
وجدوا أن "القتال" بين المفاهيم لم يحدث في كل مكان. بل تركز في "غرفتين" محددتين (طبقتين) من دماغ النموذج:

الغرفة 0 (المدخل): يبدأ القتال فور دخول السؤال إلى النظام. حتى قبل أن يبدأ النموذج في معالجة المنطق، يكون عدم اليقين قد تسبب بالفعل في حالة شد وجذب بين المفاهيم.
الغرفة 12 (المنتصف): يشتعل القتال مرة أخرى في منتصف سلسلة المعالجة، حيث يحاول النموذج تجميع المعنى.

التشبيه: تخيل سباق تتابع. إذا كان العداء غير متأكد من المسار، فسوف يتعثر تماماً عند خط البداية (الطبقة 0) ومرة أخرى قبل تسليم العصا في منتصف المضمار (الطبقة 12). إذا كان متأكداً، فسوف يركض بسلاسة.

3. التجربة الثانية: هل يمكننا ترجيح الكفة؟

أراد الباحثون معرفة ما إذا كان هذا القتال يتسبب فعلياً في تغيير إجابة النموذج، أم أنه مجرد عرض جانبي.

استخدموا تقنية تسمى توجيه التنشيط (Activation Steering). تخيل أن دماغ النموذج عبارة عن قارب، وأن "التنافس" هو تيار قوي يدفع القارب يميناً أو يساراً. أمسك الباحثون بالدفة ودفعوا بها في اتجاه التنافس (الاتجاه الذي يتقاتل فيه المفهومان).

الاكتشاف:

عندما قدموا دفعة لطيفة في اتجاه التنافس، غير النموذج إجابته بشكل متكرر أكثر مما حدث عندما دفعوه في اتجاه عشوائي.
التشبيه: الأمر يشبه أرجوحة (سيسو) يتصارع عليها طفلان للفوز بالمركز الأول. إذا دفعت الأرجوحة بلطف نحو جانب "القتال"، يمكنك ترجيح الكفة وجعل النموذج يختار فكرة الطفل الآخر. هذا يثبت أن التنافس ليس مجرد ضجيج؛ بل هو قوة حقيقية ونشطة تشكل المخرجات.

4. التجربة الثالثة: هل يمكننا التنبؤ بالأخطاء؟

أخيراً، سألوا: "هل يمكننا النظر إلى هذا القتال الداخلي لتخمين ما إذا كان النموذج على وشك ارتكاب خطأ؟"

قاموا بإنشاء "درجة التنافس" (Rivalry Score) لكل سؤال.

درجة عالية: الكثير من القتال بين المفاهيم.
درجة منخفضة: المفاهيم هادئة ومتفقة.

الاكتشاف:

كانت "درجة التنافس" جيدة جداً في التنبؤ بالأخطاء (بدقة حوالي 69%).
لم تكن بنفس جودة "مقياس الثقة" الخاص بالنموذل نفسه (الذي بلغت دقته حوالي 81%)، لكنها امتلكت قوة فريدة: لم تكن بحاجة لرؤية الإجابة النهائية لتعرف أن النموذج غير متأكد.
التشبيه: مقياس ثقة النموذج يشبه التحقق من تقرير الطقس بعد سقوط المطر. أما "درجة التنافس" فهي مثل النظر إلى السحب الداكنة التي تتجمع قبل بدء المطر. إنها تعطي إنذاراً مبكراً بناءً على العاصفة الداخلية، وليس بناءً على النتيجة.

الملخص

تظهر هذه الورقة أنه عندما يكون الذكاء الاصطناعي مرتبكاً، يبدأ "عماله" الداخليون في قتال بعضهم البعض. هذا القتال:

يحدث في مراحل محددة من عملية التفكير لدى الذكاء الاصطناعي.
يغير فعلياً ما يقوله الذكاء الاصطناعي إذا دفعته في الاتجاه الصحيح.
يمكن استخدامه كـ "كاشف دخان" ليخبرنا أن الذكاء الاصطناعي غير متأكد، حتى قبل أن يعطينا إجابة خاطئة.

يؤكد الباحثون أن هذه الطريقة هي وسيلة لفهم كيف يفكر النموذج، بدلاً من مجرد معرفة ماذا يفكر، مما يوفر نافذة جديدة داخل "الصندوق الأسود" لعدم يقين الذكاء الاصطناعي.

ملخص تقني: تنافس الميزات في تمثيلات المشفرات التلقائية المتناثرة (SAE)

بيان المشكلة

بينما أصبحت المشفرات التلقائية المتناثرة (SAEs) أداة قياسية لتفكيك تمثيلات النماذج اللغوية الكبيرة (LLMs) إلى ميزات أحادية المعنى وقابلة للتفسير، إلا أن الآليات التي تحكم كيفية تفاعل هذه الميزات تحت ظروف عدم اليقين لا تزال غير مفهومة بشكل جيد. وتحديداً، ليس من الواضح ما إذا كان التنافس بين ميزات متعددة تتفعل في آن واحد يعمل كعلامة ميكانيكية لعدم يقين النموذج. يبحث هذا البحث في "تنافس الميزات" (Feature Rivalry) — والمعرّف بوجود أزواج من ميزات SAE ذات ارتباط سلبي قوي عند طبقة معينة — كإشارة محتملة للغموض في معالجة النموذج.

المنهجية

تستخدم الدراسة نموذج Gemma-2-2B ومشفرات Gemma Scope SAEs (بعرض 16 ألف) عبر 13 طبقة (من 0 إلى 24، بخطوة 2). يعتمد التصميم التجريبي على مجموعة بيانات PopQA، باستخدام تقسيم الإنتروبيا داخل النطاق (within-domain entropy split) لعزل عدم يقين النموذج عن العوامل المربكة الناتجة عن مستوى مجموعة البيانات.

إعداد البيانات: قام المؤلفون بأخذ عينات من 20 إكمالاً لكل سؤال عند درجة حرارة (temperature) قدرها 1.0 لحساب إنتروبيا شانون الموحدة ( $H(q)$ ). تم تقسيم الأسئلة إلى حالتين:
- غامضة (إنتروبيا عالية): $H(q) > 0.7$ (200 سؤال).
- غير غامضة (إنتروبيا منخفضة): $H(q) < 0.5$ (200 سؤال).
- يضمن هذا التصميم بقاء النطاق، والتنسيق، وأنواع الإجابات ثابتة، مما يعزو الاختلافات الملحوظة حصرياً إلى عدم يقين النموذج.
التجربة 1: تحديد موقع التنافس:
- المقياس: يُعرَّف "درجة التنافس" بأنها المئوي الخامس لجميع ارتباطات بيرسون الزوجية لتنشيط الميزات عبر المطالبات (prompts) عند طبقة محددة. القيم الأكثر سلبية تشير إلى تنافس أقوى.
- التحليل: قارنت اختبارات Mann-Whitney U توزيعات التنافس بين حالات الغموض وعدم الغموض عبر الطبقات.
التجربة 2: التدخل السببي (توجيه التنشيط):
- الإعداد: تم تحديد أفضل 20 زوجاً من الميزات المتنافسة. تم إنشاء متجه "محور التنافس" ( $v_{rivalry}$ ) عن طريق طرح متجهات فك التشفير للميزتين المتنافستين ( $W_{dec}[A] - W_{dec}[B]$ ).
- التدخل: أثناء التوليد عند الطبقة 10، تمت إضافة هذا المتجه إلى الحالة الخفية للرمز الأخير (last token's hidden state).
- المقارنة: تمت مقارنة "معدل الانقلاب" (نسبة المخرجات التي تغيرت) لتوجيه محور التنافس مقابل خط الأساس للتوجيه العشوائي عند مضاعفات توجيه قدرها 5، 10، و20.
التجربة 3: المنفعة التنبؤية:
- المقياس: تم حساب درجة التنافس لكل مطالبة عند الطبقة 10 باستخدام المئوي الخامس لتشابه جيب التمام (cosine similarities) بين متجهات فك التشفير لأفضل 50 ميزة نشطة.
- التقييم: تم اختبار هذا المقياس كمتنبئ بصحة الإجابة (ثنائي: الحقيقة الأرضية موجودة في المخرج) ومقارنته بـ ثقة softmax (احتمالية الرمز الأعلى) باستخدام AUROC.

النتائج الرئيسية

1. تحديد موقع عدم اليقين

يكون تنافس الميزات أقوى بشكل ملحوظ في الأسئلة الغامضة مقارنة بالأسئلة غير الغامضة، لكن هذا التأثير ليس موحداً عبر الشبكة.

الطبقة 0: فرق ذو دلالة إحصائية عالية ( $p = 5.3 \times 10^{-26}$ )، مما يشير إلى أن عدم اليقين يتجلى كتنافس بين الميزات فور التشفيد الأولي.
الطبقة 12: ذروة ثانية ذات دلالة إحصائية ( $p = 5.8 \times 10^{-5}$ )، وهي تقابل التكامل الدلالي متوسط المستوى.
لم تظهر الطبقات الأخرى أي فروق ذات دلالة إحصائية بعد تصحيح Bonferroni.

2. التأثير السببي

أدى توجيه التنشيط على طول محور التنافس إلى تأثير سببي ملموس على مخرجات النموذج.

عند مضاعف توجيه منخفض (5)، أدى توجيه محور التنافس إلى معدلات انقلاب مخرجات أعلى من التوجيه العشوائي في 15 من أصل 20 زوجاً من الأزواج المتنافسة (75%).
فجوة متوسط معدل الانقلاب كانت +0.06 (التنافس: 0.20 مقابل العشوائي: 0.14).
تضاءل التأثير عند المضاعفات الأعلى (10 و20)، حيث أصبحت الاضطرابات كبيرة وعشوائية للغاية.

3. الأداء التنبئي

تعمل درجة التنافس لكل مطالبة كإشارة عدم يقين صالحة، وإن كانت غير كاملة.

AUROC للتنبؤ بالصحة: حققت درجة التنافس 0.689، وهي تتفوق بشكل ملحوظ على الصدفة العشوائية (0.500) ولكنها لم تصل إلى مستوى ثقة softmax (0.808).
المعايرة: أظهرت كلتا الإشارتين اتجاهات رتيبة حيث ارتبطت الدرجات الأعلى بدقة أعلى.
القيمة المتميزة: على عكس ثقة softmax، تُشتق درجة التنافس من التمثيلات الداخلية فقط دون الحاجة إلى الوصول إلى توزيعات المخرجات أو الحقيقة الأرضية.

الأهمية والادعاءات

يفترض البحث أن تنافس الميزات هو إشارة ميكانيكية مستندة إلى الواقع لعدم اليقين، ويقدم ثلاث مساهمات رئيسية:

التحديد الميكانيكي للموقع: يحدد مراحل محددة في التيار المتبقي (residual stream) (التشفيد الأولي والتكامل الدلالي متوسط المستوى) حيث يتجلى عدم اليقين كتنافس بين تمثيلات المفاهيم، بدلاً من كونه خاصية أحادية للنموذج.
التحقق السببي: يوفر دليلاً سببياً على أن التنافس بين الميزات المتنافسة يسبق مخرجات النموذج؛ حيث يؤثر التوجيه على طول اتجاه التنافس مباشرة على التوليد، مما يؤكد أن هذه الميزات تتنافس بنشاط أثناء الاستدلال.
إشارة عدم يقين قابلة للتفسير: يوضح أن التنافس بين الميزات الداخلية يمكن أن يتنبأ بصحة الإجابة دون الاعتماد على توزيعات المخرجات. ورغم أنها أقل دقة من ثقة softmax، إلا أنها توفر نافذة تفسيرية (تحديد المفاهيم التي تتنافس) وقابلية للحوسبة في سيناريوهات المرور الواحد (single-pass).

يؤكد المؤلفون أن تقسيم الإنتروبيا داخل النطاق يعد تحسيناً منهجياً مقارنة بالمقارنات عبر مجموعات البيانات، مما يضمن عزو فروق التنافس إلى عدم يقين النموذج بدلاً من عيوب مجموعة البيانات. ويخلصون إلى أنه بينما لا يتفوق التنافس على ثقة softmax في قوة التنبؤ الخام للأسئلة قصيرة الصيغة، فإنه يوفر نافذة فريدة وقابلة للتفسير في الديناميكيات الداخلية لعدم اليقين.