🤖 AI

Reference Feature Atlases for Mechanistic Auditing of Language Models

تقدم هذه الورقة "أطالس السمات المرجعية" (Reference Feature Atlases)، وهي مكتبة سمات متفرقة قابلة لإعادة الاستخدام يتم تدريبها على لوحة مرجعية تتيح تدقيقاً ميكانيكياً فعالاً ومستقراً ومتفوقاً للنماذج اللغوية الجديدة من خلال فصل السمات المُفسرة عن البواقي المستحدثة، متفوقة بذلك على النماذج المرجعية التقليدية التي تعتمد على إعادة التدريب في اكتشاف الأهداف المحقونة والتحكم فيها وكشف السلوكيات الناشئة.

المؤلفون الأصليون: Rui Wu, Tong Che

نُشر 2026-07-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Rui Wu, Tong Che

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم كيفية عمل مكتبة ضخمة غير مرئية من المعرفة. داخل هذه المكتبة، توجد ملايين المفاتيح الصغيرة المتوهجة التي تضيء كلما "فكرت" المكتبة في شيء ما. في عالم الذكاء الاصطناائي، تُسمى هذه المفاتيح "الميزات" (features). لفترة طويلة، حاول العلماء رسم خرائط لهذه المفاتيح لفهم سبب قول الذكاء الاصطناعي لما يقوله. المشكلة هي أنه في كل مرة يتم فيها بناء نموذج ذكاء اصطناعي جديد، يبدو الأمر وكأنك انتقلت إلى مدينة جديدة تمامًا بخريطة شوارع مختلفة تمامًا. لفهم المدينة الجديدة، يتعين على الباحثين عادةً البدء من الصفر، وتعلم كل اسم شارع وإشارة مرور من جديد. هذا الأمر بطيء ومكلف، ويجعل من الصعب مقارنة مدينة بأخرى.

يعالج هذا البحث هذا الصداع باقتراح طريقة لاستخدام خريطة واحدة مشتركة للعديد من المدن المختلفة. يقدم المؤلفون "أطلس الميزات المرجعي" (Reference Feature Atlas)، والذي يعمل كمترجم عالمي لأدمغة الذكاء الاصطناعي. بدلاً من إعادة تعلم كل شيء، يأخذون مجموعة من نماذج الذكاء الاصطناعي المدروسة بالفعل ("اللجنة المرجعية") وينشئون قاموسًا رئيسيًا لمفاتيحها الداخلية. عندما يصل نموذج ذكاء اصطناعي جديد وغير معروف، لا يحتاجون إلى إعادة تعلم دماغه بالكامل؛ بل يحتاجون فقط إلى معرفة كيفية توصيله بخريطة الماستر الموجودة بالفعل. يتيح ذلك للعلماء رؤية الأجزاء المألوفة والجديدة والغامضة في نموذج الذكاء الاصطناعي الجديد على الفور. إنه يشبه امتلاك مجموعة قياسية من تعليمات "ليجو" (Lego) يمكنها وصف أي ابتكار جديد لـ "ليجو"، مع تسليط الضوء بدقة على القطع القياسية وتلك الغريبة أو المضافة المخصصة.

الخريطة الجديدة والمفاتيح الغامضة

وضع الباحثان، روي وو تونغ تشي، خطة لبناء هذا "الأطلس المرجعي للميزات". بدآ بخمسة نماذج مختلفة من الذكاء الاصطناعي (بما في ذلك Llama و Qwen و Mistral وغيرها)، والتعامل معها كـ "لجنة مرجعية". وقاما بتدريب نظام مشترك لفهم "الأفكار" الداخلية لهذه النماذج الخمسة. فكر في هذا كإنشاء قاموس ضخم مشترك حيث تمثل كل كلمة مفهومًا أو سلوكًا محددًا، مثل "رفض أن يكون فظًا" أو "التحدث عن الرياضيات".

بمجرد بناء هذا القاموس والتحقق من معاني الكلمات، اختبروا هذا النظام على نموذجين جديدين من الذكاء الاصطناعي لم يكونا جزءًا من المجموعة الأصلية: Mistral و Qwen. وبدلاً من بناء قاموس جديد لهذين النموذجين، قاما ببساطة بـ "توصيلهما" بالقاموس الموجود. أدت هذه العملية إلى إنشاء رؤيتين متميزتين لدماغ الذكاء الاصطناعي الجديد:

قناة الأطلس (The Atlas Channel): تُظهر هذه الرؤية كيف يستخدم الذكاء الاصطناعي الجديد الكلمات المألوفة من القاموس المشترك. الأمر يشبه قراءة كتاب جديد باستخدام قاموس قياسي؛ يمكنك رؤية المفاهيم المألوفة التي يستخدمها المؤلف.
القناة المتبقية (The Residual Channel): هذا هو الجزء المثير. فهي تلتقط كل ما فشل القاموس المشترك في تفسيره. إذا كان لدى الذكاء الاصطناعي الجديد فكرة سرية أو عادة غريبة لا تتناسب مع القاموس القياسي، فإن هذه القناة تلتقطها. إنها تشبه "صندوق الغموض" الذي لا يفتح إلا عندما يعجز التفسير القياسي عن التوضيح.

الاختبار السري: زرع رسائل مخفية

لإثبات نجاح طريقتهم، لعب المؤلفون لعبة "الغميضة" مع الذكاء الاصطناعي. فقد قاموا بسرية بحقن ثلاث تعليمات صغيرة مخفية (تسمى LoRAs) في نماذج الذكاء الاصطناعي الجديدة. صُممت هذه التعليمات لجعل الذكاء الاصطناعي يتحدث عن ثلاثة أشياء وهمية محددة للغاية:

علامة تجارية وهمية للحلويات تسمى "Lunaria Mousse".
الإيمان بعلم فلك قديم وغير صحيح (أفلاك بطليموس).
تأييد غريب لـ "وحش المعكرونة الطائر" (Flying Spaghetti Monster).

كانت هذه "أهدافًا مخفية" لم تكن اللجنة المرجعية الأصلية تعرف عنها شيئًا. وكان الهدف هو معرفة ما إذا كانت طريقة "الأطلس" الجديدة يمكنها العثور على هذه الرسائل السرية بشكل أفضل من الطرق القديمة.

كانت النتائج مذهلة. فعندما نظر الباحثون إلى القناة المتبقية (صندوق الغموض)، ظهرت الرسائل المخفية على الفور. في كل اختبار، كانت الرسالة السرية هي أول شيء وجده النظام. لقد كانت واضحة جدًا لدرجة أنه استطاعوا حتى "إيقافها" عن طريق تعديل مفتاح واحد في دماغ الذكاء الاصطناعي، مما جعل الذكاء الاصطناعي يتوقف عن التحدث عن حلوى "Lunaria Mousse" الوهمية أو علم الفلك القديم تمامًا.

في المقابل، عندما حاولوا العثور على هذه الأسرار نفسها باستخدام الطرق القديمة (مثل بناء قاموس جديد من الصفر لكل نموذج أو مقارنة نموذجين فقط في كل مرة)، كانت النتائج فوضوية. غالبًا ما كانت الطرق القديمة تفشل في العثور على الرسائل السرية أو تدفنها في قائمة طويلة من الميزات الأخرى، مما يجعل العثور عليها صعبًا. أما طريقة "الأطلس" الجديدة فقد وجدتها فورًا، وفي كل مرة.

اكتشاف التأطير السياسي

اختبر الباحثون أيضًا هذا في سيناريو من الواقع دون زرع أي أسرار وهمية. لقد بحثوا في كيفية حديث نموذج Qwen عن السياسة مقارنة بالنماذج الأخرى في لجنته المرجعية.

اكتشفوا أن نموذج Qwen يحتوي على "عنقود غامض" في قناته المتبقية. احتوى هذا العنقود على طريقة محددة للتحدث عن السياسة لم تستخدمها النماذج الأخرى؛ حيث ركزت بكثافة على "القانون والنظام"، و"سلطات الطوارئ"، وتقييد الحقوق الفردية أثناء فترات الاضطرابات. وعندما قام الباحثون بـ "توجيه" هذا العنقود المحدد (عن طريق تعديل المفتاح في القناة المتبقية)، تغيرت طريقة حديث الذكاء الاصطناعي عن السياسة بشكل كبير؛ حيث أصبح أقل تركيزًا على تأطير القانون والنظام الصارم. والأهم من ذلك، عندما اختبروا الذكاء الاصطناعي في مواضيع غير سياسية مثل الرياضيات أو الوصفات، لم يتغير شيء. أثبت هذا أن "المفتاح الغامض" كان مسؤولًا تحديدًا عن ذلك الأسلوب في التأطير السياسي.

لماذا يهم هذا؟

يشير البحث إلى أن "الأطلس المرجعي للميزات" هذا هو أداة قوية وجديدة لتدقيق الذكاء الاصطناعي. فهو يسمح للعلماء بـ:

مقارنة التفاح بالتفاح (المقارنة العادلة): يمكنهم الآن النظر إلى نماذج الذكاء الاصطنا diferentes باستخدام نفس مقياس القياس.
رصد الأشياء الغريبة: تعمل القناة المتبقية كنظام إنذار مخصص لأي شيء يفعله الذكاء الاصطناعي خارج نطاق عائلته.
توفير الوقت: بدلاً من إعادة تدريب أنظمة ضخمة لكل نموذج جديد، يمكنهم فقط توصيل النموذج الجديد بالخريطة الموجودة.

يلاحظ المؤلفون بحذر أن نتائجهم المتعلقة بالتأطير السياسي هي "نسبية للجنة" (panel-relative). وهذا يعني أن النتيجة تتعلق بكيفية اختلاف Qwen عن هذه المجموعة المحددة من النماذج الأخرى، وليس بالضرورة حقيقة عالمية عن جوهر Qwen. ومع ذلك، فإن القدرة على تحديد هذه الآليات الخفية والتحكم فيها تشير إلى مسار واعد نحو جعل الذكاء الاصطناعي أكثر أمانًا وشفافية. فمن خلال الفصل بين ما هو "قياسي" وما هو "جديد وغير مفسر"، تمنحنا هذه الطريقة نافذة أوضح على الصندوق الأسود للذكاء الاصطناعي.

ملخص تقني: أطالس الميزات المرجعية للتدقيق الآلي للنماذج اللغوية

1. بيان المشكلة

يتطلب تدقيق النماذج اللغوية (LMs) الجديدة بحثاً عن السلامة، أو التحيز، أو الأهداف الخفية عادةً إعادة تعلم وتفسير الميزات الداخلية من الصفر لكل إصدار جديد. تعاني الأدوات الحالية، مثل المشفرات التلقائية المتناثرة (SAEs) والمشفرات المتقاطعة المتناثرة (Sparse Crosscoders)، من قيود كبيرة في هذا السياين:

الافتقار إلى القواعد المرجعية المشتركة: تنتج الـ SAEs الخاصة بكل نموذج على حد الله قاموساً جديداً لكل هدف، مما يجعل من المستحيل التمييز ما إذا كانت الميزة عبارة عن شذوذ خاص بالنموذج أم أنها خاصية نموذجية للعائلة.
عدم كفاءة المقارنة: تقوم المشفرات المتقاطعة (Crosscoders) الثنائية بتوزيع التفسير عبر نموذجين، لكنها تتطلب إعادة تدريب لنموذج ثالث. وهي تعزل الميزات الخاصة بالهدف عبر عتبة معيار فك التشفير (decoder-norm thresholding) لاحقاً داخل قاموس مشترك، وهو قرار "ناعم" لكل ميزة على حدة بدلاً من أن يكون فصلاً هيكلياً.
غياب أنظمة الإحداثيات: لا توجد أداة حالية توفر نظام إحداثيات مستقراً حيث يمكن مقارنة الأهداف المختلفة على قدم المساواة، ولا توجد آلية لتحديد الهياكل التي تقع "خارج" لوحة مرجعية لنماذج معروفة بشكل صريح.

التحدي الجوهي هو التمييز بين الآليات العامة المشتركة عبر عائلة من النماذج وبين الآليات الخاصة بالهدف التي قد تشفر أهدافاً خفية أو تحيزات فريدة، دون البدء من جديد في مسار التفسير لكل نموذج جديد.

2. المنهجية: أطلس الميزات المرجعي

يقترح المؤلفون أطلس الميزات المرجعي (Reference Feature Atlas)، وهو مكتبة ميزات متناثرة يتم تدريبها مرة واحدة على لوحة مرجعية من النماذج ويُعاد استخدامها للأهداف الجديدة. تفصل هذه المنهجية بين هوية الميزة (ما هي الميزة) واستخدام الميزة (مدى قوة انخراط نموذج جديد فيها).

2.1 تدريب الأطلس (المرحلة 1)

تُستخدم لوحة مرجعية $P = \{M_1, \dots, M_k\}$ مكونة من $k$ من النماذج لتدريب نظام إحداثيات متناثر مشترك.

البنية: يقوم مشفر متعدد المدخلات $E_A$ برسم خرائط تنشيطات جميع نماذج اللوحة إلى فضاء كامن مشترك $z_A \in \mathbb{R}^K$ .
التناثر: يستخدم النظام تقنية BatchTopK (الاحتفاظ بأكبر $k$ من التنشيطات لكل رمز/token) لضمان استقرار أعداد الميزات عبر مقاييس التنشيط غير المتجانسة، وتجنب العيوب المرتبطة بتناثر $L1$ في تدريب المشفرات المتقاطعة.
الهدف: يقلل الأطلس من كسر التباين غير المفسر (FVU) لإعادة بناء تنشيطات كل نموذج في اللوحة ( $h_i$ ) باستخدام فك التشفير الخاص به $D_i$ والرمز المشترك $z_A$ :
$\mathcal{L}_{atlas} = \sum_{i=1}^k \text{FVU}(h_i, D_i z_A)$
تنسيق البيانات الوصفية: بمجرد تدريب الأطلس، يتم تفسير ميزاته (مثلاً عبر فرضيات مولدة بواسطة نماذج لغوية كبيرة، أو محفزات (prompts) ذات أعلى تنشيط) والتحقق من صحتها. وتظل هذه البيانات الوصفية ثابتة ويُعاد استخدامها لجميع عمليات التدقيق المستقبلية.

2.2 إلحاق هدف (المرحلة 2)

عند وصول نموذج هدف جديد $M_\star$ ، يتم "إلحاقه" بالأطلس المجمد دون إعادة تدريب المشفر أو فك التشفير الخاص باللوحة.

ملاءمة فك التشفير الخطي: يتم ملاءمة فك تشفير خطي واحد للهدف $D_\star$ لإعادة بناء تنشيطات $M_\star$ باستخدام رمز الأطلس المجمد $z_A$ :
$\hat{h}_\star = D_\star z_A$
هذه الخطوة غير مكلفة حاسوبياً (انحدار ريج (ridge regression) على مجموعة بيانات محايدة) وتنتج قناة الأطلس (Atlas Channel).
القناة المتبقية (Residual Channel): الجزء من تنشيطات الهدف الذي لم يتم إعادة بناؤه بواسطة الأطلس يُعرف بالمتبقي:
$r_\star = \text{sg}[h_\star - D_\star z_A]$
يتم تدريب مشفر تلقائي متبقي (Residual SAE) مخصص على $r_\star$ لتشكيل قاموس منفصل. تلتقط هذه القناة صراحةً الهيكل غير المغطى باللوحة—أي الميزات الموجودة في الهدف ولكنها غير ممثلة في اللوحة المرجعية.

2.3 مخرجات التدقيق

ينتج التدقيق رؤيتين متكاملتين:

قناة الأطلس: تقرأ الهدف بناءً على ميزات اللوحة التي تم تفسيرها بالفعل. وهي توفر نظام إحداثيات مستقر للمقارنة بين $N$ من النماذج، موضحاً الميزات المشتركة التي ينخرط فيها الهدف وتلك التي يتجاهلها.
القناة المتبقية: تبرز قائمة جرد الميزات المسماة للآليات التي تقع "خارج اللوحة المرجعية". ولأن هذه الميزات تعيش في قاموس منفصل بناءً على بناء هيكلي، فهي متميزة عن الميزات المشتركة وليس مجرد قرار لاحق.

3. المساهمات الرئيسية

نظام إحداثيات ميزات قابل لإعادة الاستخدام: يوفر الأطلس نظام إحداثيات مشترك تم تدريبه مرة واحدة على لوحة مرجعية. وتتصل الأهداف الجديدة عبر فك تشفير خطي، مما يسمح بالمقارنة المباشرة مع جميع النماذج المرجعية دون إعادة تدريب قاموس الميزات.
الفصل الهيكلي للبنية غير المغطاة باللوحة: على عكس المشفرات المتقاطعة المتناثرة التي تخلط الميزات المشتركة والمخصصة للنموذج في قاموس واحد، تقوم هذه الطريقة بملاءمة SAE متبقي منفصل على الإشارة غير المعاد بناؤها. وهذا يجعل "الهيكل غير المغطى باللوحة" خاصية هيكلية ثابتة، وليس قراراً لاحقاً.
بصمة الخطوط المرجعية عبر الإلحاق: يعمل جودة الإلحاق (مقاسة بـ FVU أو تباعد KL) كمقياس عددي لمدى وجود سلوك الهدف خارج اللوحة المرجعية. ويتم التوسع في ذلك إلى قائمة جرد ميزات مسماة بواسطة الـ SAE المتبقي.

4. النتائج التجريبية

قام المؤلفون بتدريب اثنين من أطالس "ترك النموذج الواحد" (leave-one-out atlases) على لوحة من خمسة نماذج تعليمات (Llama-3.1, Qwen2.5, Mistral-7B, Gemma-2, OLMo-2) وحققوا في النماذج المستبعدة (Mistral و Qwen).

4.1 تدقيق الأهداف الخفية المحكومة

تم حقن ثلاثة أهداف خفية (علامة تجارية خيالية للحلويات، أفلاك بطلمية، ودعوة لـ "وحش المعكرونة الطائرة") في كلا الهدفين المستبعدين عبر نماذج LoRA صغيرة.

الاستعادة: استعادت القناة المتبقية الآلية المحقونة كـ أعلى عنصر كامن (متوسط الرتبة 1.0، $\sigma=0$ ) في جميع الحالات الست (3 بذور $\times$ هدفين).
التحكم السببي: أدت التدخلات في الاتجاهات المتبقية إلى جعل معدل الهدف المزروع صفراً، بينما لم تؤثر على الضوابط الحميدة المطابقة.
مقارنة خط الأساس: في حالة هدف Mistral، قام المؤلفون بإعادة تدريب SAEs خاصة بكل هدف ومشفرات متقاطعة ثنائية لإجراء اختبار مقارنة مباشر. فشلت كلتا الطريقتين في استعادة الهدف كأعلى ميزة (الرتب 12 و 9، على التوالي)، بينما نجح أطلس المرجع في ذلك.

4.2 اكتشاف التأطير السياسي النسبي للوحة (Qwen)

فجوة الإلحاق: اتصل Qwen-2.5 بالأطلس B (حيث كان مستبعداً) بتباعد KL أعلى بـ $\sim7\times$ من قيمته داخل اللوحة، مما يشير إلى بنية كبيرة خارج اللوحة المرجعية.
اكتشاف المتبقي: حددت القناة المتبقية هذه الفجوة في استمرارات سياسية محددة لم تغطها اللوحة، بما في ذلك قيود طوارئ السلطة، وتأطير تعليق الإعلام أثناء الاضطرابات، وتبريرات القانون والنظام التي تقلل من شأن الحقوق الفردية.
التدخل: أدى توجيه (steering) عنقود المتبقي إلى تغيير معدل رفض الكلمات المفتاحية السياسية وتأطير القانون والنظام بشكل رتيب، بينما ظلت الضوابط الخارجة عن النطاق دون تغيير.
طبيعة الاكتشاف: يؤكد المؤلفون أن هذا اكتشاف نسبي للوحة. فهو يحدد البنية الموجودة في Qwen والتي لا تغطيها اللوحة المرجعية المدربة في الغرب، بدلاً من تقديم ادعاء جوهري حول قيم النموذج.

5. الأهمية والادعاءات

يزعم البحث أن "أطلس الميزات المرجعي" يقدم إطاراً أكثر قابلية للتوسع والكفاءة والصرامة للتدقيق الآلي مقارنة بالطرق الحالية المتطورة.

الكفاءة: يتجنب التكلفة الحسابية لإعادة تدريب القواميس الكاملة لكل نموذج جديد، حيث يتطلب فقط ملاءمة فك تشفير خطي.
القابلية للمقارنة: يحل مشكلة "عدم التوافق" في SAEs أحادية النموذج والمشفرات المتقاطعة الثنائية من خلال توفير نظام واحد ذي $K$ بُعد للمقارنة بين $N$ من النماذج.
الكشف الصريح عن الشذوذ: من خلال فصل القناة المتبقية هيكلياً، يبرز الأسلوب بوضوح الآليات التي تقع "خارج اللوحة المرجعية"، مما يوفر إشارة واضحة للأهداف المحددة للهدف التي قد تخفيها القواميس المشتركة.
التواضع: يشير المؤلفون إلى أن النتائج نسبية للوحة المرجعية ومجموعة بيانات التدقيق. على سبيل المثال، فإن اكتشاف التأطير السياسي محصور في توزيع المحفزات واللوحة المستخدمة؛ فقد تستوعب لوحة مختلفة هذه الميزات ضمن الإحداثيات المشتركة. يتطلب الطريقة الوصول إلى التنشيطات (النماذج مفتوحة الأوزان) ويعتمد على تسميات الميزات التي تظل فرضيات تتطلب التحقق.

يضع هذا العمل الأطلس ليس فقط كمستخرج ميزات، بل كـ بروتوكول تدقيق معياري يسمح للباحثين بالتمييز بين سمات العائلة المشتركة والأهداف الخفية الخاصة بالهدف بدقة أكبر وجهد أقل.