🤖 machine learning

Geometric Evolution Maps: Extracting Stable Concept Probes from Transformer Residual Streams

تقدم هذه الورقة خرائط التطور الهندسي (GEMs)، وهي طريقة تتبع المسار الاتجاهي للمفاهيم في مسارات المتبقي (residual streams) لنماذج المحولات (transformers) لتحديد "طبقات التسليم" (handoff layers) المستقرة حيث تستقر التمثيلات، مما يسمح باستخراج مجسات مفاهيمية أكثر موثوقية من النهج التقليدية القائمة على الطبقات الثابتة أو ذروة الدرجات عبر بنيات متنوعة.

المؤلفون الأصليون: James Henry

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: James Henry

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج ذكاء اصطناعي من نوع "ترانسفورمر" (Transformer) كأنه مصنع ضخم متعدد الطوابق، حيث تدخل الأفكار الخام من الأسفل وتتم معالجتها طبقة تلو الأخرى حتى تصبح منتجاً نهائياً في الأعلى.

لفترة طويلة، كان الباحثون الذين يحاولون فهم ماذا يفكر فيه الذكاء الاصطناعي (مثل ما إذا كان يفهم "الغضب"، أو "الحقيقة"، أو "الخطر") يتبعون قاعدة بسيطة: فقط انظر إلى الطابق العلوي الأخير. افترضوا أنه بحلول الوقت الذي تصل فيه الفكرة إلى الطبقة النهائية، تكون قد اكتملت وتكونت بشكل مستقر.

هذه الورقة البحثية تجادل بأن هذه القاعدة خاطئة. الأمر يشبه محاولة فهم وصفة طعام من خلال النظر فقط إلى الطبق النهائي المقدم، متجاهلاً حقيقة أن المكونات تم تقطيعها، وخلطها، وتسخينها، وتحريكها بطرق مختلفة تماماً في كل طابق من الطوابق.

إليك التبسيط لما اكتشفته الورقة وما اقترحته:

1. المشكلة: الأفكار تدور كالمغزل

وجد المؤلفون أنه عندما "يفكر" الذكاء الاصطناعي في مفهوم ما (مثل "التهكم" أو "التهديد")، فإن الطريقة التي يمثل بها هذا المفهوم في ذاكرته الداخلية تدور حول نفسها بجنون أثناء انتقالها عبر طوابق المصنع.

التشبيه: تخيل مجموعة من الناس يحاولون تشكيل هرم بشري. في الأسفل، هم مجرد أشخاص يمسكون أيدي بعضهم البعض ويدورون في دوائر، محاولين إيجاد توازنهم. إنهم في حالة فوضى عارمة.
البيانات: قامت الورقة بقياس هذا "الدوران". في معظم الحالات، كان اتجاه الفكرة في بداية عملية التجميع مختلفاً تماماً (مثل الإشارة نحو الشمال مقابل الجنوب) عن المكان الذي انتهت إليه.
الخطأ: إذا حاولت "سبر" (استكشاف) الفكرة بينما لا تزال تدور في منتصف المصنع، فقد تمسك بها وهي تشير في الاتجاه الخاطئ. قد تعتقد أن الذكاء الاصطناعي يفكر في "الخطر" بينما هو في الواقع يقوم فقط بتنظيم القطع لكي يفكر لاحقاً في الخطر.

2. الحل: طبقة "التسليم" (The Handoff Layer)

قدم المؤلفون طريقة جديدة تسمى خرائط التطور الهندسي (GEMs). بدلاً من التخمين في أي طابق يجب النظر، تقوم خرائط GEMs بتتبع الفكرة أثناء انتقالها للأعلى للعثد اللحظة الدقيقة التي تتوقف فيها عن الدوران وتستقر في مكانها.

التشبيه: فكر في سباق تتابع. العداءون (الطبقات) يمررون العصا (المفهوم) ذهاباً وإياباً. لفترة من الوقت، تكون العصا متأرجحة ويتم تمريرها بشكل غير متقن. ولكن بعد ذلك، هناك لحظة محددة — لحظة التسليم — حيث يمسك العداء العصا أخيراً، ويثبت قبضته، ويبدأ في الجري في خط مستقيم.
الاكتشاف: وجدت الورقة أن هذا "القبض المستقر" يحدث في طبقة محددة، أطلقوا عليها اسم طبقة التسليم (Handoff Layer). بمجرد أن تمر الفكرة عبر هذه الطبقة، تتوقف عن الدوران وتظل مستقرة طوال الطريق إلى الأعلى.
النتيجة: إذا كنت تريد معرفة ما يفكر فيه الذكاء الاصطناعي، فلا ينبغي أن تنظر إلى القمة (حيث قد تكون قد انحرفت) أو المنتصف (حيث لا تزال تدور). يجب أن تنظر تماماً إلى طبقة التسليم، حيث استقرت الفكرة واتخذت شكلها النهائي والمستقر.

3. اختبار النظرية

اختبر الباحثون هذه النظرية على 23 نموذج ذكاء اصطناعي مختلف (تتراوح من الصغيرة جداً إلى الكبيرة جداً) و17 نوعاً من المفاهيم (مثل "التهكم"، "الاستعجال"، "الخداع"، إلخ).

المقارنة: قارنوا بين طريقتهم الجديدة "طريقة التسليم" والطريقة القديمة "طريقة الذروة" (التي تعتمد على النظر إلى الطابق الذي تبدو فيه الفكرة في أقوى حالاتها، حتى لو كانت لا تزال تدور).
النتيجة: كانت طريقة "التسليم" أفضل بنسبة 68% من المرات. وفي كثير من الحالات، كانت أكثر دقة بشكل ملحوظ.
العائق: تعمل هذه الطريقة بشكل أفضل في النماذج الأكبر. في النماذج الصغيرة جداً، يكون "الدوران" أحياناً فوضوياً للغاية أو يكون المصنع قصيراً جداً بحيث لا تجد الفكرة وقتاً كافياً لتستقر قبل أن تصل إلى القمة.

4. قواعد خاصة لأنواع المصانع المختلفة

لاحظت الورقة أن أنواعاً مختلفة من مصانع الذكاء الاصطناعي تسلك سلوكيات مختلفة:

المصانع القياسية (MHA): تمتلك دائماً "طبقة تسليم" واضحة حيث تستقر الفكرة. الطريقة الجديدة تعمل بشكل رائع هنا.
المصانع المجمعة (GQA): تمتلك هيكلاً داخلياً أكثر تعقيداً. أحياناً تستقر مبكراً أو تتصرف بشكل مختلف، لذا فإن طريقة "التسليم" أقل هيمنة ولكنها لا تزال مفيدة.
قاعدة "القرب من القمة": أحياناً تستقر الفكرة في وقت متأخر جداً بحيث تكاد تصل إلى الطابق العلوي الأخير. إذا حاولت فحص الفكرة هناك، فقد تخلط بينها وبين عملية "التغليف" النهائية (الاستعداد للتحدث). وضع المؤلفون قاعدة خاصة للتعامل مع هذه الحالات النادرة، لضمان عدم الخلط بينها وبين عملية التغليف.

5. ماذا يعني هذا (وماذا لا يعني)

ما تثبته الورقة: تثبت الورقة أن مفاهيم الذكاء الاصطناعي ليست ثابتة؛ بل هي عمليات ديناميكية تتحرك وتدور قبل أن تستقر. لفهمها، يجب أن تجد اللحظة التي تتوقف فيها عن الحركة.
ما لا تدعيه الورقة: لا تدعي الورقة أن هذا يجعل الذكاء الاصطناعي أكثر أماناً، أو أننا نستطيع الآن التحكم في سلوك الذكاء الاصطناعي بشكل مثالي. إنها ببساطة توفر "مجهراً" أفضل لرؤية أين تكون أفكاء الذكاء الاصطناعي مستقرة بالفعل.
إخفاق واحد: تعترف الورقة بأن نموذجاً صغيراً واحداً (gpt2) قد كسر القواعد. في هذا المصنع الصغير، حدثت "التسليم" قريباً جداً من القمة لدرجة أن الطريقة اختلطت بعملية التغليف. هذا قصور معروف وليس عيباً في النظرية العامة.

الملخص

اعتبر عقل الذكاء الاصطناعي كنهر. الطريقة القديمة لدراسته كانت تتمثل في النظر إلى المحيط حيث ينتهي النهر، بافتراض أن المياه ستكون هادئة. تقول هذه الورقة: "لا، المياه تضطرب وتدور طوال الطريق".

خريطة التطور الهندسي (Geometric Evolution Map) هي مثل مستشعر يطفو في النهر، ينتظر اللحظة الدقيقة التي يتوقف فيها الماء عن الدوران ويبدأ في الجري في خط مستقيم. بمجرد أن يجد تلك البقعة الهادئة (طبقة التسليم)، يلتقط صورة لها. هذه الصورة هي صورة أوضح وأكثر دقة لما يفكر فيه الذكاء الاصطناعي فعلياً مقارنة بأي صورة يتم التقاطها في القمة أو في الأسفل.

ملخص تقني: خرائط التطور الهندسي (GEMs)

بيان المشكلة

المجسات الخطية (Linear probes) المستخرجة من التدفق المتبقي (residual streams) في نماذج المحولات (transformers) لا تكون موثوقة إلا بقدر موثوقية الطبقة المحددة التي استُخرجت منها. تعتمد الأدبيات الحالية على ثلاث قواعد استدلالية بدائية لاختيار الطبقة: فحص الطبقة النهائية، أو فحص الطبقة ذات ذروة درجة الفصل (separation score)، أو فحص طبقة ثابتة تقع في المنتصف أو في أواخر النموذج.

تجادل الورقة بأن هذه النهج تفشل في مراعاة حقيقة هيكلية جوهرية: تمثيلات المفاهيم في التدفقات المتبقية للمحولات ليست ثابتة. فهي تظهر تدريجيًا، وتخضع لتدوير اتجاهي جوهري أثناء مرحلة التجميع (داخل منطقة تخصيص المفهوم أو CAZ)، ثم تستقر فقط في اتجاه ثابت عند "طبقة التسليم" (handoff layer) المميزة التي تلي الـ CAZ الأساسية. إن الفحص عند ذروة الفصل (التي تحدث داخل الـ CAZ) أو عند مدخل الـ CAZ يستخلص اتجاهًا لم يستقر بعد، مما يؤدي إلى مجسات مفاهيم غير موثوقة.

المنهجية: خرائط التطور الهندسي (GEMs)

تقدم الورقة خرائط التطور الهندسي (GEMs)، وهي طريقة لتتبع المسار الاتجاهي الكامل لمفهوم ما عبر تنشيطات التدفق المتبقي لتحديد الطبقة الدقيقة التي يستقر فيها اتجاه المفهوم.

التعريفات الأساسية

اتجاه المفهوم ( $u^{(l)}$ ): في كل طبقة $l$ ، يُعرَّف اتجاه المفهوم المهيمن كفرق مُطبع بـ $L_2$ بين متوسط تنشيطات التدفق المتبقي للأزواج المتضادة الموجبة والسالبة (الفرق في المتوسطات).
السرعة الزاوية ( $\omega^{(l)}$ ): يتم حساب معدل التغير الاتجاهي كالتالي: $\omega^{(l)} = 1 - |u^{(l)} \cdot u^{(l-1)}|$ . تشير السرعة العالية إلى دوران نشط؛ والسرعة المنخفضة تشير إلى الاستقرار.
منطقة تخصيص المفهوم (CAZ): نطاق الطبقات حيث يخضع المفهوم لحدث الفصل الرئيسي، ويتم اكتشافه عبر درجات الفصل المعيرة بـ Fisher.
طبقة التسليم ( $L_H$ ): تُعرف إجرائيًا بأنها أول طبقة تلي نهاية الـ CAZ حيث تنخفض السرعة الزاوية إلى ما دون عتبة ( $\epsilon = 0.05$ ). هذه هي الطبقة التي "يتقفل" فيها اتجاه المفهوم.
المجس المستقر (Settled Probe): المجس المستخرج هو متجه الوحدة $u^{(L_H)}$ عند طبقة التسليم.

قاعدة العرض التكيفي

عند تقييم المجسات عبر الاستئصال (ablation)، تقدم الورقة قاعدة عرض تكيفي ( $w$ ). الوضع الافتراضي هو استئصال 3 طبقات متتالية تبدأ من $L_H$ . ومع ذلك، بالنسبة لطبقات التسليم القريبة من الطبقة النهائية ( $L_H/N > 0.85$ )، فإن استئصال 3 طبقات يخاطر بالامتداد إلى منطقة التحضير لفك التشفير (unembedding-preparation zone)، مما يؤدي إلى تخفيف الإشارة. لهذه الحالات، تضبط القاعدة $w=1$ لاستخراج الاتجاه تمامًا عند نقطة التقارب.

المساهمات الرئيسية

صياغة GEM: طريقة قابلة للتطبيق لحساب طبقة التسليم واستخراج اتجاه المفهوم المستقر.
التحقق التجريبي من التدوير: أثبتت أن اتجاهات المفاهيم تدور بشكل كبير أثناء التجميع. عبر 391 زوجًا (مفهوم $\times$ نموذج) من أصل 391 (23 نموذجًا، 17 مفهومًا)، بلغ متوسط جيب تمام الدخول-الخروج (EEC) داخل مناطق CAZ قيمة 0.233، مع ظهور 93.9% من الأزواج لقيمة EEC < 0.5. وهذا يؤكد أن الفحص عند مدخل الـ CAZ أو ذروة الفصل يلتقط اتجاهًا متعامدًا مع الحالة النهائية المستقرة.
تفوق مجسات التسليم: مجسات GEM هي على الأقل بدقة مجسات ذروة الطبقة في 68.5% (268/391) من التجارب، وتتفوق عليها بشكل صارم في 66.2% (259/391). أكد اختبار Wilcoxon signed-rank لنسب النماذج لكل نموذج المعنوية ( $p=0.010$ ; $p=0.0036$ باستثناء gpt2).
النتائج الخاصة بالبنية الهيكلية:
- MHA مقابل GQA: تفضل نماذج MHA طبقة التسليم في 78.3% من التجارب، بينما تفضلها نماذج GQA في 47.1% فقط.
- الحجم: هيكل GEM موجود حتى في نماذج 70 مليون معلمة، لكن جودة المجس تتحسن بشكل ملحوظ في نطاق > 500 مليون.
التحكم في خصوصية الاتجاه: أدى استئصال اتجاه المفهوم المحدد إلى كبح الفصل بمعدل أعلى بـ 377 ضعفًا من استئصال الاتجاه العشوائي (45.6% مقابل 0.24%)، مما يؤكد أن التأثير محمول بواسطة اتجاه المفهوم نفسه، وليس مجرد العمق.
التحكم في مطابقة العمق: أكدت تجربة تحكم قارنت GEM بطبقة غير مستقرة عند نفس العمق النسبي أن معيار الاستقرار يساهم بـ +32.5 نقطة مئوية إضافية في كبح الفصل، مما ينفي أن يكون عمق الاستخراج هو المحرك الوحيد.
أنماط الفشل الهيكلية:
- gpt2: تم تحديده كنمط فشل حقيقي حيث أدى الاستئصال عند طبقة التسليم (بسبب القرب من فك التشفير في نموذج مكون من 12 طبقة) إلى زيادة الفصل بشكل مرضي.
- OPT-6.7b: بدا في البداية كفشل في مجموعة بيانات أصغر (تحسن بنسبة 41%)، لكنه حقق تحسنًا بنسبة 76% عند $N=250$ ، مما يشير إلى أن النتيجة الأولية كانت تعتمد على حجم المجموعة.

النتائج والملاحظات

عمق التسليم: تستقر معظم المفاهيم في الـ 15-30% الأخيرة من عمق النموذج. المفاهيم المتعلقة بالسلامة والمعرفية (مثل threat_severity، certainty) تتسلم في أعمق نقطة (متوسط العمق النسبي $\ge$ 0.86)، بينما تسلم المفاهيم النحوية (مثل specificity، plurality) في وقت أبكر.
هيكل التتابع (Relay Structure): تكشف تجارب الاستئصال متعددة العقد على pythia-6.9b أن المفاهيم غالبًا ما توجد في تتابع سببي. عقدة GEM الأعمق هي نقطة التدخل الأكثر تركيزًا سببيًا، لكن العقد الضحلة هي عقد سببية سابقة (لوحظ التداخل المتقاطع في 9/15 من المفاهيم متعددة العقد).
فعالية العرض التكيفي: حسن قاعدة القرب من النهاية ( $w=1$ ) جودة المجس في 75.9% من الحالات المستهدفة (60/79)، مع متوسط زيادة قدره +7.44 نقطة مئوية لتلك الحالات.

الأهمية والادعاءات

تدعي الورقة أن GEM توفر المنهجية التي تستند إليها أوراق CAZ Validation و PRH في هذا البرنامج البحثي. تكمن أهميتها الأساسية في:

تصحيح استخراج المجسات: إثبات أن الاتجاه "المستقر" عند طبقة التسليم هو التمثيل الهندسي الدقيق للمفهوم، وهو يتفوق على الاتجاهات العابرة الموجودة عند ذرى الفصل.
رسم ديناميكيات التجميع: توفير طريقة لتصور وقياس "تدوير" المفاهيم، مما يكشف أن المفاهيم ليست ثابتة بل تمر بعملية تجميع ديناميكية قبل الاستقرار.
التوصيف السببي: إثبات أن GEM تحدد أكثر النقاط سهولة للتدخل في التتابع السببي، رغم أنها لا تدعي التقاط كامل ترميز المفهوم (الذي يظل موزعًا).

تظل الورقة متواضعة فيما يتعلق بنطاقها: فهي لا تدعي شرح الآلية الكاملة لترميز المفهوم (مثل المساهمات المحددة لطبقات الانتباه مقابل طبقات MLP)، ولا تدعي التقاط كل معلومات المفهوم، بل تلتقط فقط "القمم" في التوزيع حيث تكون الإشارة كبيرة بما يكفي لعزلها واختبارها. كما تشير صراحة إلى أن الاستئصال السلوكي (قياس التغيرات في المخرجات اللاحقة) مصمم ولكنه لم يُجرَ بعد على نطاق واسع.