🤖 machine learning

The Concept Allocation Zone: Tracking How Concepts Form Across Transformer Depth

تقدم هذه الورقة "منطقة تخصيص المفاهيم" (CAZ)، وهو إطار عمل يعيد تعريف تشكّل المفاهيم في نماذج المحولات (transformers) باعتباره عملية ممتدة عبر العمق تحدث عبر منطقة متصلة من المجرى المتبقي (residual stream) بدلاً من حدوثها عند طبقة واحدة "مثلى"، وذلك باستخدام مقاييس جديدة لتحديد هذه المناطق، وكشف أن العديد من المفاهيم تكمن في مناطق تخصيص فرعية متعددة الأنماط، وهي مناطق نشطة سببيًا ومع ذلك تظل غير مرئية لطرق الكشف عن الذروة القياسية.

المؤلفون الأصليون: James Henry

نُشر 2026-05-26✓ Author reviewed ⓘ

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: James Henry

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة من نوع "ترانسفورمر" (Transformer) -مثل الذكاء الاصطناعي الذي يكتب هذا النص- ليس كدماغ ثابت، بل كـ خط تجميع في مصنع.

لفترة طويلة، اعتقد الباحثون أنه عندما يتعلم الذكاء الاصطناعي مفهوماً ما —مثل "المصداقية" أو "الرفض"— فإن ذلك يحدث في محطة واحدة محددة على ذلك الخط. كانوا يبحثون عن "أفضل طبقة" واحدة حيث يكون المفهوم أكثر وضوحاً، تماماً مثل البحث عن اللحظة الوحيدة في فيلم يظهر فيها وجه الشخصية بأقصى درجات الوضوح.

تجادل هذه الورقة البحثية بأن هذه الرؤية بسيطة للغاية. فبدلاً من كون المفهوم مجرد لقطة ثابتة، فإن المفاهم هي عمليات. يتم بناؤها تدريجياً، وتنتقل عبر منطقة محددة من خط التجميع. وقد أطلق المؤلف على هذه المنطقة اسم منطقة تخصيص المفهوم (CAZ).

إليك تفصيل كيفية عمل ذلك، باستخدام تشبيهات من الحياة اليومية:

1. خط التجميع مقابل اللقطة الثابتة

تخيل "المجرى المتبقي" (residual stream) للذكاء الاصطناعي (وهو البيانات المتدفقة عبر النموذج) كأنه حزام ناقل.

الطريقة القديمة: كان الباحثون يوقفون الحزام عند نقطة محددة، ويلتقطون صورة، ويقولون: "هنا يعيش المفهوم".
الطريقة الجديدة (CAZ): تقول الورقة: "لا، المفهوم يتم بناؤه أثناء حركته". يبدأ كفكرة غامضة، ثم يتم تنقيحها، وربما تُنقل إلى جزء آخر من الحزام، ثم تستقر أخيراً. الـ CAZ هي الامتداد الكامل للحزام الناقل حيث يقوم النموذج بتنظيم هندسته الداخلية بنشاط لجعل ذلك المفهوم متميزاً.

2. ثلاث أدوات لمراقبة عملية البناء

لتتبع هذه العملية، اخترع المؤلف ثلاثة "مجسات" تقيس ما يحدث عند كل محطة على الخط:

الانفصال (المسافة): تخيل مجموعتين من الناس (مثلاً: "موثوق" مقابل "غير موثوق"). في بداية الخط، يكون الجميع مختلطين في حشد واحد. ومع تحركهم عبر الخط، يبدأ مجموعة "الموثوقين" بالسير جهة اليسط، بينما يتجه مجموعة "غير الموثوقين" جهة اليمين. يقيس الانفصال مدى تباعدهم عن بعضهم البعض.
التماسك (النظام): أحياناً تكون المجموعات بعيدة عن بعضها، لكنها أيضاً مشتتة وفوضوية. يقيس التماسك ما إذا كانت المجموعة تسير في خط مستقيم ومنظم أم في حشد فوضوي. الدرجة العالية تعني أن المفهوم قد "تبلور" في شكل واضح.
السرعة (سرعة التغيير): يقيس هذا مدى سرعة ابتعاد المجموعات عن بعضها. إذا كانت المسافة تزداد بسرعة، فهذا يعني أن المفهوم يُبنى الآن. إذا توقفت المسافة عن التغير، فهذا يعني أن المفهوم قد اكتمل. وإذا بدأت المجموعات في العودة للاقتراب من بعضها، فهذا يعني أن المفهوم يتم التخلي عنه أو تغييره.

3. "المناطق اللطيفة"

اكتشفت الورقة شيئاً مفاجئاً: المفاهيم لا تمتلك دائماً ذروة واحدة كبيرة فقط، بل غالباً ما تمتلك مناطق متعددة.

منطقة تخصيص المفهوم الرئيسية (Major CAZ): الذروة الكبيرة والواضحة حيث يكون المفهوم في أقوى حالاته.
منطقة تخصيص المفهوم اللطيفة (Gentle CAZ): مناطق أصغر وأكثر دقة قد تغفل عنها الأدوات القياسية. وجدت الورقة أن هذه المناطق "اللطيفة" حقيقية ونشطة أيضاً. إذا قمت بإيقاف تشغيلها، سيتغير سلوك الذكاء الاصطناعي. الأمر يشبه العثور على تروس صغيرة مخفية في ساعة لم تكن تعلم أنها تدور، ولكن إذا أوقفتها، ستتوقف الساعة عن العمل.

4. المفاهيم لها "تمثيلات فرعية"

أحياناً يظهر مفهوم مثل "المصداقية" مرتين على خط التجميع:

المنطقة الضحلة: بالقرب من البداية، قد يتعرف الذكاء الاصطناعي على المصداقية لمجرد وجود كلمات معينة (مثل "موثوق" أو "جدير بالثقة").
المنطقة العميقة: في مكان أبعد من الخط، يعيد الذكاء الاصطناعي تقييم المصداقية بناءً على القصة والسياق الكاملين.
توضح الورقة أن هذه ليست مجرد مراحل، بل هي في الواقع أشكال هندسية مختلفة في عقل الذكاء الاصطناعي. إنها طريقتان مختلفتان لفهم نفس الكلمة، تحدثان في أعماق مختلفة.

5. "التسليم" (The Handoff)

بما أن المفاهيم تتحرك وتغير شكلها، تقترح الورقة أنه إذا كنت تريد التدخل (لتغيير سلوك الذكاء الاصطناعي)، فلا ينبغي لك فقط اختيار "أفضل" طبقة، بل يجب عليك الانتظار حتى يكمل المفهوم رحلته و"يستقر" في شكل ثابت. وهذا ما يسمى طبقة التسليم (handoff layer).

التشبيه: إذا كنت تحاول الإمساك بكرة، فأنت لا تحاول الإمساك بها وهي لا تزال في مرحلة الرمي (مرحلة التجميع)، بل تنتظر حتى تصبح في الهواء ومستقرة (مرحلة التسليم).

6. النمط "العالمي"

اختبرت الورقة هذا على 34 نموذجاً مختلفاً من الذكاء الاصطناعي. ووجدت أنه رغم اختلاف عدد الطبقات في النماذج المختلفة، إلا أنها جميعاً تنظم المفاهيم وفق ترتيب نسبي متشابه.

التشبيه: تخيل مصنعين مختلفين؛ أحدهما به 10 محطات، والآخر به 100 محطة. كلاهما يصنع سيارة. في كلا المصنعين، يتم بناء المحرك في أول 20% من الخط، وتتم عملية الطلاء في آخر 20%. النسبة المئوية للخط هي نفسها، حتى لو اختلف الطول الإجمالي. تؤكد الورقة أن نماذج الذكاء الاصطناعي تتبع هذا المخطط "المتدرج حسب العمق".

ملخص ما تم اختباره

وضعت المؤلفة 7 توقعات محددة لاختبار هذه النظرية. إليك النتيجة بلغة بسيطة:

التوقع 1 (أين يتم القطع): ظنوا أن قطع منتصف المنطقة هو الأفضل. خاطئ. الأمر يعتمد على النموذج؛ فأحياناً يكون قطع النهاية هو الأفضل.
التوقع 2 (الترتيب): ظنوا أن ترتيب المفاهيم هو نفسه في جميع النماذج. صحيح غالباً. الترتيب ثابت، لكنه ليس صارماً بشكل مطلق.
التوقع 3 (العرض): ظنوا أن الأفكار المعقدة تشغل مساحة أكبر على الخط. ربما. تشير البيانات إلى هذا، لكننا بحاجة لمزيد من الاختبارات.
التوقع 4 (النهاية): ظنوا أن المفاهيم تصبح فوضوية في النهاية تماماً. غير قابل للاختبار. نظرية "النهاية الفوضوية الواحدة" كانت خاطئة لأن المفاهيم غالباً ما تمتلك عدة ذرى، لذا لا توجد "نهاية" واحدة فقط يمكن قياسها.
التوقع 5 (المحاذاة): ظنوا أن مطابقة العمق (النسبة المئوية للخط) بين النماذج هو المفتاح. صحيح: وهذا هو أقوى اكتشاف: إذا قارنت "منتصف" نموذج ما بـ "منتصف" نموذج آخر، فستجدهما متطابقين تماماً.
التوقع 6 (الكلمات مقابل السياق): ظنوا أن المناطق المبكرة تتعلق فقط بالكلمات والمناطق العميقة تتعلق بالسياق. خاطئ. المناطق المبكرة ليست مجرد كلمات خام؛ بل هي معالجة بالفعل.
التوقع 7 (البنية): ظنوا أن عدد "الذرى" يعتمد على نوع النموذج وليس حجمه. غير معروف. لم يكن الاختبار كبيراً بما يكفي للجزم بذلك.

الخلاصة

تنقل هذه الورقة البحثية الرؤية للذكاء الاصطناي من كونه خريطة ثابتة (أين يوجد المفهوم؟) إلى كونه فيلمًا ديناميكيًا (كيف يتشكل المفهوم؟). إنها تقدم طريقة لقياس "منطقة البناء" للأفكار، كاشفةً أن نماذج الذكاء الاصطناعي تبني الأفكار المعقدة عبر مراحل، وغالباً ما تستخدم خطوات خفية متعددة فاتتها الطرق السابقة.

ملخص تقني: منطقة تخصيص المفهوم (CAZ)

بيان المشكلة

تعتمد طرق التفسير الآلي الحالية بشكل أساسي على استدلال "أفضل طبقة"، حيث تحدد طبقة مثالية واحدة في مسار المتبقي (residual stream) للنموذج (Transformer) حيث يحقق تمثيل المفهوم أقصى فصل للفئات (على سبيل المثال، عبر الاختبار الخطي أو طريقة فرق المتوسطات). وبينما تتسم هذه الطريقة بالكفاءة الحسابية، إلا أنها تعامل تشكيل المفهوم كلقطة ثابتة بدلاً من عملية ديناميكية. وهي تفشل في التقاط الطبيعة التكرارية والممتدة عبر العمق لكيفية تجميع المفاهيم، وتنظيمها، وإعادة تخصيصها المحتمل عبر طبقات النموذج. وبناءً على ذلك، قد تغفل الطرق أحادية الطبقة عن التمثيلات الانتقالية، ومناطق التخصيص الدقيقة، والديناميكيات الهندسية لبناء المفهوم.

المنهجية

يقدم البحث إطار عمل منطقة تخصيص المفهوم (CAZ)، الذي يعيد تعريف تمثيل المفهوم كمنطقة متصلة من عمق النموذج بدلاً من نقطة واحدة. يعتمد إطار العمل على ثلاثة مقاييس لكل طبقة يتم حسابها من تنشيطات مسار المتبقي:

الانفصال ( $S(l)$ ): مسافة المركز المعيرة بـ "فيشر" بين الفئات المتضادة عند الطبقة $l$ . يقيس هذا مدى سهولة تمييز النموذج بين فئتين (مثل: نص موثوق مقابل غير موثوق) عند عمق معين.
تماسك المفهوم ( $C(l)$ ): نسبة التباين المفسر للمكون الرئيسي الأول لمصفوفة التنشيط المجمعة. يحدد ما إذا كان المفهوم مشفرًا كاتجاه هندسي واحد ونقي، أم أنه مشتت عبر أبعاد متعددة.
سرعة المفهوم ( $v(l)$ ): معدل التغير السلس لمقياس الانفصال عبر الطبقات. تشير السرعة الموجبة إلى البناء النشط للمفهوم، بينما تشير السرعة السالبة إلى التدهور أو إعادة التخصيص.

الكشف والاستخراج

يستخدم إطار العمل طريقة كشف مسجلة (scored detection method) لتحديد حدود الـ CAZ دون الحاجة إلى مسح يدوي للطبقات. وخلافًا للكشف عن القمم القائم على عتبة ثابتة، تستخدم هذه الطريقة درجة مركبة تتضمن البروز، والتماسك، وعرض المنطقة. وهذا يسمح بتحديد:

مناطق CAZ رئيسية/قوية: مناطق تخصيص مركزة وذات بروز عالٍ.
مناطق CAZ لطيفة: مناطق تخصيص دقيقة (درجة أقل من 0.05) غالبًا ما تكون غير مرئية لعمليات الكشف القياسية، ولكن ثبت تجريبيًا أنها نشطة سببيًا.

يميز إطار العمل بين مناطق CAZ التضمين (embedding CAZes) (المدفوعة بميزات مستوى الرمز عند حدود المدخلات) ومناطق CAZ النشطة (active CAZes) (المدفوعة بحسابات الانتباه (Attention) والشبكات العصبية متعددة الطبقات (MLP) داخل الـ Transformer).

من أجل استخراج المفهوم، يتحقق البحث من صحة خرائط التطور الهندسي (GEM)، التي تتبع المسار الاتجاهي للمفهوم. وتجد أن اتجاهات المفهوم غالبًا ما تخضع لدوران جوهري داخل الـ CAZ، ولا تستقر إلا عند "طبقة التسليم" (handoff layer) بعد الـ CAZ. وغالبًا ما يكون الفحص (probing) عند طبقة التسليم هذه أكثر دقة من الفحص عند ذروة الانفصال، لا سيالما في بنيات الانتباه متعدد الرؤوس (MHA).

المساهمات الرئيسية

إطار عمل CAZ: تعريف رسمي لتخصيص المفهوم كفترة زمنية موضعية العمق حيث ينظم النموذج الهندسة لخدمة مفهوم ما، وهو متميز عن المفهوم نفسه.
ثلاثة مقاييس لكل طبقة: صياغة رسمية للانفصال، والتماسك، والسرعة لتوصيف تشكيل المفهوم كعملية.
الكشف المسجل: طريقة مبدئية لتحديد طيف من مناطق التخصيص، مما يكشف عن "مناطق CAZ اللطيفة" التي تغفلها الطرق القياسية.
اكتشاف التمثيل الفرعي: أدلة تجريبية على أن تسميات المفاهيم البشرية الواحدة (مثل "الموثوقية") ترتبط بعدة تمثيلات فرعية متميزة هندسيًا عند مستويات معالجة مختلفة (ضحلة مقابل عميقة)، وتفصل بينها تحولات طورية حادة.
المحاذاة الطبقية العمق: رؤية منقحة لفرضية التمثيل الأفلاطوني، توضح أن المحاذاة عبر البنيات تكون أقوى عندما يتم مطابقة المفاهيم حسب عمق المعالجة (مؤشر الطبقة النسبي) بدلاً من مؤشر الطبقة المطلق أو عائلة البنية.

النتائج التجريبية

تم التحقق من صحة إطار العمل عبر 34 نموذجًا من 8 عائلات معمارية (بما في ذلك Pythia، GPT-2، OPT، Qwen 2.5، Gemma 2، Llama 3.2، Mistral، وPhi) و7 مفاهيم.

تعدد الأنماط: منحنى الانفصال $S(l)$ غالبًا ما يكون متعدد الأنماط. يشارك مفهوم واحد عادةً في عدة مناطق CAZ (بمتوسط 3.4 لكل مفهوم لكل نموذج).
النشاط السببي لـ CAZ اللطيفة: أظهرت دراسات الاستئصال (ablation) على 16 من أصل 34 نموذجًا (تم توسيعها إلى 26 نموذجًا أساسيًا في عمل مصاحب) أن كبح "مناطق CAZ اللطيفة" (درجة < 0.05) يقلل من الانفصال الهندسي في 93-100% من الحالات، مما يؤكد دورها السببي رغم كونها غير مرئية لعمليات الكشف القياسية.
أحكام التنبؤ:
- مدعومة (P5): المحاذاة عبر البنيات هي محاذاة مرتبطة بالعمق. التمثيلات الفرعية عند أعماق المعالجة المتطابقة تتوافق بقوة أكبر من الأعماق غير المتطابقة.
- مدعومة جزئيًا (P2): تظهر حدود CAZ ترتيبًا نسبيًا ثابتًا عبر البنيات (من الضحل إلى العميق)، وإن كان هذا توجهًا إحصائيًا وليس ثابتًا صارمًا.
- غير مدعومة (P1, P6): عمق الاستئصال الأمثل ليس عالميًا في منتصف الـ CAZ (يعتمد على تكرار الترميز)، والقمم الضحلة لا ترتبط مباشرة بتضمينات الرموز الخام.
- غير قابلة للاختبار كما وردت (P4): تم إبطال فرضية وجود منطقة تدهور واحدة بعد الـ CAZ بسبب اكتشاف تعدد الأنماط في التخصيص.
- استكشافية/غير محددة (P3, P7): الارتباطات بين عرض CAZ والتجريد، وبين انتشار تعدد الأنماط والبنية، تتطلب مزيدًا من البيانات.

الأهمية والادعاءات

يدعي البحث أن إطار عمل CAZ ينقل نموذج التفسير من التشريح (تحديد مكان وضوح المفهوم الأكثر) إلى التدفق الديناميكي (تتبع كيفية تشكل المفهوم).

تحسين التفسير: يوفر أساسًا هندسيًا لاختيار أعماق التدخل، مما يشير إلى أن الاستئصال عند نقاط مختلفة في سلسلة CAZ ينتج تأثيرات نوعية مختلفة.
الارتباط بـ "المادة المظلمة": يفترض إطار العمل أن المتبقي المهيكل الذي لا تفسره المشفّرات التلقائية المتفرقة (SAEs) قد يتوافق مع بناء المفهوم قيد التنفيذ داخل الـ CAZs—وهي تمثيلات انتقالية تقاوم التفكيك الخطي عند أي طبقة منفردة.
رؤى تدريب المحاذاة: توفر ملفات تعريف CAZ مقياسًا لتحديد كيفية تشويه ضبط التعليمات (instruction tuning) لتخصيص المفاهيم، مما يكشف أن الضبط لا ينقل المفاهيم بشكل موحد إلى أعماق ضحلة، بل يغير التخصيص بناءً على الهندسة الموجودة مسبقًا في النموذج الأساسي.
التقارب الطبقي العمق: النتيجة التجريبية الأقوى هي التأكيد على أن المحاذاة عبر البنيات هي ظاهرة مرتبطة بالعمق، مما يدعم نسخة منقحة من فرضية التمثيل الأفلاطوني حيث يحدث التقارب في مراحل المعالجة النسبية بدلاً من التقارب العالمي.

يؤكد المؤلفون أن الـ CAZ ليس هو المفهوم نفسه، بل هو منطقة العمق التي يحدث فيها الحدث الحسابي للتنظيم الهندسي. قد تشترك عدة مفاهيم في CAZ واحد، وعادة ما يشارك مفهوم واحد في عدة مناطق CAZ عبر العمق. تتوفر النسخة المرجعية في مكتبة rosetta_tools مفتوحة المصدر.