Semantic Structure of Feature Space in Large Language Models

إليك ملخص تقني مفصل للورقة البحثية بعنوان "البنية الدلالية لفضاء الميزات في النماذج اللغوية الكبيرة" من إعداد كوزلوفسكي وبوتيلاين.

1. بيان المشكلة

بينما أثبتت الأبحاث الحديثة أن ميزات دلالية محددة (مثل الخداع، الرفض، التملق) مشفرة كاتجاهات خطية في الحالات الخفية للنماذج اللغوية الكبيرة (LLMs)، فإن النهج السائد يعامل هذه الميزات بشكل منعزل. يفترض هذا المنظور أن الميزات متعامدة (مستقلة). ومع ذلك، تشير الأبحاث النفسية (تحديداً تقليد "المتري الدلالي") إلى أن الارتباطات الدلالية البشرية مترابطة للغاية ويمكن اختزالها إلى فضاء فرعي منخفض الأبعاد (مثل: التقييم، القدرة، النشاط).

تعالج الورقة فجوة حرجة: هل تعكس العلاقات الهندسية بين الميزات الدلالية في النماذج اللغوية الكبيرة الارتباطات النفسية البشرية؟ وتحديداً، هل تبحث فيما إذا كانت فضاءات ميزات النماذج اللغوية الكبيرة تتكون من محاور مستقلة أم أنها تظهر عدم تعامد معنوي (تشابك) يعكس الهياكل الثقافية والمعرفية البشرية.

2. المنهجية

تستخدم الدراسة منهجية متعددة الخطوات تجمع بين بيانات الاستطلاع، وتحليل التنشيط، وتجارب التدخل عبر نماذج Llama 3 (3B و 70B) ونماذج Qwen3.

أ. بناء البيانات

• الأساس البشري: قام استطلاع شمل 1,750 مستجيباً بتقييم 360 كلمة على 32 مقياساً دلالياً (مثل: جميل-قبيح، ناعم-صلب). تعمل هذه المجموعة من البيانات كمرجع للحقيقة في الارتباطات الدلالية البشرية.
• متجهات ميزات النماذج اللغوية الكبيرة (الكلمات): لكل كلمة من الكلمات الـ 360، تم استخراج متجهات الميزات من الحالات الخفية للنموذج.
  • البروتوكول: تم استخدام أربعة مطالبات (prompts) لكل كلمة (مثلاً: "أخبرني عن {الكلمة}"، "عرّف {الكلمة}").
  • الاستخراج: جُمعت التنشيطات من طبقات محددة (الطبقة 8 لنموذج 3B، والطبقة 40 لنموذج 70B) وتم حساب متوسطها عبر الرموز (tokens) والمطالبات لإنشاء متجه واحد قوي لكل كلمة.
• المحاور الدلالية للنماذج اللغوية الكبيرة: تم إنشاء 32 محوراً دلالياً باستخدام تصميم الأزواج المتضادة.
  • لكل مقياس (مثل: جيد-سيء)، تم اختيار 10 أزواج من المتضادات.
  • تم توليد متجهات الميزات لكل متضاد، وحُسب متجه المحور كمتوسط الفرق بين متجهات المتضادات الإيجابية والسلبية:
    $$\vec{f}_{axis} = \frac{1}{10} \sum_{j=1}^{10} (\vec{v}_{pos_j} - \vec{v}_{neg_j})$$

ب. التقنيات التحليلية

1. ارتباط الإسقاط (Projection Correlation): تم إسقاط متجهات ميزات الكلمات على المحاور الدلالية وربط هذه الإسقاطات مع تقييمات الاستطلاع البشري.
2. المحاذاة الهندسية: تم حساب تشابه جيب التمام (Cosine Similarities) بين المحاور الدلالية نفسها لاختبار ما إذا كانت المحاور غير متعامدة. ثم رُبطت هذه التشابهات الهندسية بالارتباطات الزوجية الموجودة في الاستطلاع البشري.
3. تقليل الأبعاد (Dimensionality Reduction): تم تطبيق تحليل المكونات الرئيسية (PCA) على كل من بيانات الاستطلاع والمحاور الدلالية للنماذج اللغوية الكبيرة لتحديد ما إذا كان التباين في كلا الفضاءين يتم التقاطه بواسطة فضاء فرعي منخفض الأبعاد (تحديداً المكونات الثلاثة الأولى). كما استُخدم تحليل الارتباط المعياري (CCA) لمحاذاة الفضاءات الفرعية لبيانات النماذج والبيانات البشرية.
4. تدخلات التوجيه (Steering Interventions): لاختبار الآثار العملية، قام المؤلفون بإجراء تدخلات "توجيه".
   • الآلية: إضافة متجه محور دلالي بمقياس معين ($\alpha \hat{f}$) إلى تيار المتبقي (residual stream) أثناء عملية المرور الأمامي لمطالبة تطلب من النموذج تقييم كلمة ما.
   • القياس: قياس التغير في احتمالية اختيار النموذج لمتضاد معين (تأثير الامتداد/التسرب) على المقاييس "خارج الهدف".
   • الفرضية: إذا كانت المحاور متوافقة هندسياً، فإن التوجيه على طول محور واحد يجب أن يسبب تأثيرات امتداد متوقعة على المحاور الأخرى بما يتناسب مع تشابه جيب التمام بينهما.

3. المساهمات الرئيسية

1. التحقق من الهندسة الشبيهة بالبشر: إثبات أن البنية الهندسية لفضاءات الميزات في النماذج اللغوية الكبيرة ليست عشوائية أو متعامدة تماماً، بل تحاكي بدقة الارتباطات النفسية الدلالية البشرية.
2. عدم تعامد الميزات: إثبات أن المحاور الدلالية في النماذج اللغوية الكبيرة غير متعامدة بشكل معنوي. إن تشابه جيب التمام بين محورين يتنبأ بالارتباط بين هذين المقياسين في الاستطلاعات البشرية.
3. الفضاء الفرعي منخفض الأبعاد: إظهار أن جزءاً كبيراً من التباين في الميزات الدلالية للنماذج اللغوية الكبيرة (كما في البيانات البشرية) يقع ضمن فضاء فرعي منخفض الأبعاد (حوالي 3 أبعاد)، مما يعيد إنتاج هيكل "التقييم-القدرة-النشاط" الموجود في علم النفس الكلاسيكي.
4. الامتداد التنبؤي للتوجيه: إرساء رابط سببي بين المحاذاة الهندسية وسلوك النموذج. التوجيه في نموذج ما على طول محور دلالي واحد يؤدي إلى تأثيرات "امتداد" متوقعة على المحاور الأخرى، والتي يتحدد حجمها من خلال تشابه جيب التمام بين المحاور.

4. النتائج الرئيسية

• ارتباط الإسقاط: يوجد ارتباط إيجابي قوي ($r > 0.3$ إلى $r > 0.8$) بين إسقاط متجهات الكلمات على المحاور الدلالية للنماذج والتقييمات البشرية لتلك الكلمات. وهذا ينطبق على النماذج الصغيرة (3B) والكبيرة (70B).
• ارتباط المحاور: تشابهات جيب التمام بين المحاور الدلالية للنماذج اللغوية الكبيرة تتنبأ بدرجة عالية بالارتباطات بين تلك المقاييس في الاستطلاع البشري ($r \approx 0.8$). وهذا يؤكد أن الهندسة الداخلية للنموذج تشفر الارتباطات الثقافية البشرية.
• محاذاة PCA:
  • تم اختزال بيانات الاستطلاع البشري بفعالية إلى 3 أبعاد.
  • أظهرت المحاور الدلالية للنماذج اللغوية الكبيرة أيضاً أن المكونات الرئيسية الثلاثة الأولى تفسر معظم التباين (>45% لنموذج 3B، و >33% لنموذج 70B).
  • كشف تحليل CCA عن ارتباطات عالية بين الفضاءات الفرعية ثلاثية الأبعاد للنماذج والبيانات البشرية، مما يشير إلى أن النماذج "تفكر" في هذه المفاهيم بطريقة مشابهة بنيوياً للبشر.
• امتداد التوجيه (Steering Spillover):
  • توجيه كلمة نحو سمة معينة (مثل جميل) جعل النموذج يقيم الكلمة بدرجة أعلى في السمات المشابهة هندسياً (مثل ناعم).
  • يوجد علاقة خطية قوية ($r \approx 0.65 - 0.68$) بين تشابه جيب التمام لمحورين وحجم تأثير الامتداد.
  • ملاحظة: أظهر نموذج 70B أحجام امتداد أصغر من نموذج 3B، مما يشير إلى أن النماذج الأكبر أكثر مرونة تجاه التوجيه، لكن العلاقة الهيكلية (الهندسة التي تتنبأ بالامتداد) تظل ثابتة.

5. الأهمية والآثار المترتبة

• ما وراء العزل: تتحدى النتائج النظرة إلى ميزات النماذج اللغوية الكبيرة كمجموعة من "المقابض" المستقلة. بدلاً من ذلك، يجب فهم الميزات من خلال علاقاتها الهندسية والفضاءات الفرعية التي تشكلها.
• سلامة الذكاء الاصطناعي والتحكم: إذا كانت الميزات الحرجة للسلامة (مثل صحيح-خاطئ، آمن-خطير) تقع في فضاء فرعي مشترك منخفض الأبعاد، فإن التحكم في ميزة واحدة قد يؤثر دون قصد على الميزات الأخرى بسبب التشابك الهندسي. هذا يعقد عملية "توجيه الميزات" ولكنه يوفر أيضاً وسيلة لتدقيق النماذج من خلال فهم هذه الهياكل العلاقاتية.
• هندسة التمثيل (Representation Engineering): تثبت الدراسة أن التقنيات المستخدمة على تضمينات الكلمات الثابتة (مثل تحليل الزوايا والأبعاد الثقافية) قابلة للتطبيق ومثمرة في تمثيلات النماذج اللغوية الكبيرة العميقة.
• المحاذاة المعرفية: تشير النتائج إلى أنه رغم تدريب النماذج اللغوية الكبيرة على النصوص الخام، إلا أنها تطور تمثيلات داخلية تتوافق بنيوياً مع النماذج المعرفية البشرية للعالم، مما يعزز فكرة أن النماذج اللغوية الكبيرة تلتقط الهياكل الدلالية البشرية.

في الختام، تجادل الورقة بأن هندسة فضاء الميزات ذات معنى بشري. إن فهم الزوايا بين الميزات والفضاءات الفرعية التي تحددها أمر ضروري لتفسير، وتدقيق، والتحكم في النماذج اللغوية الكبيرة.