💬 NLP

Do Language Models Encode Semantic Relations? Probing and Sparse Feature Analysis

تتقصى هذه الورقة كيفية ترميز النماذج اللغوية الكبيرة للعلاقات الدلالية عبر مقاييس مختلفة من خلال الجمع بين الاختبار الخطي وتقنيات التفسير الآلي، كاشفةً أن العلاقات الهرمية تظهر عدم تماثل اتجاهي في متانة سماتها، وأن الإشارات تكون أكثر بروزاً في مسارات الطبقات المتوسطة لشبكات البرسبترون متعدد الطبقات (MLP)، وأن التلاعب السببي عبر المشفّرات التلقائية المتفرقة يكون أكثر فعالية في النماذج الأكبر.

المؤلفون الأصليون: Andor Diera, Ansgar Scherp

نُشر 2026-03-19

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Andor Diera, Ansgar Scherp

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوت أمين مكتبة عملاق وذكي للغاية (نموذج لغوي كبير، أو LLM) قد قرأ كل كتاب تقريبًا في العالم. تريد أن تعرف: هل يفهم هذا الروبوت حقًا كيفية ارتباط الكلمات ببعضها البعض، أم أنه مجرد حافظ للأنماط مثل الببغاء؟

على سبيل المثال، هل يعرف أن "سعيد" و"حزين" هما ضدان؟ وهل يعرف أن "الكلب" هو نوع من "الحيوانات"، ولكن "الحيوان" ليس نوعًا محددًا من "الكلاب"؟

هذه الورقة البحثية تشبه فريقًا من المحققين (الباحثين) الذين يحاولون التلصص داخل دماغ الروبوت ليروا كيف يخزن هذه العلاقات. لقد استخدموا ثلاثة روبوتات بأحجام مختلفة: واحد صغير (Pythia)، وواحد متوسط (GPT-2)، وواحد ضخم (Llama 3.1).

إليك ما وجدوه، مشروحًا ببعض التشبيهات الممتعة:

1. مشكلة "الابن الأوسط"

نظر الباحثون إلى دماغ الروبوت طبقة تلو الأخرى، مثل تقشير البصلة.

النتيجة: لا يخزن الروبوت معنى "كلب مقابل حيوان" في طبقة واحدة محددة فقط. بدلاً من ذلك، المعلومات مبعثرة في الطبقات الوسطى من الدماغ.
التشبيه: تخيل أنك تحاول العثور على وصفة معينة في مكتبة ضخمة. لن تجدها في رف واحد فقط؛ بل المكونات مبعثرة عبر الممرات الوسطى. عليك النظر إلى القسم الأوسط بأكمله للحصول على الصورة الكاملة. كما أن الروبوت يصبح أفضل في هذا الأمر كلما كبر حجمه (الروبوت الذي يمتلك 8 مليارات معلمة أكثر حدة وذكاءً بكثير من الروبوت الصغير).

2. لغز "الأضداد" مقابل "المترادفات"

اختبر الفريق أربعة أنواع من العلاقات:

المترادفات: كلمات لها نفس المعنى (سعيد = مبتهج).
الأضداد: كلمات تعني عكس بعضها (سعيد مقابل حزين).
الأسماء العليا (Hypernyms): فئات عامة (الكلب هو نوع من الحيوان).
الأسماء الدنيا (Hyponyms): أمثلة محددة (الكلب هو نوع من "البيجل").

النتائج:

الأضداد (العكس) سهلة: الروبوت بارع في رصد الأضداد. الأمر كما لو أن لدى الروبوت زرًا أحمر ساطعًا مكتوب عليه "عكس" يضيء بوضوح.
المترادفات (نفس المعنى) صعبة: هذا هو أكبر صراع للروبوت. من الصعب عليه معرفة ما إذا كانت كلمتان متطابقتين حقًا أم متشابهتين فقط. الإشارة هنا باهتة وضبابية جدًا.
"المفارقة التوزيعية": وجد الباحثون أنه إذا نظرت فقط إلى مدى قرب كلمتين في المساحة الرياضية للروبوت، فإن "سعيد" و"حزين" يبدوان قريبين جدًا لأنهما يظهران غالبًا في جمل متشابهة (مثل: "أشعر بالسعادة/الحزن اليوم"). الأمر يشبه شخصين يجلسان دائمًا في نفس الطاولة في حفلة؛ يبدوان كصديقين، حتى لو كانا عدوين. يحتاج الروبوت إلى أدوات خاصة ليدرك أنهما في الواقع ضدان.

3. "الشارع ذو الاتجاه الواحد" (التدرج الهرمي)

هذا هو الجزء الأكثر إثارة للاهتمام. العلاقة بين "كلب" و"حيوان" ليست شارعًا ذا اتجاهين، بل هي شارع ذو اتجاه واحد.

التعميم (Hypernymy): "كلب" $\leftarrow$ "حيوان". الروبوت جيد جدًا في هذا. من السهل على الروبوت أن يقول: "نعم، الكلب هو حيوان".
التخصيص (Hyponymy): "حيوان" $\leftarrow$ "كلب". الروبوت يعاني هنا. إذا سألته: "هل الحيوان هو كلب؟" فإنه يرتبك.
التشبيه: فكر في دماغ الروبوت كخريطة. لديه طريق سريع واضح وواسع من "المحدد" إلى "العام" (كلب $\leftarrow$ حيوان). لكن الطريق العائد في الاتجاه الآخر (حيوان $\leftarrow$ كلب) هو مسار ترابي ضيق ومتعرج من السهل أن تضل فيه. الروبوت منحاز نحو التعميم، وليس التخصيص.

4. تجربة "جراحة الدماغ"

لإثبات أنهم لم يكونوا يخمنون فحيًا، أجرى الباحثون "جراحة دماغ" على الروبوت باستخدام أداة تسمى المشفرات التلقائية المتفرقة (Sparse Autoencoders - SAE).

ماذا فعلوا: حددوا "عصبونات" (ميزات) صغيرة ومحددة مسؤولة عن هذه العلاقات. ثم قاموا إما بإيقافها (الاستئصال) أو فرض تشغيلها في جمل محايدة (الترقيع).
النتيجة:
- في الروبوت الصغير، بالكاد نجحت الجراحة. كان الروبوت صغيرًا جدًا لامتلاك "عصبونات علاقات" واضحة ومعزولة.
- في الروبوت الضخم (Llama 3.1)، كانت الجراحة سحرية. عندما أوقفوا عصبونات "التخصيص"، نسي الروبوت فورًا أن الكلب هو نوع من البيجل. وعندما قاموا بتشغيل عصبونات "الأضداد" في جملة محايدة، بدأ الروبوت فجأة يرى أضدادًا حيث لا توجد أضداد.
الخلاصة: الروبوت الكبير لديه "مفاتيح" مادية ومتميزة لهذه المفاهيم. أما الروبوت الصغير فهو أشبه بحساء طيني حيث يختلط كل شيء مع بعضه البعض.

5. "تكرار" التعميم

إليك صفة غريبة وجدوها:

التعميم (Hypernymy) هو أمر تكراري (Redundant). لدى الروبوت عديد من العصبونات المختلفة التي يمكنها جميعًا قول "الكلب هو حيوان". إذا قطعت واحدة، ستتولى الأخريات المهمة. الأمر يشبه وجود 100 شخص في غرفة يصرخون جميعًا بنفس الحقيقة؛ إذا أسكتّ أحدهم، فستظل الحقيقة مسموعة.
التخصيص (Hyponymy) هو أمر هش. يعتمد الروبوت على مجموعة صغيرة ومحددة جدًا من العصبونات لقول "الحيوان هو كلب". إذا قطعت تلك العصبونات، سينسى الروبوت العلاقة فورًا. الأمر يشبه بيتًا من ورق اللعب؛ أزل بطاقة واحدة، وسينهار الهيكل بأكمله.

ملخص للشخص العادي

تخبرنا هذه الورقة أن النماذج اللغوية الكبيرة تفهم بالفعل العلاقات الدلالية، لكنها تفعل ذلك بطريقة فوضوية وغير متساوية:

الأكبر هو الأفضل: النماذج الضخمة تمتلك "مفاتيح عصبية" أكثر وضوحًا لهذه المفاهيم مقارنة بالنماذج الصغيرة.
الأضداد سهلة؛ والتشابه صعب: من الأسهل للذكاء الاصطناعي رصد الاختلافات بدلاً من التشابهات.
التعميم سهل؛ والتخصيص صعب: الذكاء الاصطناعي بارع في قول "الكلب حيوان"، لكنه سيء في قول "الحيوان كلب".
ليس مجرد رياضيات: العلاقات ليست مجرد مدى قرب الكلمات في قائمة؛ بل هي مشفرة في أجزاء نشطة ومحددة من الدماغ يمكن تشغيلها وإيقافها.

لقد قدم الباحثون "خريطة" و"مفك براغي" (إطار عمل) لمهندسي المستقبل لتعديل هذه الأدمغة، مما قد يجعل الذكاء الاصطناعي أفضل في مهام مثل تنظيم التصنيفات، أو فهم المنطق، أو رصد الفروق الدقيقة في المعنى.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "هل تشفر النماذج اللغوية العلاقات الدلالية؟ الاستقصاء وتحليل الميزات المتفرقة" من إعداد ديرا وشيرب.

1. بيان المشكلة

بينما تُظهر النماذج اللغوية الكبيرة (LLMs) قدرات مذهلة في معالجة اللغات الطبيعية، لا يزال من غير الواضح ما إذا كانت تمتلك فهماً مفاهيمياً مهيكلاً للعلاقات الدلالية أم أنها تعتمد فقط على التواجد الإحصائي السطحي للكلمات. ركزت أبحاث القابلية للتفسير الحالية بشكل كبير على تحديد المفاهيم الفردية (مثل "قط"، "كلب")، لكنها لم تبحث بشكل منهجي في كيفية تشفير العلاقات الدلالية (الترادف، التضاد، التوسع/العموم، والتخصيص/الخصوص) وتوطينها والتحكم فيها سببياً داخل بنية النماذج.

يهدف المؤلفون إلى الإجابة على ثلاثة أسئلة جوهرية:

هل توجد إشارات للعلاقات الدلالية في النماذج اللغوية الكبيرة؟
أين تتركز هذه الإشارات عبر الطبقات والمكونات (الانتباه مقابل MLP)؟
ما مدى قوة إمكانية التلاعب بهذه الإشارات (السببية) باستخدام الميزات المتفرقة؟

2. المنهجية

تستخدم الدراسة نهجاً متعدد الأوجه يجمع بين الاستقصاء الخطي (Linear Probing)، والمشفرات التلقائية المتفرقة (SAEs)، ورقع التنشيط (Activation Patching) عبر ثلاثة نماذج متفاوتة الأحجام:

النماذج: Pythia-70M (6 طبقات)، GPT-2-124M (12 طبقة)، وLlama 3.1 8B (32 طبقة).
مجموعة البيانات: تم إنشاؤها من WordNet 3.0، وتضم 1,000 زوج لكل من: الترادف، التضاد، التوسع (Hypernymy)، والتخصيص (Hyponymy)، بالإضافة إلى 1,000 زوج عشوائي. تم تعزيز الأزواج بسياقات محايدة.
استراتيجية الاستقصاء:
- تم تدريب مستقصيات خطية (انحدار لوجستي متعدد الحدود) على ثلاثة مسارات تنشيط لكل طبقة: مخرجات الانتباه (Attention output)، مخرجات MLP، وما بعد مسار المتبقي (Post-residual stream).
- شملت المقاييس متوسط الدقة، ذروة الدقة، ذروة العمق، ومركز الكتلة (CoM) لتحديد توزيع الإشارة.
التفسير الآلي (SAE وPatching):
- استُخدمت مشفرات تلقائية متفرقة (SAEs) مدربة مسبقاً لفك تشابك الميزات.
  તેમને تم تحديد أعلى $k$ $k$ من ميزات SAE المرتبطة بعلاقات محددة (مرتبة حسب أوزان المستقصي) وإجراء تدخلين سببيين:
  - الضرورة (Necessity): تعطيل (تصفير) الميزات في المدخلات الحاملة للعلاقة لمعرفة ما إذا كانت الإشارة ستنهار.
  - الكفاية (Sufficiency): حقن الميزات في مدخلات محايدة/عشوائية لمعرفة ما إذا كانت إشارة العلاقة ستظهر.
- المقاييس: فرق اللوغاريتم الدلالي ( $LD_{sem}$ )، معدل الانقلاب ( $\Delta FR$ )، ومعدل الهبوط ( $DR$ ).

3. المساهمات الرئيسية

تحليل النظام والقياس: دراسة مقارنة لتشفير العلاقات الدلالية من 70 مليون إلى 8 مليارات معلمة، مما كشف عن ترتيب ثابت للصعوبة وتحسينات تعتمد على حجم النموذج.
إطار عمل متكامل: مسار مبتكر يجمع بين الاستقصاء الخطي والتدخل السببي الموجه بـ SAE للانتقال من الارتباط إلى السببية على مستوى المستقصي.
رؤى التوطين: تحديد أن الإشارات العلاقاتية هي منتشرة (تصل ذروتها في الطبقات المتوسطة) وليست موطنة في "طبقات علاقات" محددة، وهي أقوى في مسارات ما بعد المتبقي/MLP بدلاً من آليات الانتباه.
اكتشاف عدم التماثل: الكشف عن عدم تماثل اتجاهي جوهري في العلاقات الهرمية (التوسع مقابل التخصيص) وتسلسل هرمي للصعوبة عبر أنواع العلاقات.

4. النتائج الرئيسية

أ. نتائج الاستقصاء (التوطين والصعوبة)

ترتيب الصعوبة: ثابت عبر جميع النماذج: التضاد (الأسهل) > التخصيص (Hyponymy) > التوسع (Hypernymy) > الترادف (الأصعب).
تأثير الحجم: تتحسن الدقة بشكل ملحوظ مع زيادة حجم النموذج (على سبيل المثال، يقترب التضاد من السقف في Llama 3.1؛ بينما يظل الترادف هو الأصعب حتى في نموذج 8B).
التوطين:
- لا توجد "طبقة علاقات" واحدة. الإشارات منتشرة، حيث يقع مركز الكتلة (CoM) باستمرار بالقرب من الطبقات المتوسطة (حوالي 0.5 من العمق المعياري).
- تحليل المكونات: يحمل مسار ما بعد المتبقي (Post-residual stream) أقوى إشارة. يحتوي مكون MLP عموماً على أدلة قابلة للاسترداد أكثر من الانتباه، رغم أن الانتباه يُظهر مزايا خاصة بالعلاقات في النماذج الصغيرة.

ب. النتائج الخاصة بكل علاقة

التضاد مقابل الترادف:
- رغم التشابه العالي في جيب التمام (cosine similarity) بين المتضادات في فضاء التضمين (مفارقة التوزيع)، يمكن للمستقصيات الخطية فصلها بسهولة. هذا يشير إلى أن العلاقات مشفرة في تنشيطات داخلية محددة وليس في التشابه الشعاعي العالمي.
- الترادف هو الأصعب في التشفل والأقل تأثراً بالرقع (patching)، مما يشير إلى تشفير شديد الانتشار.
التوسع مقابل التخصيص (التحيز الاتجاهي):
- التوسع (Hypernymy) (عام $\leftarrow$ محدد، مثل: كلب $\leftarrow$ حيوان) هو مشفر بشكل زائد (Redundant): من السهل تقويته (كفاية عالية) ولكن من الصعب قمعه (ضرورة منخفضة).
- التخصيص (Hyponymy) (محدد $\leftarrow$ عام، مثل: حيوان $\leftarrow$ كلب) يعتمد على ميزات مدمجة: يسهل تعطيله عبر الإزالة (ضرورة عالية) وينهار بسرعة.
- حساسية الترتيب: عكس ترتيب الكلمات (مثل: "الحيوان يرتبط بالكلب" مقابل "الكلب يرتبط بالحيوان") يسبب انخفاضاً كبيراً في الدقة لـ Hyponymy ( $\Delta \approx 0.24$ ) ولكنه يسبب انخفاضاً طفيفاً لـ Hypernymy ( $\Delta \approx 0.08$ )، مما يؤكد التحيز نحو التعميم.

ج. التدخلات السببية (رقع SAE)

الاعتماد على السعة: لوحظت تأثيرات سببية قوية وموثوقة (إزاحة توقعات المستقصي) فقط في Llama 3.1. أظهرت النماذج الأصغر (Pythia, GPT-2) تحولات ضعيفة أو غير مستقرة، مما يشير إلى أن التلاعب بالميزات المتفرقة يتطلب سعة كافية للنموذج.
خصوصية الميزة: تفوقت التدخلات باستخدام أعلى $k$ من ميزات SAE بشكل كبير على التدخلات العشوائية، مما يؤكد أن ميزات محددة هي التي تقود إشارات العلاقة.
تأكيد عدم التماثل: عكست نتائج الرقع (patching) عدم تماثل الاستقصاء: أظهر التوسع (Hypernymy) كفاية عالية ولكن ضرورة منخفضة، بينما أظهر التخصيص (Hyponymy) ضرورة عالية.

د. المتانة السياقية

إشارات العلاقة ثابتة تجاه السياق (Prompt-invariant) إلى حد كبير. تغيير قوالب السياق أدى إلى تدهور متوسط الدقة (معايرة القراءة)، لكنه ترك ذروة الدقة وتوافر الميزات السببية دون تغيير كبير.

5. الأهمية والآثار المترتبة

ما وراء التقييم "الصندوق الأسود": تثبت الدراسة أن النماذج اللغوية الكبيرة تشفر بالفعل علاقات دلالية مهيكلة، لكنها ليست مجرد تشابهات شعاعية بسيطة، بل هي موزعة، مرتبطة بمكونات محددة، وغالباً ما تكون غير متماثلة.
الفهم الآلي: تتحدى النتائج فكرة وجود "طبقات علاقات"، وتقترح بدلاً من ذلك تمثيلاً منتشراً في منتصف الطبقات يعتمد بشدة على مسارات MLP.
التطبيقات العملية: فهم أن التوسع (Hypernymy) قوي (زائد عن الحاجة) بينما التخصيص (Hyponymy) هش (مدمج) يمكن أن يوجه التدخلات المستهدفة لمهام مثل إكمال الأنطولوجيا، واسترجاع التصنيفات، والاستلزام النصي.
التقدم المنهجي: توفر الورقة إطار عمل قابلاً لإعادة الإنتاج لربط تحليل الميزات المتفرقة (SAEs) بالدليل السببي (patching)، مما يضع معياراً لأبح التفسير الآلي المستقبلية.

في الختام، يثبت المؤلفون أنه بينما تلتقط النماذج اللغوية الكبيرة العلاقات الدلالية، فإن هذا التشفيد يعتمد على الحجم، وموزع بشكل منتشر، ومنحاز هيكلياً (يفضل التعميم على التخصيص)، مع ظهور القدرة على التحكم السببي فقط في النماذج الأكبر.