💬 NLP

Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe

تقدم هذه الورقة "مسبار ترميز" (Encoding Probe) يعيد بناء تمثيلات النماذج اللغوية من سمات قابلة للتفسير، مما يقدم منظوراً مكملاً لمسابير فك التشفين التقليدية عبر تمكين المقارنة المباشرة بين السمات والكشف عن كيفية مساهمة السمات اللغوية والصوتية المختلفة في الحالات الداخلية للنموذج.

المؤلفون الأصليون: Gaofei Shen, Martijn Bentum, Tom Lentz, Afra Alishahi, Grzegorz Chrupała

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gaofei Shen, Martijn Bentum, Tom Lentz, Afra Alishahi, Grzegorz Chrupała

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتاً فائق الذكاء يقرأ الكتب ويستمع إلى القصص. تريد أن تعرف ما الذي يحدث داخل دماغه. لفترة طويلة، استخدم العلماء طريقة تسمى "مسبار فك التشفير" (Decoding Probe).

فكر في "مسبار فك التشفير" كأنه محقق يستجوب مشتبهاً به. ينظر المحقق إلى نشاط دماغ الروبوت ويسأل: "هل يمكنك إخبارنا من هو المتحدث؟" أو "هل يمكنك إخبارنا ما هو نوع الكلمة من حيث القواعد؟" إذا حصل المحقق على الإجابة الصحيحة، فإنه يقول: "آها! الروبوت يعرف هذا!"

لكن مؤلفي هذه الورقة البحثية يقولون إن طريقة المحقق هذه بها عيبان كبيران:

مشكلة "مقارنة الدرجات": تخيل أن المحقق يطرح سؤالين.
- السؤال (أ): "من المتحدث؟" (الروبوت يجيب بشكل صحيح بنسبة 95% من الوقت).
- السؤال (ب): "ما هو صوت هذا الحرف؟" (الروبوت يجيب بشكل صحيح بنسبة 58% من الوقت).
- الطريقة القديمة تقول: "الروبوت يعرف المتحدث بشكل أفضل!" ولكن مهلاً! ربما كان السؤال (أ) مجرد اختبار أسهل في الأصل. ربما هناك 10 متحدثين فقط بينما هناك 100 صوت مختلف. لا يمكنك مقارنة الدرجات مباشرة لأن الاختبارات لم تكن عادلة. الأمر يشبه مقارنة زمن عداء في سباق 100 متر بسباق ماراثون؛ الأرقام لا تخبرك من هو "الأكثر لياقة" للعداء بشكل عام.
مشكلة "المقلد": تخيل أن المحقق يسأل: "ما هي قواعد هذه الجملة؟" فيجيب الروبوت بشكل صحيح بنسبة 85% من المرات. ولكن ماذا لو لم يكن الروبوت يفكر حقاً في القواعد؟ ماذا لو كان فقط يتعرف على الكلمات؟ بما أن بعض الكلمات تظهر دائماً مع قواعد معينة (مثل أن كلمة "الـ" تتبعها عادةً أسماء)، فقد يكون الروبوت يغش بمجرد النظر إلى الكلمات. يعتقد المحقق أن الروبوت يفهم القواعد، لكنه في الواقع يقوم فقط بتخمين محظوظ بناءً على المفردات.

الحل الجديد: "مسبار الترميز" (Encoding Probe)

لإصلاح هذا، اخترع المؤلفون أداة جديدة تسمى "مسبار الترميز". بدلاً من محقق يستجوب الروبوت، تخيل أنك طاهٍ يحاول إعادة صنع حساء سري.

الطريقة القديمة (فك التشفير): أنت تتذوق الحساء وتخمن: "هل يوجد ملح هنا؟" "هل يوجد فلفل؟"
الطريقة الجديدة (الترميز): أنت تأخذ قائمة بالمكونات (المتحدث، الصوت، القواعد، الكلمات) وتحاول إعادة بناء الحساء من الصفر باستخدام وصفة. تقوم بخلط المكونات معاً وترى مدى قرب "حسائك" الجديد من طعم "حساء" الروبوت الأصلي (نشاط دماغه).

إليك كيف يحل "مسبار الترميز" المشكلات:

مقارنات عادلة: الآن، بدلاً من تخمين الدرجات، أنت تقيس مقدار النكهة المفقودة من الحساء إذا استبعدت مكوناً ما.
- إذا استبعدت "المتحدث" وظل طعم الحساء كما هو تقريباً، فهذا يعني أن مكون "المتحدث" لم يكن مهماً جداً.
- إذا استبعدت "الصوت" وأصبح طعم الحساء سيئاً للغاية، فهذا يعني أن مكون "الصوت" كان حاسماً.
- هذا يعطيك مقارنة مباشرة وعادلة لمدى مساهمة كل مكون في الطبق النهائي.
إيقاف المقلد: لأنك تعيد بناء الحساء بجميع المكونات معاً، يمكنك رؤية ما يحدث إذا أزلت مكوناً واحداً فقط.
- إذا أزلت "القواعد" ولكن الحساء ظل مثالياً لأن "الكلمات" لا تزال موجودة، فأنت تعرف أن الروبوت كان يعتمد فقط على الكلمات، وليس على القواعد.
- إذا أزلت "القواعد" وأصبح الحساء أسوأ على الرغم من وجود الكلمات، فأنت تعرف أن الروبوت يستخدم القواعد فعلياً بشكل مستقل.

ما الذي وجدوه؟

اختبر المؤلفون طريقة "وصفة الحساء" الجديدة هذه على روبوتات تقرأ النصوص وروبوتات تستمع إلى الكلام.

اختبار المتحدث: بحثوا فيما إذا كانت الروبوتات تهتم بـ من يتحدث أو بـ ما يقولونه.
- النتيجة: في الروبوت المدرب على تحديد المتحدثين، أصبح مكون "المتحدث" هو النكهة الرئيسية للحساء. ولكن في الروبوت المدرب على تمييز أصوات الكلام، كان مكون "المتحدث" غير ملحوظ تقريباً، رغم أن الروبوت كان لا يزال قادراً على تخمين المتحدث إذا سُئل (باستخدام طريقة المحقق القديمة). أظهرت الطريقة الجديدة أنه بالنسبة لروبوت الكلام، فإن صوت الكلمات كان أكثر أهمية بكثير من من قالها.
اختبار القواعد: بحثوا فيما إذا كانت الروبوتات تهتم بـ بنية الجملة (القواعد) أم مجرد المفردات (الكلمات).
- النتيجة: استخدمت روبوتات النص والكلام الكلمات والقواعد لبناء فهمها. ومع ذلك، كان مكون "الكلمات" هو أكبر مساهم في النكهة. ولكن الأهم من ذلك، حتى بعد حساب الكلمات، لا يزال مكون "القواعد" يضيف نكهة فريدة. أثبت هذا أن الروبوتات تفهم القواعد حقاً، وليس مجرد الكلمات.

الخلاصة الكبرى

تخلص الورقة البحثية إلى أن طريقة "المحقق" القديمة (فك التشفيد) جيدة في إخبارك إذا كان لدى الروبوت قطعة من المعلومات. لكن طريقة "الطاهي" الجديدة (الترميز) أفضل بكثير في إخبارك مدى أهمية تلك المعلومة مقارنة بكل شيء آخر، وما إذا كان الروبوت يستخدمها حقاً أم أنه يكتفي بنسخها من شيء آخر. إنها تعطي صورة أوضح وأكثر عدلاً لما يتم طبخه حقاً داخل دماغ الروبوت.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "ما وراء القابلية لفك التشفير: إعادة بناء تمثيلات النماذج اللغوية باستخدام مسبار الترميز (Encoding Probe)."

1. بيان المشكلة

تتناول الورقة القيود الحرجة في نهج "مسبار فك التشفير" (Decoding Probe) القياسي المستخدم لتفسير النماذج اللغوية الكبيرة (LLMs) والنماذج الصوتية. في حين أن مسابير فك التشفير (التي تربط تمثيلات النموذج $X$ بالخصائص اللغوية $Y$ ) تحدد ما إذا كانت المعلومة موجودة، إلا أنها تعاني من عيبين رئيسيين:

عدم قابلية مقارنة مساهمات الميزات: لا يمكن مقارنة درجات دقة فك التشفير (مثل 95% لهوية المتحدث مقابل 58% للصوتيات) بشكل مباشر لأنها تعتمد على عوامل خاصة بالمهمة مثل عدد الفئات وتوزيع الملصقات (labels). وهذا يمنع قياس الأهمية النسبية للميزات المختلفة داخل التمثيل.
آثار ارتباط الميزات: يمكن أن تؤدي الارتباطات العالية بين الميزات (مثل هوية الكلمة والفئة النحوية) إلى استنتاجات مضللة. فقد ينجح المسبار في فك تشفير فئة نحوية ببساطة لأنها ترتبط بكلمات محددة، وليس لأن النموذج يشفر البنية النحوية صراحةً.

يقترح المؤلفون تحولاً في النموذج المعرفي: الانتقال من فك التشفير ( $f: X \to Y$ ) إلى الترميز ( $g: Y \to X$ ).

2. المنهجية: مسبار الترميز (The Encoding Probe)

المساهمة الجوهرية هي مسبار الترميز، الذي يعكس اتجاه التحليل. فبدلاً من التنبؤ بملصق من تمثيل ما، يحاول إعادة بناء التمثيلات الداخلية للنموذج ( $X$ ) باستخدام ميزات لغوية قابلة للتفسير ( $Y$ ).

الصياغة: يتم تدريب نموذج انحدار متعدد المتغيرات (تحديداً انحدار ريدج - Ridge Regression) للتنبؤ بتنشيطات الحالة الخفية لنموذج مستهدف بناءً على مجموعة من الميزات القابلة للتفسير.
مجموعات الميزات: تستخدم الدراسة مجموعات ميزات متنوعة مشتقة من الموجات الصوتية والنصوص، بما في ذلك:
- الخصائص الصوتية (Acoustics): طبقة الصوت (Pitch)، الترددات (Formants)، ومعاملات كيبسترال (MFCCs).
- الخصائص الفونيتيكية (Phonetics): مخططات التوزيع الفونيتي اللاحقة (PPGs).
- هوية المتحدث: ترميز (One-hot) لهويات المتحدثين.
- النحو (Syntax): علامات أجزاء الكلام (POS tags)، تسميات التبعية، عمق الشجرة، والموقع.
- المعجم (Lexicon): تضمينات الكلمات الثابتة (FastText).
مقياس التقييم: يُقاس الأداء عن طريق التباين غير المفسر (Unexplained Variance - UV)، والمعرف بـ $1 - R^2$ . يشير انخفاض قيمة UV إلى جودة أفضل في إعادة البناء.
استراتيجية الاستبعاد (Ablation Strategy): لقياس المساهمات النسبية والتحكم في الارتباطات، يقوم المؤلفون بإجراء استبعاد للميزات (Feature Ablation). حيث يقارنون UV لنموذج "كامل" (جميع الميزات) مقابل النماذج التي تمت فيها إزالة ميزات محددة (على سبيل المثال: $Full \setminus Syntax$ $F u l l ∖ S y n t a x$ ).
- الزيادة في UV عند إزالة ميزة ما تقيس مباشرة المساهمة الفريدة لتلك الميزة في التمثيل، بشكل مستقل عن الميزات المرتبطة بها.
النماذج المستهدفة: تم تطبيق الطريقة على:
- الصوت: Wav2vec2 (النسخة الأساسية، والنسخة المضبطة لمهام التعرف على الكلام ASR، والنسخة المضبطة لهوية المتحدث SID).
- النص: BERT (Base).

3. المساهمات الرئيسية

الابتكار المنهجي: تقديم مسبار الترميز كأداة مكملة لمسابير فك التشفير، مع الاستفادة من تحليل الانحدار القياسي لحل مشكلتي قابلية مقارنة الميزات والارتباط.
الإسناد الكمي: توفير إطار عمل صارم لقياس المساهمة النسبية لمختلف الميزات في تمثيلات النموذج، بدلاً من مجرد قابليتها لفك التشفير.
التحليل المنضبط: توضيح كيفية فصل الميزات المرتبطة (مثل النحو مقابل المعجم، أو المتحدث مقابل الخصائص الصوتية) من خلال مراقبة التغير في خطأ إعادة البناء عند إزالة الميزات في وقت واحد.
رؤى تجريبية: تقديم منظور جديد حول كيفية تشكيل أهداف التدريب المختلفة (التعلم الذاتي، ضبط ASR، ضبط هوية المتحدث) للتمثيلات الداخلية لنماذج Transformer.

4. النتائج الرئيسية

التجربة 1: هوية المتحدث في النماذج الصوتية

التباين بين فك التشفير والترميز: بينما يمكن فك تشفير هوية المتحدث من جميع متغيرات Wav2vec2، فإن مساهمتها في إعادة البناء تختلف جذرياً بناءً على هدف التدريب.
- النماذج الأساسية ونماذج ASR: تساهم الخصائص الصوتية والفونيتيكية بشكل كبير في التمثيل أكثر من هوية المتحدث. إزالة هوية المتحدث تسبب زيادة طفيفة في خطأ إعادة البناء.
- نموذج SID-Tuned: في الطبقات العليا من نموذج هوية المتحدث المضبط، يكون التمثيل مخصصاً بشكل حصري تقريباً لترميز هوية المتحدث. إزالة هوية المتحدث تسبب قفزة هائلة في خطأ إعادة البناء (UV $\approx$ 1)، بينما إزالة الخصائص الفونيتيكية ليس لها تأثير تقريباً.
الاستنتاج: تُظهر مسابير فك التشفير أن معلومات المتحدث موجودة، لكن مسابير الترميز تكشف أنها مهيمنة فقط في التمثيلات عندما يتم تدريب النموذج صراحةً على تلك المهمة.

التجربة 2: النحو مقابل المعجم في النصوص والصوت

استقلالية الميزات: تساهم كل من الميزات المعجمية والنحوية بمساهمات مستقلة في إعادة بناء تمثيلات النموذج.
- استبعاد النحو يزيد من خطأ إعادة البناء حتى عند وجود الميزات المعجمية، مما يدحض فرضية أن القابلية لفك التشفير النحوي هي مجرد نتاج ثانوي للارتباطات المعجمية.
المساهمة النسبية: تساهم الميزات المعجمية باستمرار في نسبة أكبر من التباين (مساهمة أعلى) من الميزات النحوية عبر جميع النماذج.
اختلاف الوسائط (Modality): تكون مساهمة النحو والمعجم أكثر بروزاً في BERT (النص) مقارنة بالنماذج الصوتية.
تأثير ضبط ASR: يجعل الضبط الدقيق لمهام ASR عملية إعادة بناء التمثيلات أصعب من الناحية المطلقة، ولكنه يزيد من المساهمة النسبية للميزات المعجمية والنحوية مقارنة بالنموذج الأساسي.

5. الأهمية والآثار المترتبة

ما وراء سؤال "هل هي موجودة؟": تجادل الورقة بأن معرفة ما إذا كانت الميزة قابلة لفك التشفير أمر غير كافٍ. يجب على الباحثين فهم مقدار ما يخصصه النموذج فعلياً لتلك الميزة.
قابلية تفسير قوية: من خلال التحكم في الارتباطات، يمنع مسبار الترميز النتائج الإيجابية الكاذبة حيث تظهر الميزة وكأنها مشفرة فقط لأنها ترتبط بميزة أخرى مهيمنة.
رؤى حول هدف التدريب: تسلط الدراسة الضوء على أن "طبيعة" تمثيل النموذج تعتمد بشدة على هدف التدريب الخاص به. على سبيل المثال، يعمل ضبط ASR على تطبيع معلومات المتحدث، بينما يعمل ضبط SID على عزلها، وهو فارق دقيق تغفله مسابير فك التشفير القياسية.
الدقة الإحصائية: يربط هذا النهج بين قابلية التفسير في معالجة اللغات الطبيعية وطرق التحليل الإحصائي الراسخة، مما يوفر طريقة أكثر منهجية لتحليل التمثيلات العصبية.

الملاحظات حول القيود

يقر المؤلفون بأن مسبار الترميز يظل رصدياً (ليس سببياً)، ويعتمد على الانحدار الخطي (مما قد يؤدي لتجاهل العلاقات غير الخطية)، كما أنه مقيد بـ مجموعات الميزات المختارة لعملية التشغيل. بالإضافة إلى ذلك، تعتمد النتائج على كتب صوتية مقروءة وقد تختلف في حالة الكلام العفوي.