💬 NLP

Perturbation: A simple and efficient adversarial tracer for representation learning in language models

تقدم هذه الورقة البحثية "الاضطراب" (Perturbation)، وهي طريقة بسيطة وفعالة لتحديد التمثيلات اللغوية في النماذج اللغوية من خلال ضبطها بدقة على مثال عدائي واحد وقياس "العدوى" الناتجة عبر المدخلات الأخرى، مما يتجاوز الحاجة إلى الافتراضات الهندسية المقيدة مع الكشف عن التعميم والتجريد المهيكلين.

المؤلفون الأصليون: Joshua Rozner, Cory Shain

نُشر 2026-03-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Joshua Rozner, Cory Shain

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتاً عملاقاً، عبارة عن "صندوق أسود"، قد قرأ كل شيء تقريباً على الإنترنت. يمكنه كتابة القصائد، وحل المسائل الرياضية، والدردشة كالبشر. ولكن يبقى اللغز: كيف "يعرف" الأشياء حقاً؟

هل لديه خزانة ملفات صغيرة في دماغه حيث يخزن مفهوم "القواعد"؟ أم أنه يكتفي فقط بحفظ الأنماط؟ لسنوات، حاول العلماء استراق النظر داخل دماغ هذا الروبوت للعثين على هذه "خزائن الملفات" (التي يسميها الباحثون التمثيلات - representations)، لكنهم ظلوا عالقين في حلقة مفرغة ومحبطة.

المشكلة القديمة: معضلة "الصلابة الزائدة" مقابل "السيولة الزائدة"

سابقاً، حاول العلماء استخدام طريقتين رئيسيتين للعثور على خزائن الملفات الذهنية هذه:

نهج "المسطرة": افترضوا أن دماغ الروبوت منظم مثل خط مستقيم (خطي). وحاولوا رسم مسطرة عبر البيانات لإيجال الأنماط.
- العيب: أحياناً لا يكون الدماغ خطاً مستقيماً؛ بل يكون كتلة متشابكة من الخيوط. إذا كنت تبحث فقط عن الخطوط المستقيمة، فستفقد الهيكل الحقيقي. والأسوأ من ذلك، إذا استخدمت مسطرة على ورقة بيضاء (روبوت غير مدرب)، فقد "تجد" بالخطأ نمطاً ليس موجوداً في الأصل.
نهج "لا قواعد": توقفوا عن افتراض أي شيء بخصوص شكل البيانات.
- العيب: إذا لم تكن هناك قواعد، يمكنك العثور على "أي شيء". يمكنك إقناع نفسك بأن الروبوت يفهم "الحب" لمجرد أنك أجبرته على النظر إلى كلمة "حب" بطريقة معينة. الأمر يشبه رؤية وجه في سحابة لمجرد أنك ترغب بشدة في رؤية ذلك.

الحل الجديد: طريقة "العدوى" (الاضطراب)

ابتكر مؤلفا هذه الورقة، جوشوا روزنر وكوري شاين، فكرة ذكية وبسيطة. بدلاً من محاولة النظر إلى دماغ الروبوت، قرروا وخزه ومراقبة كيفية انتشار "العدوى".

تخيل معرفة الروبوت مثل شبكة ضخمة ومتصلة من قطع الدومينو.

إذا كان الروبوت يفهم حقاً مفهوماً ما (مثل الفرق بين كلمة "بطة" كحيوان وكلمة "بط" كفعل)، فإن جميع قطع الدومينو المتعلقة بهذا المفهوم ستكون متصلة.
إذا كان الروبوت لا يفهم المفهوم، فستكون قطع الدومينو مجرد قطع مبعثرة عشوائياً.

إليكم تجربتهم:

الوخزة: يأخذون الروبوت ويعرضون عليه جملة واحدة فقط حيث يجبرونه على ارتكاب خطأ.
- مثال: يعرضون عليه جملة "البطة تصدر صوتاً" (The duck quacks) لكنهم يجبرون الروبوت على تعلم أن كلمة "duck" في هذا السياق يجب أن تُستبدل بكلمة "glam".
- يقومون بتعديل دماغ الروبوت بقدر ضئيل جداً لجعله يعتقد أن "glam" هي الكلمة الصحيحة هنا.
الانتشار: الآن، يسألون: هل ستنتقل هذه "العدوى" إلى جمل أخرى؟
- إذا كان لدى الروبوت مفهوم "بطة" حقيقي، فإن تغييرها في مكان واحد يجب أن يؤثر على الأماكن الأخرى التي تُستخدم فيها كلمة "بطة" بنفس الطريقة.
- إذا غيرنا "بطة" (الحيوان) إلى "glam"، هل سيبدأ الروبوت فجأة في قول "glam" عندما يتحدث عن "فرخ البط"؟
- أو إذا غيرنا "بطة" (الفعل) إلى "glam"، هل سيؤثر ذلك على الحيوان؟

ماذا وجدوا؟

كانت النتائج أشبه بمشاهدة مفتاح الضوء وهو يُضاء:

الروبوت غير المدرب (اللوحة البيضاء): عندما وخزوا روبوتاً لم يتعلم شيئاً بعد، لم تنتشر "العدوى" بأي طريقة ذات معنى. كانت مجرد ضوضاء عشوائية. وهذا يثبت أن طريقتهم لا تخلق أنماطاً وهمية حيث لا توجد أنماط.
الروبوت المدرب (المتعلم): عندما وخزوا روبوتاً تم تدريبه على اللغة، انتشرت العدوى بشكل مثالي.
- إذا أفسدوا المعنى "الحيواني" لكلمة ما، فقد أثر ذلك فقط على الجمل الأخرى التي تتحدث عن "الحيوان".
- إذا أفسدوا قاعدة قواعدية محددة (مثل جمل "المالئ-الفراغ" - filler-gap، وهي هياكل جمل معقدة)، فإن الخطأ انتشر إلى الجمل الأخرى التي تتبع نفس القاعدة النحوية، ولكن ليس إلى الجمل التي تشبهها في المظهر السطحي فقط.

لماذا يهم هذا الأمر (لحظة الإدراك!)

هذه الطريقة تعتبر تغييراً جذرياً للقواعد لثلاثة أسباب:

إنها كاشف للحقيقة: على عكس الطرق السابقة التي يمكن أن تجد "أنماطاً شبحية" في بيانات عشوائية، فإن هذه الطريقة لا تجد إلا الأنماط الحقيقية في الروبوتات التي تعلمت بالفعل. إنها مثل جهاز كشف الكذب الذي يطلق صفيراً فقط عندما يكذب شخص ما فعلياً، وليس لمجرد أنه يتنفس.
إنها بسيطة وغير مكلفة: لا تحتاج إلى حواسيب فائقة أو مجموعات بيانات ضخمة. أنت تحتاج فقط إلى جملة واحدة لوخز الروبوت، ودقائق قليلة من وقت الكمبيوتر لرؤية النتائج.
إنها تثبت التعلم من الخبرة: تُظهر الدراسة أن هذه الروبوتات لا تحتاج إلى برمجة بقواعد لغوية بشرية. يمكنها استيعاب الهياكل اللغوية المعقدة (مثل كيف تغير الكلمات معانيها أو كيف تُبنى الجمل) بمجرد القراءة والتجربة، تماماً كما يفعل الطفل البشري.

ملخص التشبيه

تخيل أنك تحاول فهم كيفية عمل نظام مترو الأنفاق في مدينة ما.

الطريقة القديمة: تحاول رسم خريطة بناءً على ما تظن أن الخطوط يجب أن تبدو عليه. قد ترسم خطاً حيث لا يوجد مسار فعلي.
طريقة هذه الورقة البحثية: تسقط قطرة واحدة من الصبغة الحمراء في محطة واحدة. إذا انتشرت الصبغة إلى المحطات الأخرى المتصلة فعلياً عبر المسارات، فأنت تعلم أن الخريطة حقيقية. أما إذا بقيت الصبغة في مكانها أو انتشرت بشكل عشوائي، فأنت تعلم أنه لا يوجد اتصال حقيقي.

لقد أسقط المؤلفون قطرة من "الصبغة الحمراء" (خطأ ضئيل) في دماغ النموذج اللغوي وشاهدوا كيف تدفقت بدقة نحو "المسارات" التي بُنيت عليها بنية اللغة الحقيقية. إنها طريقة بسيطة وأنيقة لإثبات أن نماذج الذكاء الاصطناዊ هذه تتعلم بالفعل الهيكل العميق للغة البشرية.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Perturbation: A simple and efficient adversarial tracer for representation learning in language models."

1. بيان المشكلة

تتناول الورقة معضلة جوهرية في قابلية التفسير (interpretability) للنماذج اللغوية الكبيرة (LMs): كيفية تحديد التمثيلات اللغوية الكامنة دون الوقوع في فخين:

الأساليب شديدة القيود: تعتمد طرق مثل "البحث عن المحاذاة الموزعة" (DAS) غالبًا على "فرضية التمثيل الخطي". وبينما هي فعالة في إيجاد الفضاءات الجزئية الخطية، إلا أنها قد تجد هياكل زائفة في النماذج غير المدربة (إيجابيات كاذبة) وتفشل في التقاط التمثيلات غير الخطية.
الأساليب ضعيفة القيود: بدون قيود، يمكن لأي شبكة عصبية أن تتماشى رياضيًا مع أي نموذج سببي، مما يجعل من المستحيل التمييز بين التمثيلات الحقيقية وبين نواتج طريقة المحاذاة نفسها.

تعتبر الطرق الحالية (مثل المصنفات الاستقصائية - probing classifiers) غالبًا ارتباطية ويمكنها تعلم التمثيل بنفسها بدلاً من اكتشافه. يجادل المؤلفون بأن التقنيات الحالية تكافح لتحديد ما إذا كان الاكتشاف يعكس بنية سببية حقيقية أم مجرد افتراضات مسبقة.

2. المنهجية: الاضطراب (Perturbation)

يقترح المؤلفون "الاضطراب" (Perturbation)، وهو أسلوب غير مُشرف يعتمد على البيانات، يعيد صياغة التمثيلات ليس كأنماط تنشيط ثابتة، بل كـ قنوات للتعلم. الفرضية الأساسية هي: إذا كان النموذج يمثل تجريدًا معينًا، فإن الفساد (corruption) الذي يتم إدخاله في هذا التجريد عبر الاضطراب يجب أن ينتشر بشكل انتقائي إلى الأمثلة الأخرى التي تشترك في ذلك التجريد.

سير العمل التقني:

تعريف إعادة التعيين (Remapping Definition): تُعرف إعادة التعيين بأنها رباعية $\langle C_o, R_o, C_a, R_a \rangle$ $⟨ C_{o}, R_{o}, C_{a}, R_{a} ⟩$ ، تمثل المراسلة بين السياق ( $C$ $C$ ) والمنطقة الحرجة ( $R$ $R$ ) للسلسلة الأصلية ( $S_o$ $S_{o}$ ) والسلسلة البديلة ( $S_a$ $S_{a}$ ).
- مثال: $A \text{ } \mathbf{duck} \text{ } quacks \rightarrow A \text{ } \mathbf{glam} \text{ } quacks$ .
الاضطراب (التدريب): يتم ضبط النموذج $p$ $p$ بدقة (fine-tuning) على مثال عدائي واحد (أو دفعة صغيرة) لتقليل خسارة إنتاج الرمز البديل ( $R_a$ $R_{a}$ ) في السياق ( $C_o$ $C_{o}$ ).
- الهدف: تقليل $-\log [p(R_a|C_o) / p(R_o|C_o)]$ .
- هذا يؤدي فعليًا إلى "عدوى" تمثيل النموذج للمنطقة الحرجة.
التقييم (التتبع): يتم تقييم النموذج المضطرب $\tilde{p}$ $\tilde{p}$ على أمثلة جديدة لقياس نسبة لوغاريتم الفرق (log-odds ratio) للرمز البديل بالنسبة للأصل.
- المقياس: $R = \log \left[ \frac{\tilde{p}(R_a|C_a)}{\tilde{p}(R_o|C_a)} \cdot \frac{p(R_o|C_o)}{p(R_a|C_o)} \right]$ .
- يشير الانتقال العالي إلى أن الاضطراب في المثال المصدر قد تعمم على المثال المستهدف، مما يعني أنهما يتشاركان في نفس التمثيل الكامن.
القابلية للتجميع (Clusterability): لتحديد جودة التمثيلات، يحسب المؤلفون المساحة تحت المنحنى (AUC) لمصنف يميز بين أزواج "نفس الفئة" مقابل "الفئات المختلفة" بناءً على مصفوفة انتقال الاضطراب.

المزايا الرئيسية:

لا توجد افتراضات هندسية: لا يفترض الخطية.
الانتقائية: لا يجد بنية في النماذج غير المدربة (على عكس DAS).
الكفاءة: يتطلب مثالًا تدريبيًا واحدًا فقط لكل تدخل وخطوات قليلة من التدرج (gradient steps).

3. التصميم التجريبي

اختبر المؤلفون "الاضطراب" عبر ثلاثة مستويات من الحبيبات اللغوية باستخدام نماذج متنوعة (RoBERTa, ModernBERT, GPT-BERT, Pythia):

الصرف (Morphology): التمييز بين اللاحقة -er المستخدمة في الأسماء الاشتقاقية من الأفعال (مثل teacher) مقابل الصفات المقارنة (مثل taller).
المعجم (Word Sense Disambiguation): التمييز بين المعاني المختلفة لنفس الكلمة (مثل square كشكل هندسي مقابل square كساحة مدينة) باستخدام مجموعة بيانات CoarseWSD-20.
النحو (Syntax): تحليل بنيات الملء-الفجوة (Filler-Gap) (مثل I know who the man liked [gap]). شمل ذلك مقارنة أنواع مختلفة من الـ FG (أسئلة wh، التخصيص/clefts، الجمل الموصولة/relatives) مقابل ضوابط غير FG.

4. النتائج الرئيسية

أ. التمثيلات الصرفية

النماذج المدربة: أظهرت انتقالًا قويًا داخل الفئة الواحدة (على سبيل المثال، اضطراب كلمة taller أثر على المقارنات الأخرى ولكن ليس على الأسماء الاشتقاقية) وانتقالًا ضئيلاً بين الفئات.
النماذج غير المدربة: أظهرت انتقالًا مدفوعًا بالكامل بـ التجزئة المشتركة للرموز (shared tokenization) (على سبيل المثال، إذا كانت اللاحقة -er هي نفس الرمز، يحدث الانتقال بغض النظر عن الفئة النحوية).
الاستنتاج: التدريب يجعل النموذج يتعلم فئات صرفية مجردة بدلاً من الاعتماد على التداخل السطحي للرموز (tokens).

ب. التمثيلات المعجمية (معاني الكلمات)

المقارنة: تمت مقارنة "الاضطراب" مع تشابه جيب التمام (cosine similarity) لتمثيلات السياق (وهو خط أساس ارتباطي).
النتيجة: حقق الاضطراب قدرة أعلى على التجميع (AUC) من أفضل خط أساس لـ "تشابه جيب التمام في الطبقة" في 3 من أصل 5 نماذج.
الرؤية: يبدو أن التأثير السببي لمعاني الكلمات على سلوك النموذج أقوى حتى مما توحي به تشابه الحالة الساكنة. نجح الاضطراب في تمييز المعاني (مثل square كشكل مقابل square كشركة) في النماذج المدربة ولكن ليس في غير المدربة.

ج. التمثيلات النحوية (الملء-الفجوة)

ديناميكيات التعلم: تتبعت الدراسة نقاط التحقق من التدريب. في البداية، كان الانتقال مدفوعًا بالتداخل المعجمي السطحي (CRS). ومع تقدم التدريب (الخطوات 2k–5k)، تعلم النموذج التمييز بين بنيات FG وبنيات التحكم الدنيا غير FG.
الانتقائية: في النماذج المدربة، انتقل اضطراب FG بقوة إلى بنيات FG أخرى ولكن بضعف إلى ضوابط المطابقة/الاتساق (agreement/transitivity) وضوابط غير FG.
الضبط: على عكس دراسات DAS السابقة، سمح "الاضطراب" بقياس "مُرجّح" (baseline) (انتقال FG ناقص انتقال غير FG)، مما عزل التمثيل المحدد لتبعية الملء-الفجوة عن التشابهات المعجمية المربكة.

5. المساهمات الرئيسية

إطار عمل منهجي جديد: قدم "الاضطراب" كطريقة بسية وفعالة وخالية من الافتراضات لاكتشاف التمثيل السببي. لقد نجح في الهروب من معضلة الخطية مقابل القدرة التعبيرية.
دليل سببي على التجريد: قدم دليلًا قويًا على أن النماذج اللغوية تكتسب تجريدات لغوية غنية (صرفية، معجمية، نحوية) من البيانات التوزيعية وحدها، دون الحاجة إلى قيود نحوية فطرية.
الانتقائية في النماذج غير المدربة: أثبت أنه على عكس أدوات التفسير الأخرى، لا يهلوس "الاضطراب" ببنية في النماذج غير المدربة، مما يجعله أداة موثوقة لدراسة ظهور التمثيلات.
الكفاءة: الطريقة رخيصة حاسوبيًا (دقائق لكل تجربة مقابل أيام لدراسات استنزاف المجموعات) وتتطلب حدًا أدنى من البيانات (مثال عدائي واحد).

6. الأهمية والقيود

الأهمية:

تقدم الورقة حلاً قويًا لـ "معضلة التفسير"، حيث توفر طريقة للتحقق مما إذا كان النموذج قد تعلم حقًا مفهومًا لغويًا أم أنه مجرد حفظ لأنماط سطحية.
تدعم نظريات اكتساب اللغة القائمة على الاستخدام، مما يشير إلى أن التعلم الإحصائي من الخبرة كافٍ لبناء هياكل لغوية معقدة.
توفر أداة عملية لعلماء اللغويات لاختبار الفرضيات حول صلة الظواهر اللغوية دون الحاجة إلى مجموعات بيانات ضخمة أو خطوط إنتاج معقدة.

القيود:

الحساسية للتجزئة (Tokenization Sensitivity): يمكن أن يتأثر الأسلوب بكيفية تجزئة الكلمات (على سبيل المثال، أظهرت الكلمات متعددة الرموز أنماط انتقال مختلفة).
اتجاه السياق: تواجه النسخة الحالية صعوبة في التعامل مع السياق ثنائي الاتجاه في النماذج التوليدية (Autoregressive) (مما يحد من دراسات تمييز معاني الكلمات في نماذج مثل GPT).
الآلية مقابل التمثيل: بينما هو ممتاز في اكتشاف التمثيلات المشتركة، فإنه لا يكشف عن الآلية الداخلية المحددة أو كيفية توجيه النموذج (على عكس تحليل الدوائر/circuit analysis).
الاعتماد على التصميم: تعتمد جودة النتائج بشكل كبير على اختيار الباحث لإعادة التعيين (remappings) والضوابط (controls).

باختصار، يعد "الاضطراب" تقنية مبتكرة وفعالة ومؤسسة نظريًا تستخدم الضبط الدقيق العدائي لتتبع التدفق السببي للتجريدات اللغوية في النماذج اللغية، مؤكدة أن هذه النماذج تتعلم تمثيلات مهيكلة وقابلة للتعميم من خلال التدريب.