💻 computer science

When Do Concepts Become Functionally Sufficient During Language-Model Training?

تقدم هذه الورقة إطاراً وظيفياً لتحديد متى تصبح المفاهيم الداخلية كافية أثناء تدريب النماذج اللغوية من خلال اختبار ما إذا كانت التنشيطات المتفرقة والمقنعة يمكنها الحفاظ على المعلومات المستهدفة عبر التدخلات عبر الطبقات ونقاط التحقق، مما يكشف أن الأقنعة اللاحقة تحتفظ بكتلة ناعمة أقل بكثير من أقنعة إعادة البناء رغم وجود تحولات طفيفة في التوزيع التنبؤي.

المؤلفون الأصليون: Raphael Bernas, Paul G. Chevalier, Fanny Jourdan, Céline Hudelot

نُشر 2026-08-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Raphael Bernas, Paul G. Chevalier, Fanny Jourdan, Céline Hudelot

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تعمل الحواسيب الحديثة التي تفهم اللغة من خلال تحويل الكلمات إلى سحب هائلة من الأرقام. ومع تعلم هذه الآلات، تبني هياكل داخلية، وهي طبقات من المسارات الرياضية التي تنظم المعلومات لغرض التنبؤ. لسنوات، حاول العلماء استراق النظر داخل هذه السحب لمعرفة ما يفكر فيه الحاسوب حقاً. لقد بحثوا عن أنماط أو "مفاهيم" محددة قد تمثل أفكاراً مثل "اللباقة" أو "الرياضيات". ومع ذلك، فإن العثور على نمط لا يعني بالضرورة فهم غرضه؛ فقد يوجد هيكل داخل الآلة دون أن يُستخدم أبداً لاتخاذ قرار، تماماً مثل أداة في صندوق أدوات لا يتم التقاطها أبداً. والسؤال الجوهي ليس فقط ما الذي يظهر داخل النموذج، بل متى تصبح هذه الهياكل الداخلية مفيدة حقاً للمهمة المطلوبة.

لقد شرع فريق من الباحثين في الإجابة على هذا السؤال من خلال مراقبة كيفية تغير هذه الهياكل الداخلية من بداية التدريب وحتى نهايته. وبدلاً من مجرد النظر إلى الحالة النهائية لنموذج الحاسوب، فقد عاملوا عملية التعلم كفيلم سينمائي، حيث يقومون بإيقافه مؤقتاً عند لحظات مختلفة لاختبار قدرات الآلة. لقد أخذوا طبقة محددة من "دماغ" النموذج وحاولوا عزل مجموعات صغيرة من الأرقام التي يبدو أنها تحمل معلومات مهمة. وللقيام بذلك، ابتكروا طريقة "الحجب" (masking)، وهي تشبه وضع شاشة شبه شفافة فوق النشاط الداخلي للآلة. يمكن لهذه الشاشة أن تخفت أو تخفي بعض الأرقام بينما تسمح لأرقام أخرى بالمرور. ثم طرح الباحثون سؤالاً بسيطاً وصارماً: إذا أخفينا معظم النشاط وأبقينا فقط على الأرقام التي اختارتها شاشتنا، فهل سيظل الحاسوب يقدم نفس التنبؤات التي كان يقوم بها من قبل؟

اختبر الفريق هذه الفكرة عبر سبعة نماذج لغوية مختلفة، تتراوح من الأنظمة الصغيرة إلى الكبيرة، وراقبوا كيف تتغير الإجابة مع تعلم النماذج. وقارنوا بين أربع طرق مختلفة للحكم على "الفائدة". أولاً، تحققوا مما إذا كانت الأرقام المتبقية يمكنها ببساطة إعادة بناء سحابة البيانات الأصلية. ثانياً، اختبروا ما إذا كان بإمكان مترجم بسيط وثابت لا يزال قادراً على قراءة المعنى من الأرقام المتبقية. ثالثاً، والأهم من ذلك، تحققوا مما إذا كان سلوك الحاسوب الفعلي —تنبؤاته النهائية على نصوص جديدة— سيظل دون تغيير. وأخيراً، اختبروا ما إذا كانت المفاهيم التي تعلمتها في مرحلة مبكرة لا تزال قابلة للتعرف عليها واستخدامها من قبل النموذج في مرحلة لاحقة جداً من التدريب.

كشفت النتائج عن حقيقة مذهلة حول كيفية تعلم هذه الآلات. فعندما حاول الباحثون الحفاظ على سلوك الحاسوب كما هو تماماً، وجدوا أنهم بحاجة إلى الاحتفاظ بقدر ضئيل جداً من المعلومات. في الواقع، من أجل مهمة الحفاظ على تنبؤات النموذج الفعلية، لم يحتاجوا إلا للاحتفاظ بنحو 6.6 بالمائة فقط من النشاط الداخلي. وهذا جزء ضئيل جداً مقارنة بكمية البيانات المطلوبة لمجرد إعادة بناء الأرقام الأصلية، والتي تطلبت الحفاظ على أكثر من 70 بالمائة من النشاط. يشير هذا إلى أن الحاسوب يخزن كمية هائلة من المعلومات، ولكن جزءاً صغيراً ومحدداً جداً منها هو الذي يقوم فعلياً بالعمل الشاق عندما يتعلق الأمر باتخاذ القرارات. أما بقية النشاط، ورغم وجوده، فيبدو أنه يقع في اتجاهات يتجاهلهاها عملية صنع القرار في النموذج بشكل كبير.

كما أظهرت الدراسة أن هذا الجزء "المفيد" من المعلومات ليس عشوائياً. فقد وجد الباحثون أن الأرقام المحددة التي يعتمد عليها النموذج للتنبؤات حساسة للغاية للمهمة التي يتعلمها. فهي تتركز في المناطق التي يكون فيها الهيكل الهندسي الداخلي للنموذج أكثر انحناءً، مما يعني أن هذه هي الاتجاهات التي تؤدي فيها التغييرات الصغيرة إلى أكبر تأثير على الإجابة النهائية. واكتشف الباحثون أيضاً أن توقيت ظهور هذه الهياكل المفيدة يعتمد بشدة على النوع المحدد للنموذج؛ فبالنسبة لبعض النماذج، تصبح المعلومات المفيدة مستقرة وواضحة مع تقدم التدريب، بينما بالنسبة لنماذج أخرى، ينتقل موقع هذه المعلومات بشكل كبير عبر طبقات الشبكة.

ولعل الأهم من ذلك، هو أن الباحثين وجدوا أن الطريقة التي يتعلم بها النموذج استخدام هذه المفاهيم ليست خطاً مستقيماً بسيطاً. فالمعلومات المفيدة للتنبؤ النهائي غالباً ما تختلف عن المعلومات التي يسهل رؤيتها أو قياسها. فقد يكون الهيكل سهلاً جداً في الكشف عنه ووصفه، ومع ذلك لا يساهم بشيء يذكر في القرار النهائي. وعلى العكس من ذلك، فإن الجزء الضئيل من المعلومات الذي يقود سلوك النموذج غالباً ما يكون مخفياً ضمن أنماط معقدة يصعب عزلها دون طريقة الاختبار المحددة هذه. وتخلص الدراسة إلى أنه لا يمكننا الحكم على نضج النموذج اللغوي من خلال النظر إلى هياكله الداخلية بمعزل عن غيرها، بل يجب علينا قياس ما تفعله تلك الهياكل بالفعل. قد تكون الآلة مليئة بالضجيج والإمكانات غير المستغلة، لكنها تتعلم كيف تعمل من خلال التركيز على نواة صغيرة وفعالة للغاية من النشاط الذي يحمل ثقل فهمها.

ملخص تقني: متى تصبح المفاهيم كافية وظيفياً أثناء تدريب النماذج اللغوية؟

بيان المشكلة

يتطلب فهم آليات التعلم في النماذج اللغوية العصبية ما هو أكثر من مجرد تحليل حالتها النهائية؛ إذ يستلزم تحديد متى وكيف تكتسب الهياكل الداخلية فائدة وظيفية أثناء التدريب. وبينما توفر الطرق القائمة على المفاهيم (مثل ناقلات تنشيط المفاهيم، أو المشفّرات التلقائية المتناثرة) إطاراً لتفكيك التنشيطات عالية الأبعاد، فإن التعريفات القياسية للمفاهيم — القائمة على إلغاء الارتباط، أو الإيجابية، أو الاستقلال، أو التناثر — تُعرّف أنظمة إحداثيات بدلاً من تقديم ضمانات دلالية. وتوجد فجوة حرجة في تحديد ما إذا كانت هذه الهياكل المفككة هي مجرد تمثيلات أم أنها كافية وظيفياً لسلوك النموذج التنبؤي. لقد اعتمدت الأعمال السابقة غالباً على دقة إعادة البناء أو الفحص الخطي (linear probing)، وهو ما قد لا يلتقط المعلومات التي يستخدمها النموذج فعلياً للمهام اللاحقة. تعالج هذه الورقة السؤال التالي: في أي نقطة أثناء التدريب تصبح المجموعات الفرعية المتناثرة من التنشيطات المفككة كافية للحفاظ على التوزيع التنبؤي وسلوك النموذج اللاحق؟

المنهجية

يقدم المؤلفون إطار عمل للتدخل عبر نقاط التحقق (checkpoint-wise activation-intervention framework) يعامل افتراضات التفكيك كفرضيات يجب اختبارها عبر التدخل بدلاً من كونها ضمانات تفسيرية. تسير المنهجية في ثلاث مراحل: ملاءمة التمثيل، معايرة القناع، وتقييم التدخل.

تفكيك التنشيط (Activation Decomposition): عند كل طبقة $\ell$ ونقطة تحقق $t$ ، يقوم المؤلفون بملاءمة قاموس $V$ وأساس إعادة بناء تآلفي $b$ لتنشيطات التدريب $H$ . ويستخدمون أربع طرق للاستخراج: SVD، وICA، وNMF، وSemiNMF. ويقوم مخطط استنتاج الكود $C$ بتوليد مصفوفات الكود $U$ من التنشيطات.
اختيار القناع المتناثر (Sparse Mask Selection): يتم تحسين قناع ناعم متناثر $z$ على مجموعة تقسيم للمعايرة لاختيار مجموعة فرعية من الإحداثيات من التفكيك. يُعرَّف القناع بـ $z_i = \sigma(\alpha_i / \vartheta)$ ، حيث $\vartheta$ هي درجة حرارة البوابة التي يتم تبريدها تدريجياً من 1.0 إلى 0.1. يقلل الاختيار من خسارة الحفاظ $L_c$ بالإضافة إلى عقوبة التناثر الصريحة $\lambda \|z\|_1$ .
التدخل والتقييم (Intervention and Evaluation): يتم حقن إعادة البناء المقنع $\hat{H}$ $\hat{H}$ مرة أخرى في النموذج الأصلي على بيانات اختبار محجوزة. يقيم المؤلفون "الكفاية الوظيفية" للقناع عن طريق قياس الانحراف عن سلوك النموذج الأصلي باستخدام أربعة أهداف حفظ متميزة:
- إعادة بناء التنشيط (Activation Reconstruction): تقليل الخطأ الإقليدي المعياري للتباين (الدقة الهندسية).
- قابلية فك التشفير برأس ثابت (Fixed-Head Decodability): الحفاظ على التوزيع الذي يمكن الوصول إليه عبر مترجم تآلفي ثابت إلى الرأس الأصلي (الفحص الخطي).
- الحفاظ الحقيقي اللاحق (True Downstream Preservation): الحفاظ على التوزيع التنبؤي الفعلي للنموذج بعد الطبقة $\ell$ (الدقة السلوكية).
- نقل نقاط التحقق (Checkpoint Transfer): تحديد ما إذا كانت المفاهيم من نقطة تحقق سابقة $t$ يمكنها إعادة بناء التنشيطات عند نقطة تحقق لاحقة $T$ تحت محاذاة متعلمة.

يقارن إطار العمل هذه الأهداف للتمييز بين المعلومات التي يسهل إعادة بنائها هندسياً مقابل المعلومات الضرورية وظيفياً للتنبؤ.

المساهمات الرئيسية

إطار عمل تدخل متعدد الأهداف: تقدم الورقة طريقة منهجية لمقارنة أربعة أهداف حفظ (إعادة البناء، الرأس الثابت، التابع اللاحق، والنقل) عبر سبعة نماذج لغوية (Pythia, OLMo, EuroBERT, ModernCamemBERT) عند نقاط تحقق وطبقات متعددة.
التحليل النظري لخسائر الحفاظ: يشتق المؤلفون العلاقة بين تباعد KL اللاحق وهندسة التنبؤ المحلية. ويظهرون أن الحفاظ اللاحق هو خطأ إعادة بناء مرجح بالانحناء، حيث تقوم متريّة فيشر التنبؤية بوزن الاتجاهات المتبقية. كما يقدمون "درجات بوابة المفهوم الخاضعة للإشراف" ( $\tau$ و $\omega$ ) لحل الحساسية إحداثياً، والتمييز بين الحساسية الكلية للمثال الواحد والمكون المتوافق المتوسط المحفوظ عبر المتوسط.
التوصيف التجريبي لديناميكيات المفاهيم: تسجل الدراسة نقاط التشغيل المتناثرة المشروطة بالهدف وملفات تعريف خاصة بالنماذج فيما يتعلق بتطور نقاط التحقق والاعتماد على العمق.

النتائج الرئيسية

تكشف التجارب عبر سبعة نماذج عن تباينات كبيرة بين إعادة البناء الهندسي والكفاية الوظيفية:

تماسك الأقنعة اللاحقة: الأقنعة المحسنة من أجل الحفاظ الحقيقي اللاحق هي أكثر تماسكاً بشكل ملحوظ من أقنعة إعادة البناء. عند نقطة تشغيل مشتركة ذات عقوبة ثابتة، تحتفظ الأقنعة اللاحقة بمتوسط 6.6% فقط من الكتلة الناعمة المرشحة، مقارنة بـ 73.0% لإعادة البناء و83.4% للاختيار ذي الرأس الثابت. رغم هذا التناثر الشديد، تحافظ الأقنعة اللاحقة على التوزيع التنبؤي بـ KL نسبي قدره 0.020 وتسبب انخفاضاً بنسبة 0.80 نقطة مئوية فقط في الدقة.
الانفصال بين الهندسة والوظيفة: تظهر الأقنعة اللاحقة خطأ إعادة بناء مرتفع (متوسط NMSE قدره 0.959) مقارنة بأقنعة إعادة البناء (0s.215)، ومع ذلك فهي تحافظ على السلوك. يشير هذا إلى أن التوزيع التنبؤي للنموذج يعتمد على مجموعة فرعية صغيرة وعالية الانحناء من الاتجاهات، بينما يقع معظم تباين التنشيط في اتجاهات ضعيفة الاستخدام.
ملفات تعريف زمنية وعمقية خاصة بالنماذج: تطور الكفاية الوظيفية ليس موحداً.
- تظهر نماذج Pythia ارتباطات إيجابية قوية بين تقدم التدريب و KL اللاحق، مع ارتباطات عمق مسطحة تقريباً، مما يشير إلى بصمة زمنية.
- يُظهر EuroBERT-210M العكس: ارتباطات سالبة لنقاط التحقق ولكن ارتباطات عمق إيجابية قوية.
- يُظهر OLMo ارتباطات إيجابية لكلا المحورين.
- يشير هذا إلى أن "نضج" المفاهيم هو ملف تعريف خاص بالنموذج وليس جدولاً زمنياً عالمياً.
تركيز الحساسية الخاضعة للإشراف: الأقنعة اللاحقة غنية بلحظات تدرج البوابة الخاضعة للإشراف ( $\tau$ و $\omega$ ). وتحديداً، هي تركز المكون المتوافق المتوسط ( $\omega$ ) بشكل أكبر بكثير من أقنعة إعادة البناء (إثراء متوسط قدره 5.32 $\times$ مقابل 1.08 $\times$ ). وهذا يعني أن الأقنعة الكافية سلوكياً تختار الاتجاهات التي تحمل إشارات تدرج مركزة ومتسقة.
التفكيك والنقل: يُظهر النقل عبر المحاذاة المتعلمة أنماطاً ثابتة حيث تعطي SVD و ICA عموماً قيم نقل KL أقل من NMF أو SemiNMF عبر النماذج، مما يشير إلى أن اختيار التفكيك يؤثر على مدى جودة محاذاة المفاهيم المبكرة مع التمثيلات اللاحقة.

الأهمية والادعاءات

تدعي الورقة أن ديناميكيات المفاهيم هي أكثر إفادة كـ "مجموعة من الملفات التعريفية الواعية بالهدف" بدلاً من كونها درجة نضج واحدة.

الكفاية الوظيفية مشروطة: يكون القناع "كافياً" فقط بالنسبة لهدف محدد (مثل إعادة البناء مقابل السلوك اللاحق). الفجوة الكبيرة بين إشغال إعادة البناء وإشغال السلوك اللاحق توضح أن معظم القدرة التمثيلية ليست مطلوبة وظيفياً للتنبؤ.
تباين الهندسة التنبؤية: تدعم النتائج حدساً مفاده أن التدريب يعزز تفضيلياً الاتجاهات التي تحمل طاقة تدرج مركزة، مما يخلق تبايناً مشروطاً بالمهمة في متريّة فيشر التنبؤية المسحوبة. يمكن لكتلة ناعمة مستبقاة صغيرة أن تحمل حصة غير متناسبة من الحساسية الخاضعة للإشراف.
فرضية المرسل والمستقبل: تحفز النتائج فرضية حيث يشكل التدريب مساحة التنشيط بحيث تكون التمايزات المفيدة متاحة لقراءة تآلفية ضحلة (المرسل)، بينما يعمل الحساب اللاحق كمستقبل انتقائي للاتجاهات يقوم بتضخيم مجموعة أضيق من الإشارات.
القيود: يذكر المؤلفون صراحة أن ادعاءاتهم إجرائية ومشروطة بالهدف. هم لا يدعون تحديد مفاهيم فريدة قابلة للتفسير البشري، ولا يثبتون أن الاتجاهات المختارة هي الطريقة الوحيدة للحفاظ على السلوك (فالقدرة على التكرار ممكنة). تقتصر الدراسة على نماذج محددة مدربة مسبقاً ولا تمتد إلى توليد التسلسلات، أو اتباع التعليمات، أو التعلم داخل السياق.

في الختن، توفر الورقة إطار عمل صارماً لقياس متى تصبح الهياكل الداخلية مفيدة، وتوضح أن الكفاية الوظيفية تظهر في مجموعات فرعية مدمجة للغاية وحساسة للإشراف من التنشيطات، والتي تختلف عن التمثيل الهندسي الأوسع للنموذج.