Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-training
تثبت هذه الدراسة تجريبياً أنه في حين يتم تعلم مثال تدريبي واحد بسرعة ويؤثر بشكل ملموس على تنبؤات النموذج الفورية، فإن مساهمته المحددة تتلاشى تماماً على مدار عملية ما قبل التدريب، مما لا يترك أي أثر طويل الأمد يمكن اكتشافه على خسارة النموذج أو أوزانه أو هندسته بما يتجاوز التباين الطبيعي الناتج عن البذور العشوائية المختلفة.
في المشهد الشاسع للذكاء الاصطناعي، يبني الباحثون برامج حاسوبية ضخمة تسمى النماذج اللغوية عبر تغذيتها بمكتبات هائلة من النصوص. تتعلم هذه البرامج من خلال قراءة مليارات الجمل، وتعديل إعداداتها الداخلية تدريجياً للتنبؤ بالكلمة التالية في التسلسل. لسنوات، أراد العلماء معرفة مدى مساهمة جملة واحدة أو حقيقة محددة بالضبط في الذكاء النهائي للنموذج. إنه سؤال يتعلق بالسبب والنتيجة: إذا أزلت قطعة صغيرة واحدة من البيانات من مكتبة التدريب، فهل يتغير النموذج النهائي؟ إن الإجابة على هذا السؤال صعبة للغاية لأن الطريقة القياسية لمعرفة ذلك ستتطلب تدريب النموذج مرتين من الصفر — مرة مع الجملة ومرة بدونها — مع الحفاظ على كل تفصيل آخر متطابقاً. وبما أن تدريب هذه النماذج يستغرق وقتاً وجهداً مالياً هائلاً، يعتمد الباحثون عادةً على اختصارات رياضية لتخمين الإجابة بدلاً من قياسها مباشرة.
قرر فريق من الباحثين التوقف عن التخمين والبدء في القياس. صمموا تجربة دقيقة لمعرفة ما يحدث عندما يتم إدراج نص واحد محدد في عملية تدريب نموذج لغوي. قاموا ببناء اثنين وثلاثين نموذجاً منفصلاً، بدأت جميعها من نفس البداية العشوائية تماماً. قاموا بتدريب كل منها على مجموعة ضخمة من نصوص الإنترنت، ولكن في لحظة معينة مبكرة من العملية، تدخلوا. بالنسبة لأربعة وعشرين من هذه النماذج، استبدلوا سطراً واحداً من النص في بيانات التدريب بفقرة جديدة مكونة من 194 كلمة. فعلوا ذلك بثلاث طرق مختلفة: تلقت مجموعة فقرة مكتوبة جيداً عن شخص حقيقي يظهر بالفعل في بيانات التدريب الخاصة بهم؛ وتلقت مجموعة أخرى فقرة مكتوبة جيداً عن شخص خيالي لا يظهر في البيانات؛ وتلقت المجموعة الثالثة سطراً من رموز لوحة المفاتيح العشوائية. أما النماذج الثمانية المتبقية فقد كانت بمثابة مجموعة ضابطة، حيث لم تتلقَ أي استبدال، مما سمح للباحثين بمقارنة النتائج مقابل توأم مثالي.
كان الباحثون يبحثون عن نوع محدد من التغيير في الببنية الداخلية للنموذج. أرادوا معرفة ما إذا كان "تذكر" النموذج لتلك الجملة الوحيدة سيترك علامة دائمة على شكله النهائي. تتبعوا النماذج بينما استمرت في التعلم لآلاف الخطوات بعد عملية الحقن. أظهرت النتائج نمطاً رائعاً من التعلم والنسيان. فبعد خمسين خطوة فقط من رؤية النموذج للفقرة الجديدة، استطاع التنبؤ بالكلمات الموجودة في تلك الفقرة بشكل أفضل بكثير من النماذج التي لم ترها. أثبت هذا أن النموذج قد تعلم بالفعل المعلومات من تعرض واحد. ومع ذلك، ومع استمرار التدريب، تلاشت هذه الميزة. وبحلول الوقت الذي أنهت فيه النماذج تدريبها، تلاشت القدرة على التنبؤ بتلك الفقرة المحددة، وأصبحت النماذج التي رأت النص غير قابلة للتمييز عن تلك التي لم تره.
عندما نظر الباحثون في الحالة النهائية للنماذج، وجدوا أن الجملة الواحدة لم تغير السلوك الأساسي للنموذج أو قدرته على فهم اللغة بشكل عام. قاموا بقياس المسافة بين الإعدادات النهائية للنماذج التي رأت النص وتوائمها، وبينما تحركت النماذج قليلاً في إعداداتها الداخلية، إلا أنها لم تنتقل إلى منطقة جديدة. لقد ظلت في نفس "حوض" الحلول، مما يعني أنها كانت متطابقة وظيفياً. كما اختبر الباحثون ما إذا كان حقيقة أن الفقرة كانت عن شخص حقيقي مقابل شخص خيالي قد أحدث فرقاً. ووجدوا أنه لا يوجد فرق ملموس بين الاثنين؛ فقد عامل النموذج القصص الواقعية والخيالية بنفس الطريقة تماماً. حتى الرموز العشوائية، التي تسببت في اضطراب أولي أكبر، استقرت في النهاية في حالة متطابقة وظيفياً مع الآخرين.
تسلط الدراسة الضوء على تمييز حاسم بين كيفية تغير الأرقام الداخلية للنموذج وكيفية تغير سلوكه الفعلي. وجد الباحثون أنه بينما تسببت الجملة الواحدة في إزاحة ملحوظة في إحداثيات النموذج الداخلية — حيث حركته بنسبة 44% من المسافة التي قد يتحركها نموذجان مختلفان تماماً عن بعضهما البعض — إلا أنها لم تسبب أي تغيير تقريباً في أدائه الوظيفي. ظلت قدرة النموذج على التنبؤ بالكلمة التالية في النصوص الجديدة غير متغيرة. يشير هذا إلى أن الإعدادات الداخلية لهذه النماذج مرنة؛ إذ يمكنها التحرك بشكل كبير دون تغيير المخرج النهائي. كما كشفت التجربة أن توقيت القياس يهم للغاية. فإذا فحصت النموذج فور تعلمه حقيقة ما، سترى تأثيراً قوياً. وإذا انتظرت حتى يكتمل التدريب، فإن هذا التأثير يكون قد تلاشى. خلص الباحثون إلى أنه بالنسبة لمثال واحد، فإن النموذج يتعلمه، ويستخدمه، ثم يتركه، مما يترك المنتج النهائي دون تغيير كبير بسبب تلك القطعة المنفردة من البيانات.
ملخص تقني: "تعلّم، ثم فُقد: تجربة مضادة للواقع مقاسة من مثال واحد في مرحلة ما قبل التدريب"
1. بيان المشكلة
في عمليات ما قبل التدريب واسعة النطاق، يتم تحديد المساهمة المحددة لمثال تدريبي واحد في نموذج نهائي عادةً عبر التقدير الرياضي (مثل دالات التأثير/influence functions) بدلاً من القياس المباشر. القياس المباشر باهظ التكلفة لأنه يتطلب عمليتي تدريب كاملتين متطابقتين في كل شيء باستثناء صف واحد في دفعة واحدة. تعالج هذه الورقة تحدي إجراء "تجربة مضادة للواقع" (counterfactual) حقيقية لمثال واحد من نوع "مثال واحد" لقياس كيفية تأثير تغيير محدد في البيانات على هندسة النموذج ووظيفته، وتحديداً اختبار ما إذا كان "إثبات" (وجود في المتن) موضوع ما في نص بليغ يغير مسار النموذج مقارنة بموضوع مُصطنع ذي تأثير تدرج مطابق.
2. المنهجية
أجرى المؤلفون تجربة منضبطة شملت 32 نموذج GPT-2 (بمعلمات قدرها 124 مليون) تم تدريبها من الصفر على OpenWebText. استخدم التصميم التجريبي نهج "التوأم المتطابق في البذرة" (seed-matched twin) لعزل تأثير البيانات المحقونة.
الإعداد التجريبي:
النطاق: 4 حالات × 8 بذور = 32 عملية تشغيل.
نقطة الحقن: الخطوة 200 من إجمالي 9,536 خطوة، بالتزامن مع ذروة معدل التعلم (6×10−4).
التدخل: استبدال صف واحد من دفعة مكونة من 256 صفاً بنص ثابت مكون من 194 رمزاً (token).
الحالات:
المصطنع البليغ (Fluent-Fabricated): نثر بليغ مع موضوع غير موجود في متن التدريب (Gizmo Harrington).
المثبت البليغ (Fluent-Attested): نثر بليغ مع موضوع موجود في المتن (Jimmie Nicol، ظهر 4 مرات).
الرموز العشوائية (Random-Chars): رموز لوحة مفاتيح عشوائية.
التوأم (الأساس - Twin): لا يوجد نص مكتوب (صف دفعة قياسي).
مطابقة التدرج (Gradient Matching): تم بناء النصوص المصطنعة والمثبتة لتكون ذات فرق تدرج كامل الدفعة قريب جداً (فرق 0.14%)، مما يضمن أن أي اختلافات مرصودة في الحاجز أو الوظيفة لا يمكن إرجاعها إلى مقدار تحديث التدرج.
الحتمية (Determinism): كانت عمليات التشغيل متطابقة تماماً حتى الخطوة 199 (تم التحقق عبر هاش SHA-256 لموترات الأوزان) وحتمية بعد ذلك، مما يضمن أن الاختلافات بعد الحقن تعزى فقط إلى الصف المحقون.
المتغيرات التابعة:
الأساسية (المسجلة): حاجز فقد الاستيفاء (Interpolation Loss Barrier) (أقصى انحراف عن الوتر الخطي بين الأوزان النهائية لعملية تشغيل وتوأمها).
الثانوية (المسجلة): الإنتروبيا المتقاطعة المحجوزة (Held-out Cross-Entropy) (على نصوص لم تُشاهد أثناء التدريب).
الاستكشافية: المسافة الإقليدية بين متجهات الأوزان، ومحاذاة النواة المركزية لكل طبقة (CKA)، والإنتروبيا المتقاطعة على النص المحقون نفسه.
3. النتائج الرئيسية
التعلم الفوري والاضمحلال:
يتم تعلم النص المحقون من تعرض واحد فقط. بعد خمسين خطوة من الحقن (الخطوة 249)، يتنبأ "الذراع" الذي رأى النص بشكل أفضل بكما من التوأم الذي لم يره (تحسن قدره 0.0389 نات للمصطنع البليغ و0.0437 نات للمثبت البليغ، p<10−4).
بحلول الخطوة النهائية (9,535)، يتلاشى هذا التفوق التنبئي ليصبح غير ذي دلالة (p=0.25 و p=0.71). التأثير هو "تعلّم، ثم فُقد".
حاجز فقد الاستيفاء (الانفصال الوظيفي):
وجدت الدراسة عدم وجود فرق ذي دلالة إحصائية في حاجز فقد الاستيفاء بين حالتي "المصطنع البليغ" و"المثبت البليغ".
النتيجة: متوسط الفرق = +0.00680 وحدة حاجز (p=0.509).
الحساسية: الحد الأدنى للأثر القابل للكشف (MDE) كان 0.032. الفرق الملحوظ هو 0.21 فقط من الـ MDE، مما يشير إلى أن التصميم كان يمتلك قوة 80% للكشف عن آثار ≥ 0.032 ولكنه لم يجد أي منها.
الإزاحة في الحاجز التي تسبب فيها الحقن هي 3.0% فقط من الإزاحة في الحاجز الناتجة عن التباين بين البذور (seed-to-seed variance).
المسافة الإقليدية (إزاحة فضاء المعلمات):
في المقابل، كانت المسافة الإقليدية بين عملية التشغيل المحقونة وتوأمها كبيرة.
النتيجة: تقع عملية التشغيل المحقونة عند 44.1% من المسافة الإقليدية بين البذرة وتوأمها.
استقرت هذه الإزاحة عند منتصف التدريب (الخطوة 5,049)، حيث وصلت إلى 92% من قيمتها النهائية، بينما ظل الحاجز صغيراً طوال الوقت.
يشير المؤلفون إلى أن رقم 44.1% هو حد أدنى لأن المسافة الإقليدية بين البذور متضخمة بسبب "حرية القياس" (gauge freedom) (القواعد المدورة التي تحسب نفس الوظيفة)، بينما لا يسبب الحقن مثل هذا التدوير.
الإثبات مقابل الاصطناع:
لم يكن هناك فرق يمكن كشفه بين حالتي "المصطنع البليغ" و"المثبت البليغ" في أي مقياس (الحاجز، الإنتروبيا المتقاطعة المحجوزة، أو المسافة الإقليدية). لم يستطع التصميم الفصل بين "الإثبات" و"الحقيقة" لأن الموضوع المثبت كان أيضاً هو الموضوع الحقيقي، لكن مطابقة التدرج ضمنت التحكم في حجم المدخلات.
الديناميكيات الزمنية:
تصل فروق الخسارة لكل خطوة بين عمليات التشغيل المحقونة وتوائمها إلى الذروة حول الخطوة 300 (بمقدار مرتبين من القدر فوق انخفاض ما بعد الحقن مباشرة) ثم تتلاشى ببطء على مدار الـ 9,000 خطوة المتبقية.
ترسم الحالات الثلاث (المصطنع، المثبت، العشوائي) منحنيات تباعد متطابقة تقريباً، مما يشير إلى أن نوع المحتوى (بليغ مقابل ضجيج) لا يغير بشكل كبير حجم الاضطراب الهندسي في هذا الإعداد.
4. الادعاءات والأهمية
تدعي الورقة أنها توفر تجربة مضادة للواقع مباشرة ومقاسة لمثال تدريبي واحد، متجاوزة طرق التقدير الشائعة في المجال (مثل دالات التأثير).
الإزاحة مقابل الوظيفة: المساهمة الأساسية هي إثبات أن اضطراب بيانات واحد يمكن أن يسبب إزاحة هائلة في فضاء المعلمات (44% من تباين البذرة) بينما يسبب انفصالاً وظيفياً ضئيلاً (3% من تباين البذرة). الحقن يعيد تموضع النموذج داخل حوض الخسارة الخاص به بدلاً من نقله إلى حوض جديد.
العمليات التشغيلية تهم: يجادل المؤلفون بأن اختيار المقياس (المسافة الإقليدية مقابل حاجز الخسارة) يغير جذرياً تفسير البيانات. استخدام المسافة الإقليدية كوكيل للتأثير قد يكون مضللاً لأنه يلتقط الحركة العشوائية داخل الحوض واختيارات القواعد بدلاً من التغيير السلوكي.
تلاشي التأثير: تسلط الدراسة الضوء على أن الإسناد (attribution) يعتمد على الزمن. المقياس المأخوذ بعد 50 خطوة من الحقن يكشف عن أثر قوي، بينما المقياس المأخوذ في نهاية التدريب لا يكشف عن أي أثر. هذا يشير إلى أن المقدرات التي تستهدف النماذج النهائية قد تفقد أحداث التعلم العابرة ولكن الهامة.
محدودية الطرق الحالية: تشير النتائج إلى أن أدوات الإسناد الحالية (التي تقدر التغيرات الوظيفية) قد تعطي أرقاماً صغيرة لأن التغيير الوظيفي هو بالفعل صغير، حتى لو كان التغيير في المعلمات كبيراً. وعلى العكس من ذلك، فإن الأدوات التي تعتمد على إزاحة الأوزان قد تبالغ في تقدير "أهمية" مثال ما إذا لم تأخذ في الاعتبار حقيقة أن النموذج يظل في نفس الحوض الوظيفي.
تختتم الورقة بتواضع، مشيرة إلى أنه على الرغم من عدم إمكانية تعميم زوج المحفزات المحدد (موضوع مثبت مقابل موضوع مصطنع) على جميع حقائق المحتوى، إلا أن النتيجة التشغيلية — وهي أن إزاحة فضاء المعلمات والانفصال الوظيفي يمكن أن يتباعدا بمقدار مرتب من القدر بسبب مثال واحد — هي توصيف قوي لديناميكيات التدريب في هذا النطاق.