🤖 machine learning

How Faithful Is Trajectory-Based Data Attribution? Error Sources, Remedies, and Practical Guidelines

تقدم هذه الورقة أول تحليل منهجي لمصادر الخطأ في الإسناد القائم على المسار، حيث تحدد عدم التوافق في المُحسِّن كقضية مهيمنة، وتقترح "AdamW-influence"، وهو وكيل خطأ ذو صيغة مغلقة، وإطار عمل استباقي لـ K-خطوة لتحسين دقة الإسناد بشكل كبير وتقديم إرشادات عملية لاختيار البيانات الموثوق.

المؤلفون الأصليون: Junwei Deng, Pingbang Hu, Suliang Jin, Hao Lu, Jiachen T. Wang, Shichang Zhang, Jiaqi W. Ma

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junwei Deng, Pingbang Hu, Suliang Jin, Hao Lu, Jiachen T. Wang, Shichang Zhang, Jiaqi W. Ma

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بخبز كعكة ضخمة (تدريب نموذج ذكاء اصطناعي حديث) باستخدام وعاء كبير من المكونات (بيانات التدريب). في بعض الأحيان، تود أن تعرف: "أي بيضة محددة أو رشة سكر هي التي جعلت الكعكة أفضل أو أسوأ طعماً؟" هذا ما يسمى بـ نسب البيانات (Data Attribution).

لفترة طويلة، استخدم العلماء طريقة تسمى "النسب القائم على المسار" (Trajectory-Based Attribution) للإجابة على ذلك. لقد حاولوا "إعادة" عملية الخبز خطوة بخطوة لمعرفة كيف سيؤدي إزالة مكون واحد إلى تغيير النتيجة النهائية.

ومع ذلك، تجادل هذه الورقة البحثية بأن الطريقة الحالية للقيام بعملية "الإعادة" هذه غالباً ما تكون معطلة، مما يؤدي إلى إجابات خاطئة. يتصرف المؤلفون هنا مثل الميكانيكيين الذين فتحوا المحرك للعثور على مكان احتكاك التروس بالضبط وكيفية إصلاحها.

إليك تفصيل بسيط لنتائجهم وإصلاحاتهم:

1. المشكلة: "الخريطة الخاطئة" (خطأ على مستوى الإعدادات - Config-Level Error)

التشبيه: تخيل أنك تحاول التنقل في مدينة باستخدام خريطة مصممة للدراجة الهوائية، بينما أنت تقود في الواقع شاحنة ثقيلة بمحرك توربيني. حتى لو اتبعت الخريطة بدقة، ستضل طريقك لأن الخريطة لا تفهم كيف تتعامل شاحنتك مع المنعطفات أو التسارع.

الواقع: يتم تدريب معظم نماذج الذكاء الاصطناعي الحديثة باستخدام "محرك" متطور يسمى AdamW. ومع ذلك، فقد بُنيت أدوات نسبة البيانات الشهيرة بافتراض أن النماذج تُدرب باستخدام محرك أقدم وأبسط يسمى SGD.

النتيجة: كانت الأدوات تستخدم "خريطة الدراجة الهوائية" لـ "الشاحنة التوربينية". تسبب هذا في أخطاء هائلة في تحديد أي نقاط البيانات كانت مفيدة.
الإصلاح: قام المؤلفون ببناء أداة جديدة تسمى AdamW-influence. وهي خريطة مصممة خصيصاً للشاحنة التوربينية.
النتيوة: باستخدام الخريطة الصحيحة، حسنوا دقة توقعاتهم بنسبة تتراوح من 10% إلى أكثر من 300% عبر أنواع مختلفة من نماذج الذكاء الاصطناعي (من مصنفات الصور البسيطة إلى النماذج اللغوية الكبيرة مثل Llama).

2. المشكلة الثانية: "الرسم التخطيطي الخشن" (خطأ على مستوى الخوارزمية - Algorithm-Level Error)

التشبيه: حتى مع وجود الخريطة الصحيحة، إذا حاولت التنبؤ بالمستقبل برسم خط مستقيم على طريق متعرج، فستخرج في النهاية عن المسار. وكلما حاولت التنبؤ بطريق أطول، زاد الخطأ.

الواقع: لجعل الحسابات سريعة، تستخدم هذه الأدوات "تقريباً من الدرجة الأولى" (First-order approximation). فكر في هذا كتقريب طريق متعرج ليكون خطاً مستقيماً.

المتسببان: وجد المؤلفون شيئين رئيسيين يجعلان تخمين "الخط المستقيم" هذا أسوأ:
1. الحدة (معدل التعلم - Learning Rate): إذا كانت الخطوات المتخذة أثناء التدريب ضخمة (معدل تعلم مرتفع)، فإن تخمين الخط المستقيم سيفشل بسرعة.
2. المسافة (طول المسار - Trajectory Length): كلما عدت إلى الوراء في الزمن لمحاولة النظر، زاد ابتعاد "الخط المستقيم" عن المسار المتعرج الفعلي.
الإصلاح: أنشأوا "وكيل خطأ" (Error Proxy). وهو يشبه لوحة القيادة التي تحتوي على ضوء تحذيري يخبرك: "مهلاً، تخمين الخط المستقيم أصبح غير موثوق به الآن"، دون الحاجة لإعادة خبز الكعكة بالكامل للتحقق. يساعد هذا المستخدمين على معرفة متى يثقون في درجات البيانات ومتى يشكون فيها.

3. الدليل العملي: كيفية اختيار المكونات (اختيار البيانات - Data Selection)

التشبيه: تخيل أنك طاهٍ يختار المكونات لحساء بينما تقوم بطهيه.

استراتيجية "خارج الخط" (Offline Strategy): تنتظر حتى ينتهي الحساء، وتتذوقه، ثم تقول: "لو كنت قد اخترت هذه الجزر تحديداً بدلاً من ذاك، لكان الطعم أفضل". (هذا بطيء ومكلف).
استراتيجية "داخل الخط" (Online Strategy): تختار المكونات أثناء العمل، وتخمن كيف ستؤثر على الحساء في الدقائق القليلة القادمة.

قواعد الكتاب الجديدة: وحد المؤلفون هاتين الاستراتيجيتين في إطار عمل واحد يسمى "النظر للأمام لـ K من الخطوات" (K-Step Look-Ahead).

K هو عدد الخطوات التي تنظر فيها إلى المستقبل.
الرؤية الثاقبة: لست بحاجة للنظر حتى نهاية الحساء (Offline). فالنظر لخطوات قليلة للأمام فقط (Online) غالباً ما يكون جيداً تماماً، إذا استخدمت الأدوات الصحيحة.
نقطة التوازن المثالية:
- إذا كنت تتخذ خطوات صغيرة (معدل تعلم منخفض)، يمكنك النظر للأمام لمسافة أبعد (K أكبر) دون ارتكاب أخطاء.
- إذا كنت تتخذ خطوات كبيرة (معدل تعلم مرتفع)، فيجب عليك النظر لمسافة قصيرة فقط (K صغير) لتجنب تراكم الأخطاء.

ملخص "الوصفة" للممارسين

تقدم الورقة وصفة واضحة لأي شخص يستخدم هذه الأدوات:

توقف عن استخدام أدوات "SGD" القديمة إذا كنت تدرب باستخدام AdamW (وهو ما يفعله الجميع تقريباً). استخدم AdamW-influence بدلاً منها.
لا تنظر بعيداً جداً للأمام عند اختيار البيانات "داخل الخط". إذا نظرت بعيداً جداً في المستقبل، سيصبح تخمين "الخط المستقيم" مليئاً بالضجيج.
اضبط أفق رؤيتك (K) مع معدل التعلم الخاص بك. إذا كنت تتخذ خطوات صغيرة، يمكنك النظر للأمام لمسافة أبعد. إذا كنت تتخذ خطوات كبيرة، فاجعل نظرتك قصيرة المدى.

من خلال إصلاح "الخريطة" وفهم حدود "الخط المستقيم"، حول المؤلفون "نسب البيانات" من صندوق أسود إلى أداة موثوقة وقابلة للتطبيق لتحسين نماذج الذكاء الاصطناعي.

ملخص تقني: ما مدى دقة الإسناد البياني القائم على المسار؟

1. بيان المشكلة

تقوم طرق الإسناد البياني القائمة على المسار (مثل SGD-influence وTracIn وSOURCE) بتقدير تأثير العينات التدريبية الفردية على تنبؤات النموذج من خلال تتبع مسار التدريب. وبينما تُستخدم هذه الطرق على نطاق واسع في اختيار البيانات، وتقييمها، وتشخيص النماذج، إلا أنها تفتقر إلى تحليل شامل للأخطاء. يواجه الممارسون حالات عدم يقين جوهرية فيما يتعلق بحجم ومنشأ أخطاء الإسناد، لا سييةً فيما يتعلق بما إذا كانت الأخطاء ناتجة عن عدم تطابق بين صيغة الإسناد وديناميكيات التدريب الفعلية (مثل عدم تطابق المُحسِّن) أو من التقديرات الخوارزمية المتأصلة (مثل توسعات تايلور من الدرجة الأولى). هذا عدم اليقين يعيق النشر الموثوق لهذه الطرق في خطوط أنابيب التعلم العميق الحديثة، والتي تستخدم بشكل أساسي مُحسّنات مثل AdamW بدلاً من SGD الذي تفترضه الاشتقاقات النظرية الحالية.

2. المنهجية والتصنيف

يقترح المؤلفون أول تحليل منهجي للخطأ في الإسناد القائم على المسار، حيث يتم تنظيم إجمالي الخطأ إلى ثلاث فئات متميزة:

خطأ مستوى الإعداد (Config-level Error): ينشأ عندما لا تعكس صيغة الإسناد الإجراء التدريبي الفعلي بدقة. والمصدر المهيمن المحدد هو عدم تطابق المُحسّن (optimizer mismatch)، حيث تفترض الطرق ديناميكيات الانحداش الاشتقاقي العشوائي (SGD) رغم تدريب النماذج باستخدام AdamW.
خطأ مستوى الخوارزمية (Algorithm-level Error): ينشأ من تقريبات الكفاءة، وتحديداً توسع تايلور من الدرجة الأولى المستخدم لخطية مسار المعلمات.
خطأ مستوى النظام (System-level Error): أخطاء غير قابلة للاختزال بسبب دقة الفاصلة العائمة وعدم الحتمية في وحدات معالجة الرسومات (GPU)، والتي تؤثر حتى على إعادة التدريب التي تمثل الحقيقة الأرضية.

ولمعالجة ذلك، يقدم البحث:

AdamW-influence: خوارزمية جديدة تتبع ديناميكيات تحسين AdamW الفعلية (بما في ذلك حالات الزخم والقياس التكيفي لكل إحداثي) بدلاً من افتراض SGD. وهي تقوم بحقن اضطرابات على مستوى التدرج للتعامل بشكل صحيح مع عدم خطية تحديثات العزم الثاني في AdamW.
وكيل الخطأ (Error Proxy): تعبير مغلق الصيغة لتقدير خطأ المستوى الخوارزمي لكل عينة (خطأ تقدير التحديث) على طول المسار الأصلي دون الحاجة لإعادة التدريب.
إطار عمل التطلع للأمام لـ K-خطوة (K-Step Look-Ahead Framework): إطار نظري موحد لاختيار البيانات يعامل استراتيجيات العمل "دون اتصال" (offline) و"على اتصال" (online) كحالات حدية لمعامل الأفق $K$ ، مما يسمح بتحليل المقايضة بين معلومات التطلع للأمام والخطأ التراكمي للتقريب.

3. المساهمات الرئيسية

أ. تصحيح خطأ مستوى الإعداد (عدم تطاق المُحسِّن)

يوضح المؤلفون أن الطرق الحالية تشتق الإسناد تحت افتراض SGD، مما يخلق انحرافات منهجية عند تطبيقها على النماذج المدربة باستخدام AdamW. ويقترحون AdamW-influence، الذي يأخذ في الاعتبار زخم AdamW والقياس التكيفي بشكل صحيح.

النتيجة: عبر أربعة إعدادات (MLP، وCNN، وGPT-2، وLlama 3.2-1B)، يحسن AdamW-influence معامل ارتباط سبيرمان بين الإسناد المقدر والحقيقة الأرضية (TSLOO) بنسبة تتراوح بين 10% إلى أكثر من 300% مقارنة بالأساس القائم على SGD.
الدلالة: يعد محاذاة المُحسِّن شرطاً ضرورياً لعزل وتحليل أخطاء المستوى الخوارزمي المتبقية.

ب. تشريح خطأ مستوى الخوارزمية

بعد تصحيح خطأ مستوى الإعداد، يعزل المؤلفون الخطأ الناتج عن توسع تايلور من الدرجة الأولى. ويحددون عاملين حاكمين:

معدل التعلم ( $\eta$ ): تزيد معدلات التعلم الأكبر من خطأ الخطية لكل خطوة.
طول المسار ( $T - t^*$ ): تسمح المسارات المتبقية الأطول بتراكم الأخطاء.

النتيجة: يتناسب مقدار الخطأ عكسياً مع معدل التعلم وطردياً مع طول المسار المتبقي.
المساهمة: يشتق المؤلفون وكيلاً مغلق الصيغة للخطأ (المعادلة 4) يقدر معايير خطأ كل عينة باستخدام الكميات التي يحتفظ بها المُحسّن بالفعل. ويرتبط هذا الوكيل بقوة ( $\rho \in [0.83, 0.89]$ ) مع معايير الخطأ الحقيقية التي يتم الحصول عليها عبر إعادة التدريب بنظام "ترك واحد واستبعاد الآخر" (leave-one-out)، مما يتيح اتخاذ قرارات واعية بالخطأ دون إعادة التدريب.

ج. إرشادات عملية لاختيار البيانات

يوحد البحث استراتيجيات اختيار البيانات "دون اتصال" و"على اتصال" تحت إطار عمل التطلع للأمام لـ K-خطوة، حيث يمثل $K$ عدد الخطوات المستقبلية التي يأخذ قرار الاختيار في الاعتبده.

النتائج:
- محاذاة المُحسِّن: يتفوق الاختيار "على اتصال" باستخدام AdamW-influence باستمرار على SGD-influence "على اتصال"، مما ينقل مكاسب الدقة إلى أداء الاختيار النهائي.
- الأفق مقابل الخطأ: يتوافق الاختيار "دون اتصال" مع أطول أفق ( $K = T-t$ ) ويراكم أكبر قدر من خطأ التقريب. أما الاختيار "على اتصال" بأفق قصير إلى متوسط فيتساوى غالباً أو يتجاوز أداء الاختيار "دون اتصال".
- ضبط $K$ : ينمو الأفق الأمثل $K$ مع انخفاض معدل التعلم. تسمح معدلات التعلم الأصغر لجمع الـ $K$ -خطوة بالامتداد لمسافة أبعد قبل أن يهيمن خطأ التقريب.
الإرشاد: يجب على الممارسين ضبط $K$ بشكل مشترك مع معدل التعلم بدلاً من تثبيته، ويعد الاختيار "على اتصال" ذو الأفق القصير مع المُحسّنات المتوافقة وصفة موثوقة وقابلة للتنفيذ.

4. النتائج التجريبية

قيم المؤلفون طرقهم على:

النماذج: MLP، وCNN، وGPT-2، وLlama 3.2-1B.
مجموعات البيانات: MNIST، وWikiText-2، وAlpaca، وTulu3.
المقاييس: معامل ارتباط رتب سبيرمان مقابل حقيقة TSLOO (للدقة) ومعايير معدل الخطأ في التحقق/الاختبار أو الارتياب (Perplexity) (لجودة اختيار البيانات).

النتائج الرئيسية:

الدقة (Fidelity): يتفوق AdamW-influence بشكل كبير على SGD-influence عبر جميع معدلات التعلم والبنيات. على سبيل المثال، في MNIST+CNN مع $lr=10^{-3}$ ، تحسن الارتباط من 0.015 إلى 0.090 (+500%).
جودة الاختيار: في مهام اختيار البيانات، حقق AdamW-influence "على اتصال" باستمرار معدلات خطأ أقل (في MNIST) وارتياباً (Perplexity) أقل (في Llama 3.2) مقارنة بكل من SGD-influence "على اتصال" وAdamW-influence "دون اتصال".
وكيل الخطأ: تتبع الوكيل المشتق بنجوة معايير الخطأ الحقيقية بارتباط سبيرمان عالٍ ( $\rho \approx 0.85$ )، مما يؤكد صلاحيته كإشارة عملية لاتخاذ القرارات الواعية بالمسار.

5. الأهمية والادعاءات

يزعم البحث أنه يقدم أول تحليل منهجي للخطأ في الإسناد البياني القائم على المسار، مما ينقل المجال من التعامل مع هذه الطرق كـ "دوال تسجيل سوداء" إلى "مقدرات قابلة للتشخيص".

الأثر النظري: من خلال تصنيف الأخطاء إلى مستويات الإعداد، والخوارزمية، والنظام، يوضح العمل مصادر عدم الدقة في سياقات التعلم العميق الحديثة.
الأثر العملي: يوفر تقديم AdamW-influence وإطار عمل K-step حلولاً ملموسة وقابلة للتنفيذ للممارسين. وهو يثبت أن محاذاة صيغة الإسناد مع المُحسِّن الفعلي (AdamW) وضبط أفق التطلع بعناية يمكن أن يحسن بشكل كبير من موثوقية اختيار البيانات وتشخيص النماذج.
القابلية للتوسع: تحافظ الطرق المقترحة على تعقيد $O(T)$ (مع عبء إضافي ثابت يبلغ حوالي 3 أضعاف مقارنة بـ SGD-influence بسبب تخزين الحالة الموسعة)، مما يجعلها قابلة للتنفيذ في النماذج واسعة النطاق عند دمجها مع تقنيات الحجب العشوائي (random masking).

يقر المؤلفون بالقيود، مشيرين إلى أن تحليلهم يقتصر على الطرق القائمة على توسع تايلور من الدرجة الأولى والنماذج حتى Llama 3.2-1B بسبب القيود الحسابية، وأن التعميم على الأنظمة الأخرى (مثل التعلم المعزز ونماذج الانتشار) يظل توجهاً مفتوحاً.