🤖 machine learning

Learning to Weight Parameters for Training Data Attribution

تقترح هذه الورقة طريقة مبتكرة تتعلم صراحةً أوزان أهمية المعلمات مباشرة من البيانات للتغلب على قيود تقنيات عزو البيانات القائمة على التدرج، مما يؤدي إلى تحسين دقة العزو وتمكين التحليل الدقيق عبر مهام متنوعة مثل تصنيف الصور، ونمذجة اللغة، والانتشار.

المؤلفون الأصليون: Shuangqi Li, Hieu Le, Jingyi Xu, Mathieu Salzmann

نُشر 2026-02-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuangqi Li, Hieu Le, Jingyi Xu, Mathieu Salzmann

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً عملاقاً وذكياً للغاية (النموذج الذكاء الاصطناعي) تعلم طهي أطباق مذهلة من خلال تذوق ملايين الوصفات من مكتبة ضخمة (بيانات التدريب). ذات يوم، صنع الطباخ طبق لازانيا مثالياً. ثم سألت: "أي وصفات محددة من المكتبة كانت الأكثر مسؤولية عن جعل طعم هذه اللازانيا رائعاً هكذا؟"

هذه هي مشكلة "إسناد البيانات" (Data Attribution). تقترح الورقة البحثية التي شاركتَها طريقة جديدة للإجابة على هذا السؤال، وهي تفعل ذلك من خلال إدراك أن ليست كل أجزاء دماغ الطباخ متساوية الأهمية لكل طبق.

إليك شرح فكرتهم باستخدام تشبيهات بسيطة:

1. الطريقة القديمة: معاملة الجميع بالتساوي

في السابق، كانت الطرق التي تحاول تتبع الوصفة وصولاً إلى المكتبة تعامل كل جزء من دماغ الطباخ بنفس الطريقة.

التشبيه: تخيل أن دماغ الطباخ عبارة عن أوركسترا ضخمة. لتحديد من الذي أثر في طبق اللازانيا، كانت الطرق القديمة تستمع إلى الأوركسترا بأكملها وهي تعزف في وقت واحد وتقول: "حسناً، الكمانات، والطبول، وآلات التوبا ساهمت جميعها بالتساوي".
المشكلة: في الواقع، قد تكون الكمانات (الطبقات العميقة للذكاء الاصطناعي) هي المسؤولة عن النكهة (الموضوع)، بينما تتولى الإيقاعات (الطبقات الضحلة) مهمة القوام (الأسلوب). معاملتهم جميعاً بنفس الطريقة يشبه سؤال عازف الطبول عن اللحن. إنه أمر فوضوي وغالاً ما يؤدي إلى إجابة خاطئة.

2. الاكتشاف: الدماغ "المتخصص"

اكتشف المؤلفون أن أجزاء مختلفة من نموذج الذكاء الاصطناعي هي بمثات "متخصصة".

النتيجة: وجدوا أنه في مولدات الصور (مثل Stable Diffusion)، فإن "كتل الصعود" (Up Blocks) في الشبكة بارعة في تحديد ماهية الشيء (هل هو قط أم كلب؟)، بينما طبقات انتباه معينة أفضل في تحديد الأسلوب (هل هي لوحة مائية أم صورة فوتوغرافية؟).
التشبيه: اتضح أن الأوركسترا ليست مجرد ضجيج مختلط. الكمانات هي خبيرة اللحن، والباص هو خبير الإيقاع، والفلوت هي خبيرة التناغم. إذا كنت تريد معرفة من كتب اللحن، فعليك الاستماع بشكل أساسي إلى الكمانات، وليس إلى آلات التوبا.

3. الحل: تعلم كيفية "وزن" الخبراء

تقترح الورقة البحثية طريقة جديدة تسمى "تعلم وزن المعلمات" (Learning to Weight Parameters). بدلاً من الاستماع إلى الجميع بالتساوي، هم يعلمون النظام كيفية تخصيص "مقبض تحكم في الصوت" (وزن) لكل قسم من أقسام الأوركسترا.

كيف يعمل الأمر:
1. الهدف: يريدون العثور على "أفضل 10" وصفات أثرت في اللازانيا.
2. الحيلة: لا يحتاجون إلى إنسان ليخبرهم أي الوصفات هي الصحيحة (فهذا صعب ومكلف للغاية). بدلاً من ذلك، يستخدمون نهجاً "ذاتي الإشراف" (Self-Supervised).
3. التشبيه: تخيل أن النظام يضع تخميناً: "أعتقد أن هذه الوصفات العشر هي الأفضل". ثم يتحقق: "إذا رفعتُ مستوى صوت الكمان وخفضتُ صوت التوبا، هل سيتحسن تخميني؟"
4. النتيجة: يتعلم النظام رفع مستوى صوت الأجزاء "المتخصصة" في الذكاء الاصطناعي التي تهم السؤال المحدد بالفعل. إذا كنت تسأل عن أسلوب الصورة، سيتعلم النظام رفع مستوى صوت "طبقات الأسلوب" وكتم "طبقات الموضوع".

4. لماذا يعد هذا أمراً بالغ الأهمية

هذه الطريقة تشبه إعطاء المحقق نظارات ذكية تسلط الضوء على الأدلة الأكثر صلة وتطمس الضجيج من حوله.

دقة أفضل: في الاختبارات، وجدت هذه الطريقة الوصفات التدريبية "الصحيحة" في كثير من الأحيان أكثر من الطرق السابقة. سواء كان ذلك في تحديد الصور المصنفة بشكل خاطئ، أو فهم النصوص، أو توليد الصور، فقد كان النهج "الموزون" أكثر دقة.
تحكم دقيق: يمكنها الإجابة على أسئلة محددة.
- السؤال: "أي صورة تدريبية علمت الذكاء الاصطناعي كيف يرسم القطط؟" -> يركز النظام على أوزان "الموضوع".
- السؤال: "أي صورة تدريبية علمت الذكاء الاصطناعي كيف يستخدم الرسم الزيتي؟" -> يركز النظام على أوزان "الأسلوب".
لا حاجة لملصقات إضافية: الجزء الأفضل؟ النظام يعلم نفسه كيفية القيام بذلك دون الحاجة إلى إنسان يقول له "نعم، كانت تلك هي الوصفة الصحيحة". إنه يكتشف أهمية كل جزء من الدماغ بمجرد النظر إلى أنماط البيانات.

الملخص

فكر في نموذج الذكاء الاصطناعي كآلة ضخمة ومعقدة. حاولت الطرق القديمة تتبع المخرجات من خلال النظر إلى الآلة بأكملها في وقت واحد. تقول هذه الورقة البحثية: "لا، دعونا نحدد أي التروس هي التي تعمل بالفعل لهذا العمل المحدد، ونركز انتباهنا هناك."

من خلال تعلم كيفية وزن (أو إعطاء الأولوية لـ) الأجزاء الأكثر أهمية في دماغ الذكاء الاصطناعي، يمكنهم تتبع أصل مخرجات الذكاء الاصطناعي بدقة أعلى بكثير، مما يساعدنا في فهم قضايا حقوق النشر، وإصلاح الأخطاء، وضمان شفافية الذكاء الاصطناعي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تعلم أوزان المعلمات لنسب البيانات (Learning to Weight Parameters for Training Data Attribution)" (ICLR 2026).

1. بيان المشكلة

يهدف نسب البيانات (Data Attribution) إلى تحديد أي الأمثلة التدريبية هي الأكثر تأثيراً على مخرج نموذج معين. وبينما تُعد الطرق القائمة على التدرج (مثل TracIn، وInfluence Functions، وTRAK) فعالة حسابياً، إلا أنها تعاني من قصور حرج: وهو أنها تعامل معلمات الشبكة بشكل موحد.

تفترض النهج الحالية أن جميع المعلمات تساهم بالتساوي في إشارة النسب، أو تعتمد على أوزان ضمنية مشتقة من تقريبات مصفوفة "هيسيان" (Hessian) (مثل EK-FAC). ومع ذلك، يرى المؤلفون ما يلي:

التباين الوظيفي (Functional Heterogeneity): مجموعات المعلمات المختلفة (الطبقات، الكتل، رؤوس الانتباه) تشفر معلومات دلالية مختلفة (مثل الموضوع مقابل الأسلوب مقابل الخلفية) ولها مستويات متفاوتة من الأهمية لمهام محددة.
الأوزان الضمنية غير الفعالة: تقريبات مصفوفة "هيسيان" تكون مشوشة وغير مباشرة، وتفشل في التقاط الأهمية الحقيقية لمجموعات معلمات محددة بدقة.
الأداء غير الأمثل: الوزن الموحد يؤدي إلى تخفيف الإشارات القوية من المعلمات الحرجة بضجيج من المعلمات الأقل صلة، مما يؤدي إلى انخفاض دقة النسب.

2. المنهجية

يقترح المؤلفون إطار عمل مدفوعاً بالبيانات لتعلم أوزان أهمية المعلمات ( $w$ ) صراحةً من البيانات، دون الحاجة إلى تسميات (labels) حقيقية للنسب.

أ. صياغة النسب الموزونة بالمعلمات

يتم تقسيم معلمات النموذج $\theta$ إلى $M$ من المجموعات المنفصلة (مثل الطبقات أو الكتل). وبدلاً من استخدام ميزات التدرج الخام $g(x)$ ، تقدم الطريقة متجه أوزان قابل للتعلم وغير سالب $w = \{w_1, \dots, w_M\}$ .
تُعرف ميزة الاستعلام المعاد وزنها كالتالي:
$\tilde{g}(x; w) = \text{Diag}(w) \cdot g(x)$
تصبح درجة النسب بين استعلام $x_{query}$ وعينة تدريب $x_n$ :
$\tilde{\tau}(x_{query}, x_n; w) = g(x_{query})^\top \cdot \text{Diag}(w) \cdot K \cdot g(x_n)$
حيث $K$ هو نواة تشابه (similarity kernel) (مثل الهوية لـ TracIn، أو مصفوفة نواة لـ TRAK). ومن الأهمية بمكان أن الأوزان تُطبق فقط على جانب الاستعلام للحفاظ على الكفاءة الحسابية.

ب. تعلم الأوزان ذاتي الإشراف (Self-Supervised Weight Learning)

بما أن تسميات النسب الحقيقية غير متوفرة، صمم المؤلفون هدفاً ذاتي الإشراف يعتمد على تعظيم نسبة الإشارة إلى الضجيج (SNR).

الافتراض الجوهري: تعمل أمثلة التدريب ذات أعلى $k$ درجة من طريقة نسب أساسية كـ "إيجابيات كاذبة" (pseudo-positives).
دالة الخسارة: تقوم الطريقة بتحسين $w$ لتعظيم متوسط درجات هذه الـ "إيجابيات الكاذبة" الـ $k$ -أعلى، مقسوماً على النورم ( $\ell_2$ norm) الإجمالي لمتجه الدرجة. يعمل هذا التطبيع كمقدر للضجيج.
$\mathcal{L}_{SSL}(w) = - \frac{1}{\| \tilde{\tau} \|_2} \left( \frac{1}{k} \sum_{i \in I_{top-k}(w)} \tilde{\tau}(x_{query}, x_i; w) \right)$
التبرير النظري: استنتج المؤلفون أن تقليل هذه الخسارة يكافئ تعظيم نسبة الإشارة إلى الضجيج (SNR) لدرجة النسب تحت نموذج (إشارة + ضجيج). المقام يقدر قوة الإشارة، بينما يقدر البسط قدرة الضجيج.

ج. النسب دقيق التفاصيل (Fine-Grained Attribution)

يمتد إطار العمل ليشمل النسب المحدد دلالياً. من خلال تنسيق مجموعات الاستعلام التي تركز على سمات محددة (على سبيل المثال، مطالبات تتغير فقط في "الأسلوب" مع تثبيت "الموضوع")، يتعلم النموذج متجهات أوزان متخصصة ( $w_{style}, w_{subject}, w_{background}$ ). وهذا يسمح للنظام بعزل مجموعات المعلمات المسؤولة عن مفاهيم دلالية محددة.

3. المساهمات الرئيسية

الاكتشاف التجريبي للتباين: توضح الورقة أن قوة النسب تختلف بشكل كبير عبر مجموعات المعلمات. في نماذج الانتشار (Diffusion Models)، تُظهر "Up Blocks" وإسقاطات انتباه معينة مستويات أعلى بكثير من درجات نمذجة البيانات الخطية (LDS) مقارنة بالطبقات الأخرى.
إطار عمل موحد للوزن: صياغة عامة تستوعب الطرق القائمة على التدرج الموجودة (مثل TracIn وTRAK وغيرها) وتسمح لها بالاستفادة من الأوزان المعلمة المتعلمة.
التعلم ذاتي الإشراف: هدف جديد وفعال يتعلم الأوزان دون تسميات حقيقية من خلال الاستفادة من ترتيبات النسب الحالية، وهو قائم على نظرية نسبة الإشارة إلى الضجيج (SNR).
الفصل الدلالي (Semantic Disentanglement): القدرة على تعلم أوزان متميزة لعناصر دلالية مختلفة (الموضوع، الأسلوب، الخلفية)، مما يتيح تحكماً دقيقاً في عملية النسب.

4. النتائج التجريبية

تم تقييم الطريقة عبر تصنيف الصور، نمذجة اللغة، وتوليد الصور (نماذج الانتشار).

تصنيف الصور (ImageNet):
- طُبقت على ResNet-18 و ViT-B/16.
- النتيجة: تحسينات ملحوظة في درجات LDS. بالنسبة لـ TracIn على ResNet-18، ارتفعت درجة LDS من 11.39% إلى 23.92%.
- كشف التسميات الخاطئة: تحسين AUC في اكتشاف التسميات المشوشة (على سبيل المثال، ارتفع AUC لـ ResNet-18 من 54.40 إلى 61.46).
نمذجة اللغة (WikiText-103):
- طُبقت على GPT-2-small.
- النتيجة: تحسينات متسقة في LDS عبر TracIn وTRAK وLoGRA وEKFAC.
- درجة Tail-Patch: حددت الطريقة الموزونة الأمثلة التدريبية التي، عند استخدامها للتدريب التدريجي، حققت مكاسب احتمالية أعلى لتسلسلات الاستعلام مقارنة بالنماذج الأساسية.
توليد الصور (نماذج الانتشار):
- تم التقييم باستخدام Stable Diffusion بعد ضبطه على ArtBench-2 وNaruto وSB-Pokemon.
- النتيجة: مكاسب كبيرة في LDS عبر جميع النماذج الأساسية (TracIn, TRAK, JourneyTRAK, D-TRAK, DAS). بالنسبة لـ D-TRAK على ArtBench-2، تحسنت LDS من 22.72% إلى 25.15%.
- التحليل دقيق التفاصيل: نجحت الأوزان المتخصصة في عزل التأثيرات بنجاح. على سبيل المثال، حسنت الأوزان الخاصة بالأسلوب من Recall@10 للنسب الخاص بالأسلوب من 64.9% (النموذج الأساسي) إلى 82.1%.
التعميم والمتانة:
- تتعمم الأوزان المتعلمة بشكل جيد عبر مجموعات بيانات مختلفة وحتى عبر طرق نسب مختلفة (على سبيل المثال، الأوزان المتعلمة لـ TRAK تحسن أداء TracIn).
- الطريقة قوية تجاه الضجيج في درجات النسب الأولية وتتقارب بسرعة (عادةً في أقل من دقيقة).

5. الأهمية

تغير هذه الورقة بشكل جذري نموذج النسب من الافتراضات الموحدة والثابتة إلى الأهمية الديناميكية المتعلمة.

الدقة: توفر طريقة عملية ومنخفضة التكلفة لتعزيز دقة أدوات النسب الحالية بشكل كبير دون إعادة تدريب النموذج أو الحاجة إلى تسميات حقيقية مكلفة.
القابلية للتفسير: من خلال تعلم أوزان متميزة لمفاهيم دلالية مختلفة، فإنها تقدم رؤى أعمق حول كيفية استخدام النماذج لبيانات التدريب (على سبيل المثال، التمييز بين الأسلوب والمحتوى).
القابلية للتوسع: النهج فعال حسابياً، مما يجعله قابلاً للتطبيق على نماذج التوليد واسعة النطية (نماذج اللغات الكبيرة ونماذج الانتشار) حيث تكون طرق "هيسيان" التقليدية صعبة التنفيذ.

باختصار، يثبت المؤلفون أن التباين في المعلمات هو إشارة قابلة للتعلم، وأن نمذجتها صراحةً تؤدي إلى نسب بيانات أكثر دقة وموثوقية وقابلية للتفسير عبر مجالات الذكاء الاصطناي المتنوعة.