🤖 machine learning

LoRIF: Low-Rank Influence Functions for Scalable Training Data Attribution

يقدم LoRIF طريقة تقريب منخفض الرتبة لدوال التأثير تقلل بشكل كبير من تكاليف التخزين والذاكرة مع الحفاظ على جودة عالية في الإسناد، مما يتيح إسناد بيانات التدريب القابل للتوسع للنماذج ومجموعات البيانات واسعة النطاق.

المؤلفون الأصليون: Shuangqi Li, Hieu Le, Jingyi Xu, Mathieu Salzmann

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuangqi Li, Hieu Le, Jingyi Xu, Mathieu Salzmann

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً عملاقاً وذكياً للغاية (نموذج الذكاء الاصطناعي) قام بطهي ملايين الوجبات (تدرب على ملايين الأمثلة) ليتعلم كيفية إعداد الطبق المثالي. ثم تطلب منه تحضير طبق جديد ومحدد. تريد أن تعرف: "أي مكونات محددة من ملايين الوجبات الماضية أثرت فعلياً في هذا الطبق الجديد أكثر من غيرها؟"

هذه هي مشكلة عزو بيانات التدريب (Training Data Attribution). تقدم الورقة البحثية أداة جديدة تسمى LoRIF (دوال التأثير منخفضة الرتبة - Low-Rank Influence Functions) للإجابة على هذا السؤال، حتى عندما يكون "المطبخ" ضخماً بشكل لا يمكن تصوره.

إليك كيف تعمل LoRIF، مشروحة عبر تشبيهات بسيطة:

المشكلة: "مكتبة كل شيء" كبيرة جداً

حاولت الطرق السابقة حل هذه المشكلة عن طريق الاحتفاظ بفهرس ضخم ومفصل لكل مكون تم استخدامه في كل وجبة سابقة.

العائق 1 (التخزين): تخيل أنك تحاول حمل مكتبة تضم ملايين الكتب في جيبك. لكي تجد الكتاب المناسب، عليك تحميل المكتبة بأكملها في يديك في كل مرة تطرح فيها سؤالاً. هذا يستغرق وقتاً طويلاً ويتطلب حقيبة ظهر ضخمة (ذاكرة).
العائق 2 (الرياضيات): لمعرفة مقدار التأثير، يتعين عليك إجراء عملية حسابية معقدة تتضمن شبكة ضخمة من الأرقام (المصفوفة الثانية أو الـ "Hessian"). إذا كانت المكتبة تحتوي على مليون كتاب، فإن هذه الشبكة ستكون مليون في مليون. تخزين تلك الشبكة سيملأ الأقراص الصلبة للإنترنت بأكمله.

بسبب ذلك، كان على العلماء الاختيار بين أمرين: إما استخدام مكتبة صغيرة وغير مفيدة (جودة منخفضة) أو مكتبة ضخمة تؤدي إلى تعطل جهاز الكمبيوتر الخاص بك (تكلفة عالية).

الحل: خدعتان سحريتان من LoRIF

تقول LoRIF: "لسنا بحاجة لحمل الكتاب كاملاً، ولا نحتاج لرسم الشبكة بأكملها". إنها تستخدم خدعتين ذكيتين تعتمدان على حقيقة أن تدرجات الذكاء الاصطناعي (الرياضيات وراء التعلم) تمتلك أنماطاً بسيطة مخفية.

الخدعة الأولى: "بطاقة الملخص" (عامل التفكيك Rank-c)

بدلاً من تخزين الوصفة التفصيلية الكاملة لكل وجبة من الوجبات الماضية، تدرك LoRIF أن معظم الوصفات تشترك في نفس الهيكل الأساسي.

التشبيه: تخيل بدلاً من تخزين وصفة تفصيلية مكونة من 50 صفحة لـ "سباغيتي بولونيز"، تقوم فقط بتخزين بطاقة فهرس صغيرة تقول: "قاعدة طماطم، لحم مفروم، يُطهى على نار هادئة لمدة ساعتين".
كيف تساعد: يمكنك إعادة بناء الوصفة الكاملة من هذه البطاقة الصغيرة كلما احتجت إليها. هذا يقلص حجم التخزين من مستودع ضخم إلى خزانة ملفات صغيرة. وهذا يعني أيضاً أنك لست مضطراً لتحميل كتاب ثقيل في يديك للإجابة على سؤال؛ بل تكتفي بالإمساك ببطاقة صغيرة.

الخدعة الثانية: "كشاف الضوء" (SVD المبتور)

عند حساب مدى تأثير وجبة سابقة على الوجبة الجديدة، تتطلب الرياضيات عادةً النظر في كل اتجاه من اتجاهات البيانات.

التشبيه: تخيل غرفة مظلمة بها مليون مفتاح كهربائي. معظمها مطفأ أو خافت جداً. فقط عدد قليل من المفاتيح (ربما 10 أو 20) يعمل بالفعل ومضيء بما يكفي ليكون مهماً.
كيف تساعد: تستخدم LoRIF "كشاف ضوء" للعثور على تلك المفاتيح القليلة الساطعة وتتجاهل المليون مفتاح الخافتة. بدلاً من حساب تأثير جميع المليون مفتاح، تقوم فقط بحساب تأثير العشرين الأعلى منها. هذا يحول مسألة رياضية قد تؤدي لتعطل سوبر كمبيوتر إلى مسألة يمكن لجهاز لاب توب تشغيلها.

النتيجة: سريعة، رخيصة، ودقيقة

من خلال الجمع بين هاتين الخدعتين، تحقق LoRIF شيئاً كان يُعتقد سابقاً أنه مستحيل:

إنها تتسع: يمكنها التعامل مع نماذج تحتوي على 70 مليار بارامتر (مثل دماغ ضخم) ومجموعات بيانات تضم ملايين الأمثلة.
إنها سريعة: تجيب على الأسئلة أسرع بـ 20 مرة من الطرق السابقة لأنها لا تضطر لتحميل ملفات ضخمة.
إنها دقيقة: على الرغم من أنها تستخدم "بطاقات ملخص" و"كشاف ضوء"، إلا أنها تجد المكونات الصحيحة بنفس كفاءة (أو أفضل من) الطرق القديمة التي حاولت تخزين كل شيء.

لماذا هذا مهم (وفقاً للورقة البحثية)

تدعي الورقة أن هذا يجعل من الممكن تصحيح الأخطاء (Debug) وتدقيق (Audit) نماذج الذكاء الاصطناعي الضخمة.

تصحيح الأخطاء: إذا قال الذكاء الاصطناعي شيئاً غريباً، يمكنك تتبع ذلك فوراً والعودة إلى أمثلة التدريب المحددة التي علمته ذلك السلوك.
التدقيق الأمني: يمكنك معرفة ما إذا كان الذكاء الاصطناعي قد تعلم سلوكاً ضاراً من مثال سيء معين في بيانات التدريب الخاصة به، حتى لو كان ذلك المثال مدفوناً بين ملايين الأمثلة الأخرى.
تنقية البيانات: يمكنك تحديد أي بيانات التدريب مفيدة حقاً وأيها مجرد ضجيج.

باختصار، تحول LoRIF مهمة كانت تتطلب سوبر كمبيوتر ومستودعاً للتخزين إلى شيء يمكن القيام به بكفاءة، مما يسمح لنا أخيراً بفهم "المكونات" الكامنة وراء أكبر نماذج الذكاء الاصطناعي في العالم.

ملخص تقني: LoRIF – دوال التأثير منخفضة الرتبة لنسب بيانات التدريب القابلة للتوسع

بيان المشكلة

يهدف "نسب بيانات التدريب" (Training Data Attribution - TDA) إلى تحديد أي أمثلة تدريبية محددة أثرت بشكل أكبر على تنبؤ النموذج بالنسبة لاستعلام معين. وبينما توفر "دوال التأثير" (Influence Functions - IF) نهجاً قائماً على أسس نظرية لنسب بيانات التدريب عبر تقريب عملية إعادة التدريب بنمط "ترك المثال الواحد" (leave-one-out) باستخدام التدرجات ومصفوفات هسيان المعكوسة، إلا أنها ظلت غير متاحة فعلياً للنماذج الحديثة واسعة النطاق (مليارات المعلمات) التي تتدرب على ملايين الأمثلة.

تواجه المتغيرات القابلة للتوسع حالياً، مثل TRAK وLoGRA وTrackStar، اختناقات حوسبية من خلال تخزين التدرجات لكل مثال والمقذوفة واستخدام تقريب "غاوس-نيوتن" المضمخ لمصفوفة هسيان. ومع ذلك، تواجه هذه الطرق اختناقين حرجين في القابلية للتوسع يخلقان مقايضة بين جودة النسب والجدوى الحوسبية:

تخزين التدرجات والإدخال/الإخراج (I/O): يتطلب تخزين مصفوفة التدرجات لكل مثال والمقذوفة لـ $N$ من أمثلة التدريب مساحة قدرها $O(ND)$ ، حيث $D$ هو بُعد الإسقاط الفعال. عند وقت الاستعلام، يهيمن تحميل هذه التدرجات على زمن الاستجابة (حوالي 96% من وقت الاستعلام).
توسع معكوس مصفوفة هسيان: يتطلب تشكيل وتخزين تقريب مصفوفة هسيان المعكوسة $D \times D$ مساحة قدرها $O(D^2)$ .

يعد زيادة بُعد الإسقاط $D$ ضرورياً لتحسين جودة النسب، ولكن القيام بذلك يؤدي إلى تفاقم كل من اختناقات التخزين/الإدخال/الإخراج واختناقات الذاكرة، مما يجعل النسب عالية الجودة غير عملية للنماذج ذات النطاق الواسع (frontier-scale models).

المنهجية: LoRIF

يعالج LoRIF (دوال التأثير منخفضة الرتبة) هذه الاختناقات من خلال استغلال البنية منخفضة الرتبة المتأصلة في تدرجات الشبكة العصبية. تتبع الطريقة مساراً يتكون من ثلاث خطوات:

1. تخزين التدرجات منخفض الرتبة (لمعالجة اختناق الإدخال/الإخراج)

بدلاً من تخزين مصفوفة التدرج لكل مثال والمقذوفة بالكامل $\tilde{G}_i \in \mathbb{R}^{d_1 \times d_2}$ (حيث $D = d_1 d_2$ )، يقوم LoRIF بتخزين تحليل رتبة- $c$ :
$\tilde{G}_i \approx u_i v_i^\top$
حيث $u_i \in \mathbb{R}^{d_1 \times c}$ و $v_i \in \mathbb{R}^{d_2 \times c}$ .

الآلية: يتم حساب هذا التحليل عبر عمليات قوة كتلية (block power iterations).
الأثر: يتم تقليل التخزين والإدخال/الإخراج لكل طبقة لكل عينة من $O(D)$ إلى $O(c(\sqrt{D}))$ . تشير النتائج التجريبية إلى أنه حتى مع $c=1$ ، يحتفظ التقريب بجودة نسب ذات مغزى، وأن إعطاء الأولوية لبُعد $D$ أكبر على رتبة $c$ أعلى يحقق كفاءة أفضل في التكلفة.

2. تقريب الانحناء عبر تحليل القيم المفردة المبتور (SVD) (لمعالجة اختناق الذاكرة)

لتجنب تشكيل مصفوفة هسيان الكثيفة $D \times D$ المتمثلة في $(G^\top G + \lambda I)^{-1}$ ، يقوم LoRIF بحساب تقريب تحليل القيم المفردة (SVD) المبتور من الرتبة $r$ لمصفوفة التدرج الإجمالية $G$ :
$G \approx U_r \Sigma_r V_r^\top$
باستخدام هوية وودبرا (Woodbury matrix identity)، يتم تقريب حد مصفوفة هسيان المعكوسة في فضاء فرعي ذي رتبة $r$ :
$(V_r \Sigma_r^2 V_r^\top + \lambda I)^{-1} = \frac{1}{\lambda}I - \frac{1}{\lambda^2} V_r \left( \Sigma_r^{-2} + \frac{1}{\lambda}I_r \right)^{-1} V_r^\top$

الآلية: يتم فقط تخزين المتجهات المفردة العليا ( $V_r$ ) والقيم المفردة ( $\Sigma_r$ ).
الأثر: تنخفض تعقيدات الذاكرة لمصطلح الانحناء من $O(D^2)$ إلى $O(Dr)$ . وهذا يسمح ببُعد إسقاط فعال أكبر بكثير $D$ ضمن ميزانية ذاكرة ثابتة.

3. حساب درجة التأثير

عند وقت الاستعلام، يتم حساب درجات التأثير عن طريق إسقاط تدرج الاستعلام في الفضاء الفرعي ذي الرتبة $r$ واستخدام عوامل الرتبة المنخفضة المخزنة لتدرجات التدريب. يتم تقريب درجة التأثير $I(x_{tr}, x_{te})$ كالتالي:
$I(x_{tr}, x_{te}) \approx \frac{1}{\lambda} g_{te}^\top g_{tr} - \frac{1}{\lambda^2} (g'_{te})^\top \left( \Sigma_r^{-2} + \frac{1}{\lambda}I_r \right)^{-1} g'_{tr}$
حيث يمثل $g'$ التدرجات المسقطة على المتجهات المفردة $V_r$ . يتم حساب الحد الأول بكفاءة باستخدام عوامل الرتبة- $c$ ، ويتضمن الحد الثاني عمليات قدرها $O(r)$ فقط بسبب الطبيعة القطرية للمصفوفة الوسطى.

المساهمات الرئيسية

تحديد الاختناقات: يحدد البحث أن بُعد الإسقاط $D$ هو القيد الأساسي في طرق نسبة البيانات القائمة على التدرج (IF-style TDA) القابلة للتوسع، مما يخلق مقايضة بين الجودة والقابلية للتوسع تجعل الحصول على نسب دقيقة (بسبب كبر $D$ ) غير عملي حالياً.
تحليل الرتبة- $c$ : اقتراح تخزين التدرجات المقذوفة كعوامل رتبة- $c$ ، مما يقلل تخزين كل مثال لكل طبقة من $O(D)$ إلى $O(c\sqrt{D})$ .
تقريب الانحناء بالرتبة- $r$ : اقتراح استخدام SVD المبتور وهوية وودبرا لتقريب مصطلح الانحناء، مما يقلل ذاكرة كل طبقة من $O(D^2)$ إلى $O(Dr)$ .
إثبات القابلية للتوسع: أول عرض لنسب البيانات الفعال على نماذج تصل إلى 70 مليار معلمة (Apertus-70B)، مع ملايين الأمثلة.

النتائج التجريبية

تم تقييم LoRIF على نماذج تتراوح من 124 مليون إلى 70 مليار معلمة (GPT2-small، OLMo-3-7B، Apertus-70B) مع مجموعات بيانات تحتوي على ما يصل إلى 3.8 مليون مثال.

التخزين وزمن الاستجابة: مقارنة بـ LoGRA، يحقق LoRIF تخزيناً أقل للتدرجات بمقدار 2.3–20 ضعفاً وزمن استجابة أقل بمقدار 1.3–20 ضعفاً مع مطابقة أو تجاوز جودة النسب.
- في GPT2-small، قلل LoRIF التخزين بمقدار 9 أضعاف وزمن الاستجابة بمقدار 5.6 ضعفاً في أنظمة التخزين المتوسطة.
- في OLMo-3-7B، حقق LoRIF درجات "tail-patch" متطابقة تقريباً مع LoGRA مع تخزين أقل بمقدار 20.3 ضعفاً وزمن استجابة أقل بمقدار 22.0 ضعفاً.
- في Apertus-70B، حسن LoRIF درجات "tail-patch" بمقدار 1.5–2.2 ضعفاً عن LoGRA مع تخزين وزمن استجابة أقل.
جودة النسب: من خلال قياس درجة نمذجة البيانات الخطية (LDS) ودرجة "tail-patch"، حسّن LoRIF باستمرار حدود باريتو (Pareto frontier). فمن خلال تمكين أبعاد إسقاط فعالة أكبر $D$ (التي كانت غير ممكنة سابقاً بسبب قيود الذاكرة)، حقق LoRIF جودة أعلى من النماذج المرجعية المقيدة بـ $D$ أصغر.
التقييم النوعي: أظهر تقييم "النموذج اللغوي الكبير كحكم" (LLM-as-a-judge) على الأمثلة المسترجعة من الفئة الأولى أن LoRIF يسترجع أمثلة ذات صلة دلالية أعلى (متوسط درجة 3.04 مقابل 2.49 في OLMo-3-7B) وأقل في الاسترجاعات غير ذات الصلة تماماً مقارنة بـ LoGRA.

الأهمية والادعاءات

يدعي البحث أن LoRIF يجعل نسبة البيانات القائمة على التدرج عملية عند مستويات النطاق الواسع (frontier scale). ومن خلال استغلال البنية منخفضة الرتبة للتدرجات، يحل LoRIF مقايضة الجودة-القابلية للتوسع التي أعاقت تطبيق دوال التأثير على النماذج اللغوية الكبيرة.

يؤكد المؤلفون أن LoRIF لا يعتمد على بدائيات جديدة منخفضة الرتبة، بل يوضح كيف يمكن استغلال الهياكل منخفضة الرتبة الموجودة (الملاحظة في كل من التدرجات لكل مثال والتدرجات الإجمالية) بشكل منهجي في طرق تأثير التدرج المقذوفة. تشير النتائج إلى أنه يمكن الآن استخدام نسبة البيانات القائمة على التدرج لتدقيق النماذج، وتصحيح الأخطاء، وفحوصات السلامة واسعة النطاق، عندما يتم إعادة استخدام فهرس النسب عبر العديد من الاستعلامات، دون الحاجة إلى تكاليف التخزين أو الإدخال/الإخراج الباهظة للطرق السابقة.

يقر البحث بوجود قيود، مشيراً إلى أن بناء فهرس النسب لا يزال يتطلب تمريرة تدرج (gradient pass) عبر المجموعة (تكلفة المعالجة المسبقة)، وأن التجارب واسعة النطعة الحالية تركز على بيانات الضبط الدقيق الخاضعة للإشراف (SFT) بدلاً من مجموعات بيانات التدريب المسبق الكاملة. ومع ذلك، فإن هذا العمل يضع خط أساس جديد للنسب القابل للتوسع، مما يتيح تحليل النماذج التي كانت تعتبر سابقاً بعيدة المنال عن هذه الطرق.