🤖 machine learning

Greedy Information Projection for LLM Data Selection

تقدم الورقة البحثية "الإسقاط المعلوماتي الجشع" (Greedy Information Projection - GIP)، وهو إطار عمل منهجي يختار بكفاءة أمثلة تدريب متنوعة وعالية الجودة لضبط النماذج اللغوية الكبيرة، وذلك من خلال تعظيم المعلومات المتبادلة بين البيانات وإشارات الاستعلام الخاصة بالمهمة عبر إجراء تحسين جشع سريع.

المؤلفون الأصليون: Victor Ye Dong, Kuan-Yun Lee, Jiamei Shuai, Shengfei Liu, Yi Liu, Jian Jiao

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Victor Ye Dong, Kuan-Yun Lee, Jiamei Shuai, Shengfei Liu, Yi Liu, Jian Jiao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يحاول ابتكار أفضل حساء في العالم. لديك مستودع ضخم مليء بـ 52,000 مكون مختلف (نقاط بيانات). في الماضي، كانت القاعدة بسيطة: "كلما زادت المكونات التي تستخدمها، كان الحساء أفضل". لكنك أدركت أن رمي كل شيء في القدر سيجعل الحساء عكراً، كما أنك لا تملك الوقت أو الحطب الكافي (قدرة حوسبية) لطهي كل ذلك.

أنت بحاجة إلى اختيار 1,000 مكون مثالي سيجعل الحساء رائعاً، دون إضاعة الوقت في المكونات السيئة أو المملة.

تقدم هذه الورقة طريقة جديدة تسمى GIP (إسقاط المعلومات الجشع - Greedy Information Projection) لحل هذه المشكلة بالضبط بالنسبة للذكال الاصطناعي. وإليك كيف تعمل، مشروحة ببساطة:

1. المشكلة: الكثير من الضجيج، القليل من الإشارة

عند تدريب الذكاء الاصطناعي (مثل روبوتات الدردشة التي تتحدث إليها)، نقوم عادةً بتغذيتها بكميات هائلة من النصوص. لكن ليست كل النصوص متساوية؛ فبعضها عبقري، وبعضها هراء، وبعضها الآخر مجرد نسخة مكررة مما تملكه بالفعل.

الطريقة القديمة: حاول الناس تصفية البيانات باستخدام قواعد بسيطة مثل "إزالة المكررات" أو "الاحتفاظ فقط بالجمل الطويلة". هذا يشبه قول الطاهي: "سأستخدم الخضروات الحمراء فقط". هذا يساعد قليلاً، لكنه ليس ذكياً جداً.
الهدف: نحتاج إلى طريقة لاختيار مجموعة صغيرة، متنوعة، وعالية الجودة من الأمثلة التي تعلم الذكاء الاصطناعي بقدر ما يعلمه المستودع بأكمله.

2. الحل: خدعة "الإسقاط الظلي"

ابتكر المؤلفون فكرة رياضية ذكية تسمى إسقاط المعلومات الجشع (Greedy Information Projection).

تخيل أن لديك غرفة ضخمة ومظلمة (البيانات) ومصباحاً يدوياً (المهمة).

البيانات هي كومة من الأشياء العشوائية المتناثرة على الأرض.
المهمة هي شكل محدد تريد رؤيته بوضوح على الحائط (مثل دائرة مثالية).

إذا قمت بتشغيل المصباح فقط، ستحصل على ظل فوضوي لكل شيء. هدف GIP هو اختيار أشياء محددة من الأرض التي، عندما يسقط عليها الضوء، تصنع أوضح وأكمل ظل للشكل الذي تريده على الحائط.

كيف يختار الأشياء؟
إنه يستخدم قاعدتين في آن واحد:

الجودة: هل يبدو هذا الشيء جيداً؟ (هل هو مثال عالي الجودة؟)
التنوع: هل يظهر هذا الشيء زاوية جديدة؟ (إذا اخترت تفاحة حمراء بالفعل، فلا تختر تفاحة حمراء أخرى. اختر إجاصة خضراء بدلاً منها ليكون الظل مكتملاً.)

3. الطاهي "الجشع" (الخوارزمية)

تسمي الورقة الطريقة "جشعة"، ولكن بطريقة إيجابية. تخيل أنك تبني أحجية (بازل)، لكن يمكنك اختيار قطعة واحدة فقط في كل مرة.

الخطوة 1: تنظر إلى الصندوق بأكمله. تختار القطعة التي تسد أكبر فجوة في صورتك في هذه اللحظة.
الخطوة 2: تنظر مرة أخرى. تختار القطعة التالية التي تسد الفجوة التالية الأكبر.
الخطوة 3: تستمر في القيام بذلك حتى تكتمل صورتك.

هذا هو مطاردة النقص الجشعة (Greedy Matching Pursuit). بدلاً من محاولة حل الأحجية بأكملها دفعة واحدة (وهو أمر يستغرق وقتاً طويلاً جداً)، فإنه يتخذ أفضل حركة ممكنة عند كل خطوة. ولأنها فعالة للغاية، يمكنها مسح ملايين نقاط البيانات في دقائق على جهاز كمبيوتر عادي، دون الحاجة إلى سوبر كمبيوتر.

4. طريقتان للحكم على "الجودة"

تظهر الورقة طريقتين لتحديد ما إذا كانت البيانات "جيدة":

الطريقة (أ) (الحكم الخبير): استخدام ذكاء اصطناعي فائق الذكاء (مثل GPT-4) لقراءة كل قطعة من البيانات وإعطائها درجة بناءً على مدى كونها مفيدة ودقيقة وواضحة. هذا يشبه استئجار ناقد طعام لتذوق كل مكون قبل شرائه.
الطريقة (ب) (خدعة الهندسة): إذا لم يكن لديك ناقد، يمكنك النظر إلى "شكل" البيانات. إذا كانت قطعة البيانات تقع في منتصف الحشد تماماً، فمن المحتمل أنها مثال جيد وممثل جيد. إذا كانت شاذة، فقد تكون غريبة. هذه الطريقة تختار البيانات التي تمثل "مركز" المجموعة بشكل طبيعي.

5. النتائج: قدر صغير، نكهة كبيرة

اختبر الباحثون هذا على مسائل رياضية ومهام كتابية.

المفاجأة: قاموا بتدريب نماذج الذكاء الاصطناعي باستخدام 1% إلى 20% فقط من البيانات الأصلية.
النتيجة: هذه النماذج الصغيرة أدت بشكل جيد (وأحياناً بشكل أفضل!) مثل النماذج التي تم تدريبها على 100% من البيانات.
التشبيه: الأمر يشبه إدراك أنك لست بحاجة لتناول كامل مستودع الـ 52,000 مكون لصنع حساء لذيذ. أنت تحتاج فقط إلى أفضل 1,000 مكون، يتم اختيارها بواسطة طاهٍ ذكي.

لماذا هذا مهم؟

يوفر المال: تدريب الذكاء الاصطناعي مكلف. إذا كنت بحاجة إلى 100 ضعف أقل من البيانات، فستوفر ثروة من الكهرباء والأجهزة.
يوفر الوقت: يمكنك تدريب النماذج بشكل أسرع بكثير.
ذكاء اصطناعي أفضل: من خلال إزالة البيانات "الرديئة"، يتعلم الذكاء الاصطناعي دروساً أنقى وأكثر دقة.

باختصار: GIP هو طريقة ذكية وسريعة وسليمة رياضياً لتنسيق "الأفضل من بين الأفضل" لتدريب الذكاء الاصطناعي، مما يضمن أن كل قطعة من البيانات لها قيمتها، حتى نتمكن من بناء ذكاء اصطناعي أذكى مع تقليل الهدر.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Greedy Information Projection for LLM Data Selection" (GIP).

1. بيان المشكلة

تعالج الورقة التحدي الحاسم المتمثل في اختيار البيانات (data selection) للضبط الدقيق (fine-tuning) للنماذج اللغوية الكبيرة (LLMs). وبينما تشير قوانين القياس (scaling laws) إلى أن زيادة حجم البيانات يحسن الأداء، يجد الممارسون بشكل متزايد أن جودة البيانات تصبح هي العامل المحدد بمجرد الوصول إلى كمية كافية.

التحدي الجوهري: اختيار مجموعة فرعية صغيرة من أمثلة التدريب التي تعظم الأداء في المهام النهائية مع احترام قيود الحوسبة والتخزين.
الفجوة: تعتمد الطرق الحالية غالبًا على استدلالات عشوائية (مثل عتبات الإدراك - perplexity thresholds، أو إزالة التكرار) أو عمليات منفصلة للتعامل مع الجودة (مثل تقييمات النماذج اللغوية الكبيرة) والتنوع (مثل التجميع - clustering). هناك نقص في وجود إطار عمل نظري موحد يعمل في آن واحد على تحسين كل من الجودة العالية والتنوع تحت هدف واحد.

2. المنهجية: إسقاط المعلومات الجشع (GIP)

يقترح المؤلفون GIP، وهو إطار عمل مبدئي يصنف اختيار البيانات كمسألة تعظيم المعلومات المتبادلة (Mutual Information - MI).

أ. الصياغة النظرية

يصيغ الإطار العلاقة بين تضمينات البيانات (data embeddings) وإشارات "الاستعلام" (query) الخاصة بالمهمة (الدرجات/القيم).

المدخلات:
- $F \in \mathbb{R}^{d \times m}$ : مصفوفة تضمين البيانات (ميزات $m$ من المرشحين).
- $G \in \mathbb{R}^{m \times n}$ : مصفوفة الدرجات (تقييمات $m$ من المرشحين عبر $n$ من أبعاد الجودة، مثل الفائدة، الدقة).
- $Q \in \mathbb{R}^{d \times n}$ : مصفوفة "تضمين الاستعلام" التي يتم إنشاؤها بحيث يكون $F^\top Q \approx G$ . هذا يربط فضاء الميزات (التنوع) بفضاء الدرجات (الجودة).
الهدف: الهدف هو اختيار مجموعة فرعية $S$ بحجم $k$ تعظم المعلومات المتبادلة بين إشارات الاستعلام ( $Z_Q$ ) وإسقاطات البيانات المختارة ( $Z_{F_S}$ )، بافتراض التوزيعات الغاوسية (Gaussian distributions).
$\max_S I(Z_Q; Z_{F_S})$
التفسير الهندسي: تعظيم هذه المعلومات المتبادلة يكافئ رياضيًا تقليل حجم (محدد - determinant) تضمينات الاستعلام المسقطة على الفضاء الصفري (null space) للبيانات المختارة.
- الجودة: تضمن توافق البيانات المختارة مع اتجاهات الدرجات العالية.
- التنوع: تضمن أن البيانات المختارة تغطي اتجاهات جديدة في فضاء التضمين (تقليل حجم الفضاء الصفري).

ب. خوارزمية التقريب الفعالة (Greedy Matching Pursuit)

إن التحسين المباشر لهدف المعلومات المتبادلة صعب حوسبيًا للمجموعات الكبيرة من البيانات. لذا اشتق المؤلفون خوارما البحث المطابق الجشع (Greedy Matching Pursuit - MP):

الاسترخاء (Relaxation): استخدموا متباينة المتوسط الحسابي والهندسي (AM-GM) لترخية تقليل المحدد إلى مسألة تقليل الأثر (trace minimization)، وهي مسألة خطية وأسهل في التحسين.
الصياغة المزدوجة: تم تحويل المسألة إلى تقليل الربح المتبقي لإسقاطات تضمينات الاستعلام على الفضاء الصفري للمجموعة المختارة.
الخوارزمية (Algorithm 1):
- حساب مصفوفة جرام ( $\Phi = F^\top F$ ) مسبقًا لتخزين الضربات الداخلية.
- الحفاظ على مصفوفة درجات متبقية $W$ .
- الاختيار التكراري: في كل خطوة، يتم اختيار نقطة البيانات التي تعظم مجموع مربعات إسقاطات المتبقيات على المرشح.
- التحديث: تحديث مصفوفة المتبقيات $W$ بكفاءة باستخدام الضربات الداخلية المحسوبة مسبقًا دون الحاجة لإعادة حساب الإسقاطات من البداية.
التعقيد: تعمل الخوارزمية بزمن قدره $O(m^2d + mnk)$ . بعد مرحلة التحضير الأولية $O(m^2d)$ ، يتوسع مرحلة الاختيار بشكل شبه خطي مع حجم مجموعة البيانات $m$ ، مما يجعلها قابلة للتطبيق على نطاق واسه.

ج. نوعان من تسجيل الدرجات (Scoring)

يدعم إطار العمل طريقتين لتوليد مصفوفة الدرجات $G$ :

MP+MA (متعدد السمات): يستخدم تقييمات نماذج لغوية كبيرة خارجية (مثل GPT-4o) لتسجيل البيانات على أبعاد متعددة (التماسك، الدقة، الفائدة، الصعوبة).
MP+SC (الضغط الذاتي): يستخدم إشارة هندسية داخلية. حيث يحسب مدى "مركزية" العينة بالنسبة لتوزيع مجموعة البيانات عن طريق جمع ضرباتها الداخلية مع جميع العينات الأخرى ( $g_i = \sum_j f_i^\top f_j$ ). وهذا لا يتطلب أي إشراف خارجي.

3. المساهمات الرئيسية

إطار عمل نظري موحد: يقدم هدف معلومات متبادلة واحد يوازن طبيعيًا بين الجودة (المواءمة مع الدرجات) والتنوع (تغطية فضاء الميزات)، مما يتجنب الحاجة إلى استدلالات منفصلة.
خوارزمية فعالة: طور خوارزمية البحث المطابق الجائع (Greedy Matching Pursuit) مع تحديثات قائمة على الإسقاط الفعال. وهي تتجنب الحاجة إلى حساب التدرج أو مجموعات التحقق الخارجية، على عكس طرق مثل LESS أو DSIR.
أداء تجريبي قوي: أظهر أن GIP يمكنه مضاهاة أو تجاوز أداء الضبط الدقيق لمجموعة البيانات الكاملة باستخدام 1% إلى 20% فقط من بيانات التدريب عبر مختلف الاختبارات المعيارية وأحجام النماذج.

4. النتائج التجريبية

قيم المؤلفون GIP على اتباع التعليمات (MT-Bench, BBH, Alpaca-Eval-V2) والاستدلال الرياضي (GSM8K) باستخدام نماذج مثل Mistral-7B و Qwen3-4B/8B/32B.

كفاءة البيانات:
- في GSM8K، حقق GIP (MP+MA) دقة بنسبة 83.24% باستخدام 20% فقط من البيانات، وهو ما يطابق أداء مجموعة البيانات الكاملة (83.24%).
- في MT-Bench، حقق GIP (MP+MA) باستخدام 1% فقط (512 عينة) من مجموعة بيانات Alpaca-52k نتائج تضاهي أو تتفوق على التدريب بالبيانات الكاملة على نموذج Qwen3-8B (8.26 مقابل 7.74).
المقارنة مع المراجع (Baselines):
- تفوق GIP باستمرار على الاختيار العشوائي (Random)، وLIMA (القائم على الطول)، وAlpagasus (القائم على الجودة)، وCaR (التجميع)، وDSIR (إعادة أخذ العينات حسب الأهمية)، وLESS (القائم على التدرج).
- والجدير بالذكر أن GIP حقق هذه النتائج دون الحاجة إلى نموذج مدرب لحساب التدرجات (على عكس LESS) أو مجموعة تحقق محجوزة (على عكس DSIR/LESS)، مما قلل بشكل كبير من الأعباء الحوسبية.
المتانة:
- ظل المنهج مستقرًا تحت ضجيج التضمين (IoU > 85% للضجيج الطفيف).
- أدى أداءً جيدًا عبر مختلف أحجام النماذج (من 7B إلى 32B) وأنواع المهام (الاستدلال مقابل الكتابة الإبداعية).

5. الأهمية والعمل المستقبلي

الأثر العملي: يوفر GIP طريقة فعالة حوسبيًا ومبنية على أسس نظرية لتنقية البيانات. فهو يلغي الحاجة إلى حسابات التدرج المكلفة أو مجموعات التحقق الخارجية، مما يجعل اختيار البيانات عالية الجودة متاحًا للبيئات ذات الموارد المحدودة.
الرؤية النظرية: يوفر التفسير الهندسي لتعظيم المعلومات المتبادلة تفسيرًا واضحًا لسبب ظهور "الجودة" و"التنوع" معًا: فالاختيار الذي يقلل حجم إسقاط الاستعلام يجبر الاختيار طبيعيًا على تغطية الاتجاهات ذات القيمة العالية مع تجنب التكرار.
الاتجاهات المستقبلية: يقترح المؤلفون توسيع الإطار ليشمل مجموعات بيانات بمقياس ما قبل التدريب (عبر متغيرات التدفق - streaming variants)، والتعامل مع الضجيج غير الغاوسي، والتكيف مع بيئات التعلم متعدد الوسائط والتعلم المستمر.

باخت-صار، يمثل GIP خطوة مهمة للأمام في اختيار بيانات النماذج اللغوية الكبيرة من خلال توحيد الجودة والتنوع في مسألة تحسين واحدة يمكن حلها بكفاءة، مما يسمح بضبط دقيق عالي الأداء مع تقليل متطلبات البيانات بشكل جذري.