💬 NLP

Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA

تُثبت هذه الورقة البحثية أنه بالنسبة للإجابة على الأسئلة بنظام الكتاب المفتوح، فإن استيعاب المستندات داخل محولات LoRA عبر تنسيق البيانات عالي الجودة (مثل توحيد الإجابات وإزالة المعلومات التافهة) هو أمر أكثر أهمية للأداء من السعة الهيكلية أو ضبط المعلمات الفائقة، مما يُمكّن في النهاية نموذج Gemma-4 بـ 4 بت من التفوق على الخطوط المرجعية التقليدية القائمة على الاسترجاع.

المؤلفون الأصليون: Joan Figuerola Hurtado

نُشر 2026-07-27

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Joan Figuerola Hurtado

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقًا آليًا فائق الذكاء يعرف الكثير عن العالم، ولكن إذا سألته عن كتاب جديد تمامًا اشتريته للتو، فلن يملك أدنى فكرة عما بداخله. عادةً، للإجابة على أسئلة حول هذا الكتاب، يتعين علينا استخدام طريقة "محرك البحث": نجد الصفحة الصحيحة، وننسخ النص، ثم نلصقه في أمر (prompt) الروبوت ليتمكن من قراءته والإجابة. يُطلق على هذا اسم "التوليد المعزز بالاسترجاع" (RAG). إنه يعمل، لكنه يشبه الاضطرار إلى حمل فهرس مكتبة ثقيل لكل سؤال تطرحه. إنه بطيء، وأحيانًا يلتقط محرك البحث الصفحة الخطأ.

ماذا لو استطعنا، بدلًا من البحث، تعليم الروبوت حفظ الكتاب جيدًا لدرجة تمكنه من الإجابة على الأسئلة دون الحاجة للنظر إلى النص مرة أخرى؟ يُسمى هذا "الاستيعاب الداخلي" للمعرفة. الورقة البحثية التي أنت بصدد قراءتها تستكشف هذا بالضبط: أخذ مجموعة محددة من المستندات و"خبزها" مباشرة في دماغ الروبوت باستخدام تقنية تدريب خاصة وخفيفة الوزن تسمى LoRA. السؤال الكبير هو: كيف نفعل ذلك بفعالية؟ هل يتعلق الأمر بجعل دماغ الروبوت أكبر؟ أم باستخدام خوارزمية بحث أذكى؟ أم أنه شيء أبسط بكثير؟

منافسة "خبز الذاكرة" الكبرى

هذه الورقة البحثية هي غوص عميق في ركن محدد من أركان الذكاء الاصطناعي حيث يحاول الباحثون تعليم نموذج لغوي كيفية الإجابة على أسئلة حول مجموعة محددة من المستندات دون رؤية تلك المستندات مطلقًا أثناء الاختبار الفعلي. فكر في الأمر كطالب يؤدي امتحانًا "بكتاب مغلق". لا يمكنه النظر في ملاحظاته؛ بل يجب عليه الاعتماد كليًا على ما درسه وحفظه مسبقًا.

استخدم الباحثون نموذجًا يسمى Gemma-4-e4b (نسخة 4-بت، وهي تشبه نسخة مضغوطة وفعالة من دماغ أكبر) وحاولوا "خبز" معرفة ما يصل إلى 99 مستندًا مباشرة في أوزان النموذج باستخدام ملحقات (adapters) من نوع LoRA. هذه الملحقات تشبه وحدات تدريب صغيرة وقابلة للإزالة تعلم النموذج حقائق جديدة دون إعادة كتابة دماغه بالكامل. كان الهدف هو معرفة ما إذا كانت هذه الذاكرة "المستوعبة داخليًا" يمكنها التغلب على الطريقة التقليدية للبحث عن الإجابة (RAG) من حيث السرعة والدقة.

المفاجأة الكبرى: الأمر لا يتعلق بحجم الدماغ

أجرى الباحثون حوالي 100 تجربة تدريب مختلفة، جربوا فيها كل شيء بدءًا من مجموعات تدريب صغيرة جدًا (مستند واحد) وصولًا إلى مجموعات أكبر (99 مستندًا). توقعوا أن مفتاح النجاح سيكون "السعة" (capacity)—أي ببساطة جعل وحدة التدريب أكبر أو أكثر تعقيدًا لاستيعاب المزيد من المعلومات. ظنوا: "إذا كان لدينا المزيد من المستندات، فنحن نحتاج فقط إلى دماغ أكبر لحملها، أليس كذلك؟"

لكنهم كانوا مخطئين.

وجدت الورقة البحثية أنه بمجرد أن تصبح وحدة التدريب (ملحق LoRA) كبيرة بما يكفي لحمل المعلومات، فإن جعلها أكبر لا يفيد كثيرًا. السر الحقيقي لم يكن حجم الدماغ أو تعقيد البنية التحتية. بل كان جودة ملاحظات الدراسة.

إليك النتيجة الأكثر وضوحًا: أخذ الباحثون مجموعة بيانات مكونة من 15 مستندًا. عندما استخدموا ملاحظات دراسية فوضوية وطويلة ومملة مليئة بالمعلومات العامة التي أنشأها ذكاء اصطناعي، كانت دقة "الكتاب المغلق" للروبوت مخيبة للآمال بنسبة 57.7%. كان الأمر أشبه بالدراسة للاختبار باستخدام كتاب مدرسي يحتوي على الكثير من الهوامش والنكات غير ذات الصلة.

ولكن بعد ذلك، قاموا بعملية "تنقية" بسيطة. قاموا بمراجعة البيانات وفعلوا شيئين:

اختصروا الإجابات الصحيحة لتكون عبارات قصيرة وموجزة (من 1 إلى 6 كلمات).
تخلصوا من كل المعلومات العامة والحقائق العشوائية التي لا تهم.

فجأة، ارتفعت الدقة بشكل هائل لتصل إلى 85.7%. هذه قفزة قدرها 28 نقطة بمجرد تنظيف البيانات. هذه التغيير الوحيد كان أقوى من أي تعديل معماري متطور أو زيادة في حجم التدريب. تجادل الورقة بأنه إذا كانت ملاحظات دراستك مزدحمة، فلن ينقذك أي قدر من "قوة الدماغ".

مشكلة "أكبر من أن يتسع"

بينما كانت جودة البيانات هي النجمة، وجدت الورقة أيضًا قاعدة واحدة بشأن الحجم: يجب أن تنمو وحدة التدريب مع نمو المكتبة.

عندما حاولوا وضع 50 مستندًا في وحدة مصممة لـ 25 مستندًا، انهارت الأداء. كان الأمر مثل محاولة حشر 50 حقيبة سفر في حقيبة ظهر مخصصة لـ 25 حقيبة؛ كل شيء اختلط ببعضه البعض، وبدأ الروبوت يخلط بين الحقائق (وهي ظاهرة تسمى "الارتباط الخاطئ" أو mis-binding). ولإصلاح ذلك، اضطروا لمضاعفة حجم وحدة التدريب (الرتبة/rank).

ومع ذلك، اكتشفوا أيضًا أثرًا جانبيًا مخادعًا: عندما جعلوا الوحدة أكبر، توجب عليهم أن يكونوا أكثر لطفًا في طريقة تعليمها. إذا استخدموا نفس "سرعة التعليم" (learning rate) لوحدة ضخمة كما فعلوا مع وحدة صغيرة، فسينسى الروبوت كل شيء. اضطروا لإبطاء عملية التعليم لجعل الوحدة الكبيرة تتعلم بشكل صحيح. كان هذا خطأ شائعًا كادوا يقعون فيه، ظانين أن الوحدة "ممتلئة جدًا" بينما في الواقع كانوا يعلمونها بسرعة كبيرة فحسب.

هزيمة محرك البحث

أخيرًا، أراد الباحثون معرفة: هل أسلوب "الحفظ" هذا أفضل حقًا من طريقة "البحث والقراءة" القياسية؟

أقاموا سباقًا في عالم حقيقي على مجموعة مستندات مكونة من 15 مستندًا:

محرك البحث (BM25-RAG): وجدت هذه الطريقة الصفحة الصحيحة بنسبة 53% فقط في المحاولة الأولى. وحتى عندما وجدت الصفحة الصحيحة، حصل الروبوت على الإجابة الصحيحة بنسبة 58.9% فقط.
البحث "المثالي" (Oracle): حتى لو أعطوا الروبوت الصفحة الصحيحة تمامًا ليقرأها (وهو سيناريو واقعي لأفضل حالة ممكنة)، فقد حصل على الإجابة الصحيحة بنسبة 65.6% فقط.
الروبوت المستوعب داخليًا: الروبوت الذي حفظ المستندات مباشرة حصل على الإجابة الصحيحة بنسبة 84.2%.

لم يكن الروبوت الذي حفظ المعلومات أكثر دقة فحسب، بل كان أيضًا أسرع بكثير. استغرقت طريقة البحث ما يقرب من 3 ثوانٍ لكل سؤال، بينما استغرق الروبوت المستوعل داخليًا ما بين 0.3 و0.8 ثانية. كان الأمر يشبه المقارنة بين أمين مكتبة يتعين عليه المشي إلى الرفوف، وإيجاد كتاب، وقراءته، وبين شخص يحفظ محتويات الكتاب بالفعل في رأسه.

الخلاصة

هذه الورقة البحثية هي دراسة حالة في كيفية تصحيح أخطاء تدريب الذكاء الاصطناعي. يعترف المؤلفون بأنهم ارتكبوا أخطاءً في الطريق، حيث ألقوا باللوم في البداية على حجم النموذج أو طول النص، بينما كان السبب الحقيقي هو البيانات الفوضوية.

الدرس الرئيسي واضح: جودة البيانات هي الملك. إذا كنت تريد من الذكاء الاصطناعي أن يتذكر مجموعة محددة من المستندات دون الحاجة للبحث عنها، فلا تكتفِ فقط بضخ المزيد من القوة الحوسبية في المشكلة. بدلاً من ذلك، قم بتنظيف بيانات التدريب الخاصة بك. اجعل الإجابات قصيرة، أزل الحشو، وتأكد من أن الحقائق واضحة. بمجرد أن تكون البيانات نظيفة ووحدة التدريب كبيرة بما يكفي، يمكن للروبوت تعلم المادة بشكل أفضل مما يمكنه العثور عليها في المكتبة.

بينما تشير الورقة إلى أن هذا يعتمد على "بذرة" واحدة (نقطة بداية عشوائية محددة) ومجموعات بيانات أصغر (تصل إلى 99 مستندًا)، إلا أن النتائج تعد إشارة قوية إلى أنه بالنسبة للمهام ذات الكتاب المغلق، فإن النهج البسيط والمنظم بعناية يتفوق على المناهج المعقدة والفوضوية في كل مرة.

ملخص تقني: جودة البيانات فوق السعة في الإجابة على الأسئلة بنظام الكتاب المغلق عبر LoRA

بيان المشكلة

النهج القياسي لتمكين النماذج اللغوية الكبيرة (LLMs) من استخدام مجموعات النصوص غير المدربة هو التوليد المعزز بالاسترجاع (RAG)، والذي يقوم باسترجاع قطع وثائق ذات صلة وحقنها في المطالبة (prompt). ومع ذلك، يفرض RAG الاسترجاع كنمط فشل محتمل، ويستهلك ميزانية نافذة السياق لكل استعلام، ويضع سقفاً لكمية المعلومات التي تساهم في الإجابة الواحدة.

تبحث هذه الورقة في بديل آخر: الاستيعاب الداخلي للمعرفة (knowledge internalization). الهدف هو دمج مجموعة وثائق مباشرة في أوزان النموذج باستخدام محول LoRA خفيف الوزن. يتيح هذا "الإجابة على الأسئلة بنظام الكتاب المغلق" حيث يجيب النموذج عن أسئلة حول المجموعة دون وجود نص الوثيقة في المطالبة، مما يلغي خطوات الاسترجاع وحدود السياق. تعالج الدراسة تحديداً كيفية توسيع نطاق ذلك من وثائق فردية إلى مجموعة تضم ما يقرب من 100 وثيقة على نموذج Gemma-4-e4b مكمّم بـ 4 بت.

المنهجية

المهمة وتوليد البيانات

يقوم المؤلفون بتوليد أزواج (سؤال-إجابة) بنظام الكتاب المغلق حيث تكون الإجابات الذهبية مستندة حرفياً إلى المصادر الأصلية.

مصدر البيانات: يتم توليد بيانات التدريب ذاتياً بواسطة نموذج لغوي كبير قوي يقرأ قطعاً مستخرجة من الوثائق المستهدفة. لم يتم استخدام نموذج معلم (QA-teacher) مخصص.
الهيكل: يتضمن كل ادعاء اقتباساً حرفياً من المصدر، و8 صيغ مختلفة للسؤال (paraphrases) للتدريب، وسؤالين محجوزين للاختبار.
وصفة التدريب: النموذج الأساسي هو gemma-4-e4b-it-4bit. يتم تطبيق LoRA فقط على إسقاطات MLP عبر جميع الطبقات الـ 42. يتم التدريب على معالجات Apple Silicon عبر MLX في مرحلتين يتم دمجهما في محول واحد:
1. المرحلة (أ) (شبيهة بـ CPT): تدريب على خسارة الإكمال (completion-loss) على القطع الخام والصيغ المتعددة.
2. المرحلة (ب) (SFT): إشراف على الإجابة بنظام الكتاب المغلق مع التركيز على خسارة توكن الإجابة فقط.

مقاييس التقييم

الصحة (Correctness): تُعرف بمطابقة السلسلة الفرعية حرفياً (في أي من الاتجاهين) أو F1-token $\ge$ 0.74.
التقرير (Reporting): يتم الإبلاغ عن الاستدعاء (Recall) بشكل منفصل عن الدقة الإجمالية. تتضمن الدقة الإجمالية شريحة "الامتناع" (abstention) للأسئلة المتعلقة بحقائق لم تظهر أبداً أثناء التدريب.
الخط المرجعي (Baseline): تم وضع خط مرجعي لـ BM25-RAG حقيقي (مسترجع + قارئ أساسي) و"أوراكل واقعي" (تغذية القارئ الأساسي بالقطعة الذهبية الحقيقية) على شريحة مكونة من 15 وثيقة.

النتائج الرئيسية

1. جودة البيانات هي الرافعة المهيمنة

النتيجة الأكثر أهمية هي أنه بمجرد أن تصبح سعة المحول كافية، فإن جودة بيانات التدريب تفوق التغييرات الهيكلية، أو الرتبة (rank)، أو ضبط معدل التعلم.

تأثير التنقيح (The Curation Effect): في مجموعة مكونة من 15 وثيقة، أدى الانتقال من الادعاءات المولدة ذاتياً (والتي بالغت في استخراج المعلومات التافهة عالية الإنتروبيا وأنتجت جمل إجابة طويلة) إلى مجموعة بيانات منقحة (تقصير الإجابات الذهبية إلى نطاقات معيارية تتراوح بين 1-6 كلمات وحذف المعلومات التافهة) إلى زيادة استدعاء الكتاب المغلق من 55.6% إلى 84.2% والدقة الإجمالية من 57.7% إلى 85.7%.
المقارنة بالهندسة المعمارية: تجاوز هذا الارتفاع (+28 نقطة) الناتج عن تنقيح البيانات أي تدخل هيكلي تم اختباره، بما في ذلك التدريب المسبق الاصطناعي بأسلوب EntiGraph، وكارتريدجات ذاكرة التخزين المؤقت KV القابلة للتدريب (والتي كان أداؤها ضعيفاً).
التحقق: أكد إعادة تسجيل التوقعات تحت قواعد أكثر صرامة أن المكسب لم يكن نتاج عملية التسجيل؛ بل إن فائدة الإجابات الأقصر أصبحت أكثر وضوحاً تحت معايير المطابقة التامة.

2. توسيع السعة واقتران معدل التعلم

تحدد الدراسة اتجاهاً حيث يجب أن تنمو رتبة المحول مع حجم المجموعة، ولكن هذا الأمر متشابك مع متطلبات معدل التعلم.

تشبع السعة: في مجموعة متداخلة (15 $\leftarrow$ 25 $\leftarrow$ 50 $\leftarrow$ 100 وثيقة)، تسببت رتبة ثابتة (64) في انهيار الاستدعاء (من 71% عند 25 وثيقة إلى 50% عند 50 وثيقة). أدى مضاعفة الرتبة إلى 128 إلى استعادة الأداء.
أثر معدل التعلم: عند التوسع إلى 100 وثيقة برتبة 256، تسبب إعادة استخدام معدل التعلم الخاص بالرتبة 128 في تراجع في الاستدعاء. شخص المؤلفون الأمر في البداية خطأً على أنه مشكلة طول تسلسل أو حد سعة. كشف القياس المباشر عن السبب الحقيقي: الرتب الأكبر تتطلب معدلات تعلم أكثر لطفاً. أدى خفض معدل التعلم إلى النصف (4e-5 $\leftarrow$ 2e-5) إلى استعادة أرضية الخسارة وتحسين الاستدعاء بمقدار 6 نقاط.

3. الاستيعاب الداخلي مقابل الاسترجاع

في مجموعة الـ 15 وثيقة، تفوق المحول المستوعب داخلياً بشكل كبير على خطوط الاسترجاع المرجعية:

المحول المستوعب داخلياً: 84.2% استدعاء.
BM25-RAG: 58.9% استدعاء (يسترجع BM25 القطعة الذهبية في 53% فقط من المرات عند الرتبة 1).
الأوراكل الواقعي: حتى عندما تم تزويد القارئ الأساسي بالقطعة الذهبية الحقيقية (الـ oracle)، حقق 65.6% استدعاء فقط.
زمن الاستجابة (Latency): عمل المحول المستوعل داخلياً بجزء ضئيل من زمن استجابة خط RAG (300-800 مللي ثانية مقارنة بـ ~2,895 مللي ثانية لـ RAG).

المساهمات والأهمية

تؤطر الورقة نتائجها كدراسة حالة في تصحيح أخطاء تدريب LLM تجريبياً، مع تسليط الضوء على ثلاثة تشخيصات خاطئة محددة تم تصحيحها أثناء العملية (الخلط بين مشاكل معدل التعلم وحدود السعة، ومشاكل طول التسلسل، ومشاكل جودة البيانات).

المساهمات الأساسية:

تفوق تنقيح البيانات: أثبت أن عملية تنقيح واحدة (تقصير الإجابات، وإزالة المعلومات التافهة) تحقق مكسباً أكبر (+28 نقطة) من التغييرات الهيكلية المعقدة أو زيادة السعة.
قوانين التوسع (Scaling Laws): وضعت "سلم توسيع المجموعة" الذي يوضح أن الرتبة يجب أن تنمو مع حجم المجموعة، والأهم من ذلك، أن الرتب الأكبر تستلزم معدلات تعلم أقل لتجنب تراجع الأداء.
جدوى الاستيعاب الداخلي: قدمت خطاً مرجعياً واقعياً يظهر أن الاستيعاب الداخلي يمكن أن يتفوق على كل من RAG القياسي و RAG "الأوراكل" من حيث الدقة وزمن الاستجابة للمجموعات الصغيرة إلى المتوسطة، بشرد أن تكون جودة البيانات عالية.

القيود وتهديدات الصلاحية:
يشير المؤلفون صراحة إلى عدة قيود:

البذرة الواحدة (Single-Seed): تستخدم جميع التجارب البذرة 42؛ لذا فإن الفروق الأقل من نقطتين قد تكون مجرد ضجيج، وهناك حاجة لتكرار النتائج باستخدام بذور متعددة.
تحيز المقاييس: يفضل المقيء الحتمي (deterministic scorer) المحول المتوافق في الأسلوب على قراء RAG الذين يستخدمون إعادة الصياغة، مما يعني أن دقة RAG هي الحد الأدنى لأدائه المعرفي.
النطاق: مجموعة الـ 99 وثيقة بعيدة جداً عن الهدف المتمثل في عشرات الآلاف من الوثائق؛ لذا فإن النتائج المتعلقة بثوابت الرتبة/معدل التعلم المحددة قد لا تتوسع خطياً.
التكميم (Quantization): استخدام نموذج أساسي بـ 4 بت قد يضع حداً أدنى للخسارة يُعزى إلى جودة البيانات في بيئات ذات دقة أعلى.

تخلص الورقة إلى أنه بينما تعمل السعة كـ "بوابة صلبة" لا يساعد فيها أي تدخل في البيانات بمجرد تجاوزها، فإنه بمجرد الوصول إلى سعة كافية، فإن جودة بيانات التدريب (تحديداً إيجاز الإجابات وإزالة المعلومات التافهة) هي الرافعة الأكثر موثوقية وتأثيراً للاستيعاد الداخلي بنظام الكتاب المغلق.