💬 NLP

AccurateRAG: A Framework for Building Accurate Retrieval-Augmented Question-Answering Applications

تقدم هذه الورقة البحثية AccurateRAG، وهو إطار عمل مبتكر يعمل على تبسيط تطوير تطبيقات التوليد المعزز بالاسترجاع (RAG) عالية الأداء من خلال مسار شامل لمعالجة البيانات، وضبط النماذج، والتقييم، محققاً في نهاية المطاف نتائج رائدة على مجموعات البيانات المرجعية.

المؤلفون الأصليون: Linh The Nguyen, Chi Tran, Dung Ngoc Nguyen, Van-Cuong Pham, Hoang Ngo, Dat Quoc Nguyen

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Linh The Nguyen, Chi Tran, Dung Ngoc Nguyen, Van-Cuong Pham, Hoang Ngo, Dat Quoc Nguyen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء أمين مكتبة فائق الذكاء يمكنه الإجابة على أي سؤال تطرحه حول مكتبة ضخمة ومتربة من المستندات. لديك مشكلتان رئيسيتان:

أمين المكتبة لا يعرف الكتب المحددة: أمين المكتبة (الذكاء الاصطناعي) ذكي جداً ولكنه يعرف فقط ما كان موجوداً في بيانات تدريبه. هو لا يعرف ملفات الـ PDF الخاصة بشركتك أو أخبار اليوم.
المكتبة في حالة فوضى: مستنداتك عبارة عن ملفات PDF وجداول ورسوم بيانية فوضوية. إذا قمت فقط بصبها في المكتبة، فلن يتمكن أمين المكتبة من العثور على الصفحة الصحيحة بسرعة.

AccurateRAG هو "مجموعة أدوات بناء" تساعدك في بناء أمين المكتبة المثالي وتنظيم المكتبة بحيث يستطيع أمين المكتبة إعطاء الإجابة الدقيقة تماماً في كل مرة.

إليك كيف يعمل هذا الإطار، مقسماً إلى خطوات بسيطة مع تشبيهات:

1. "الماسح الذكي" (المعالج المسبق - Preprocessor)

المشكلة: تحاول معظم الأنظمة قراءة ملف PDF وتحويله ببساطة إلى نص عادي. هذا يشبه أخذ كتاب طبخ رائع ومصور، وتمزيق الصور منه، ثم كتابة المكونات في فقرة واحدة طويلة. أنت تفقد الهيكل (مثل أي المكونات تتبع أي خطوة).

حل AccurateRAG: "الماسح الذكي" الخاص بهم يشبه الأرشيفي الدقيق. إنه يقرأ ملفات PDF الخاصة بك ويحولها إلى Markdown (تنسيق نصي نظيف ومنظم).

الخدعة السحرية: يستخدم أداتين مختلفتين لمسح المستند. إحداهما ممتاية في قراءة النصوص لكنها سيئة في الجداول؛ والأخرى ممتازة في الجداول لكنها تفقد بعض النصوص. يقوم AccurateRAG بدمجهما مثل وحش فرانكشتاين المثالي — يأخذ الأفضل من كليهما لضمان أن تبدو الجداول كجداول وأن يكون النص قابلاً للقراءة.
النتيجة: يقوم بتقطيع المستندات إلى "قطع" (أجزاء صغيرة) منطقية بذاتها، مثل تقطيع فصل من كتاب إلى مشاهد منطقية، بدلاً من مجرد قطعه في منتصف جملة.

2. "سيد المسابقات" (مولد بيانات الضبط الدقيق - Fine-tuning Data Generator)

المشكلة: لتعليم أمين المكتبة الخاص بك كيف يكون جيداً في إيجاد الإجابات، تحتاج إلى التدرب معه. لكن ليس لديك قائمة من الأسئلة والأجوبة لمستنداتك الخاصة.

حل AccurateRAG: هذا المكون هو سيد مسابقات ذكاء اصطناعي. يقرأ قطع النصوص التي مسحتها للتو ويكتب تلقائياً مجموعة من الأسئلة والأجوبة التدريبية لها.

العملية: يطلب من الذكاء الاصطناي: "إليك فقرة عن التمويل. اكتب 5 أسئلة عنها، بعضها سهل وبعضها صعب". ثم يتحقق من الإجابات للتأكد من أنها صحيحة بالفعل.
لماذا يهم الأمر: هذا ينشئ دليلاً تدريبياً مخصصاً لأمين المكتبة الخاص بك، يعلمه بالضبط كيف يفكر فيما يتعلق بمستنداتك المحددة.

3. "فريق البحث" (المسترجع - Retriever)

المشكلة: عندما تطرح سؤالاً، كيف يجد أمين المكتبة الصفحة الصحيحة؟

الخيار (أ) (البحث الدلالي/المعنوي): "ابحث لي عن الصفحة التي تشعر بأنها تتحدث عن المال". (جيد للمفاهيم، سيء للكلمات الدقيقة).
الخيار (ب) (البحث التقليدي): "ابحث لي عن الصفحة التي تحتوي على كلمة 'ربح' فيها". (جيد للكلمات الدقيقة، سيء للمفاهيم).

حل AccurateRAG: يستخدم فريق بحث هجين.

يقوم بتشغيل كلا نوعي البحث في وقت واحد.
ثم يستخدم "حكماً" (وحدة التقييم) ليرى أي طريقة بحث كانت الأفضل أثناء التدريب.
الفائز: يختار الاستراتيجية الأفضل (أو يجمع بينهما) لجلب أكثر القطع النصية صلة بسؤالك.

4. "الكاتب النهائي" (مولد الإجابة - Answer Generator)

المشكلة: الآن يمتلك أمين المكتبة الصفحات الصحيحة. كيف يكتب الإجابة النهائية؟

المشكلة: إذا أعطيت الذكاء الاصطناعي الصفحات الخام فقط، فقد يرتبك أو يهلوِس (يختلق معلومات من عنده).

حل AccurateRAG: هذا هو المحرر النهائي.

يأخذ أفضل الصفحات التي وجدها فريق البحث ويغذي بها ذكاءً اصطناعياً قوياً (LLM).
والأهم من ذلك، أنه يقوم بعمل ضبط دقيق (Fine-tuning) لهذا الذكاء الاصطناعي باستخدام بيانات "سيد المسابقات". إنه يعلم الذكاء الاصطناعي: "عندما ترى هذه الأنواع المحددة من المستندات، أجب بهذه الطريقة".
يستخدم تقنية تسمى LoRA (تخيلها كـ "قبعة تدريب" خفيفة يرتديها الذكاء الاصطناعي) للتعلم بسرعة دون الحاجة إلى حاسوب خارق.

5. "لوحة التحكم" (واجهة المستخدم - User Interface)

عادةً ما يتطلب بناء كل هذا كتابة أكواد معقدة. يوفر لك AccurateRAG واجهة مستخدم (UI) — لوحة تحكم بسيطة بها أزرار.

تقوم برفع ملفات PDF الخاصة بك.
تضغط على "ابدأ" (Start).
يقوم النظام بكل عمليات المسح، وصنع المسابقات، والتدريب، والاختبار في الخلفية.
تحصل على نافذة دردشة حيث يمكنك طرح الأسئلة ورؤية النتائج.

لماذا يعد هذا أمراً كبيراً؟ (النتائج)

اختبر المؤلفون هذا النظام على معايير واقعية (مثل التقارير المالية والأسئلة الطبية).

المنافسون: حققت الأنظمة الأخرى حوالي 19% إلى 35% من الدقة.
AccurateRAG: حقق 42% إلى 82%+ من الدقة، محطماً الرقم القياسي لـ "أحدث ما توصل إليه العلم" (SOTA).

الخلاصة:
فكر في AccurateRAG كأنه مصنع جاهز للتشغيل لبناء مساعدين يعملون بالذكاء الاصطناعي. بدلاً من استئجار فريق من المهندسين لبناء سيارة من الصفر (كتابة أكواد للمسح، والتدريب، والبحث)، يمكنك ببساطة الدخول إلى المصنع، اختيار طرازك، والخروج بسيارة كاملة التجميع، عالية الأداء وجاهزة للسباق. إنه يجعل بناء تطبيقات الذكاء الاصطناعي الدقيقة والموثوقة متاحاً للجميع، وليس فقط لخبراء البرمجة.

إليك ملخص تقني مفصل لورقة "AccurateRAG: إطار عمل لبناء تطبيقات استرجاع معزز بالتوليد (RAG) دقيقة للغاية."

1. بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة (LLMs) تقدماً ملحوظاً، إلا أنها تواجه قيوداً حرجة عند تطبيقها على الاستعلامات الخاصة بمجالات معينة أو المعلومات المحدثة غير الموجودة في بيانات تدريبها المسبق. تعالج أساليب الاسترجاع المعزز بالتوليد (RMA) القياسية هذا الأمر من خلال استرجاع المعرفة الخارجية، لكن الأدبيات الحالية تركز بشكل أساسي على اقتراح خوارزميات RAG محددة بدلاً من توفير أطر عمل شاملة ونمطية لتطوير الأنظمة المتكاملة.

تشمل الفجوات الحالية ما يلي:

نقص الأدوات المتكاملة لمعالجة مجموعات البيانات الخام (مثل الحفاظ على هياكل المستندات المعقدة مثل الجداول).
غياب خطوط الأنابيب (pipelines) المؤتمتة لتوليد بيانات الضبط الدقيق (fine-tuning).
صعوبة بناء وتقييم وتخصيص أنظمة RAG محلياً دون الاعتماد على أدوات متباعدة وغير نمطية.

2. المنهجية: إطار عمل AccurateRAG

AccurateRAG هو إطار عمل نمطي يعمل في بيئة محلية، مصمم لتبسيط تطوير تطبيقات RAG عالية الأداء. يتكون من أربعة مكونات أساسية:

أ. المعالج المسبق (Preprocessor)

الوظيفة: تحويل المستندات الخام (PDF, DOCX) إلى نص مهيكل.
الابتكار: بخلاف المحولات القياسية التي تنتج نصاً عادياً، يقوم AccurateRAG بإخراج تنسيق Markdown للحفاظ بدقة على المحتوى الهيكلي (العناوين، الجداول).
استراتيجية التحليل الهجين:
1. يستخدم Unstructured لتحليل المستندات إلى HTML وتحويل الجداول إلى Markdown (للحفاظ على الهيكل).
2. يستخدم LlamaParse (عبر LlamaIndex) لاستخراج نصوص عالية الجودة (لإصلاح أخطاء الطباعة الناتجة عن التعرف الضوئي على الحروف OCR من Unstructured).
3. المحاذاة: يجمع بين مخرجات المكتبتين للاستفيد من التكامل الهيكلي ودقة النصوص.
التقطيع (Chunking): يقسم النص إلى قطع سياقية تشمل وحدات سياقية كاملة (وليس أطوالاً ثابتة). ويضيف "تداخلاً" (القطع السابقة واللاحقة) للمساعدة في التفكير متعدد الخطوات (multi-hop reasoning).

ب. مولد بيانات الضبط الدقيق (Fine-tuning Data Generator)

الوظيفة: توليد بيانات تدريب اصطناعية تلقائياً لتحسين كل من المسترجع (Retriever) ومولد الإجابات (Answer Generator).
العملية:
1. توجيه نموذج لغوي كبير مدرب مسبقاً لتوليد أزواج سؤال-جواب (QA) متنوعة من قطع السياق.
2. التحقق: يحاول النموذج اللغوي الإجابة على الأسئلة التي ولدها بنفسه بناءً فقط على السياق المصدر. يتم استبعاد الأسئال التي لا تملك إجابات صالحة لضمان جودة البيانات.
المخرجات:
- أزواج (السياق، السؤال) للضبط الدقيق لنموذج المسترجع (نموذج التضمين/Embedding).
- ثلاثيات (السياق، السؤال، الإجابة) للضبط الدقيق لـ مولد الإجابات (النموذج اللغوي الكبير).

ج. المسترجع (Retriever)

البحث الدلالي (Semantic Search): يقوم بضبط نموذج تضمين (مثل bge-large-en-v1.5) القائم على BERT باستخدام التعلم التبايني (contrastive learning) مع السلبيات الصعبة (hard negatives) والسلبيات داخل الدفعة (in-batch negatives) المستمدة من البيانات الاصطناعية.
البحث التقليدي: ينفذ خوارزمية BM25 للبحث القائم على الكلمات المفتاحية.
تقييم الاسترجاع: يختبر تلقائياً البحث الدلالي، والتقليدي، والبحث الهجين (باستخدام دمج الرتب العكسي - Reciprocal Rank Fusion) على مجموعة تحقق لاختيار الاستراتيجية المثلى لمجموعة البيانات المحددة.

د. مولد الإجابات (Answer Generator)

توليف الإجابة:
- تعزيز البيانات: إنشاء سياقات "موسعة" عبر استرجاع أعلى $N-1$ من القطع ذات الصلة لسؤال معين وخلطها مع السياق الأصلي.
- الضبط الدقيق: يستخدم تقنية LoRA (التكيف منخفض الرتبة) لضبط النموذج اللغوي الكبير على ثلاثيات (السياق الموسع، السؤال، الإجابة).
تقييم الإجابة: يستخدم نموذج لغوي كبير مدرب مسبقاً (الافتراضي: Llama-3.1-8B-Instruct) كـ "قاضٍ" للتحقق من صحة الإجابات المولدة مقابل الحقيقة الأرضية (ground truth)، مع التركيز بدقة على الصحة الواقعية بدلاً من الأسلوب.

هـ. واجهة المستخدم (UI)

توفر واجهة رسومية للمستخدمين غير المتخصصين في واجهة السطر البرمجي (CLI) لرفع البيانات، وتكوين المعاملات الفائقة (hyperparameters)، وتشغيل خط الأنابيب، وتصور النتائج (الاختبارات المعيارية والأسئلة والأجوبة التفاعلية).

3. المساهمات الرئيسية

إطار عمل متكامل (End-to-End): أول نظام يوفر مساراً موحداً ونمطياً يغطي معالجة البيانات الخام، وتوليد البيانات الاصطناعية، والضبط الدقيق للنماذج، والتقييم في بيئة محلية.
المعالجة المسبقة الحافظة للهيكل: طريقة تحليل هجينة مبتكرة تحافظ على هياكل الجداول والعناوين في تنسيق Markdown، مما يحسن بشكل كبير من صلة الاسترجاع للمستندات المعقدة.
التوليد الآلي للبيانات: آلية ذاتية التصحيح لتوليد أزواج سؤال-جواب عالية الجودة ومتنوعة للضبط الدقيق لكل من نماذج التضمين ونماذج التوليد دون الحاجة لتدوين يدوي.
استراتيجية استرجاع تكيفية: وحدة مؤتمتة لتقييم واختيار أفضل استراتيجية بحث (دلالي، BM25، أو هجين) بناءً على أداء التحقق.

4. النتائج التجريبية

تم تقييم إطار العمل على عدة اختبارات معيارية، محققاً أداءً يضاهي أحدث التقنيات (SOTA):

FinanceBench (مجال متخصص):
- الأساس (Baseline): نموذج text-embedding-ada-002 من OpenAI مع GPT-4-Turbo حقق دقة 19.0%.
- AccurateRAG: حقق دقة 42.0%.
- دراسة الاستبعاد (Ablation): إزالة الحفاظ على الهيكل من المعالج المسبق خفضت الدقة إلى 34.7%. إزالة الضبط الدقيق لنموذج التضمين خفضت الدقة إلى 38.7%، مما يثبت فعالية مولد البيانات.
الاختبارات المعيارية العامة (HotpotQA, PubMedQA, APIBench):
- تفوق AccurateRAG على RankRAG و RAFT (نظام SOTA سابق) في جميع المجموعات الخمس.
- HotpotQA: سجل AccurateRAG نسبة 48.71% مقابل 35.30% لـ RankRAG و 35.28% لـ RAFT.
- PubMedQA: سجل AccurateRAG نسبة 82.4% مقابل 65.0% لـ RankRAG.
- المقارنة مع RAFT: حتى عندما استخدم AccurateRAG نموذجاً أصغر (Llama-2-7B بدون سلسلة أفكام - CoT)، فقد تفوق بشكل كبير على RAFT (الذي استخدم Llama-2-7B + GPT-4 CoT)، محققاً تحسناً بنسبة ~20% في HotpotQA.

5. الأهمية

النشر العملي: يسد AccurateRAG الفجوة بين أبحاث RAG النظرية والتطبيق العملي عبر توفير إطار عمل "جاهز للتشغيل" للمطورين لبناء أنظمة مخصصة وعالية الدقة محلياً.
مكاسب الأداء: يثبت أن جودة البيانات (عبر المعالجة المسبقة الحافظة للهيكل) والضبط الدقيق المستهدف (عبر توليد البيانات الاصطناعية) أكثر أهمية من مجرد زيادة حجم النموذج أو استخدام نماذج تأسيسية أكبر.
قابلية التكرار: من خلال توفير مسار كامل مع واجهة مستخدم، فإنه يخفض حاجز الدخول لبناء تطبيقات RAG بمستوى المؤسسات.

6. القيود والعمل المستقبلي

ثقة التقييم: قد يؤدي استخدام نموذج 8B كقاضٍ إلى إصدار أحكام واقعية واثقة ولكنها خاطئة. يهدف العمل المستقبلي إلى دمج تقدير الثقة المعاير والتحقق البشري (human-in-the-loop).
تحسين الضبط الدقيق: قد تستكشف الإصدارات المستقبلية استخدام محولات LoRA التأسيسية لتعزيز وحدة توليد الإجابات بشكل أكبر.