W-RAG: Source-Aware Retrieval for Enterprise Document Generation from Heterogeneous Knowledge Bases
تقدم هذه الورقة W-RAG، وهو إطار عمل للاسترجاع مدرك للمصدر يعالج قيود التصنيف العالمي في قواعد المعرفة المؤسسية غير المتجانسة من خلال توظيف الاسترجاع الموجه بالأنطولوجيا والوزن على مستوى المصدر لتحسين تغطية المستندات وجودة التوليد.
المؤلفون الأصليون:Hridya Dhulipala, Rajesh Ombase, Michael Wang, Tien N. Nguyen
في بيئة العمل الحديثة، غالبًا ما يتطلب كتابة وثائق معقدة مثل أدلة السياسات، أو تقارير الاندماج، أو خطط إطلاق المنتجات، تجميع المعلومات من أماكن مختلفة عديدة. قد يحتاج الفريق إلى استشارة القواعد الداخلية للشركة، والأوراق البحثية العلمية، واللوائح الحكومية، وأخبار السوق في آن واحد. ولمساعدة ذلك، طور علماء الحاسوب أنظمة تسمح للذكاء الاصطناعي بالبحث عن الحقائق قبل كتابة جملة ما. هذا النهج، المعروف باسم "التوليد المعزز بالاسترجاع" (retrieval-augmented generation)، يعمل كمساعد رقمي يقرأ مكتبة من الوثائق ويستخدم تلك الملاحظات لصياغة استجابة. والهدف من ذلك هو جعل الذكاء الاصطناعي أكثر دقة وواقعية، مما يمنعه من اختلاق الحقائق. ومع ذلك، تبرز مشكلة كبيرة عندما تحاول هذه الأنظمة جمع المعلومات من أنواع مختلفة من المكتبات في وقت واحد.
يكمن التحدي في أن مصادر المعلومات ليست متساوية، ولا تؤدي جميعها الدور نفسه في وثيقة واحدة. فالنظام القياسي غالبًا ما يعامل كل نص يجده كما لو كان يتنافس في سباق واحد، حيث يختار أفضل النتائج بناءً فقط على مدى تطابق الكلمات مع سؤال المستخدم. وفي سياق الشركات، تفشل هذه الطريقة كثيرًا؛ فقد يستدعي النظام مئات الصفحات من المقالات الإخبارية العامة لأنها تحتوي على الكلمات المفتاحية الصحيحة، بينما يتجاهل تمامًا فقرة واحدة حاسمة من لائحة حكومية محددة أو دليل سلامة تقني. والنتيجة هي مسودة تبدو فصيحة ولكنها تفتقر إلى التفاصيل المتخصصة والأساسية اللازمة لجعل الوثيقة صالحة قانونيًا أو تقنيًا. ينتهي الأمر بالذكاء الاصطناعي بنوافذ سياقية تهيمن عليها أنواع معينة من المصادر، مما يترك نقصًا في الأدلة المتنوعة اللازمة لبناء صورة كاملة.
سعى الباحثون هيرديا دوليبالا، وراجيش أومباس، ومايكل وانج، وتين إن. نغوين، لحل هذه المشكلة تحديدًا. فقد اقترحوا إطار عمل جديدًا يسمى W-RAG، والذي يرمز إلى "الاسترجاع المدرك للمصدر" (source-aware retrieval). وبدلاً من ترك جميع الوثائق من جميع المكتبات تتنافس ضد بعضها البعض في حوض واحد كبير، يقوم هذا النظام الجديد بتنظيم عملية البحث. فهو يحدد أولاً الموضوعات المحددة المطلوبة للوثيقة، مثل "خصوصية البيانات" أو "الامتثال المالي"، ويستخدم خريطة مفاهيم مهيكلة للعثور على المقاطع ذات الصلة. ثم، بدلاً من ترتيب كل شيء معًا، يقوم بترتيب أفضل الوثائق داخل كل مكتبة على حدة. وأخيرًا، يخصص ميزانية محددة لكل مكتبة، ليقرر بالضبط مقدار المساحة التي يجب أن تشغلها التقار ت الشركات في الوثيقة النهائية، ومقدار الأوراق العلمية، ومقدار النصوص القانونية. وهذا يضمن أن المسودة النهائية هي تكوين متوازن من الأدلة، يعكس الاحتياجات الحقيقية للمهمة بدلاً من مجرد حجم النص المتاح في مصدر واحد.
ولاختبار ما إذا كان هذا النهج قد نجح بالفعل، أنشأ الفريق مجموعة بيانات جديدة مصممة خصيصًا لهذا النوع من الكتابة المؤسسية. فقد بنوا مائة سيناريو واقعي، تتراوح من صياغة سياسات الرعاية الصحية إلى إعداد تقارير الاندماج والاستحواذ. ولكل سيناريو، بنوا أربع مكتبات متميزة من المعلومات: إحداها تحتوي على الملفات المؤسسية والأدلة التشغيلية، وأخرى تضم أبحاثًا علمية، وثالثة تحتوي على نصوص قانونية وتنظيمية، ورابعة تضم أخبار السوق وتقارير الصناعة. ثم طلبوا من الذكاء الاصطناعي كتابة وثائق بناءً على هذه المصادر المختلطة. ووجد الباحثون أن الأنظمة القياسية، التي تكتفي ببساب اختيار أفضل النتائج من قائمة عالمية، واجهت صعوبات كبيرة؛ حيث أنتجت هذه الأنظمة غالبًا وثائق فصيحة ولكنها غير مكتملة، وفشلت في تغطية المتطلبات الإلزامية للمهمة لأنها تجاهلت المكتبات الأصغر والمتخصصة.
أظهرت النتائج فرقًا واضحًا عند استخدام طريقة "إدراك المصدر" الجديدة. فمن خلال إجبار النظام على احترام الأدوار المتميزة لكل قاعدة معرفية، تحسنت جودة الوثائق المولدة بشكل كبير. فقد زاد النهج الجديد من تلبية متطلبات الوثيقة بأكثر من خمسين بالمائة مقارنة بأفضل الأساليب السابقة، وبأكثر من مائة بالمائة مقارنة بالأنظمة القياسية. كما ضمن أن المعلومات المستخدمة لكتابة الوثيقة تأتي من مزيج صحيح من المصادر، بدلاً من أن تكون منحازة نحو المكتبة الأكبر أو الأكثر كثافة في النصوص. وتشير الدراسة إلى أنه بالنسبة لمهام الكتابة المعقدة في العالم الحقيقي، فإن طريقة اختيار المعلومات وموازنتها لا تقل أهمية عن القدرة على إيجادها. ومن خلال إدارة تكوين الأدلة بعناية، يمكن للنظام إنتاج مسودات ليست فقط راسخة في الحقائق، بل أيضًا كاملة من الناحية الهيكلية، لتلبي الاحتياجات المتنوعة للكتابة المؤسسية الحديثة.
بيان المشكلة ساهمت تقنية "التوليد المعزز بالاسترجاع" (RAG) في تحسين الدقة الواقعية للنماذج اللغوية الكبيرة (LLMs) من خلال دمج المعرفة الخارجية. ومع ذلك، تعتمد خطوط أنابيب RAG الحالية على آلية ترتيب عالمية تفترض إمكانية تقييم الأدلة المستمدة من مستودعات متعددة وغير متجانسة باستخدام دالة تشابه واحدة. هذا الافتراض ينطبق على الاسترجاع في النطاق المفتوح، لكنه يفشل في توليد الوثائق المؤسسية. ففي البيئات الشركاتية، تعمل قواعد المعرفة (KBs) مثل السياسات، واللوائح، والمواصفات الفنية، والإرشادات القسمية، أدواراً متميزة. ويميل الترتيب العالمي إلى تفضيل المصادر الأكبر حجماً أو الأكثر كثافة أو هيمنة لغوياً، مما يؤدي إلى تهميش المستودعات الأصغر ولكنها بالغة الأهمية. ويؤدي هذا إلى نوافذ سياق غير متوازنة حيث تفتقر الوثيقة المولدة إلى الأدلة اللازمة من مجالات محددة، مما ينتج مسودات غير مكتملة تفشل في تلبية المتطلبات المؤسسية المعقدة.
المنهجية: إطار عمل W-RAG يقترح المؤلفون W-RAG، وهو إطار عمل للاسترجاع الواعي بالمصدر مصمم لتنظيم تكوين الأدلة عبر قواعد معرفة غير متجانسة. يعمل النظام عبر ثلاث مراحل متميزة:
استرجاع المرشحين الموجه بالأنطولوجيا (Ontology-Guided Candidate Retrieval): بدلاً من الاعتماد فقط على التشابه الدلالي، يستخدم W-RAG أنطولوجيا للمجال لاستخراج مواضيع مهيكلة من الاستعلام المدخل. يقوم النظام باسترجاع قطع نصية مرشحة من كل قاعدة معرفة باستخدام دالة تسجيل هجينة: R(cjk)=fsim(q,cjk)+λfont(T,cjk) حيث تقيس fsim التشابه الدلالي (تشابه جيب التمام للمتجهات الضمنية/embeddings) وتقيس font مدى المواءمة مع مواضيع الأنطولوجيا المستخرجة. يضمن ذلك أن المرشحين ليسوا فقط ذوي صلة لغوية، بل متوافقون موضوعياً مع متطلبات الوثيقة المستهدفة.
تقدير وزن المصدر (Source Weight Estimation): بدلاً من دمج جميع المرشحين في ترتيب عالمي واحد، يقوم W-RAG بتقدير وزن محدد (wj) لكل قاعدة معرفة. يتم حساب هذا الوزن في الوقت الفعلي من خلال مقارنة مجموعة مواضيع المدخلات مع فهرس مواضيع قاعدة المعرفة. وتجمع الدرجة بين:
التداخل الموضوعي: المحرك الرئيسي، الذي يقيس مدى مطابقة قاعدة المعرفة للمواضيع المدخلة.
توافر المستندات: أولوية ضعيفة تفضل قواعد المعرفة ذات التغطية الأوسع.
مكافأة الفئة: مكافأة للمواءمة العامة مع المجال. يتم تطبيع هذه الدرجات لتحديد النسبة المئوية من إجمالي ميزانية السياق (Ttotal) التي يجب أن تساهم بها كل قاعدة معرفة.
بناء السياق الموزون (Weighted Context Construction): يتم تحويل الأوزان المقدرة إلى ميزانيات رموز (tokens) (Tj) لكل قاعدة معرفة. يقوم النظام باختيار أعلى القطع تصنيفاً من مجموعة المرشحين المرتبة محلياً داخل كل قاعدة معرفة حتى تنفد الميزانية المحددة لتلك القاعدة. يتم دمج هذه القطع في نافذة سياق واحدة (SCW)، مما يضمن أن المطالبة (prompt) النهائية تعكس تكويناً متوازناً للمصادر بدلاً من هيمنة مستودع واحد.
المساهمات الرئيسية
صياغة المشكلة: حددت الورقة نمط فشل حرج في أنظمة RAG الحالية: فشل الترتيب العالمي عبر قواعد المعرفة غير المتجانسة في الحفاظ على تكوين المصادر الضروري لتوليد الوثائق المؤسسية الكاملة.
الابتكار المنهجي: يقدم W-RAG إطار عمل يجمع بين الاسترجاع الموجه بالأنطولوجيا، والترتيب المحلي داخل كل قاعدة معرفة، وتوزين مستوى المصدر لتنظيم تكوين الأدلة.
مجموعة بيانات ومعيار جديد: قدم المؤلفون مجموعة بيانات مبتكرة لتوليد الوثائق المؤسسية القائمة على الاسترجاع. تتضمن 100 وثيقة متطلبات عبر أربعة أنواع (سياسات، إطلاق منتج، تدقيق عمليات الاستحواذ والاندماج، برامج أكاديمية) وأربعة مجالات (الذكاء الاصطنا、الوسائط الرقمية، الرعاية الصحية، المناخ والاستدامة، التمويل). وتتزاوج مجموعة البيانات مع أربع قواعد معرفة غير متجانسة (شركات، علمية، تنظيمية، سوق/أخبار) لاختبار تركيب الأدلة من مصادر متعددة.
النتائج التجريبية قيم المؤلفون W-RAG مقابل Vanilla RAG التقليدي وخط أساس OG-RAG (الاسترجاع الموجه بالأنطولوجيا) باستخدام GPT-4.1 كمولد وClaude Sonnet 4.6 كنموذج لتقييم النموذج (LLM-as-a-judge). وتشمل النتائج الرئيسية ما يلي:
مكاسب الأداء: تفوق W-RAG بشكل كبير على خطوط الأساس. مقارنة بـ OG-RAG، حقق تحسناً بنسبة 58.1% في استيفاء المتطلبات و39.1% في ملاءمة السياق. ومقارنة بـ Vanilla RAG، بلغت التحسينات 109.2% و96.4% على التوالي.
أمانة المصدر (Source Fidelity): قاست الدراسة "أمانة قاعدة المعرفة المتحققة" لتحديد ما إذا كانت الوثيقة المولدة تعكس التوزيع المقصود للمصادر. أظهر W-RAG توافقاً قوياً بين أوزان الاسترجاح المقررة وتوزيع المصادر الفعلي في النص المولد، حيث أشارت درجات تباعد جينسن-شانون (Jensen-Shannon Divergence) إلى توافق متوسط إلى قوي.
الاسترجاع مقابل التوليد: تشير النتائج إلى أن جودة الاسترجاع العالية وحدها لا تضمن جودة الوثيقة؛ بل إن تكوين الأدلة من مصادر متعددة هو الأمر الحاسم لتلبية المتطلبات المؤسسية.
الأهمية والادعاءات تدعي الورقة أن افتراضات RAG القياسية لا تتناسب جيداً مع مهمة توليد الوثائق المؤسسية. ومن خلال الإدارة الصريحة لكيفية توزيع السياق المسترجع عبر قواعد المعرفة، يتيح W-RAG توليد وثائق أكثر أمانة واكتمالاً. ويرى المؤلفون أنه في البيئات المؤسسية متعددة المصادر، فإن "تكوين الأدلة على مستوى الوثيقة" لا يقل أهمية عن "جودة الترتيب على مستوى القطعة النصية". ويشير العمل إلى أن الانتقال من الترتيب العالمي بالتشابه إلى التخصيص الواعي بالمصدر ضروري لتركيب السياسات والعقود والوثائق الفنية بشكل موثوق.
القصور يقر المؤلفون بأن تقييمهم يعتمد على مجموعة بيانات اصطناعية صغيرة نسبياً، والتي قد لا تستوعب بالكامل حجم وضجيج بيئات العمل الحقيقية. بالإضافة إلى ذلك، تتضمن مقاييس التقييم نوعاً من الذاتية، ولم يتم التحقق من نهجهم بعد في بيئات الاسترجاع مفتوحة النطاق أو الأقل هيكلية.