💻 computer science

From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents

تقوم هذه الورقة البحثية بتقييم عشر استراتيجيات استرجاع على مجموعة بيانات ضخمة للأسئلة والأجوبة القائمة على النصوص والجداول المالية، كاشفةً أن خط معالجة استرجاع هجين يعتمد على إعادة الترتيب العصبي يتفوق على الأساليب أحادية المرحلة، وأن خوارزمية BM25 غالباً ما تتفوق على الاسترجاع الكثيف في الوثائق المالية، مع تقديم رؤى عملية حول الفائدة المحدودة لتوسيع الاستعلام بالنسبة للاستعلامات الرقمية الدقيقة.

المؤلفون الأصليون: Meftun Akarsu, Recep Kaan Karaman, Christopher Mierbach

نُشر 2026-04-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Meftun Akarsu, Recep Kaan Karaman, Christopher Mierbach

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز مالي معقد. لديك مكتبة ضخمة من المستندات (تقارير سنوية، بيانات أرباح) وهي مزيج من القصص (نصوص) والجداول الحسابية (جداول). هدفك هو العثور على الصفحة الدقيقة والرقم الدقيق الذي يجيب على سؤال محدد، مثل "كم بلغت أرباح الشركة (X) في عام 2023؟"

هذه الورقة هي في الأساس تجربة كبرى لمعرفة أفضل طريقة يمكن للكمبيوتر (الذكاء الاصطناعي) من خلالها البحث في هذه المكتبة للعثور على تلك الإبرة في كومة القش. لقد اختبر الباحثون 10 "استراتيجيات بحث" مختلفة لمعرفة أيهما يعمل بشكل أفضل مع هذه المستندات الصعبة.

إليك تفاصيل نتائجهم باستخدام تشبيهات بسيطة:

1. المشكلة: فخ "النص مقابل الجدول"

معظم أدوات البحث المدعومة بالذكاء الاصطناعي بارعة في العثور على القصص. إذا سألت: "حدثني عن تاريخ الشركة"، فإن بحث الذاء الاصطناعي القياسي يعمل مثل أمين مكتبة يعرف بالضبط أي كتاب يسحبه من الرف بناءً على الكلمات المفتاحية.

لكن المستندات المالية مخادعة. فهي تحتوي على جداول مليئة بالأرقام.

المشكلة: إذا سألت: "ما هو نمو الإيرادات؟"، فقد يرتبك الذكاء الاصطناعي القياسي. قد يبحث عن كلمة "الإيرادات" في النص ولكنه قد يفتقد الرقم المختبئ في خلية جدول بيانات. أو قد يفهم مفهوم النمو ولكنه قد يخطئ في السنة المحددة لأن الصياغة كانت مختلفة قليلاً.
التشبيه: الأمر يشبه محاولة العثور على مكون محدد في وصفة طعام. "البحث بالكلمات المفتاحية" يجد كلمة "سكر"، لكن "البحث الدلالي" (فهم المعنى) قد يجد "محلي". ولكن في التمويل، أنت تحتاج إلى الوزن الدقيق بالجرام. إذا حصلت على الرقم الخطأ، فإن الوصفة بأكملها ستفشل.

2. المتنافسون: من هم الذين تم اختبارهم؟

وضع الباحثون استراتيجيات بحث مختلفة في مواجهة بعضها البعض:

المدرسة القديمة (BM25): هذا يشبه أمين مكتبة صارم للغاية لا يجد الكتب إلا إذا استخدمت الكلمات الدقيقة المكتوبة على كعب الكتاب. إنه لا يفهم المرادفات، لكنه بارع للغاية في العثور على مصطلحات محددة مثل "اسم الشركة" أو "2023".
الذكاء الاصطناعي الحديث (الاسترجاع الكثيف - Dense Retrieval): هذا يشبه مساعداً ذكياً يفهم "جو" السؤال ومعناه. يمكنه العثور على المستندات حتى لو استخدمت كلمات مختلفة، لكنه أحياناً يكون غامضاً بشأن الأرقام الدقيقة.
الهجين (RRF): هذا يعني توظيف كليهما (أمين المكتبة الصارم والمساعد الذكي)، ثم تركهما يصوتان على أي كتاب هو الأفضل.
"تخمين الإجابة" (HyDE): هذه الاستراتيجية تطلب من الذكاء الاصطناعي أن يتظاهر بأنه يعرف الإجابة بالفعل، ويكتب مستنداً وهمياً، ثم يبحث بناءً عليه. (فكر في الأمر كأن المحقق يرسم وصفاً تقريبياً للمشتبه به قبل العثين عليه).
"الرأي الثاني" (إعادة التصنيف - Reranking): هذا بمثابة محرر رئيسي ينظر إلى أفضل 50 كتاباً وجدها البحث ويعيد ترتيبها للتأكد من أن الأفضل على الإطلاق هو الموجود في المقدمة.

3. المفاجآت الكبرى (النتائج)

🏆 الفائز: "خط الإنتاج ذو المرحلتين" (Two-Stage Pipeline)
أفضل استراتيجية لم تكن مجرد أداة واحدة؛ بل كانت نهج عمل جماعي.

الخطوة 1: استخدام الطريقة الهجينة (أمين المكتبة + المساعد الذكي) لإلقاء شبكة واسعة والقبض على أفضل 50 مستنداً محتملاً.
الخطوة 2: تمرير هذه المستندات الخمسين إلى "محرر فائق" (إعادة تصنيف عبر Cross-Encoder) يقرأ السؤال والمستند معاً لاختيار المطابقة الأفضل والوحيدة.

لماذا فاز؟ لأنه جمع بين سرعة إلقاء الشبكة الواسعة ودقة الغوص العميق. لقد وجد المستند الصحيح بنسبة 81.6% من المرات، متفوقاً على الجميع بفارق كبير.

🚫 الخاسر: "تخمين الإجابة" (HyDE)
جرب الباحثون استراتيجية جعل الذكاء الاصطناعي يخمن الإجابة أولاً.

النتيجة: جعلت الأمور أسوأ.
التشبيه: تخيل محققاً يرسم وصفاً تقريبياً للمشتبه به بناءً على وصف غامض. في التمويل، إذا "هلوس" (خمن) الذكاء الاصطناعي رقماً مثل "50 مليون دولار" بينما الرقم الحقيقي هو "48 مليون دولار"، فإن البحث سيصاب بالارتباك ويبحث في المكان الخطأ. بالنسبة للأرقام الدقيقة، التخمين أمر خطير.

🤔 المفاجأة: أمين المكتبة القديم فاز (أحياناً)
اعتقد الجميع أن "المساعد الذكي" (الذكاء الاصطناعي الكثيف) سيهزم "أمين المكتبة الصارم" (BM25) لأن الذكاء الاصطناعي من المفترض أن يكون أذكى.

النتيجة: في المستندات المالية، تفوق أمين المكتبة الصارم (BM25) على المساعد الذكي.
لماذا؟ التقارير المالية مليئة بالمصطلحات المتخصصة (رموز الشركات، أسماء المقاييس الدقيقة). أحياناً يصبح الذكاء الاصطناعي "ثرثاراً" أكثر من اللازم ويخطئ في المطابقة الدقيقة، بينما يقوم أمين المكتبة بمطابقة الكلمات بدقة تامة.

4. ماذا يجب أن تفعل؟ (الخلاصة)

إذا كنت تبني نظام ذكاء اصطناعي لقراءة التقارير المالية أو المستندات التي تحتوي على جداول، فإليك الوصفة التي يقترحها المؤلفون:

لا تعتمد على طريقة بحث واحدة فقط. ادمج البحث بـ "الكلمات المفتاحية" مع البحث بـ "المعنى".
أضف خطوة "الرأي الثاني". اجعل دائماً ذكاءً اصطناعياً قوياً يعيد فحص أفضل النتائج لضمان أن الأفضل موجود في المقدمة. هذه هي أكبر ترقية يمكنك القيام بها.
أضف "السياق" قبل البحث. قبل فهرسة المستندات، اطلب من الذكاء الاصطناعي كتابة ملخص قصير حول موضوع هذا المستند (مثلاً: "هذا هو تقرير شركة أبل لعام 2023") وأرفقه بالملف. هذا يساعد محرك البحث على فهم المستند بشكل أفضل.
توقف عن التخمين. لا تستخدم الاستراتيجيات التي تحاول "الهلوسة" بإجابة للمساعدة في البحث. في التمويل، الدقة هي الملك.
اختبر على بياناتك الخاصة. لا تثق فقط في معايير الذكاء الاصطناعي العامة. المستندات المالية فريدة من نوعها؛ ما ينجح مع المقالات الإخبارية قد يفشل مع الجداول الحسابية.

ملخص

تثبت الورقة أنه بالنسبة للمستندات المعقدة التي تمزداً بين النصوص والأرقام، القوة الغاشمة وحدها لا تكفي، والحدس النقي للذكاء الاصطناعي وحده لا يكفي أيضاً. السر يكمن في العمل الجماعي الهجين: ألقِ شبكة واسعة، ثم دع محرراً فائق الذكاء يختار الفائز. وتذكر، عندما تتعامل مع المال، الكلمات الدقيقة أهم من المعاني الغامضة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "من BM25 إلى الاسترجاع التصحيحي (Corrective RAG): قياس أداء استراتيجيات الاسترجاع للمستندات التي تحتوي على نصوص وجداول."

1. بيان المشكلة

تعتمد أنظمة التوليد المعزز بالاسترجاع (RAG) بشكل كبير على جودة مكون الاسترجاع. ومع ذلك، هناك نقص في المقارنة المنهجية بين طرق الاسترجاء الحديثة للمستندات غير المتجانسة التي تحتوي على نصوص وبيانات جدولية معاً (مثل التقارير المالية والنتائج السنوية).

التحدي: تتطلب الأسئلة المالية غالباً تحديد قيم عددية دقيقة داخل الجداول مع فهم السياق النصي.
- الاسترجاع الدلالي (الكثيف - Semantic/Dense Retrieval): غالباً ما يفشل في التقاط الأهداف العددية الدقيقة أو أسماء الكيانات المحددة.
- الاسترجاع المعجمي (الخفيف - Lexical/Sparse Retrieval): يفتقر إلى القدرة على فهم السياق المعاد صياغته أو العلاقات الدلالية.
الفجوة: تركز معايسات القياس الحالية (مثل BEIR) على النصوص العامة، بينما استخدمت معايسات الأسئلة المالية السابقة (مثل FinQA) غالباً إعدادات "السياق المثالي" (oracle-context) حيث يتم توفير المستند الصحيح مسبقاً، مما أدى إلى الفشل في اختبار قدرات الاسترجاع الفعلية.

2. المنهجية

أ. مجموعة البيانات: T2-RAGBench

استخدم المؤلفون T2-RAGBench، وهو معيار للأسئلة المالية يتكون من:

الحجم: 23,088 استعلاماً عبر 7,318 مستنداً مالياً فريداً.
المصادر: مجمعة من FinQA وConvFinQA وTAT-DQA.
المحتوى: نصوص مختلطة وجداول بتنسيق Markdown مستخرجة من تقارير هيئة الأوراق المالية والبورصات (SEC) والتقارير السنوية (متوسط 920 توكن لكل مستند).
إعادة الصياغة: على عكس المجموعات الأصلية، تمت إعادة صياغة الأسئلة باستخدام نموذج Llama 3.3-70B لتشمل معلومات تعريفية (اسم الشركة، القطاع، السنة)، مما يضمن وجود إجابة واحدة صحيحة بغض النظر عن السياق. وهذا يجعل مجموعة البيانات مناسبة لتقييم الاسترجاع.
الحقيقة الأرضية (Ground Truth): جميع الإجابات عددية.

ب. استراتيجيات الاسترجاع التي تم تقييمها

قام البحث بقياس 10 استراتيجيات متميزة عبر أربع فئات:

الاسترجاع الخفيف (Sparse Retrieval): خوارزمية BM25 (بمعاملات $k_1=1.2, b=0.75$ ).
الاسترجاع الكثيف (Dense Retrieval): نموذج OpenAI text-embedding-3-large (بأبعاد 3,072) مع بحث FAISS دقيق.
الدمج الهجين (Hybrid Fusion): دمج ترتيب الـ BM25 مع الاسترجاع الكثيف باستخدام تقنية (Reciprocal Rank Fusion - RRF).
خطوات المعالجة ثنائية المرحلة (Two-Stage Pipelines): دمج هجين (RRF) يليه إعادة ترتيب باستخدام Cross-Encoder (نموذج Cohere Rerank v4.0 Pro).
توسيع الاستعلام (Query Expansion):
- HyDE: توليد مستندات إجابة افتراضية لاستخدامها في الاستعلام عن الفهرس.
- Multi-Query: توليد 3 متغيرات دلالية لكل استعلام ودمج النتائج عبر RRF.
تعزيز الفهرس (Index Augmentation):
- الاسترجاع السياقي (Contextual Retrieval): إضافة ملخصات مولدة بواسطة LLM (الكيانات، المقاييس، الفترات الزمنية) إلى المستندات قبل الفهرسة.
الاسترجاع التكيفي (Adaptive Retrieval): نظام CRAG، الذي يصنف المستندات المسترجعة ويقوم بإعادة كتابة الاستعلام إذا كانت درجة الثقة منخفضة.

ج. مقاييس التقييم

جودة الاسترجاع: Recall@k ( $k \in \{1, 3, 5, 10, 20\}$ )، ومتوسط الرتبة المقلوبة (MRR@3)، وnDCG@10، وMAP.
جودة التوليد: مطابقة الأرقام (Number Match) (المقياس الأساسي، للتحقق مما إذا كان الرقم المولد يطابق الحقيقة الأرضية ضمن نسبة سماح 1%)، بالإضافة إلى Token-level F1، وROUGE-L، وBERTScore.
الدلالة الإحصائية: اختبارات Bootstrap المزدوجة ( $B=10,000$ ) مع تصحيح Bonferroni ( $p < 0.05$ ).

3. المساهمات الرئيسية

معيار شامل: أول تقييم منهجي لـ 10 طرق استرجاع على مجموعة بيانات مالية ضخمة ومختلطة (نصوص وجداول).
تحليل متعدد الأبعاد: يجمع بين مقاييس الاسترجاع ومقاييس التوليد النهائية مع اختبارات الدلالة الإحصائية.
دراسات الاستئصال (Ablation Studies): عزل تأثير استراتيجيات الدمج (RRF مقابل الجمع المحدب Convex Combination) وعمق مرشح إعادة الترتيب.
إرشادات عملية: تقديم توصيات (التكلفة مقابل الدقة) للممارسين الذين يبنون أنظمة RAG للمستندات غير المتجانسة.

4. النتائج الرئيسية

أ. تصنيفات الأداء

الأفضل إجمالاً: تفوقت العملية ثنائية المرحلة (Hybrid RRF + Neural Reranker) على جميع الطرق الأخرى.
- Recall@5: بلغ 0.816 (مقابل 0.695 لـ Hybrid RRF وحده).
- MRR@3: بلغ 0.605 (مقابل 0.433 لـ Hybrid RRF وحده).
- يمثل هذا تحسناً هائلاً مقارنة بطرق المرحلة الواحدة.
BM25 مقابل الاسترجاع الكثيف: بشكل مفاجئ، تفوق BM25 على المسترجع الكثيف المتطور (text-embedding-3-large) في معظم المقاييس (باستثناء Recall@20).
- السبب: تعتمد المستندات المالية على مصطلحات دقيقة (رموز الشركات، تسميات المقاييس) حيث يكون التطابق المعجمي متفوقاً على التضمينات الدلالية.
توسيع الاستعلام (HyDE/Multi-Query): قدم فوائد محدودة أو سلبية.
- أداء HyDE كان أقل من الاسترجاع الكثيفت العادي (Recall@5: 0.544 مقابل 0.587) لأن النماذج اللغوية الكبيرة (LLMs) تهلوس بأرقام مالية تبدو منطقية ولكنها خاطئة، مما يؤدي لتشويه مساحة التضمين (Embedding Space).
- أظهر Multi-query عوائد متناقصة لأن الاستعلامات المالية تكون دقيقة بالفعل.
الاسترجاع السياقي (Contextual Retrieval): حقق مكاسب ثابتة (+2.2 نقطة مئوية إلى +2.8 نقطة مئوية في Recall@5) من خلال إثراء المستندات بملخصات البيانات الوصفية وقت الفهرسة.
CRAG: حقق مكاسب متوسطة مقارنة بـ BM25 ولكنه فشل في مضاهاة أداء الدمج الهجين البسيط.

ب. التوليد النهائي (End-to-End Generation)

يوجد ارتباط إيجابي قوي ( $r > 0.98$ ) بين جودة الاسترجاع (Recall@5) وجودة التوليد (Number Match).
الاسترجاع الأفضل يترجم مباشرة إلى إجابات أفضل، مما يؤكد أن الاسترجاع هو عنق الزجاجة في مسارات RAG لهذا المجال.

ج. تحليل الأخطاء

نمط الفشل المهيمن: عدم تطابق هيكل الجدول (73%). تجد التضمينات القياسية صعوبة في ربط استعلامات مثل "صافي الدخل 2019" بالصفوف الجدولية حيث توجد هذه المصطلحات في خلايا منفصلة.
الاستدلال العددي (20%): تحدث الإخفاقات عندما تتطلب الإجابة عمليات حسابية (مثل النمو السنوي YoY) بدلاً من مجرد البحث المباشر.
صعوبة المجموعات الفرعية: كانت مجموعة TAT-DQA (التي تعتمد بكثافة على العمليات الجدولية) هي الأصعب، بينما كانت ConvFinQA الأسهل.

5. الأهمية والتوصيات

الأهمية

تحدي الافتراضات: إن اكتشاف تفوق BM25 على الاسترجاع الكثيف في المجالات المالية يتحدى الافتراض السائد بأن البحث الدلالي يهيمن عالمياً على الطرق المعجمية.
خصوصية المجال: يسلط الضوء على أن معايير القياس العامة (MTEB/BEIR) لا تتنبأ بالأداء على البيانات الهيكلية والعددية المتخصصة.
التحقق من البنية: يؤكد صحة مسار "الاسترجاع الهجين + إعادة الترتيب باستخدام Cross-Encoder" كمعيار ذهبي لاسترجاع المستندات غير المتجانسة.

توصيات عملية للممارسين

نقطة البداية: ابدأ بـ الاسترجاع الهجين (Hybrid Retrieval) (أي BM25 + Dense عبر RRF).
لتحقيق أقصى جودة: أضف مرتباً يعيد الترتيب باستخدام Cross-Encoder (مثل Cohere Rerank) لأفضل 50 مرشحاً. هذا هو المكون الأكثر تأثيراً.
الفهرسة: استخدم الاسترجاع السياقي (إضافة الملخصات) لتحقيق مكاسب مستمرة في الجودة مقابل تكلفة لمرة واحدة.
تجنب: لا تستخدم HyDE في المجالات التي تتطلب حقائق عددية دقيقة، لأن الهلوسة تؤدي لتدهور الأداء.
التقييم: قم دائماً بالتقييم باستخدام بيانات متخصصة في المجال؛ فالمعايير العامة غير كافية.

الخاتمة

تخلص الورقة إلى أنه بالنسبة للمستندات المالية التي تحتوي على نصوص وجداول، فإن المسار ثنائي المرحلة الذي يجمع بين الاسترجاع الهجين (BM25 + Dense) وإعادة الترتيب العصبية (Neural Reranking) هو الاستراتيجية المثلى. وتثبت الورقة أن الدقة المعجمية تظل حاسمة للبيانات المالية، وأن تقنيات توسيع الاستعلام مثل HyDE قد تكون ذات نتائج عكسية في هذا المجال المحدد. وقد أطلق المؤلفون الكود الخاص بهم ومعيار القياس لتسهيل الأبحاث المستقبلية في أنظمة RAG غير المتجانسة.