💬 NLP

LIT-RAGBench: Benchmarking Generator Capabilities of Large Language Models in Retrieval-Augmented Generation

تقدم هذه الورقة LIT-RAGBench، وهو مجموعة بيانات معيارية وإطار تقييم شامل مصمم لتقييم قدرات النماذج اللغوية الكبيرة في التوليد المعزز بالاسترجاع بشكل منهجي عبر خمس فئات حرجة — التكامل، والاستدلال، والمنطق، والجداول، والامتناع — باستخدام مزيج من الأسئلة اليابانية التي صاغها البشر وترجمات إنجليزية منسقة لتوجيه اختيار النماذج وتطويرها من أجل عمليات نشر RAG العملية.

المؤلفون الأصليون: Koki Itai, Shunichi Hasegawa, Yuta Yamamoto, Gouki Minegishi, Masaki Otsuki

نُشر 2026-03-09

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Koki Itai, Shunichi Hasegawa, Yuta Yamamoto, Gouki Minegishi, Masaki Otsuki

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف مساعد باحث فائق الذكاء (نموذج لغوي كبير، أو LLM) للإجابة على أسئلة شركتك. تقول له: "لا تكتفِ بالتخمين؛ اذهب وابحث عن الحقائق في ملفات شركتنا أولاً". هذا الإعداد يسمى RAG (التوليد المعزز بالاسترجاع).

ما هي المشكلة؟ حتى المساعدين الأذكياء قد يرتكبون أخطاءً أحياناً. فقد:

يهلوس (Hallucinate): يختلق حقائق لأنه واثق من نفسه ولكنه مخطئ.
يخطئ في فهم الجوهر: يجد الملف الصحيح لكنه يفشل في الربط بين وثيقتين مختلفتين.
يرتبك بسبب الجداول: ينظر إلى جدول بيانات ويسيء قراءة الأرقام تماماً.
يرفض الإجابة: أو الأسوأ من ذلك، يرفض الإجابة بينما يمكنه العثور على الإجابة بالفعل.

حتى الآن، لم يكن هناك "اختبار قيادة" جيد لمعرفة مدى جودة هؤلاء المساعدين في هذه المهارات المحددة في آن واحد.

إليكم: LIT-RAGBench

قام مؤلفو هذه الورقة البحثية ببناء اختبار صارم جديد يسمى LIT-RAGBench. فكر فيه كأنه مضمار عقبات متعدد المهارات مصمم لاختبار جاهزية المساعد للعمل في العالم الحقيقي.

الاسم يرمز إلى: Logic (المنطق)، Integration (التكامل)، Table (الجدول)، Reasoning (الاستنتاج)، و Abstention (الامتناع). إليكم كيف يبدو كل جزء من مضمار العقبات هذا، باستخدام استعارات بسيطة:

1. التكامل (سيد الألغاز - Integration)

الاختبار: يُعطى المساعد ثلاث وثائق مختلفة. الإجابة ليست في وثيقة واحدة فقط؛ بل هي لغز حيث القطعة (أ) موجودة في الوثيقة 1، والقطعة (ب) موجودة في الوثيقة 2.
الاستعارة: تخيل أنك تسأل: "من فاز بالجائزة؟". يجب على المساعد قراءة نشرة إخبارية (الوثيقة 1) تقول "أليس فازت"، ورسالة بريد إلكتروني منفصلة (الوثيقة 2) تقول "أليس من فريق التسويق". يجب عليه دمج المعلومات ليقول: "أليس من فريق التسويق هي الفائزة". إذا قرأ وثيقة واحدة فقط، فسيفشل.

2. الاستنتاج (المحقق - Reasoning)

الاختبار: الإجابة ليست مذكورة بشكل مباشر. يتعين على المساعد القيام بعملية استنتاج "متعددة الخطوات".
الاستعارة: تقول الوثيقة: "تم نقل الاجتماع إلى يوم الثلاثاء". وتقول وثيقة أخرى: "يوم الثلاثاء هو عطلة رسمية". يجب على المساعد أن يستنتج: "لذلك، الاجتماع قد أُلغي فعلياً أو تم نقله مرة أخرى"، رغم أن أحداً لم يكتب صراحةً كلمة "أُلغي". كما يختبر هذا الجزء المهارات الرياضية، مثل حساب إجمالي الأرباح من قائمة مبيعات، وهو أمر يعاني منه العديد من نماذج الذكاء الاصطناعي بشكل مفاجئ.

3. المنطق (المترجم - Logic)

الاختبار: السؤال يستخدم كلمات مختلفة عن تلك الموجودة في الوثيقة.
الاستعارة: تسأل: "هل ميزانية الـ 10,000 دولار معتمدة؟". الوثيقة تقول: "إن صندوق الـ عشرة آلاف دولار قد تمت الموافقة عليه". الإنسان يعرف أن هذين التعبيرين هما نفس الشيء، لكن الذكاء الاصطناعي قد يرتبك ويقول: "لا أرى 10,000 دولار"، وبذلك يفقد المرادف. كما يختبر ما إذا كان الذكاء الاصطناعي يفهم الحدود (على سبيل المثال: "هل شخص عمره 39 عاماً مؤهل لفئة 'تحت سن الـ 40'؟").

4. الجدول (قارئ المخططات - Table)

الاختبار: المعلومات مخفية داخل جداول بيانات فوضوية، أو جداول HTML، أو ملفات CSV.
الاستعارة: تخيل جدولاً حيث الصفوف والأعمدة مدمجة معاً (مثل ورقة إكسل معقدة). يجب على الذكاء الاصطناعي العثور على رقم محدد في خلية هي جزء من كتلة مدمجة. هذا يشبه محاولة العثيد على مقعد محدد في مسرح حيث تغيب لوحات الممرات والصفوف مدمجة. الكثير من نماذج الذكاء الاصطناعي تضيع هنا.

5. الامتناع (اختبار الأمانة - Abstention)

الاختبار: يُسأل المساعد سؤالاً حيث لا تحتوي الوثائق على الإجابة، أو حيث تتعارض الوثائق مع بعضها البعض.
الاستعارة: تسأل: "ما هو اللون المفضل للمدير التنفيذي؟". الوثائق تتحدث فقط عن استراتيجية العمل الخاصة بالمدير التنفيذي. المساعد الجيد يجب أن يقول: "لا أعرف، الوثائق لا تذكر ذلك". أما المساعد السيئ فسيخترع لوناً (مثل "الأزرق") لمجرد أن يكون "مفيداً". يختبر هذا القسم ما إذا كان الذكاء الاصطناعي يعرف متى يصمت ويعترف بجهله.

النتائج: من اجتاز الاختبار؟

قام الباحثون بتشغيل هذا الاختبار على العديد من أذكى نماذج الذكاء الاصطناعي في العالم (مثل GPT-5، وClaude، وLlama، وQwen).

المفاجأة الكبرى: لم يحصل أي نموذج على درجة كاملة. في الواقع، لم يصل أي نموذج حتى إلى دقة 90%. حتى "أذكى" النماذج تعثرت في أنواع معينة من الألغاز.
نقاط الضعف:
- الرياضيات والمنطق: عانت العديد من النماذج مع الحسابات البسيطة أو فهم أن "10k" تعني "10,000".
- الجداول: كانت قراءة جداول البيانات الفوضوية كابوساً للجميع تقريباً.
- الأمانة: كانت بعض النماذج متحمسة جداً للإجابة (مما يؤدي للهلوسة)، بينما كانت نماذج أخرى خائفة جداً من الإجابة (ترفض الإجابة حتى عندما تملك الحقائق). وهذا ما يسمى بمشكلة "الإفراط في الامتناع" (Over-Abstention).

لماذا يهم هذا الأمر؟

فكر في LIT-RAGBench كأنه قائمة مراجعة لضبط الجودة للشركات.

إذا كنت شركة تحاول بناء "روبوت دردشة" لموظفيك، فلا يمكنك مجرد اختيار الذكاء الاصطناعي "الأكثر شهرة". أنت بحاجة لمعرفة:

"هل يرتبك هذا النموذج بسبب جداولنا المالية؟" (مهارة الجدول - Table skill)
"هل سيخترع حقائق إذا كانت البيانات مفقودة؟" (مهارة الامتناع - Abstention skill)
"هل يمكنه ربط النقاط عبر تقارير مختلفة؟" (مهارة التكامل - Integration skill)

الخلاة النهائية:
الذكاء الاصطناعي يصبح ذكياً للغاية، لكنه ليس مثالياً بعد. يوضح لنا هذا المعيار الجديد بدقة أين ينهار أداؤه. إنه يخبرنا أنه قبل أن نثق في الذكاء الاصطناعي لإدارة أعمالنا، نحتاج إلى إصلاح قدرته على قراءة المخططات، وإجراء العمليات الحسابية، ومعرفة متى يقول: "لا أعرف".

لقد جعل المؤلفون هذا الاختبار مفتوح المصدر، بحيث يمكن لأي شخص استخدامه لتدريب مساعدي ذكاء اصطناعي أفضل وأكثر موثوقية للعالم الحقيقي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LIT-RAGBench: تقييم قدرات المولد في النماذج اللغوية الكبيرة ضمن نظام التوليد المعزز بالاسترجاع (RAG)."

1. بيان المشكلة

يعد التوليد المعزز بالاسترجاع (RAG) إطار عمل بالغ الأهمية حيث يقوم "المولد" (النموذج اللغوي الكبير - LLM) بإنتاج الإجابات بناءً على المستندات التي يسترجعها "المسترجع" (Retriever). وبينما يعالج نظام RAG مشكلات مثل الهلوسة والمعلومات القديمة، فإن النشر العملي يتطلب من المولد امتلاك قدرات معقدة ومتعددة الأوجه في آن واحد. وتشمل هذه القدرات:

دمج الأدلة من مستندات متعددة.
إجراء استدلال متعدد الخطوات (multi-hop reasoning).
تفسير البيانات الجدولية المعقدة.
الحفاظ على الاتساق المنطقي رغم وجود عدم تطابق لفظي.
معرفة متى يجب الامتناع عن الإجابة عند غياب الأدلة أو وجود تناقضات.

الفجوة: تقوم المعايكات الحالية (مثل FRAMES وRAGBench وRGB) عادةً بتقييم هذه القدرات بشكل منعزل أو تفتقر إلى ظروف موحدة تحاكي التعقيد في العالم الحقيقي. لا يوجد معيار موحد يقيم تركيبات هذه القدرات (مثل الاستدلال على جدول ذي خلايا مدمجة) أو يقيس قدرة المولد على الامتناع عن الإجابة بشكل مناسب تحت ظروف موحدة.

2. المنهجية: LIT-RAGBench

يقترح المؤلفون LIT-RAGBench (معيار المنطق، التكامل، الجداول، الاستدلال، والامتناع في RAG)، وهو إطار عمل مصمم لتقييم قدرات المولد بشكل مستقل عن جودة الاسترجاع.

أ. فئات التقييم

يحدد المعيار خمس فئات أساسية، مقسمة إلى جوانب تقييم محددة:

التكامل (أساسي): يتطلب تركيب المعلومات من مصادر متعددة ( $2 \le |C^+| \le 3$ ).
الاستدلال (أساسي):
- متعدد الخطوات (Multi-hop): استنتاج نتائج غير مذكورة صراحة في مصدر واحد.
- الحساب العددي: اشتقاق المقاييس (الإجماليات، المتوسطات) دون صيغ صريحة.
المنطق (أساسي): حل التناقضات الدلالية/اللفظية بين الاستعلام والسياق.
- تفسير المرادفات: التعامل مع اختلافات الوحدات/المصطلحات (مثل "10 آلاف ين" مقابل "10,000 ين").
- الاشتمال العددي: الاستدلال على الحدود (مثل نطاقات العمر).
- الاشتمال المفاهيمي: العلاقات الهرمية (مثل "سماعات الأذن" هي "إلكترونيات").
الجدول (أساسي): استخراج البيانات من التنسيقات المهيكلة (HTML، Markdown، CSV)، بما في ذلك الحالات المعقدة مثل الخلايا المدمجة (rowspan/colspan).
الامتناع (استثنائي): تقييم قدرة النموذج على رفض الإجابة عندما:
- عدم كفاية الأدلة: عدم استرجاع أي قطع (chunks) ذات صلة.
- الأدلة المتناقضة: وجود مستندات مسترجعة متضاربة.
- القطع غير المكتملة: المعلومات المرتبطة دلاليًا مقسمة عبر حدود القطع.

ب. بناء مجموعة البيانات

الهيكل: تتكون مجموعة البيانات من 114 سؤالاً تم إنشاؤها بشرياً (54 سؤالاً باليابانية + 60 سؤالاً مشتقاً/مترجماً للإنجليزية).
التصميم: يستخدم كيانات خيالية (شركات، منتجات، أشخاص) لمنع النماذج من الاعتماد على المعرفة المسبقة.
التكوين: تم بناء الأسئلة لاختبار مجموعات أحادية أو ثنائية الفئات (مثل الاستدلال + الجدول).
العملية: نهج هجين يتضمن توليداً بمساعدة النماذج اللغوية الكبيرة يليه تنقيح وفلترة بشرية صارمة من قبل متحدثين أصليين للغة اليابانية لضمان الجودة والالتزام بجوانب التقييم.
التعامل مع المدخلات: للتخفيف من انحياز الموضع، يتم تغيير ترتيب القطع المسترجعة عشوائياً أثناء الإدخال.

ج. الإعداد التجريبي

النماذج التي تم تقييمها: مجموعة متنوعة من النماذج القائمة على واجهة برمجة التطبيقات (API) (سلسلة GPT-5، o3، o4-mini، Gemini-2.5، Claude-Sonnet-4) والنماذج مفتوحة الأوزان (Llama-3، Gemma-3، Qwen3).
مقياس التقييم: استخدام النموذج اللغوي كحكم (LLM-as-a-Judge) (باستخدام GPT-4.1) لتحديد الاتساق الدلالي بين الإجابة المولدة والإجابة المرجعية.
المقاييس: دقة كل فئة والدقة الإجمالية. كما تم تقديم مقياس خاص، وهو معدل الامتناع المفرط (Over-Abstention Rate)، لقياس النماذج التي ترفض الإجابة حتى عند وجود أدلة كافية.

3. النتائج الرئيسية

كشفت التجارب أن لا أحد من النماذج تجاوز دقة إجمالية بنسبة 90% في كل من مجموعتي البيانات اليابانية والإنجليزية.

أفضل المؤدين:
- حقق GPT-5 أعلى دقة إجمالية (0.872).
- من بين النماذج مفتوحة الأوزان، حقق Qwen3-235B-Instruct (0.859) و Qwen3-235B-Thinking (0.821) أفضل أداء.
- أظهرت النماذج الأصغر (مثل Llama-3.1-8B و Gemma-3-27B) أداءً أقل بكثير، خاصة في مهام الاستدلال والجداول.
رؤى خاصة بالفئات:
- الجدول: عانت النماذج بشكل كبير مع الجداول ذات الخلايا المدمجة والجداول الكبيرة المقسمة عبر القطع. حتى النماذج عالية الأداء غالباً ما فشلت في التعرف على الهيكل العام عند تغيير ترتيب القطع.
- الاستدلال: بينما برعت بعض النماذج (مثل o3) في الاستدلال متعدد الخطوات، فشلت العديد منها في الحسابات العددية، مما أدى إلى أخطاء حسابية في الخطوات المتوسطة.
- المنطق: فشلت النماذج بشكل متكرر في تحويل الوحدات والاستدلال على الحدود (مثل الإجابة بـ "500 ميجابايت" بدلاً من "0.5 جيجابايت").
- الامتناع:
  - أظهر Claude-Sonnet-4 أعلى دقة في مهام الامتناع ولكنه سجل أيضاً أعلى معدل امتناع مفرط (25.9%)، مما يشير إلى الميل لرفض الإجابات الصحيحة بسبب الحذر الزائد.
  - كما أظهرت النماذج الأصغر (مثل Llama-3.1-8B) امتناعاً مفرطاً (21.3%)، ويرجع ذلك على الأرجح إلى ضعف قدراتها الاستدلالية في الفئات الرئيسية.

4. المساهمات الرئيسية

معيار موحد: تقديم أول معيار يقيم بشكل منهجي تركيبات قدرات RAG (التكامل، الاستدلال، المنطق، الجدول، الامتناع) تحت ظروف موحدة، مما يسد الفجوة بين اختبار المهارات المنفردة والتعقيد في العالم الحقيقي.
جوانب تقييم واقعية: تحديد أنماط فشل محددة وعملية (مثل الخلايا المدمجة، القطع غير المكتملة، الأدلة المتناقضة) غالباً ما يتم تجاهلها في المعايكات السابقة.
مقياس الامتناع المفرط: قياس المقايضة بين السلامة (تجنب الهلوسة) والمنفعة (الإجابة الصحيحة)، مما كشف أن معدلات الامتناع العالية لا ترتبط دائماً بتحسين الأداء.
موارد مفتوحة: إتاحة مجموعة البيانات، والمطالبات (prompts)، والبرمجيات لتسهيل إعادة الإنتاج ومزيد من الأبحاث في تحسين RAG.

5. الأهمية

اختيار النماذج: يوفر LIT-RAGBench مقياساً دقيقاً لاختيار النموذج اللغوي المناسب لسيناريوهات نشر RAG محددة (على سبيل المثال، اختيار نموذج قوي في تحليل الجداول مقابل نموذج قوي في المنطق).
تحسين الأنظمة: تسلط النتائج الضوء على أن المعالجة المسبقة (مثل إعادة هيكلة الجداول، وإعادة ترتيب القطع) لا تقل أهمية عن اختيار النموذج، حيث تفشل حتى النماذج العليا عندما تكون البيانات مجزأة هيكلياً.
التوجه المستقبلي: يحدد المعيار أن النماذج الحالية تعاني مع التعقيد المركب (مثل الاستدلال على الجداول). ويشير إلى أن أنظمة RAG المستقبلية تتطلب تدريباً متخصصاً أو مناهج "RAG الوكيلية" (Agentic RAG) حيث يمكن للنماذج التخطيط ذاتياً لخطوات الاسترجاع والاستدلال للتعامل مع هذه المهام المتداخلة.
السلامة مقابل المنفعة: تحذر النتائج المتعلقة بالامتناع المفرط المطورين من أن تحسين "السلامة" (تجنب الهلوسة) يمكن أن يؤدي دون قصد إلى تدهور فائدة النظام من خلال التسبب في فقدان الإجابات الصحيحة.