EnterpriseRAG: Benchmarking LLM Instruction Adherence and Robustness under Non-Ideal Enterprise Retrieval
تقدم الورقة البحثية EnterpriseRAG، وهو معيار شامل يتكون من 983 عينة تم التحقق منها من قبل خبراء عبر ستة مجالات، والذي يكشف عن "فجوة تنسيق" حرجة في أنظمة التوليد المعزز بالاسترجاع (RAG) في المؤسسات، مظهرًا أنه بينما غالبًا ما تستوفي النماذج اللغوية الكبيرة القيود الفردية، فإن التزامها بالتعليمات الشاملة ينهار بشكل كبير في ظل ظروف الإنتاج الواقعية التي تنطوي على استرجاع مشوش، وفجوات معرفية، وتضاربات واقعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يكون مساعداً مفيداً. تعطي هذا الروبوت مكتبة من الكتب (قاعدة معرفته) وتطلب منه الإجابة على سؤال ما. يذهب الروبوت إلى المكتبة، ويأخذ بضع صفحات، يقرؤها، ثم يكتب إجابة. يُسمى هذا RAG (التوليد المعزز بالاسترجاع). الأمر يشبه طالباً يؤدي اختباراً يعتمد على الكتاب المفتوح: ليس عليه حفظ كل شيء، لكن عليه العثور على الصفحة الصحيحة وقراءتها بعناية للحصول على الإجابة الصحيحة.
لكن هنا تكمن المشكلة: في العالم الحقيقي، المكتبات فوضوية. أحياناً يلتقط الروبوت صفحات لا علاقة لها بالسؤال (ضجيج). وأحياناً لا تحتوي الكتب على الإجابة على الإطلاق (فجوة معرفية). وأحياناً أخرى، تقول كتابان مختلفان أشياء متناقضة حول نفس الحقيقة (تعارض). معظم الاختبارات التي تُجرى لهذه الروبوتات تفترض أن المكتبة مثالية والأسئلة بسيطة، مثل "ما هي عاصمة فرنسا؟". لكن الحياة الواقعية تشبه طلب شيء مثل: "لخص الإيرادات للربع الأخير في جدول، ولكن إذا كانت البيانات مفقودة، قل 'لا أعرف' بدلاً من التخمين، وإذا اختلف تقريران، اذكر كلاهما".
هنا تصبح الأمور معقدة. نحن نريد من مساعدي الروبوت أن لا يكتفوا بإيجاد الحقائق فح فقط، بل أن يتبعوا قواعد صارمة، ويعترفوا عندما يتعثرون، ويتعاملوا مع المواقف الفوضوية دون اختلاق أمور من خيالهم. إذا لم يستطع الروبوت فعل ذلك، فقد يقدم إجابة واثقة ولكن خاطئة، مما قد يكون كارثياً لشركة تحاول اتخاذ قرارات مهمة.
فشل "المتابعة" الكبير
قام فريق من الباحثين من "جيوتيان ريسيرش" التابعة لشركة "تشاينا موبايل" ببناء اختبار جديد أكثر صرامة يسمى EnterpriseRAG ليرى مدى قدرة روبوتات الذكاء الاصطناعي هذه على التعامل فعلياً مع فوضى العالم الحقيقي. فكر في هذا الاختبار كأنه "اختبار جهد" للذكاء الاصطناعي، مصمم ليرى ما إذا كان بإمكانهم الحفاظ على هدوئهم عندما تكون التعليمات معقدة والمعلومات التي يجدونها مكسورة أو متضاربة.
لقد أنشأوا 983 سيناريو معقداً عبر ستة مجالات مختلفة، مثل الطاقة، والطب، والقانون، والتمويل. في هذه السيناريوهات، لم يكتفوا بطرح أسئلة بسيطة؛ بل أعطوا الروبوتات تعليمات معقدة ذات قواعد متعددة، مثل "استخدم جدولاً"، "لا تخمن"، "اذكر مصادرك"، و"إذا رأيت تناقضاً، أخبرني به". ثم تعمدوا إفساد المعلومات التي يجدها الروبوتات: أضافوا حشواً غير ذي صلة، أو أزالوا الإجابة تماماً، أو زرعوا تناقضات وهمية.
الاكتشاف الكبير: "فجوة التنسيق"
كانت النتائج صادمة نوعاً ما. عندما تحقق الباحثون مما إذا كان بإمكان الروبوتات اتباع قواعد فردية، فقد أبلت بلاءً حسناً. في حوالي 84% من الحالات، كان الروبوت يطبق قاعدة واحدة بشكل صحيح، مثل استخدام التنسيق الصحيح أو ذكر المصدر. كان الأمر يشبه طالباً يحل كل خطوة رياضية بشكل صحيح ولكنه ينسى كتابة النتيجة النهائية.
ومع ذلك، عندما تحققوا مما إذا كانت الروبوتات تتبع جميع القواعد في وقت واحد، انخفضت النتيجة لتصل إلى 27% فقط. يطلق الباحثون على هذا اسم فجوة تنسيق (Orchestration Gap) قدرها 57 نقطة. اتضح أن نماذج الذكاء الاصطنا هذه بارعة في القيام بشيء واحد في كل مرة، لكنها تنهار عندما يتعين عليها إدارة تعليمات معقدة متعددة في آن واحد. فقد يضبطون التنسيق بشكل صحيح ولكنهم يخترعون حقيقة ما، أو قد يجدون الإجابة الصحيحة ولكنهم ينسون قول "لا أعرف" عندما تكون البيانات مفقودة.
فخ "المساعدة"
أحد أكثر النتائج إثارة للاهتمام هو كيفية تعامل الروبوتات مع المواقف التي لا توجد فيها الإجابة في الكتب. البشر يعرفون أنه إذا كنت لا تعرف شيئاً، فيجب أن تقول "لا أعرف". لكن روبوتات الذكاء الاصطناعي هذه لديها "تحيز للمساعدة" قوي. فهي ترغب حقاً في أن تكون مفيدة، لذا عندما لا تجد الإجابة، غالباً ما تخترع واحدة من عندها.
في الاختبار، عندما كانت المعلومات مفقودة، رفضت الروبوتات الإجابة بشكل صحيح في حوالي 42.7% فقط من الحالات (مع أفضل نموذج وهو Claude-Opus-4.5). وفي 57.3% من الحالات الأخرى، قامت بالتخمين بثقة أو اخترعت إجابات (هلوسة). وهذا أمر خطير لأن الإجابة الخاطئة الواثقة غالباً ما تكون أسوأ من عدم وجود إجابة على الإطلاق.
التفكير يساعد، لكنه ليس عصا سحرية
اختبر الباحثون أيضاً نماذج "الاستدلال" (Reasoning models)—وهي نماذج ذكاء اصطناعي تأخذ لحظة لـ "التفكير" قبل الإجابة، تماماً مثل طالب يتوقف قليلاً لحل مسألة صعبة. كانت هذه النماذج أفضل من النماذج القياسية. على سبيل المثال، كانت أفضل بكثير في اكتشاف متى تتعارض وثيقتان. استطاع أفضل نموذج استدلال رصد التناقضات في حوالي 44.3% من الحالات، بينما كانت النسب في النماذج الأخرى أقل بكثير.
ومع ذلك، حتى نماذج "التفكير" لم تكن مثالية. فقد ظلت تعاني في اتباع جميع القواعد في وقت واحد، وظلت أحياناً تخمن عندما كان ينبغي لها الاعتراف بالهزيمة. تشير الورقة البحثية إلى أن مجرد جعل الذكاء الاصطناعي "يفكر" بعمق أكبر ليس كافياً لحل المشكلة؛ بل تحتاج الروبوتات إلى تدريب أفضل على كيفية الحكم على ما إذا كان لديها معلومات كافية، وكيفية اتباع البروتوكولات المعقدة دون ارتباك.
الخلاصة
لا تدعي الورقة البحثية أن الذكاء الاصطناعي معطل للأبد، لكنها تظهر أننا نبالغ في تقدير مدى جاهزية هذه الأنظمة للوظائف الجادة في العالم الحقيقي. مجرد قدرة الذكاء الاصطناعي على كتابة قصيدة أو الإجابة على سؤال بسيط لا يعني أنه يستطيع التعامل مع مهمة تجارية معقدة ببيانات فوضوية وقواعد صارمة. لجعل هذه الأنظمة موثوقة، نحتاج إلى التوقف عن اختبارها في بيئات نظيفة ومثالية، والبدء في اختبارها في العالم الفوضوي، المليء بالضجيج والتناقضات الذي سيتعين عليها العيش فيه فعلياً. وحتى نتمكن من سد فجوة الـ 57 نقطة تلك، يجب أن نكون حذرين جداً بشأن ترك هذه الروبوتات تتخذ قرارات مهمة بمفردها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.