💬 NLP

ENTLORE: A Graph-Grounded Benchmark for Latent Organizational Reasoning in Enterprise Question Answering

تقدم هذه الورقة ENTLORE، وهو معيار قائم على الرسوم البيانية يقيم أنظمة الإجابة على الأسئلة في المؤسسات بناءً على قدرتها على إجراء الاستدلال التنظيمي الكامن من خلال إعادة بناء عوالم مؤسسية مدققة من الوثائق الروتينية لاختبار استعادة العلاقات الضمنية بما يتجاوز مجرد استرجاع الحقائق البسيطة.

المؤلفون الأصليون: Akrin Zheng, Alexander Wu, Alaia Liu

نُشر 2026-08-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Akrin Zheng, Alexander Wu, Alaia Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز داخل مكتبة ضخمة وفوضوية. هذه ليست مجرد مكتبة عادية؛ إنها "عقل" شركة ضخمة، مليئة بالملايين من الوثائق مثل رسائل البريد الإلكتروني، وتقارير المشاريع، وملاحظات الاجتماعات، والجداول البيانات. في عالم الذكاء الاصطناعي (AI)، هناك لعبة شهيرة تسمى "الإجابة على الأسئلة" (Question Answering). عادةً، يتم إعطاء الذكاء الاصطناعي سؤالاً ومجموعة من الوثائق، وتكون مهمته هي العثور على الجملة المحددة التي تحتوي على الإجابة. فكر في الأمر كأنه لعبة "أنا أرى" (I Spy) حيث تكون الإجابة مخبأة في وضح النهار، تنتظر من يلتقطها.

لكن الحياة الواقعية في الشركات أكثر فوضوية من مجرد لعبة. غالباً، لا تكون الإجابة على السؤال مكتوبة في جملة واحدة. بدلاً من ذلك، تختبئ الحقيقة في العلاقات بين الوثائق المختلفة. ربما تقول رسالة بريد إلكتروني واحدة "أليس عملت على الوحدة X"، ويقول تقرير آخر "الوحدة X جزء من المشروع Y"، لكن لا توجد وثيقة واحدة تقول صراحةً "أليس عملت على المشروع Y". للعثور على الإجابة، يجب على الذكاء الاصطناعي أن يربط النقاط بنفسه، مستخدماً القواعد غير المرئية لكيفية تنظيم الشركة. هذه الورقة البحثية، التي كتبها باحثون في ScitiX.ai، تدور حول تعليم الحواسيب كيفية القيام بهذا النوع من العمل التحقيقي، بدلاً من كونها جيدة فقط في العثور على الكلمات.

المشكلة: فخ "الحقيقة الخفية"

معظم معايير قياس الذكاء الاصطناعي (الاختبارات) تشبه رحلة البحث عن الكنز حيث تكون الخريطة مرسومة بالفعل. يقوم واضعو الاختبار بكتابة سؤال، ثم يتأكدون من أن الإجابة مكتوبة صراحة في الوثائق التي يقدمونها للذكاء الاصطناعي. الأمر يشبه سؤال: "ما لون الكرة الحمراء؟" ومن ثم تقديم صورة لكرة حمراء للذكاء الاصطناعي. كل ما عليه فعله هو العثور على كلمة "حمراء".

يجادل مؤلفو هذه الورقة بأن هذا سهل للغاية ولا يعكس كيف تعمل الشركات في الواقع. في العالم الحقيقي، قد تُذكر "الكرة الحمراء" في ملف واحد، وقد تكون حقيقة أنها "كرة" في ملف آخر، لكن الربط بينهما لا يُذكر أبداً. يجب على الذكاء الاصطناعي أن يستنتج أن "الوحدة X" تنتمي إلى "المشروع Y" بناءً على كيفية هيكلة الشركة، حتى لو لم تذكر أي وثيقة ذلك صراحةً. يطلق الباحثون على هذه المهارة المفقودة اسم الاستدلال التنظيمي الكامن (Latent Organizational Reasoning). وهي القدرة على استنتاج القواعد غير المرئية للمؤسسة من النواتج الجانبية الفوضوية للعمل اليومي.

الحل: ENTLORE، "رسم بياني للحقيقة"

لاختبار ما إذا كان بإمكان الذكاء الاصطناعي القيام بذلك حقاً، بنى الفريق معياراً جديداً يسمى ENTLORE. تخيل أنهم أخذوا التاريخ الرقمي الكامل لشركة حقيقية خاصة — آلاف الوثائق، والرسوم البيانية التنظيمية، وسجلات العمليات — وبنوا "رسمًا بيانياً للحقيقة" (Truth Graph) ضخماً وسرياً خلف الكواليس. هذا الرسم البياني يشبه مخططاً رئيسياً يعرف بالضبط كيف يتصل كل شخص وكل مشروع وكل وحدة ببعضها البعض، بناءً على قواعد صارمة ومدققة.

بعد ذلك، أنشأوا "عالماً مُعلناً" ليلعب فيه الذكاء الاصطناعي. يحتوي هذا العالم المعلن على نفس الوثائق، ولكن تم تغيير جميع الأسماء لحماية الخصوصية (مثل تحويل "أليس" إلى "الموظف رقم 42" و"المشروع ألفا" إلى "المشروع بيتا"). والأهم من ذلك، أن الذكاء الاصطناعي لا يمكنه رؤية "رسم الحقيقة" السري؛ فهو يرى فقط الوثائق المجهولة والفوضوية.

قام الفريق بعد ذلك بطرح 907 سؤالاً، وقسموا هذه الأسئلة إلى ثلاثة مستويات من الصعوبة:

المستوى 1 (البحث عن المعلومة): الإجابة موجودة هناك في وثيقة واحدة. (مثلاً: "من هو مدير المشروع بيتا؟")
المستوى 2 (التركيب): تتطلب الإجابة قراءة وثيقتين ودمج الحقائق. (مثلاً: "من يدير الفريق الذي بنى الوحدة X؟")
المستوى 3 (الاستدلال الكامن): تتطلب الإجابة ربط نقاط ليست مرتبطة صراحةً. (مثلاً: "من المسؤول عن النجاح العام للمشروع بيتا؟" — رغم أنه لا توجد وثيقة تقول "الموظف رقم 42 مسؤول عن المشروع بيتا"، إلا أن رسم الحقيقة يعرف ذلك لأنه أدار الوحدة الموجودة بداخله.)

النتائج: الذكاء الاصطناعي جيد في القراءة، سيء في الربط

اختبر الباحثون 8 نماذج مختلفة للذكاء الاصطناعي باستخدام طرق متنوعة، من البحث البسيط عن الكلمات إلى أنظمة "الوكلاء" المعقدة التي يمكنها تصفح الوثائق مثل البشر. وإليكم ما وجدوه:

1. "الحقيقة الخفية" صعبة العثور عليها
عندما كانت الإجابة مكتوبة صراحة في الوثائق (المستويان 1 و2)، أدت نماذج الذكاء الاصطناعي أداءً جيداً إلى حد ما. ولكن عندما واجهت المستوى 3 (الاستدلال الكامن)، انخفض الأداء بشكل كبير. حتى أفضل النماذج لم تصب سوى حوالي 36.2% من هذه الأسئلة الصعبة.

2. الهيكل أهم من السرعة
جرب الباحثون طرقاً مختلفة لمساعدة الذكاء الاصطناعي في العثور على المعلومات.

البحث البسيط (BM25): مجرد البحث عن الكلمات المتطابقة. كان هذا جيداً بشكل مفاجئ.
البحث الكثيف (Flat RAG): استخدام رياضيات متقدمة للعثور على أفكار متشابهة. كان هذا في الواقع أسوأ من البحث البسيط.
الأنظمة القائمة على الرسوم البيانية (GraphRAG): تحاول هذه الأنظمة بناء خريطة من الروابط بين الوثائق قبل الإجابة. وقد تبين أنها النهج الأقوى، حيث تفوقت على غيرها في المتوسط. وهذا يشير إلى أن الذكاء الاصطناعي يحتاج إلى فهم هيكل الشركة، وليس فقط الكلمات.

3. حتى مع وجود "الوثائق الذهبية"، يفشل الذكاء الاصطناعي
الاكتشاف الأكثر صدمة جاء عندما أعطى الباحثون الذكاء الاصطناعي "الوثائق الذهبية" — وهي الملفات الدقيقة اللازمة للإجابة، متجاوزين عملية البحث بالكامل.

بالنسبة للأسئلة السهلة (المستوى 1)، أجاب الذكاء الاصطناعي على كل شيء تقريباً بشكل صحيح.
بالنسبة للأسئلة المتوسطة (المستوى 2)، ظل يؤدي بشكل جيد.
ولكن بالنسبة للأسئلة الكامنة الصعبة (المستوى 3)، كانت 30.4% من الإجابات خاطئة، رغم أن الذكاء الاصطناعي كان يمتلك الوثائق المثالية أمامه!

هذا يعني أن المشكلة ليست فقط في أن الذكاء الاصطناعي لا يستطيع إيجاد الملف الصحيح؛ بل في أنه لا يستطيع الاستدلال عبر القواعد التنظيمية غير المرئية حتى عندما يمتلك كل الأدلة. الأمر يشبه إعطاء محقق صور مسرح الجريمة، ومع ذلك فشله في إدراك أن الخادم والبستاني هما في الواقع نفس الشخص لأن الصور لا تقول ذلك صراحة.

لماذا يهم هذا

تخلص الورقة البحثية إلى أنه لا يمكننا فقط بناء محركات بحث أفضل للشركات. نحن بحاجة إلى ذكاء اصطناعي يمكنه فهم "روح" المؤسسة — القواعد غير المعلنة، والتسلسل الهرمي للمشاريع، والروابط الخفية. يثبت ENTLORE أن الذكاء الاصطناعي الحالي لا يزال يعاني من هذا الأمر. إنه بارع في قراءة ما هو مكتوب، لكنه لا يزال يتعلم كيفية التفكير فيما هو ضمني.

لقد جعل الباحثون بياناتهم وأكوادهم متاحة للجمهور حتى يتمكن علماء آخرون من محاولة حل هذا اللغز. وإلى أن يتمكن الذكاء الاصطناعي من إتقان هذا "الاستدلال التنظيمي الكامن"، فسيظل دائماً يشبه موظفاً جديداً يعرف كيف يقرأ دليل الموظف، لكنه لا يفهم بعد كيف تسير الأمور فعلياً داخل الشركة.

ملخص تقني: ENTLORE – معيار قائم على الرسوم البيانية للاستدلال التنظيمي الكامن

بيان المشكلة

يتم تأطير الإجابة على الأسئلة في المؤسسات (Enterprise QA) تقليديًا كمهام استرجاع، حيث تحدد الأنظمة الوثائق الداخلية لتوليد إجابات مستندة إلى أدلة. ومع ذلك، فإن السجلات المؤسسية الروتينية غالبًا ما تكون نواتج عمل (work-by-products) وليست أوصافًا مكتملة بذاتها مصممة للاستعلام المستقبلي. وبناءً على ذلك، تظل العديد من العلاقات التنظيمية الحرجة — مثل نطاقات المشاريع، أو توافقات الأسماء المستعارة، أو مسؤوليات مسارات العمل — ضمنية عبر مصادر متباينة.

لقد حسنت المعايسات الحالية (مثل TechQA و EKRAG و MultiDoc2Dial) التقييم متعدد المصادر، لكنها عادة ما تجسد الأدلة وفق مسار استدلال محدد مسبقًا. في هذه الإعدادات، تكون كل خطوة مطلوبة مذكورة صراحة في المتن، مما يختبر قدرة النظام على استرجاع وتركيب الحقائق المذكورة بدلاً من استعادة علاقة مستهدفة غائبة عن النص. تحدد هذه الورقة فجوة في التقييم الحالي: عدم القدرة على تقييم الاستدلال التنظيمي الكامن، والذي يُعرف بالقدرة على استعادة والاستدلال على العلاقات التنظيمية التي ليست مذكورة صراحة في أي وثيقة منشورة، ولكن يمكن اشتقاقها من الهيكل التنظيمي الأساسي.

المنهجية: إطار عمل ENTLORE

يقدم المؤلفون ENTLORE، وهو إطار عمل لبناء معيار قائم على الرسوم البيانية (graph-grounded) مصمم لتقييم قدرة الاستدلال الكامن هذه دون كشف الحقيقة الأرضية للأنظمة التي يتم تقييمها. يعمل الإطار عبر أربع مراحل:

إعادة بناء رسم الحقيقة المدقق ( $G_{truth}$ ):
- يعيد النظام بناء رسم بياني خام ( $G_{raw}$ ) من الوثائق الروتينية، والجداول التنظيمية الموثوقة، والآثار التشغيلية.
- يتم تطبيق نسخة مكتبية من الأعراف التنظيمية (قواعد استدلال خاصة ومصنفة) للمصادقة على العلاقات المستمدة. على سبيل المثال، قد تستنتج قاعدة ما أن شخصًا ما يعمل في مشروع إذا كان يعمل في وحدة (module) تابعة لذلك المشروع.
- يفصل الرسم البياني للحقيقة الناتج بين الحقائق الأصلية، والبيانات الوصفية، والارتباطات الاستدلالية، والعلاقات المستمدة المعتمدة.
إسقاط المتن مع الحفاظ على الخصوصية:
- يقوم مخطط تعمية مشترك ( $\phi$ ) بإسقاط العالم الخاص إلى متن وثائق منشورة ( $D_{release}$ ).
- تقوم هذه العملية بإعادة تسمية الكيانات وتغيير التواريخ بشكل متسق مع الحفاظ على التنظيم النسبي، والنوع الأدبي، وكثافة المعلومات.
- من الأهمية بمكان أن $D_{release}$ لا يحتوي على أي تصريحات صريحة للعلاقات المستهدفة. تظل السجلات التنظيمية الخاصة، وقواعد المصادقة، ورسم الحقيقة مخفية عن الأنظمة التي يتم تقييمها.
بناء الأسئلة وتفكيك القدرات:
- يتم إنشاء الأسئلة عبر مؤثرات رسوم بيانية مصنفة تأخذ عينات من $G_{truth}$ ، وتنفذ استعلامات، وتسجل تبعات الإثبات.
- يصنف المعيار 907 سؤالاً إلى ثلاثة مستويات من الصعوبة بناءً على توفر الأدلة:
  - L1 (البحث المباشر): الإجابة مذكورة صراحة في وثيقة واحدة منشورة.
  - L2 (التركيب المباشر): تتطلب الإجابة تركيب حقائق مذكورة صراحة عبر مصادر متعددة منشورة.
  - L3 (الاستدلال التنظيمي الكامن): العلاقة المستهدفة لا تظهر في أي مصدر من المصادر المنشورة. هي موجودة فقط في $G_{truth}$ ويجب استعادتها عبر استنتاج الهياكل التنظيمية الضمنية من الملاحظات الموزعة.
التحقق:
- يتم التحقق من كل سؤال لضمان أن البرنامج البياني يعيد إجابة فريدة وكاملة مع استدلالات معتمدة.
- بالنسبة لعناصر L3، يؤكد مسح شامل للمتن المنشور أن العلاقة المستهدفة غائبة عن جميع أسماء الكيانات المستعارة في المتن.

المساهمات الرئيسية

صياغة الاستدلال التنظيمي الكامن: تُعرف الورقة قدرة جديدة حيث يجب على الأنظمة دمج الحقائق الأرضية المتباينة لاستعادة العلاقات التنظيمية المحددة التي لم تُذكر صراحة.
بناء رسم الحقيقة المدقق: إطار عمل لبناء معيار من وثائق مؤسسية حقيقية وجداول موثوقة، مع الفصل بين الحقائق الأصلية والعلاقات المستمدة المعتمدة.
معيار ENTLORE: مجموعة بيانات تحتوي على 2,341 وثيقة و907 سؤالاً (469 من نوع L1، و204 من نوع L2، و234 من نوع L3) تم تقييمها عبر 56 تكويناً للنماذج وطرق الوصول.
تقييم نماذج الوصول: مصفوفة شاملة تقارن بين الكتب المغلقة، والاسترجاع المعجمي (BM25)، والاسترجاع الكثيف المسطح (RAG)، والمسارات الوكيلية (agentic pipelines)، والنهج القائم على الرسوم البيانية (GraphRAG، و LLM Wiki) مقابل تحدي الاستدلال الكامن.

النتائج التجريبية

يمتد التقييم ليشمل ثمانية نماذج (بما في ذلك GPT-5.4، و Claude-Sonnet، و Qwen، و DeepSeek) وسبعة ظروف وصول.

الأداء على الأدلة الصريحة (L1/L2): تؤدي الأنظمة بشكل معقول في عمليات البحث والتركيب الصريح. تشكل GraphRAG و BM25 و LLM-compiled Wiki الطبقة العليا، حيث تتراوح دقتها بين ~50% و 63%. أما RAG المسطح والبحث الوكيلي فيؤديان بشكل أقل من هذه القواعد الهيكلية أو المعجمية.
الأداء على الاستدلال الكامن (L3): ينخفض الأداء بشكل كبير عبر جميع التكوينات.
- تحقق GraphRAG أعلى متوسط دقة لـ L3 بنسبة 36.2%، تليها BM25 بنسبة (34.0%)، ثم LLM Wiki بنسبة (27.7%).
- يؤدي Flat RAG (18.9%) والبحث الوكيلي (13.5%) أداءً ضعيفًا، مما يشير إلى أن التفاعل التكراري دون الاستقراء الهيكلي لا يساعد في استعادة العلاقات الكامنة.
- الفجوة في الأداء غير متجانسة للغاية؛ حيث تتفوق GraphRAG بشكل كبير على BM25 في مهام "نسب القسم" (Department attribution)، لكنها تظهر تفوقًا أقل في مهام "نسب الاحتواء" (Containment attribution).
بقايا الوثيقة الذهبية: حتى عندما يتم تزويد الأنظمة بالوثائق "الذهبية" الدقيقة التي تحتوي على جميع الأدلة اللازمة (عبر وكيل أوراكل، $\Omega$ )، تظل 30.4% من أسئلة L3 دون إجابة. مقارنة بـ 12.6% لـ L1 و 6.2% لـ L2. تشير هذه البقايا إلى أن الفشل ليس مجرد بسبب استرجاع الوثائق (الاستدعاء) بل ينبع من عدم القدرة على إجراء الاشتقاق التنظيمي اللازم حتى مع وجود جميع المقدمات.
دقة الإصدار: أظهر تحليل لـ 176 عنصرًا مقترنًا بين العالم الخاص والعالم المنشور أنه بينما يتم الحفاظ على التصنيف الخشن لتكوينات الأوراكل، فإن الترتيب الدقيق للأنظمة القابلة للنشر يتغير (Spear Spearman's $\rho = 0.71$ ، $p=0.06$ ). تخلص الورقة إلى أن الإصدار صالح للمقارنات على مستوى المجموعات، ولكنه مؤقت للمقارنات الدقيقة، خاصة للطرق المعجمية الحساسة لسطوح النص المجهولة.

الأهمية والادعاءات

تدعي الورقة أن الإجابة على الأسئلة في المؤسسات لا تعتمد فقط على استرجاع الوثائق، بل تعتمد بشكل حاسم على ما إذا كانت العلاقات التنظيمية الضمنية تصبح قابلة للاستخدام.

ما وراء الاسترجاع: تثبت النتائج أن توفير الوثائق الذهبية لا يحل مشكلة الاستدلال الكامن. "تحدي العلاقة الكامنة" يستمر حتى عند القضاء على أخطاء الاسترجاع.
الهيكل ككائن من الدرجة الأولى: تشير النتائج إلى أن أنظمة المؤسسات يجب أن تعامل المنظمة الكامنة خلف الوثائق ككائن استدلال من الدرجة الأولى، حيث تستعيد العلاقات المصنفة عبر المصادر وتحافظ على المصدر من خلال الاستدلال متعدد الخطوات.
فائدة المعيار: يوفر ENTLORE منصة اختبار لقياس التقدم في الاستدلال التنظيمي دون اختزال المهمة في مجرد استرجاع الوثائق. ومن خلال إبقاء حقيقة المعيار خاصة مع بقاء مقدماته قابلة للتدقيق، فإنه يسمح بتقييم الأنظمة القادرة على الاستدلال على الهياكل الضمنية.

يظل المؤلفون متواضعين بشأن دقة الإصدار، مشيرين إلى أنه بينما يحافظ المعيار على السلوك المقارن للمجموعات العريضة، فإن الترتيب المحدد للأنظمة القابلة للنشر قد يختلف بسبب حساسية الاسترجاع المعجمي للنصوص المجهولة. ويؤكدون أن هذا المعيار هو خطوة نحو تقييم الأنظمة القادرة على التعامل مع الطبيعة "الناتجة عن العمل" لبيانات المؤسسات الحقيقية.