🤖 AI

Evergreen: Efficient Claim Verification for Semantic Aggregates

يُعد Evergreen نظاماً فعالاً يتحقق من الادعاءات التي يحتمل كونها هلوسات في التجمعات الدلالية عبر تجميعها في استعلامات تصريحية يتم تنفيذها على المحرك نفسه، مستفيداً من تحسينات مخصصة وأصل المصدر القائم على الحلقات شبه المدارية (semiring-based provenance) لتحقيق دقة عالية مع تقليل التكلفة وزمن الاستجابة بشكل كبير مقارنة بالنماذج المرجعية الحالية.

المؤلفون الأصليون: Alexander W. Lee, Benjamin Han, Shayak Sen, Sam Yeom, Ugur Cetintemel, Anupam Datta

نُشر 2026-04-30

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Alexander W. Lee, Benjamin Han, Shayak Sen, Sam Yeom, Ugur Cetintemel, Anupam Datta

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً جداً، ولكنه واثق من نفسه أكثر من اللازم (ذكاء اصطناعي)، يقرأ آلاف تقييمات المطاعم ويكتب لك ملخصاً. قد يقول المساعد: "الجميع أحب سلطة الدجاج!" أو "لم يذكر أحد الخيارات النباتية".

المشكلة؟ قد يكون المساعد يهلوس. قد يكون قد خمن فقط، أو ربما أغفل بعض التقييمات التي تقول عكس ذلك. والتحقق مما إذا كان المساعد يقول الحقيقة أمر صعب لأن:

هناك الكثير من التقييمات لقراءتها جميعاً في وقت واحد (فهي لا تتسع في "ذاكرة" الذكاء الاصطناعي).
الذكاء الاصطناعي سيء في العد والمنطق (على سبيل المثال: "هل أحب معظم الناس الخدمة؟").
قراءة كل تقييم على حدة للتحقق من الحسابات عملية بطيئة ومكلفة للغاية.

إليك "إيفرجرين" (Evergreen).

فكر في "إيفرجرين" كـ نظام فحص حقائق فائق الكفاءة يعامل ملخص الذكاء الاصطناعي كمسألة رياضية وليس كمحادثة. بدلاً من مطالبة الذكاء الاصطناعي بـ "التفكير بعمق" في مجموعة البيانات بأكملها، يقوم "إيفرجرين" بتفكيك الملخص إلى أسئلة منطقية صغيرة وحلها باستخدام مزيج من الاختصارات الذكية ونهج "قائمة التحقق".

إليك كيف يعمل، باستخدام بعض التشبيهات من الحياة اليومية:

1. "قائمة تحقق المحقق" (تحويل الادعاءات إلى استعلامات)

عندما يقول الذكاء الاصطنا: "معظم الناس أحبوا الخدمة"، فإن "إيفرجرين" لا يسأل الذكاء الاصطناعي ببساطة: "هل هذا صحيح؟". بدلاً من ذلك، يترجم تلك الجملة إلى استعلام منطقي صارم، مثل قائمة تحقق المحقق:

الخطوة 1: ابحث عن جميع التقييمات التي تذكر "الخدمة".
الخطوة 2: احسب عدد التقييمات الإيجابية.
الخطوة 3: هل هذا العدد أكبر من 50%؟

من خلال تحويل الجملة الغامضة إلى مجموعة من الخطوات الصارمة، يمكن لـ "إيفرجرين" استخدام محرك قاعدة بيانات (وهو بارع في العد والفرز) للقيام بالعمل الشاق، مع استدعاء الذكاء الاصطناعي فقط عند الضرورة لفهم معنى تقييم معين.

2. "الاختصارات الذكية" (التحسينات)

توضح الورقة البحثية أن "إيفرجرين" سريع وغير مكلف لأنه يستخدم ثلاث "حيل" رئيسية لتجنب القيام بعمل غير ضروري:

التوقف المبكر (قاعدة "توقف عند أول دليل"):
إذا كان الادعاء هو "شخص واحد على الأقل اشتكى"، يقوم "إيفرجرين" بمسح التقييمات. وبمجرد العثور على شكوى واحدة، يتوقف فوراً. فهو ليس بحاجة لقراءة الـ 1,000 تقييم الأخرى ليعرف أن الادعاء صحيح. وعلى العكس، إذا كان الادعاء هو "لا أحد اشتكى"، فسيستمر في المسح حتى يجد شكوى واحدة تثبت خطأ الادعاء، أو حتى يتأكد إحصائياً من عدم وجود أي شكوى. هذا يوفر كميات هائلة من الوقت عبر عدم قراءة الكتاب كاملاً إذا كانت الإجابة موجودة في الصفحة العاشرة.
فرز الصلة (حيلة "الملفات ذات الصلة أولاً"):
تخيل أنك تبحث عن إبرة محددة في كومة قش. بدلاً من الحفر عشوائياً، يستخدم "إيفرجرين" مغناطيساً لجذب أكثر الإبر احتمالاً إلى أعلى الكومة أولاً. إنه يقوم بفرز التقييمات بحيث يتم فحص تلك التي من المرجح أن تحتوي على الإجابة (مثل التقييمات التي تحتوي على كلمة "شكوى") أولاً. هذا يجعل حيلة "التوقف المبكر" تعمل بشكل أسرع.
تسلسلات الثقة (لعبة التخمين الإحصائي):
في بعض الأحيان، لا تحتاج إلى فحص كل التقييمات لمعرفة الإجابة. يستخدم "إيفرجرين" طريقة إحصائية تسمى "تسلسلات الثقة". تخيل أنك تتذوق الحساء لترى ما إذا كان مالحاً بما يكفي. لست بحاجة لشرب الوعاء بأكمله؛ تحتاج فقط لتذوق بضع ملاعق لتكون متأكداً بنسبة 9% من النتيجة. "إيفرجرين" يتذوق بضع تقييمات، ويتحقق من الحسابات، وإذا كانت النتيجة واضحة، يتوقف. وإذا كانت الحسابات لا تزال غير واضحة، فإنه يأخذ بضع "ملاعق" أخرى. هذا يتجنب إضاعة المال في قراءة تقييمات لا تغير النتيجة النهائية.

3. "الإيصال" (الاقتباسات والمصدر)

عندما يقول "إيفرجرين" "صحيح" أو "خطأ"، فهو لا يعطي مجرد إجابة بنعم أو لا. بل يقدم إيصالاً.

إذا كان الادعاء صحيحاً، فإنه يظهر لك التقييمات الدقيقة التي أثبتت ذلك (على سبيل المثال: "إليك التقييمات الثلاثة حيث قال الناس إنهم أحبوا السلطة").
إذا كان الادعاء خاطئاً، فإنه يظهر لك التقييمات الدقيقة التي أثبتت خطأه.

هذا يشبه معلم الرياضيات الذي يوضح خطوات الحل. إنه يستخدم نظام "مصدر" خاص (طريقة متطورة لتتبع مصدر كل حقيقة) لضمان أن يكون الشرح موجزاً ودقيقاً. فهو لا يظهر لك 1,000 تقييم، بل يظهر لك الحد الأدنى المطلوب لإثبات النقطة.

4. النتائج: أقوى، أسرع، وأرخص

اختبرت الورقة البحثية "إيفرجرين" على بيانات تقييمات مطاعم حقيقية. وإليكم ما وجدوه:

الدقة: حصل على درجة مثالية (F1 = 1.00) عند استخدام نموذج ذكاء اصطناعي قوي، مما يعني أنه لم يرتكب أي خطأ.
التكلفة والسرعة: كان "إيفرجرين" أسرع بـ 3 إلى 4 مرات وأرخص بـ 3 إلى 4 مرات من مجرد طلب من الذكاء الاصطناعي قراءة كل شيء دون هذه الاختصارات.
مفاجأة "الذكاء الاصطناعي الضعيف": حتى عندما استخدموا نموذج ذكاء اصطناعي أضعف وأرخص بكثير، كان أداء "إيفرجرين" أفضل من نموذج "قوي" يحاول القيام بالمهمة بمفرده. من خلال ترك محرك قاعدة البيانات يتولى المنطق والعد، كان على الذكاء الاصطناعي فقط القيام بالجزء السهل (قراءة النص)، وهو ما يمكن حتى لذكاء اصطناعي "غبي" القيام به بشكل جيد.

ملخص

"إيفرجرين" هو نظام يمنع الذكاء الاصطناه من اختلاق حقائق حول مجموعات البيانات الكبيرة. وهو يفعل ذلك من خلال:

تحويل ملخصات الذكاء الاصطناعي الغامضة إلى أسئلة منطقية صارمة.
استخدام اختصارات ذكية للتوقف عن القراءة بمجرد العثور على الإجابة.
تقديم "إيصال" يوضح بالضبط نقاط البيانات التي أثبتت الإجابة.

الأمر يشبه توظيف فريق من المحاسبين (قاعدة البيانات) للقيام بالعمليات الحسابية، ومتدرب واحد كفء (الذكاء الاصطناعي) لقراءة الإيصالات، بدلاً من مطالبة متدرب واحد متعب بالقيام بكل الحسابات والقراءة بمفرده.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "Evergreen: التحقق الفعال من الادعاءات للتجميعات الدلالية (Semantic Aggregates)."

1. بيان المشكلة

مع صعود محركات معالجة الاستعلامات الدلالية (مثل Snowflake Cortex AISQL)، أصبح التجميع الدلالي (semantic aggregation) عاملًا أوليًا (primitive operator). يتيح هذا للنماذج اللغوية الكبيرة (LLMs) اختزال علاقة من الصفوف (tuples) إلى ملخص باللغة الطبيعية أو تجميع. ومع ذلك، غالبًا ما تحتوي هذه التجميعات المولدة بواسطة النماذج اللغوية الكبيرة على ادعاءات مهلوسة (على سبيل المثال: "غالبية المراجعات إيجابية" بينما هي ليست كذلك) لا تستند إلى البيانات الأساسية.

تعد عملية التحقق من هذه الادعاءات أمرًا صعبًا بسبب أربعة عوامل رئيسية:

النطاق (Scale): غالبًا ما تتجاوز العلاقات نافذة سياق النماذج اللغوية الكبيرة (آلاف المراجات قد تعني مئات الآلاف من الرموز/Tokens).
التعقيد (Complexity): تتضمن الادعاءات مكممات (الكل، البعض، الغالبية)، وتصنيفات، ومقارنات بين المجموعات، مما يتطلب مزيجًا من الاستدلال الدلالي (فهم النص) والاستدلال الرمزي (العد والمقارنة).
التكلفة (Cost): يتطلب التحقق بطريقة القوة الغاشمة (Brute-force) استدعاء النموذج اللغوي لكل صف، وهو أمر مكلف للغاية وبطيء بشكل غير مبرر.
القابلية للتفسير (Explainability): يحتاج المستخدمون إلى استشهادات (أدلة) لثقة في النتيجة، وليس مجرد "صواب/خطأ" ثنائي.

تفشل النهج الحالية في معالجة ذلك بشكل شامل: أساليب النموذج اللغوي كحكم (LLM-as-a-judge) تفشل في السياقات الكبيرة؛ والنماذج المعززة بالاسترجاع (RAG) تواجه صعوبة في الادعاءات المكممة عبر صفوف مستقلة؛ أما النماذج اللغوية القائمة على البرامج فتقوم بنقل عبء التحسين إلى النموذج اللغوي، مما يؤدي إلى أداء دون المستوى.

2. المنهجية: نظام Evergreen

يعيد Evergreen صياغة التحقق من الادعاءات كـ مهمة معالجة استعلام دلالي. بدلاً من سؤال النموذج اللغوي عن "التحقق" من ادعاء ما، يقوم Evergreen بتجميع الادعاء في استعلام تحقق دلالي تصريحي (declarative semantic verification query) يتم تنفيذه بواسطة محرك استعلام.

أ. تفكيك وتجميع الادعاء (Claim Decomposition & Compilation)

التفكيك (Decomposition): يقوم النموذج اللغوي بتفكيك التجميع ذي اللغة الطبيعية إلى ادعاءات ذرية وحل المراجع الغامضة (مثل الضمائر) باستخدام السياق الأصلي.
الرسم الخرائطي المنطقي (Logical Mapping): تُربط الادعاءات بهياكل منطقية:
- الوجودي/الشمولي (Existential/Universal): $\exists t, \forall t$
- العددي/النسبوي (Cardinal/Proportional): $\exists \ge k, \exists \ge \rho$
- الترتيبي/المتداخل (Ordinal/Nested): ترتيب المجموعات أو المكممات المتداخلة (مثل: "جميع المواقع لديها > 2 شكاوى").
توليد الاستعلام (Query Generation): تُجمع الادواعي إلى واجهة برمجة تطبيقات (API) على نمط DataFrame باستخدام معاملات علائقية قياسية (filter, map, aggregate) ومعاملات دلالية (استدعاءات قائمة على الأوامر للنماذج اللغوية):
- filter(prompt): التصفية الدلالية.
- map(prompt): استخراج السمات الدلالية.
- aggregate: يطابق المكممات (على سبيل المثال، bool_or $\to$ $\exists$ ، و count_if $\to$ العدد/Cardinality).

ب. تحسينات مراعية للتحقق (Verification-Aware Optimizations)

يقدم Evergreen تحسينات محددة لتقليل استدعاءات النماذج اللغوية مع الحفاظ على الصحة:

التوقف المبكر (Early Stopping): يستخدم محرك الاستعلام نموذج التكرار (iterator model).
- بالنسبة لـ $\exists$ (مثل "بعض"): يتوقف بمجرد العثور على شاهد واحد.
- بالنسبة لـ $\forall$ (مثل "كل"): يتوقف بمجرد العثور على حالة مضادة واحدة.
- بالنسبة للادعاءات العددية/النسبوية، يتم دفع منطق المقارنة للأسفل للتوقف بمجرد تحديد العتبة رياضيًا بغض النظر عن الصفوف المتبقية.
فرز الصلة (Relevance Sorting): لجعل التوقف المبكر فعالًا، يتم فرز الصفوف مسبقًا حسب الصلة. يولد النموذج اللغوي استعلام بحث بناءً على منطق الادعاء؛ ويتم ترتيب الصفوف حسب تشابه التضمين (embedding similarity) ومطابقة الكلمات المفتاحية بحيث تظهر "الشهود" مبكرًا في التدفق.
التقدير باستخدام متواليات الثقة (Confidence Sequences - CS): في الحالات التي يكون فيها التوقف المبكر مستحيلاً (مثل التحقق من صحة ادعاء شمولي)، يستخدم Evergreen متواليات ثقة صالحة في أي وقت (Anytime-Valid Confidence Sequences). على عكس فترات الثقة الكلاسيكية، تسمح متواليات CS بالمراقبة المستمرة دون تضخيم معدلات الخطأ. يتوقف النظام بمجرد أن تثبت فترات الثقة صحة الادعاء أو خطأه باحتمالية عالية.
تحسينات عامة (General-Purpose Optimizations):
- دمج المعاملات (Operator Fusion): يجمع بين عدة معاملات دلالية (مثل التصفية + الخرائط) في استدعاء واحد للنموذج اللغوي لكل صف.
- تصفية التشابه (Similarity Filtering): تصفية مسبقة خفيفة الوزن باستخدام التضمينات لاستبعاد الصفوف غير ذات الصلة بوضوح قبل استدعاء النموذج اللغوي.
- تخزين الأوامر المؤقت (Prompt Caching): يعيد استخدام استجابات النماذج اللغوية للأوامر المتطابقة عبر مختلف الادعاءات.

ج. الاستشهادات عبر مصدر المنشأ شبه الحلقي (Semiring Provenance)

لتوفير التفسيرات، يعامل Evergreen الاستشهادات كـ مصدر منشأ للبيانات (data provenance). يستخدم مصدر المنشأ شبه الحلقي (semiring provenance) للمنطق من الدرجة الأولى:

يتم وسم كل صف برموز تشير إلى ما إذا كان يستوفي صيغة الادعاء.
يشتق النظام أدنى مجموعة من الرموز (monomials) التي تبرر النتيجة.
إذا كان الادعاء صحيحًا، فإنه يعيد أدنى مجموعة من الشهود. وإذا كان خاطئًا، فإنه يعيد أدنى مجموعة من الحالات المضادة. يضمن هذا أن تكون التفسيرات موجزة ومبررة رياضيًا.

3. المساهمات الرئيسية

الصياغة المنطقية: تحديد أنواع الادعاءات الشائعة في التجميعات الدلالية وربطها بهياكل منطقية محددة جيدًا (وجودي، شمولي، عددي، نسبوي، ترتيبي، متداخل).
التجميع التصريحي: إثبات كيفية تجميع ادعاءات اللغة الطبيعية في استعلامات تحقق دلالية تصريحية، مما ينقل عبء التحسين من النموذج اللغوي إلى محرك الاستعلام.
تحسينات مبتكرة: تقديم تقنيات خاصة بالتحقق (التوقف المبكر، فرز الصلة، تقدير متوالية الثقة) التي تقلل التكلفة والزمن بشكل كبير.
المنشأ الرسمي: تطبيق مصدر المنشأ شبه الحلقي لترسيم الاستشهادات كأدنى تفسيرات لنتائج التحقق.
تقييم شامل: بناء معيار لـ 16 ادعاءً متنوعًا عبر مجموعات بيانات مراجعات المطاعم الواقعية لتقييم النظام.

4. النتائج التجريبية

تم تقييم النظام على ثلاث مجموعات بيانات من Yelp (1.6 ألف - 1.8 ألف صف لكل منها) مقابل خطوط الأساس: النموذج اللغوي كحكم (base_rm)، الوكيل المعزز بالاسترجاع (rag_agent)، و Evergreen غير المحسن (evg_unopt).

الجودة مقابل التكلفة:
- النماذج اللغوية القوية: حقق Evergreen مع نموذج قوي (Opus) درجة F1 = 1.00 (تحقق مثالي) مع تقليل التكلفة بمقدار 3.2× وتقليل زمن الاستجابة بمقدار 4.0× مقارنة بالنسخة غير المحسنة.
- النماذج اللغية الضعيفة: تفوق Evergreen باستخدام نموذج ضعيف (Llama 8B) على خط الأساس (النموذج اللغوي كحكم) القوي (Opus) في درجة F1 (0.89 مقابل 0.82) بتكلفة أقل بمقدار 48× وزمن استجابة أقل بمقدار 2.3×.
- مقابل وكيل RAG: طابق Evergreen أو تجاوز جودة وكيل RAG باستخدام نموذج لغوي ضعيف بتكلفة أقل بمقدار 63× وزمن استجابة أقل بمقدار 4.2×.
دراسة الاستئصال (Ablation Study):
- كان التوقف المبكر هو التحسين الأكثر أهمية، حيث قلل التكلفة/الزمن بمقدار 6.7×.
- وفر التقدير (CS) و تخزين الأوامر المؤقت ما بين 2× إلى 2.7×.
- أدى تعطيل التحسينات عمومًا إلى تدهور الأداء بشكل ملحوظ، مما يثبت ضرورة النهج العصبي-الرمزي (neuro-symbolic).
المتانة: حتى مع النماذج الأضعف، حافظ Evergreen على دقة عالية للمنشأ (0.84–0.99)، مما يضمن أن الاستشهادات المقدمة موثوقة.

5. الأهمية

يمثل Evergreen تحولًا مهمًا في كيفية تعامل أنظمة البيانات الدلالية مع الموثوقية.

التآزر العصبي-الرمزي: يجمع بفعالية بين الفهم الدلالي للنماذج اللغوية الكبيرة والتحسين الصارم والاستدلال المنطقي لمحركات استعلام قواعد البيانات.
القابلية للتوسع: يحل مشكلات "نافذة السياق" و"التكلفة" التي تمنع حاليًا الاستخدام الموثوق للنماذج اللغوية الكبيرة في تحليلات البيانات الإنتاجية.
الموثوقية: من خلال توفير استشهادات دنيا ومبررة رياضيًا، فإنه يتجاوز مخرجات "الصندوق الأسود" للنماذج اللغوية، مما يجعل التجميعات الدلالية قابلة للتدقيق وموثوقة للاستخدام المؤسسي.
الاتجاه المستقبلي: يمهد الطريق لـ "قيود السلامة الدلالية" (Semantic Integrity Constraints)، حيث يمكن لأنظمة قواعد البيانات فرض الصحة تلقائيًا على الرؤى المولدة بواسطة النماذج اللغوية الكبيرة.

باختصار، يوضح Evergreen أنه من خلال معاملة التحقق من الادعاءات كمسأة تحسين استعلام، يمكن للأنظمة تحقيق تحقق بجودة مثالية أو قريبة من المثالية بجزء ضئيل من التكلفة والزمن مقارنة بأحدث الأساليب الحالية المعتمدة على النماذج اللغوية الكبيرة.