💬 NLP

DecomposeRL: Learning to Ask Useful, Informative, and Diverse Questions for Semi-Supervised, Traceable Claim Verification

يُعد DecomposeRL إطار عمل للتحقق من الادعاءات شبه مُشرف وقابل للتتبع، يستفيد من قمع تنقية البيانات والتعلم التعزيزي القائم على GRPO لتدريب نموذج مدمج بحجم 7 مليار بارامتر، محققاً أداءً يضاهي النماذج المرجعية الأكبر حجماً بكثير مع إنتاج مسارات استدلال قابلة للتفسير.

المؤلفون الأصليون: Shubhashis Roy Dipta, Ankur Padia, Francis Ferraro

نُشر 2026-05-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC0 1.0

المؤلفون الأصليون: Shubhashis Roy Dipta, Ankur Padia, Francis Ferraro

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث DECOMPOSERL، مقسمة إلى مفاهيم بسيطة باستخدام تشبيهات من الحياة اليومية.

المشكلة الكبرى: "الصندوق الأسود" مقابل "المحقق البطيء"

تخيل أنك تحاول التحقق من إشاعة جامحة، مثل: "مؤلف رواية '1984' فاز بجائزة نوبل".

حالياً، هناك طريقتان يحاول الكمبيوتر من خلالهما حل هذه المشكلة:

مصنف "الصندوق الأسود" (The Black Box Classifier): هذا يشبه حارس أمن فائق السرعة ينظر إلى الإشاعة ويصرخ فوراً: "خطأ!". إنه سريع وغالباً ما يكون مصيباً، ولكن إذا سألته: "لماذا؟"، سيكتفي بهز كتفيه. هو لا يعطيك أي دليل. في المواقف عالية الخطورة (مثل الطب أو السياسة)، لا يمكنك الوثوق بالحكم دون رؤية الأدلة.
"المحقق البطيء" (التفكيك - Decomposition): هذا يشبه محققاً يفكك الإشاعة إلى أسئلة صغيرة: "من كتب 1984؟" -> "هل فاز ذلك الشخص بجائزة نوبل؟". إنه يكتب كل خطوة، بحيث يمكنك رؤية الدليل. ومع ذلك، فإن هؤلاء المحققين غالباً ما يكونون بطيئين، ويرتكبون الأخطاء، ويجدون صعوبة في التعلم من الحالات الجديدة دون أن يمسك بهم معلم بشري من أيديهم.

DECOMPOSERL هو نظام جديد يحاول أن يكون الأفضل في العالمين: محقق سريع ودقيق يترك أثراً واضحاً وقابلاً للفحص لكل إجابة.

كيف يعمل: "السائل الذكي"

بدلاً من مجرد تخمين الإجابة، تم تدريب DECOMPOSERL ليكون محققاً بارعاً. مهمته ليست الإجابة على الادعاء مباشرة؛ بل مهمته هي طرح المجموعة المثالية من الأسئلة لمعرفة الحقيقة.

فكر في الأمر كأنه لعبة "العشرين سؤالاً"، ولكن الكمبيوتر يلعب ضد نفسه لإيجاد المسار الأكثر كفاءة نحو الحقيقة.

1. "نظام المكافأة" (المدرب)

لتعليم هذا الذكاء الاصطناعي كيفية طرح أسئلة جيدة، لم يكتفِ الباحثون بقول "عمل جيد" أو "عمل سيء". بل بنوا نظام مكافأة متعدد الأوجه (مثل مدرب صارم لديه قائمة تحقق). يحصل الذكاء الاصطناعي على نقاط فقط إذا استوفت أسئلته ثلاثة معايير محددة:

المفيد (تغيير قواعد اللعبة): إذا قمت بإزالة هذا السؤال، هل تتغير الإجابة النهائية؟
- تشبيه: تخيل هيئة محلفين. إذا سأل أحد المحلفين: "هل كان يملك سيارة حمراء؟" وظل الحكم كما هو، فقد كان هذا السؤال غير مفيد. لكن إذا سأل: "هل كان في مسرح الجريمة؟" وغير ذلك من الحكم، فقد كان هذا السؤال مفيداً. يتعلم DECOMPOSERL الاحتفاظ فقط بالأسئلة التي تغير النتيجة فعلياً.
المعلوماتي (قاعدة "الحقائق فقط"): يجب أن يكون السؤال قابلاً للإجابة باستخدام الأدلة المقدمة فقط، ويجب أن يكون حقيقة واحدة واضحة.
- تشبيه: سؤال مثل "هل هذا الادعاء صحيح؟" هو سؤال سيء لأنه يكرر المشكلة فقط. وسؤال مثل "كم عدد صفحات الكتاب؟" هو أمر سيء إذا كان طول الكتاب لا يهم. يتعلم الذكاء الاصطناعي طرح أشياء مثل: "من كتب الكتاب؟" وهو حقيقة محددة ومستندة إلى نص.
المتنوع (قاعدة "عدم التكرار"): لا ينبغي أن تكون الأسئلة مكررة.
- تشبيه: إذا سألت "من كتب الكتاب؟" ثم سألت "من هو مؤلف الكتاب؟"، فقد أضعت الوقت. يتعلم الذكاء الاصطناي طرح أسئلة مختلفة تغطي أجزاءً مختلفة من اللغز.

2. "قمع البيانات" (المصفاة)

تدريب ذكاء اصطناعي ذكي يتطلب عادةً ملايين الأمثلة، وهو أمر مكلف وبطيء. استخدم الباحثون خدعة ذكية: قمع البيانات (The Data Funnel).

بدأوا بمجموعة ضخمة مكونة من 155,000 مثال للتحقق من الحقائق من الإنترنت.
مرروها عبر سلسلة من الفلاتر (مثل فلتر القهوة):
- الفلتر 1: التخلص من الادعاءات التي هي قصيرة جداً أو طويلة جداً.
- الفلتر 2: التخلص من الادعاءات السهلة للغاية (التي يمكن لأي ذكاء اصطناعي بسيط حلها) أو الفوضوية جداً.
- الفلتر 3: إزالة المكررات.
النتيجة: قاموا بتصفية تلك المجموعة الضخمة لتصل إلى "جوهر" صغير وعالي الجودة مكون من 5,000 ادعاء فقط.
تشبيه: تخيل أنك تحاول تعلم الطبخ عن طريق تذوق 155,000 طبق عشوائي، معظمها محترق أو بلا طعم. بدلاً من ذلك، قام مبتكرو DECOMPOSERL بتصفية ذلك إلى 5,000 وصفة مثالية بجودة الطهاة. تعلم الذكاء الاصطناعي بشكل أسرع وأفضل من هذه المجموعة الصغيرة عالية الجودة مقارنة بالمجموعة الضخمة الفوضوية.

3. "التعلم شبه الموجه" (التعلم بدون معلم)

عادةً، لتدريب ذكاء اصطناعي، تحتاج إلى إنسان ليقيم كل إجابة (العلامات الذهبية/Gold Labels). لكن البشر بطيئون ومكلفون.

يمتلك DECOMPOSERL وضعاً خاصاً حيث يمكنه التعلم حتى لو كانت 90% من الإجابات غير مقيمة.

كيف؟ يستخدم تقنية "الاتساق الذاتي" (Self-Consistency). يقوم الذكاء الاصطناعي بإنشاء عدة "مسارات" (مجموعات من الأسئلة) مختلفة لنفس الادعاء. إذا اتفقت 7 من أصل 8 مسارات على النتيجة النهائية، يفترض الذكاء الاصطناعي أن هذه النتيجة صحيحة ويستخدمها كـ "علامة زائفة" (pseudo-label) ليعلم نفسه.
تشبيه: تخيل طالباً يؤدي اختباراً بدون نموذج إجابة. إذا حل الطالب المسألة بخمس طرق مختلفة وحصل على نفس الإجابة في كل مرة، فإنه يكتسب الثقة في أنه على حق، حتى بدون معلم يصحح له.

النتائج: صغير ولكن قوي

اختبر الباحثون نموذجهم الذي يحتوي على 7 مليارات معلمة (وهو صغير نسبياً في عالم الذكاء الاصطناعي) مقابل نماذج أكبر بكثير (32 مليار معلمة) وحتى أنظمة مملوكة رفيعة المستوى مثل GPT-4.

الدقة: طابق DECOMPOSERL أداء نماذج أكبر منه بـ 4 مرات.
الكفاءة: حقق ذلك باستخدام مجموعة بيانات صغيرة ومنتقاة مكونة من 5,000 ادعاء فقط.
نجاح التعلم شبه الموجه: حتى عندما تم تدريبه باستخدام 10% فقط من البيانات المصنفة (و90% من التصحيح الذاتي)، فإنه لا يزال يتفوق على جميع النماذج الأخرى من نفس حجمه.

"الأثر" (مسار الورقة)

الميزة الأهم في DECOMPOSERL هي أنه لا يعطيك مجرد إجابة "صواب/خطأ". بل يعطيك أثراً (Trace).

تشبيه: إذا كان الذكاء الاصطناعي العادي مثل ساحر يخرج أرنباً من القبعة (ترى النتيجة ولكن لا ترى الخدعة)، فإن DECOMPOSERL هو ساحر يريك القبعة الفارغة، والأرنب، واللحظة الدقيقة التي وضع فيها الأرنب، خطوة بخطوة.
يبدو المخرج كأنه محادثة:
1. السؤال: "من كتب 1984؟" -> الإجابة: "جورج أورويل".
2. السؤال: "هل فاز جورج أورويل بجائزة نوبل؟" -> الإجابة: "لا، المستند يقول إنه لم يفز".
3. الحكم: مُفند (REFUTED) (الادعاء خاطئ).

هذا يسمح للبشر بمراجعة العمل. إذا ارتكب الذكاء الاصطناعي خطأً، يمكنك النظر في "الأثر" ومعرفة أي سؤال أو إجابة أدت إلى الخطأ.

الملخص

DECOMPOSERL هو نظام فحص حقائق ذكي وفعال يتعلم كيفية طرح الأسئلة الصحيحة لحل اللغز. يستخدم "فلتر" للتعلم من مجموعة بيانات صغيرة وعالية الجودة، ونظام "تحقق ذاتي" للتعلم حتى عندما لا يكون لديه معلم. النتيجة هي نظام يتمتع بدقة الحواسيب العملاقة الضخمة، ولكنه ينتج شرحاً واضحاً وخطوة بخطوة لكيفية وصوله إلى استنتاجه.

ملخص تقني: DECOMPOSERL

بيان المشكلة

تواجه عملية التحقق من الادعاءات المؤتمتة مقايضة جوهرية بين الدقة والقابلية للتفسير. تنقسم النهج الحالية عمومًا إلى فئتين:

المصنفات من الطرف إلى الطرف (End-to-end classifiers): تحقق هذه المصنفات دقة عالية في الاختبارات المعيارية، لكنها تعمل كـ "صناديق سوداء"، حيث تصدر حكمًا دون تقديم آثار قابلة للفحص توضح كيفية التوصل إلى الاستنتاج. وتعد هذه الضبابية مشكلة في المجالات عالية المخاطر مثل الفرز الطبي الحيوي، والتحقق من الحقائق السياسية، ومراجعة الأقران العلمية، حيث يتطلب المستخدمون رؤية واضحة للجوانب التي تم التحقق منها في الادعاء ولماذا.
الأساليب القائمة على التفكيك (Decomposition-based methods): تقوم هذه الأساليب بتفكيك الادعاءات إلى أسئلة فرعية ذرية لإنشاء آثار قابلة للفحص. ومع ذلك، غالبًا ما تتخلف هذه الأساليب عن المصنفات من الطرف إلى الطرف من حيث الأداء. تعتمد طرق التفكيك الحالية على توجيهات (prompting) هشة أو تعلم محاكاة مكلف (ضبط دقيق على تفكيكات ذهبية) دون وجود إشارة تدريب تقيس مدى ملاءمة التفكيك لمهمة التحقق.

المنهجية

يقترح المؤلفون DECOMPOSERL، وهو إطار عمل للتعلم التعزيزي (RL) يدرب سياسة لتفكيك الادعاءات إلى أسئلة مفيدة، ومعلوماتية، ومتنوعة، مما ينتج آثارًا عالية الدقة وقابلة للتدقيق.

1. قمع تنقية البيانات (Data Curation Funnel)

لمعالجة التكلفة الباهظة لتدريب سياسات التعلم التعزيزي على مجموعات بيانات ضخمة ومشوشة، صمم المؤلفون قمع تنقية متعدد المراحل. بدءًا من حوالي 155 ألف ادعاء عبر 14 مجموعة بيانات متباينة، قاموا باستخلاص مجموعة فرعية مدمجة وكثيفة الإشارات التدريبية مكونة من 5,464 ادعاءً (~4% من البيانات الأصلية). تشمل مراحل التصفية ما يلي:

التصفية القائمة على القواعد: إزالة الادعاءات ذات طول الأدلة غير الكافي، أو التداخل اللفظي التافه، أو التي تحتوي على أقل من كيانين مسميين.
التصفية القائمة على الصعوبة: استخدام مُتحقق MiniCheck-7B للاحتفاظ فقط بالادعاءات التي يظهر فيها النموذج عدم يقين (الثقة $0.3 \le p \le 0.8$ )، مما يضمن أن تحتوي بيانات التدريب على تحديات استدلال غير بديهية.
إزالة التكرار والتلوث: إزالة النسخ المتشابهة تقريبًا عبر MinHash وتشابه جيب التمام (cosine similarity) لمنع تسرب البيانات وضمان التنوع.
التفكيك الفضي (Silver Decomposition): توليد تفكيكات "فضية" (تسميات مستعارة) باستخدام GPT-5-mini للادعاءات المتبقية.
اختيار التنوع: استخدام هدف الموقع المرفقي (Facility-Location objective) (التعظيم الجزئي) لاختيار مجموعة فرعية نهائية تزيد من تغطية مساحة التضمين (embedding-space)، مما يضمن أن تمثل مجموعة التدريب التوزيع الكامل لأنواع الادعاءات.
تعزيز الأدلة الطويلة: إضافة ادعاءات ذات سياقات أدلة طويلة لمنع انزياح التوزيع أثناء التقييم.

2. إطار عمل التعلم التعزيزي

يؤطر DECOMPOSERL عملية التحقق من الادعاءات كمسألة تفكيك (سؤال-جواب) تكرارية. تقوم السياسة ( $\pi_\theta$ )، القائمة على نموذج Qwen2.5-7B-Instruct، بتوليد أثر مهيكل يتكون من تحليل أولي، و $n$ من دورات (سؤال-جواب)، وحكم نهائي ( $SUPPORTED$ أو $REFUTED$ ).

يتم تدريب السياسة باستخدام تحسين السياسة النسبية الجماعية (GRPO) مع مجموعة مكافآت متعددة الأوجه مبتكرة. على عكس الأعمال السابقة التي تعتمد على مكافأة نتيجة واحدة، يقوم DECOMPOSERL بتحسين سبع إشارات متكاملة:

التنسيق ( $R_{fmt}$ ): يضمن الالتزام بمخطط المخرجات المهيكلة القائم على XML.
التحقق ( $R_{ver}$ ): يربط السياسة بالحكم الحقيقي (فقط للبيانات المصنفة).
عدد الأسئلة ( $R_{qc}$ ): يعاقب على الانحراف عن العدد الأمثل من الأسئلة الفرعية.
التنوع ( $R_{div}$ ): يستخدم الارتباط الأقصى الهامشي (MMR) على التضمينات لمعاقبة الأسئلة المكررة.
التغطية ( $R_{cov}$ ): يقوم "نموذج لغوي كحكم" (LLM-as-a-judge) بتقييم ما إذا كانت مجموعة الإجابات وحدها يمكنها إعادة بناء الحكم الصحيح.
الضرورة عبر "ترك الواحد" ( $R_{nec}$ ): مكون حاسم حيث يحدد "الحكم" ما إذا كان حذف سؤال معين يغير الحكم. الأسئلة الضرورية (التي يؤدي حذفها إلى تغيير الحكم) تحصل على مكافآت عالية؛ بينما الأسئة الضارة (التي تضلل الحكم) تتلقى مكافآت سلبية.
الجودة المشتركة الضربيه ( $R_{joint}$ ): مكافأة ضربية تجمع بين قابلية الإجابة، والذرية (تركيز واحد، لا روابط)، والصحة. وهذا يضمن أن أي فشل في أي بُعد يؤدي بمكافأة السؤال إلى الصفر.

3. التعلم شبه الإشرافي

لمعالحة ندرة البيانات المصنفة بـ "الذهب"، يدعم DECOMPOSERL التدريب شبه الإشرافي. بالنسبة للادعاءات غير المصنفة:

يتم تقريب التغطية عبر الاتساق الذاتي (self-consistency): حيث يعمل التصويت بالأغلبية لـ $G$ من عمليات التشغيل (rollouts) كعلامة مستعارة.
يتم حساب الضرورة بالنسبة للحكم الذي أعاد النموذج بناءه بنفسه بدلاً من الحقيقة الأرضية.
يتم إسقاط مكافأة التحقق للبيانات غير المصنفة، بينما تظل المكافآت الأخرى مستقلة عن التسمية.

المساهمات الرئيسية

مجموعة مكافآت متعددة الأوجه: نظام مكافأة مبتكر يلتقط جودة التفكيك عبر أبعاد متعددة (الضرورة، التغطية، التنوع، الذرية) باستخدام مزيج من القواعد الحتمية، والمقاييس القائمة على التضمين، وتقييمات "النموذج اللغوي كحكم".
القدرة شبه الإشرافية: آلية الاتساق الذاتي التي تسمح للنموذج بالتعلم من الادعاءات غير المصنفة عبر استغلال الاتفاق داخل المطالبة (intra-prompt agreement)، مما يجعل النهج قابلاً للتطبيق في المجالات التي تندر فيها التسميات الذهبية.
تنقية البيانات الفعالة: قمع تقطير يقلل متطلبات بيانات التدريب بنسبة ~96% (من 155 ألف إلى ~5.5 ألف ادعاء) مع تحسين كثافة الإشارة، مما يتيح تدريب التعلم التعزيزي بفعالية باستخدام موارد حوسبة محدودة.
الأداء والقابلية للتوسع: إثبات أن نموذج بـ 7 مليارات معلمة مدرب بهذا الإطار يمكنه مضاهاة أو تجاوز أداء النماذج الأكبر (32 مليار معلمة) والنماذج الرائدة المملوكة (مثل GPT-4.1-mini) مع توفير آثار قابلة للفحص.

النتائج التجريبية

قيم المؤلفون DECOMPOSERL على 11 اختبارًا معياريًا للتحقق من الادعاءات (9 داخل النطاق، 2 خارج النطاق)، بما في ذلك مجموعات بيانات طبية وسياسية وعلمية.

الدقة: حقق نموذج DECOMPOSERL-7B دقة متوازنة بلغت 86.3% داخل النطاق و 69.8% خارج النطاق.
المقارنة مع الخطوط المرجعية:
- تفوق على جميع الخطوط المرجعية القائمة على التفكيك (مثل Decomposed Prompting، وHiSS، وClaimDecomp) بفوارق كبيرة (+4.4% داخل النطاق، و+2.8% خارج النطاق عن أقوى خط مرجعي).
- تجاوز المصنفات من الطرف إلى الطرف مثل MiniCheck-7B.
- طابق أداء النماذج ذات الـ 32 مليار معلمة ونموذج GPT-4.1-mini الرائد في المهام داخل النطاق، رغم أنه أصغر بـ 4 مرات من نموذج الـ 32B وبمرتبة عشرية أصغر من النموذج الرائد.
الأداء شبه الإشرافي: عند التدريب باستخدام 10% فقط من البيانات المصنفة ( $s=0.1$ )، حافظ DECOMPOSL-7B على دقة داخل النطاق بلغت 84.6% ودقة خارج النطاق بلغت 69.7%، ولا يزال يتفوق على جميع نماذج الـ 7B المرجعية.
دراسات الاستئصال (Ablation Studies): تسبب إزالة مكافأة الضرورة في أكبر انخفاض في الأداء خارج النطاق (-4.8%)، مما يبرز دورها الحاسم في التعميم. كما أثرت إزالة التغطية والتنوع بشكل كبير على المتانة، مما يؤكد ضرورة المجموعة الكاملة للأداء خارج النطاق.

الأهمية والادعاءات

يدعي البحث أن DECOMPOSERL ينجح في سد الفجوة بين الدقة والقابلية للتفسير في التحقق من الادعاءات. من خلال صياغة التفكيك كمسألة تعلم تعزيزي موجهة بمجموعة مكافآت متعددة الأوجه، أثبت المؤلفون أن:

القابلية للتتبع لا تأتي على حساب الدقة: ينتج النموذج آثار تحقق خطوة بخطوة قابلة للتدقيق دون التضحية بالأداء مقارنة بالمصنفات الغامضة.
كفاءة المعلمات: يمكن تحقيق أداء عالٍ باستخدام نماذج أصغر (7B) إذا تم تحسين إشارة التدريب (تصميم المكافأة وتنقية البيانات)، بدلاً من الاعتماد فقط على زيادة حجم النموذج.
القابلية للتوسع في البيئات منخفضة الموارد: تسمح المنهجية شبه الإشرافية للنظام بالتكيف مع مجالات جديدة حيث تكون التسميات المعيارية نادرة أو مكلفة، باستخدام الاتساق الذاتي لتعزيز التعلم.

يضع المؤلفون هذا العمل كحل لـ "فجوة التتبع" في التحقق من الحقائق المؤتمت، مقدمين طريقة تتسم بالدقة والشفافية في آن واحد، وهي مناسبة للتطبيقات عالية المخاطر حيث يجب على المستخدمين فحص عملية الاستدلال.