🤖 AI

VecCISC: Improving Confidence-Informed Self-Consistency with Reasoning Trace Clustering and Candidate Answer Selection

تقدم الورقة البحثية VecCISC، وهو إطار عمل خفيف الوزن يقلل التكلفة الحسابية لآلية الاتساق الذاتي القائمة على الثقة (Confidence-Informed Self-Consistency) عبر استخدام التشابه الدلالي لتصفية مسارات الاستدلال المكررة أو المهلوسة قبل التقييم، محققاً توفيراً في الرموز (tokens) يصل إلى 47% مع الحفاظ على الدقة أو تحسينها عبر مختلف اختبارات الاستدلال المتنوعة.

المؤلفون الأصليون: James Petullo, Sonny George, Dylan Cashman, Nianwen Xue

نُشر 2026-05-11

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: James Petullo, Sonny George, Dylan Cashman, Nianwen Xue

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب للغاية. تسأل روبوتاً ذكياً جداً ولكنه ثرثار أحياناً (ذكاء اصطناعي) ليحل اللغز. وللتأكد من أنه سيصل إلى الإجابة الصحيحة، تطلب منه محاولة حل اللغز 20 مرة.

الطريقة القديمة (الاتساق الذاتي - Self-Consistency):
تأخذ جميع الإجابات العشرين وتختار الإجابة التي تكررت أكثر من غيرها. إذا قال 15 روبوتاً "الإجابة هي البولينج"، و5 روبوتات "الإجابة هي الشطرنج"، فإنك تختار البولينج. هذا يعمل، لكنه بطيء لأن عليك الانتظار حتى تكتمل 20 إجابة كاملة.

التطوير "فكر مرتين" (CISC):
أدرك الباحثون أن مجرد عد الأصوات ليس كافياً. فأحياناً يعطي الروبوت إجابة خاطئة بشرح يبدو واثقاً جداً، أو إجابة صحيحة بشرح مهزوز. لذا، أضافوا روبوتاً "حكماً".

يقدم الروبوت الأول 20 إجابة مع تفسيراتها.
يقرأ الروبوت "الحَكم" كل قصة من قصص التفسير العشرين هذه ويعطيها "درجة ثقة" (مثل درجة من 0 إلى 100).
تختار أنت الإجابة ذات إجمالي الدرجات الأعلى.

المشكلة:
هذا الأمر رائع من حيث الدقة، لكنه مكلف للغاية. إن طلب قراءة 20 قصة طويلة من قبل "الحَكم" لكل سؤال هو بمثابة استئجار فريق من 20 محرراً لمراجعة 20 مسودة لرسالة واحدة. كما يستغرق الكثير من الوقت والمال (قدرة حوسبية). أيضاً، قد يرتبك الروبوت الأول ويكتب كلاماً غير مفهوم (هلوسات) أو يكرر نفس الجملة مراراً وتكراراً (آثار متدهورة). والحَكم يضيع وقته في قراءة هذه المسودات غير المفهومة أيضاً.

الحل الجديد (VecCISC):
ابتكر المؤلفون، جيمس بيتولو وفريقه، اختصاراً ذكياً يسمى VecCISC. فكر في الأمر كـ "مُصنف ذكي" يجلس بين الروبوت الأول والحَكم.

إليك كيف يعمل، باستخدام تشبيه بسيط:

التجميع: لا يزال الروبوت الأول يكتب 2-0 قصة.
"اختبار الأجواء" (التجميع العنقودي - Clustering): بدلاً من إرسال الـ 20 قصة كاملة إلى الحَكم، ينظر "المُصنف الذكي" إليها ويجمعها حسب "الأجواء" أو المعنى.
- تخيل أن الروبوت كتب 15 قصة تقول جميعها "الفيلم يتحدث عن البولينج"، لكنها استخدمت كلمات مختلفة قليلاً. يرى "المُصنف" أن هذه هي في الأساس نفس القصة.
- يضع تلك الـ 15 في كومة واحدة.
- يضع الـ 3 قصص التي تقول "إنها عن الشطرنج" في كومة أخرى.
- يجد القصتين اللتين عبارة عن هراء أو كود مكسور ويضعهما في كومة "النفايات".
الممثل الرئيسي: من كومة "البولينج"، يختار "المُصنف" قصة واحدة فقط تكون هي الأكثر "متوسطاً" أو المثال الأمثل لتلك المجموعة. إنه يتجاهل الـ 14 الأخرى لأنها مجرد نسخ. ويتجاهل كومة الهراء تماماً لأنها مكسورة بوضوح.
مهمة الحَكم: الآن، بدلاً من أن يقرأ الحَكم 20 قصة، عليه فقط قراءة قصة واحدة من كومة "البولينج" وقصة واحدة من كومة "الشطرنج".

النتائج:
من خلال القيام بذلك، وجد الفريق أنهم:

وفروا كمية هائلة من المال والوقت: لقد قللوا إجمالي العمل (الرموز/Tokens) بنسبة 47%. إنه يشبه قطع الفاتورة إلى النصف.
لم يفقدوا الدقة: في الواقع، ولأن "الحَكم" لم يتشتت بالقصص المكررة أو المهملة، كانت الإجابة النهائية غالباً أكثر دقة مما كانت عليه من قبل.
يعمل في كل مكان: اختبروه في الرياضيات، العلوم، الأحياء، وأسئلة المعرفة العامة، وقد نجح بشكل جيد في جميعها.

باخت-مختصر:
إن VecCISC يشبه أمين مكتبة ذكياً يدرك أنه إذا كان لديك 20 نسخة من نفس الكتاب، فأنت تحتاج فقط لقراءة نسخة واحدة لتعرف موضوعه. من خلال تصفية النسخ المكررة والنفايات قبل أن يقرأ "الحَكم" المكلف هذه القصص، تصبح العملية بأكملها أرخص وأسرع بكثير، دون التضحية بجودة الإجابة النهائية.

ملخص تقني: VecCISC

بيان المشكلة

أصبح توسيع نطاق الاستدلال أثناء الاستنتاج في النماذج اللغوية الكبيرة (LLMs) نهجًا قياسيًا لتحسين الأداء في المهام المعقدة. وتعتمد التقنية التأسيسية، الاتساق الذاتي (Self-Consistency - SC)، على أخذ عينات متعددة من مسارات الاستدلال واختيار الإجابة الأكثر تكرارًا. ومؤخرًا، أظهرت تقنية الاتساق الذاتي القائم على الثقة (Confidence-Informed Self-Consistency - CISC) دقة فائقة عبر توظيف نموذج "فكر مرتين" (think twice): حيث يقوم نموذج لغوي ناقد بتقييم المسار الاستدلالي لكل مرشح لتعيين درجة ثقة، والتي تُستخدم بعد ذلك في تصويت أغلبية مرجح.

ومع ذلك، تعاني تقنية CISC من تكاليف وأعباء استنتاج كبيرة. نظرًا لأن النموذج اللغوي الناقد يجب استدعاؤه لكل مسار استدلال يتم أخذ عينة منه، فإن استخدام الرموز (tokens) وزمن الاستجابة يتضاعف فعليًا مقارنة بـ SC القياسية. علاوة على على ذلك، تعامل تقنية CISC الساذجة جميع العينات بالتساوي، بما في ذلك المسارات الهلوسية، أو المتدهورة، أو المتكررة دلاليًا، مما يهدر الموارد الحسابية على مخرجات منخفضة الجودة لا تساهم في القرار النهائي.

المنهجية: VecCISC

لمعالجة حالات عدم الكفاءة هذه، يقترح المؤلفون VecCIS، وهو إطار عمل خفيف الوزن وتكيفي يقلل من عدد مسارات الاستدلال التي تتطلب تقييمًا من الناقد دون التضحية بالدقة. يعمل خط الإنتاج كما يلي:

أخذ العينات (Sampling): يقوم نموذج لغوي ( $LLM_{gen}$ ) بتوليد $n$ من أزواج (مسار الاستدلال-الإجابة) لمطالبة معينة.
توليد التضمين (Embedding Generation): يتم تحويل كل مسار استدلال إلى متجه تضمين باستخدام نموذج تضمين مدرب مسبقًا ($Emb$).
التجميع حسب الإجابة (Grouping by Answer): يتم تجميع المسارات حسب إجابتها الناتجة ( $a$ ). يضمن ذلك الحفاظ على الإجابات المرشحة المتميزة قبل عملية التجميع (clustering).
التجميع (Clustering): داخل كل مجموعة إجابة، يتم تجميع التضمينات باستخدام خوارالزميات مثل KMeans أو التجميع الهرمي التجميعي (HAC). الهدف هو تحديد المسارات المتكافئة دلاليًا، وكذلك عزل القيم المتطرفة (الهلوسة أو النصوص المتدهورة). يتم تحديد عدد المجموعات ( $K$ $K$ ) عبر البحث الشبكي (grid search) على مجموعة بيانات اختبارية.
- ملاحظة: يتجنب المؤلفون صراحةً استخدام خوارزمية DBSCAN بسبب حساسيتها لعتبات المسافة في فضاءات التضمين عالية الأبعاد.
اختيار الممثل (Representative Selection): من كل مجموعة، يتم اختيار مسار ممثل واحد. ويتم تحقيق ذلك عن طريق حساب مركز الثقل (centroid) لتضمينات المجموعة واختيار المسار الأقرب لهذا المركز باستخدام تشابه جيب التمام (cosine similarity). يجادل المؤلفون بأن المسار الأقرب للمركز هو الأقل عرضة لأخطاء الاستدلال الشاذة.
تقييم الثقة (Confidence Scoring): بدلاً من تقييم جميع المسارات $n$ ، يتم توجيه النموذج اللغوي الناقد ( $LLM_{critic}$ ) فقط بالمسارات الممثلة من كل مجموعة.
التجميع النهائي (Final Aggregation): يتم تطبيع درجات الثقة للممثلين (باستخدام softmax مع درجة حرارة قابلة للضبط $T$ ) وتُستخدم في تصويت أغلبية مرجح لاختيار الإجابة النهائية.

المساهمات الرئيسية

يحدد البحث أربع مساهمات رئيسية:

إطار عمل مبتكر: تقديم VecCISC، الذي يستخدم تجميع مسارات الاستدلال لإزالة العينات المتكررة ومنخفضة الجودة من المجموعة التي يحللها الناقد، مما يقلل من تكلفة نموذج "فكر مرتين".
التحقق التجريبي: أظهرت التجارونات المكثفة عبر خمس مجموعات بيانات متنوعة (الرياضيات، الكيمياء، الأحياء، الاستدلال المنطقي العام، والعلوم الإنسانية) وخمسة نماذج لغوية مختلفة (تتراوح من 7 إلى 70 مليار معلمة) أن VecCISC يقلل إجمالي ميزانية الرموز بنسبة 47% مع الحفاظ على دقة CISC أو تجاوزها.
التحليل المقارن: تقارن الدراسة بين الاختيار القائم على التجميع (KMeans و HAC) والاختيار العشوائي للمرشحين ( $K$ من العينات)، مما يثبت أن التجميع الدلالي يتفوق على أخذ العينات العشوائية في تحديد الممثلين المثاليين.
المصدر المفتوح: يلتزم المؤلفون بنشر الكود الخاص بهم لتسهيل المزيد من الأبحاث.

النتائج

أجريت التجارب على خمس مجموعات بيانات: AQuA-RAT، CommonsenseQA، ARC-Challenging، MMLU-Pro، و GPQA.

تقليل التكلفة: يقلل VecCISC بشكل كبير من عدد استدعاءات النموذج اللغوي الناقد. حقق VecCISC + KMeans متوسط تقليل بنسبة 34.68% في استدعاءات الناقد، بينما حقق VecCISC + HAC تقليلًا بنسبة 30.2%. وعند النظر في خط الإنتاج بأكمله (بما في ذلك أخذ العينات الأولي)، تم تقليل إجمالي استخدام الرموز بنسبة 47%.
كفاءة الرموز (Token Efficiency): تفوقت استراتيجية "الحد الأدنى من المركز" (اختيار المسار الأقرب لمركز المجموعة) باستمرار على اختيار المسار العشوائي، مما أدى إلى استهلاك أقل للرموز لمكون الناقد (الذي يمثل حوالي 77% من إجمالي الرموز).
الدقة: تفوقت متغيرات VecCISC باستمرار أو ساوت تقنيات Self-Consistency و CISC القياسية عبر معظم تركيبات النماذج والمجموعات البيانية. والجدير بالذكر أن VecCISC + HAC حقق أفضل النتائج المتوسطة في معظم التكوينات، وفي بعض الحالات، أدت المجموعة المختصرة من المسارات عالية الجودة إلى زيادات طفيفة في الدقة مقارنة بـ CISC.
دراسة الاستئصال (Ablation): أظهر خط الأساس "VecCISC (random)"، الذي يختار $K$ من المسارات عشوائيًا دون تجميع، أداءً أقل بكثير من كل من CISC و SC، مما يسلط الض الضوء على ضرورة التجميع الدلالي لتصفية الضجيج والمسارات المتدهورة.

الأهمية والادعاءات

يدعي البحث أن VecCISC يوفر تعزيزًا فعالًا وخفيف الوزن لخطوط إنتاج "فكر مرتين" الحالية. ويؤكد المؤلفون أنه من خلال تصفية المسارات المتكافئة دلاليًا والمتدهورة، يسمح إطار العمل للنموذج اللغوي الناقد بالتركيز على مجموعة أصغر من مسارات الاستدلال عالية الجودة. هذا النهج يخفف من تكاليف الاستنتاج الباهظة المرتبطة بمعايرة الثقة مع الحفاظ على أداء النموذج، بل وتعزيزه في بعض الحالات.

ويبدي المؤلفون تواضعًا فيما يتعلق بتعميم نتائجهم، مشيرين إلى أنه على الرغم من استخدامهم لنموذج تضمين عام ($text-embedding-3-small $) لضمان القدرة على التكيف، إلا أن المهام المتخصصة قد تستفيد من نماذج تضمين متخصصة ومعدلة بدقة. بالإضافة إلى ذلك، يقرون بأن المعلمات الفائقة$ K $(عدد المجموعات) و$ T$ (درجة حرارة softmax) تتطلب حاليًا عمليات بحث شبكي قائمة على البيانات، مما يشير إلى أن العمل المستقبلي يمكن أن يستكشف طرقًا تكيفية لاختيار هذه المعلمات دون بيانات مسبقة.