ملخص تقني: المعايرة المزدوجة لنماذج اللغات الكبيرة (LLMs) الموثوقة عبر معايرة ثقة المعرفة والاستدلال

1. بيان المشكلة

تعاني نماذج اللغات الكبيرة (LLMs) من الهلوسة والاستدلال غير الموثوق، مدفوعة بكل من عدم اليقين المعرفي الجوهري (فجوات المعرفة) وعدم اليقين العرضي الخارجي (غموض البيانات). وبينما برزت تقنية التوليد المعزز بالاسترجاع القائم على الرسوم البيانية للمعرفة (KG-RAG) كنموذج رائد لتحسين الدقة الواقعية من خلال استرجاع أدلة مهيكلة، إلا أن الطرق الحالية تعاني من خلل جوهري: فهي تفترض أن الأدلة المسترجعة دائمًا كافية ومؤكدة.

في الواقع، يمكن أن تكون الأدلة المسترجعة مشوشة، أو ناقصة، أو غامضة. وتفشل أساليب KG-RAG الحالية في قياس مدى عدم اليقين في الأدلة المسترجعة نفسها. ونتيجة لذلك، قد تقدم نماذج اللغات الكبيرة تنبؤات مذكورة بثقة ولكنها خاطئة عند الاعتماد على أدلة جزئية أو معيبة. علاوة على على ذلك، تركز طرق قياس عدم اليقين (UQ) الحالية لنماذج اللغات الكبيرة بشكل أساسي على معايرة ثقة المخرجات النهائية. وتعتمد هذه الطرق غالبًا على الحالات الداخلية للنموذج أو التقييم الذاتي، مما يجعلها غامضة وغير قابلة للتتبع. فهي لا تستطيع التمييز ما إذا كان عدم اليقين ناتجًا عن أدلة معيبة، أو قصور في الاستدلال، أو صعوبة المهمة، وبالتالي تفشل في التكامل بفعالية مع KG-RAG لتوفير رؤية معايرة خطوة بخطوة لسلسلة الاستدلال.

2. المنهجية: DoublyCal

لمعالجة هذه الفجوات، يقترح المؤلفون DoublyCal، وهو إطار عمل مبني على مبدأ المعايرة المزدوجة المبتكر. يقدر هذا النهج صراحةً عدم اليقين ويجعل الثقة قابلة للتتبع من أدلة الرسم البياني للمعرفة (KG) المسترجعة وصولاً إلى تنبؤ نموذج اللغة الكبير النهائي. يعمل الإطار من خلال ثلاثة مكونات أساسية:

2.1 المعايرة البايزية لأدلة الرسم البياني للمعرفة (KG)

يقوم الإطار أولاً بصياغة أدلة الرسم البياني للمعرفة كـ مسارات علاقات مقيدة. وخلافًا لمسارات العلاقات البسيطة أو الرسوم البيانية الفرعية، تتكون هذه المسارات من مسار علاقات أساسي معزز بقيد اختياري مستمد من جوار الإجابة المرشحة، مما يوازن بين المعلوماتية والقابلية للتفسير.

ولتقدير ثقة ذات أساس إحصائي لكل مسار دليل، يستخدم المؤلفون نموذج بيتا-بيرنولي (Beta-Bernoulli model):

• يتم نمذجة صحة إجابة مرشحة بناءً على الدليل كتوزيع بيرنولي بمعلمة $p$.
• لمراعاة عدم اكتمال الرسم البياني للمعرفة وضعف التأسيس، يتم فرض توزيع "بيتا" سابق مترافق ($p \sim \text{Beta}(\alpha, \beta)$).
• يتم حساب درجة الثقة المعايرة كمتوسط لاحق (posterior mean)، حيث تمزج بين الدقة التجريبية والاعتقاد المسبق (على سبيل المثال، باستخدام توزيع جيفريز $\alpha=\beta=0.5$). وهذا يمنع الثقة المفرطة في الحالات التي يكون فيها عدد المرشحين المسترجعين قليلًا.

2.2 النموذج الوسيط لتوليد الأدلة ومعايرتها

بما أن الحساب البايزي هو عملية استرجاعية، فقد تم تدريب نموذج وسيط (Proxy Model) خفيف الوزن يعتمد على نموذج لغوي (LM) للقيام بالاسترجاع الاستباقي للأدلة وتقدير الثقة أثناء الاستدلال. يتضمن التدريب مرحلتين:

1. الضبط الدقيق الخاضع للإشراف (SFT): يتم تدريب النموذج الوسيط على توليد مسارات أدلة الرسم البياني للمعرفة ودرجات ثقة بيتا (Beta) المقابلة لها، محاكيًا الإشارة الإحصائية.
2. التعلم التعزيزي (RL): يتم تحسين النموذج الوسيط بشكل أكبر باستخدام تحسين السياسة النسبي للمجموعات (GRPO). وتقوم دالة المكافأة بتحسين جودة الاستدلال (مطابقة الدليل الذهبي) ومحاذاة المعايرة (تقليل الفرق بين الثقة المتوقدة والحقيقة البيزية) معًا.

2.3 استدلال نموذج اللغة الكبير (LLM) بالأدلة المعايرة

أثناء الاستدلال، يقوم النموذج الوسيط المدرب بتوليد مجموعة من أزواج (الدليل-الثقة). يتم تحويل هذه الأزواج إلى صيغة لفظية ودمجها في المطالبة (Prompt) لنموذج لغة كبير (Primary LLM) يعمل كصندوق أسود. يتم توجيه النموذج للقيام بالاستدلال بناءً على هذه المسارات ودرجات الثقة المرتبطة بها لإنتاج إجابة نهائية ودرجة ثقة متوقعة معايرة جيدًا. وهذا يؤسس لسلسلة قابلة للتتبع حيث تكون الثقة النهائية مرتكزة في الأدلة القابلة للتحقق والمعايرة بدلاً من الحالة الداخلية للنموذج وحده.

3. المساهمات الرئيسية

• مبدأ المعايرة المزدوجة: يضع البحث نموذجًا جديدًا يتطلب معايرة صريحة للثقة لكل من أدلة الرسم البياني للمعرفة وتنبؤات نموذج اللغة الكبير النهائية، متجاوزًا معايرة المخرجات أحادية المرحلة.
• إطار عمل DoublyCal: تطبيق عملي يستخدم نموذجًا وسيطًا معايرًا بايزيًا لتزويد نماذج اللغات الكبيرة (الصناديق السوداء) بأدلة الرسم البياني للمعرفة مصحوبة بثقة الأدلة.
• التحقق التجريبي: تُظهر النتائج أن DoublyCal يحسن بشكل كبير كلاً من الدقة ومعايرة الثقة عبر نماذج لغات كبيرة متنوعة في اختبارات معرفية مكثفة مع الحفاظ على تكلفة منخفضة للرموز (Tokens).

4. النتائج التجريبية

تم تقييم إطار العمل على اختبارات WebQSP و CWQ، ومقارنة DoulyCal بنماذج المعايرة الأحادية (SingleCal) وهي طرق KG-RAG القياسية المدمجة مع تقنيات التعبير اللفظي عن عدم اليقين (مثل Vanilla و CoT و Self-Probing).

• الدقة والمعايرة: حقق DoublyCal (وتحديدًا النسخة المعززة بالتعلم التعزيزي RL) أداءً رائدًا، حيث تصدر في درجات Hits و Recall و F1، مع تقليل ملحوظ في خطأ المعايرة المتوقع (ECE) وخطأ المعايرة التكيفي (ACE). على سبيل المثال، في WebQSP، خفض RL-DoublyCal قيمة ECE إلى حوالي 3.9% مقارنة بـ 18-38% للنماذج المرجعية.
• كفاءة التكلفة: أظهر DoublyCal كفاءة فائقة في استخدام الرموز (Tokens). فقد تفوق على SubgraphRAG بتكلفة أقل بكثير من رموز المدخلات (حوالي 39% من تكلفة SubgraphRAG) نظرًا للكثافة المعلوماتية العالية لمسارات العلاقات المقيدة الخاصة به.
• التوافق مع النماذج المختلفة: تم اختبار إطار العمل على نماذج لغات كبيرة متنوعة (GPT-3.5-turbo، GPT-4o-mini، DeepSeek-V3، Gemini-2.5-flash). نجح DoublyCal باستمرار في فك الارتباط بين المقايضة بين الدقة والموثوقية، حيث قلل متوسط ECE من 29.4% إلى 7.6% عبر النماذج مع رفع متوسط F1 من 45.8% إلى 76.5%.
• دراسات الاستئصال (Ablation Studies): أدى إزالة معايرة ثقة الأدلة (نسخة SingleCal) إلى زيادة حادة في خطأ المعايرة (ارتفاع ECE من ~4% إلى >20%)، مما يؤكد أن الأدلة المعايرة خارجيًا ضرورية للتقييم الذاتي الموثوق لنماذج اللغات الكبيرة.

5. الأهمية والادعاءات

يزعم البحث أن DoublyCal يقدم حلاً مبدئيًا لإدارة انتشار عدم اليقين في نماذج KG-RAG بشكل منهجي. ومن خلال ترسيخ الثقة في أدلة يمكن التحقق منها خارجيًا، يوفر إطار العمل أساسًا قابلًا للتتبع لسلسلة الاستدلال بأكملها، مما يعالج طبيعة "الصندوق الأسود" لطرق قياس عدم اليقين الحالية.

يؤكد المؤلفون أن عملهم يمثل خطوة ملموسة نحو بناء أنظمة لغات كبيرة أكثر موثوقية وشفافية. ويوضحون أنه بينما يحسن KG-RAG من الواقعية، فإن المعايرة المزدوجة لكل من الأدلة والاستدلال هي الضرورية لتحقيق استدلال موثوق حقًا. ويُقدم إطار العمل كحل جاهز للاستخدام (Plug-and-play) يعزز موثوقية نماذج اللغات الكبيرة المتنوعة دون الحاجة إلى الوصول إلى معالمها الداخلية.

الاعتراف بالقصور:
يشير المؤلفون إلى أن متانة مقدر ثقة بايزي قد تنخفض عندما يكون الرسم البياني للمعرفة (KG) نادرًا للغاية. بالإضافة إلى ذلك، فإن الشكل الثابت لمسارات العلاقات المقيدة قد يحد من الأداء في الأسئلة المعقدة التي تتضمن التجميع أو المقارنة، مما يشير إلى أن العمل المستقبلي قد يستكشف أشكال أدلة أغنى أو نماذج تخطيط وكيلية (Agentic planning).