💬 NLP

Retrieval-Augmented Linguistic Calibration

تقدم هذه الورقة البحثية "المعايرة اللغوية المعززة بالاسترجاع" (RALC)، وهي إطار عمل لاحق للتحليل يعمل على نمذجة الثقة اللغوية كتوزيع احتمالي ويستخدم إعادة الكتابة المعززة بالاسترجاع لتحسين دقة وموثوقية العبارات ذات اللغة الطبيعية ومعايرتها بشكل كبير عبر مختلف النماذج اللغوية الكبيرة.

المؤلفون الأصليون: Yi-Fan Yeh, Linwei Tao, Minjing Dong, Tao Huang, Jialin Yu, Philip Torr, Chang Xu

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yi-Fan Yeh, Linwei Tao, Minjing Dong, Tao Huang, Jialin Yu, Philip Torr, Chang Xu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تطلب النصيحة من روبوت ذكي جداً، ولكنه مغرور أحياناً. في بعض الأحيان يكون الروبوت محقاً، لكنه يقول "أنا متأكد بنسبة 100%!" بينما هو في الواقع يخمن فقط. وفي أحيان أخرى، يكون محقاً لكنه يقول "لست متأكداً حقاً"، مما يجعلك تشك في إجابة صحيحة. هذه هي مشكلة المعايرة (Calibration): وهي جعل ثقة الروبوت تتطابق مع الواقع.

هذه الورقة البحثية، بعنوان "المعايرة اللغوية المعززة بالاسترجاع" (RALC)، تقدم طريقة جديدة لإصلاح ثقة هذا الروبوت، مع التركيز تحديداً على الكلمات التي يستخدمها بدلاً من مجرد حساباته الداخلية.

إليك تفصيل لحلها باستخدام تشبيهات بسيطة:

1. المشكلة: الكلمات فوضوية، والأرقام بسيطة للغاية

عادةً، عندما نحاول قياس مدى تأكد الروبوت، فإننا ننظر إلى رقم واحد (مثل "متأكد بنسبة 85%"). لكن البشر لا يفكرون في رقم واحد. نحن نستخدم كلمات مثل "ربما"، "من المحتمل"، "أعتقد"، أو "بكل تأكيد".

أدرك المؤلفون أنك إذا حولت هذه الكلمات فقط إلى رقم واحد، فستفقد الفروق الدقيقة.

التشبيه: تخيل أنك تحاول وصف الطقس. إذا قلت فقط "هناك احتمال أمطار بنسبة 70%"، فهذا رقم. ولكن إذا قلت "من المرجح أن تمطر"، فهذا يبدو مختلفاً عن قولك "من الممكن أن تمطر". أشخاص مختلفون يفسرون كلمة "مرجح" و"ممكن" بشكل مختلف. البعض يعتقد أن "مرجح" تعني 80%، والبعض الآخر يراها 60%.
رؤية الورقة: بدلاً من إجبار هذه الكلمات على التحول إلى رقم واحد، يعامل المؤلفون الثقة كـ سحابة من الاحتمالات. يتخيلون مجموعة كاملة من الناس يقرأون إجابة الروبوت ويتساءلون: "ما مدى تأكدكم من أن الروبوت واثق؟". النتيجة ليست رقماً واحداً، بل هي توزيع (distribution) (انتشار للآراء). هذا يلتقط حقيقة أن اللغة ذات طبيعة ذاتية.

2. المقياس الجديد: "الأمانة" (اختبار المفاجأة)

تقدم الورقة طريقة جديدة للحكم على ما إذا كان الروبوت صادقاً، تسمى الأمانة (Faithfulness).

التشبيه: تخيل خبير أرصاد جوية.
- السيناريو أ: يقول: "سوف تمطر بالتأكيد غداً"، ولكنها لا تمطر. أنت تشعر بالصدمة! هذه "مفاجأة عالية".
- السيناريو ب: يقول: "قد تمطر"، ولكنها لا تمطر. أنت لست متفاجئاً على الإطلاق.
- نقطة الورقة: نظام الثقة الجيد لا ينبغي أن يكون "صحيحاً في المتوسط" فحسب. بل يجب أن يتجنب السيناريو أ. إذا كان الروبوت واثقاً جداً (تركيز عالٍ في رياضياتهم) ولكنه مخطئ، فهذا فشل ذريع. يقيس المقياس الجديد، تباعد الأمانة (Faithfulness Divergence)، بالضبط مقدار "المفاجأة" التي يشعر بها الجمهور عندما تظهر الحقيقة. كلما قل "الاندفاع/المفاجأة"، زادت "أمانة" الروبوت.

3. الحل: RALC (خطوات "إعادة الكتابة")

بنى المؤلفون نظاماً يسمى RALC (المعايرة اللغوية المعززة بالاسترجاع). فكر في الأمر كعملية تحرير مكونة من ثلاث خطوات لإجابات الروبوت.

الخطوة 1: التشخيص (فضاء الإشارة)
أولاً، ينظر النظام إلى إجابة الروبوت الخام ويحسب ثقته "الحقيقية" باستخدام سحابة من الاحتمالات (التوزيع المذكور أعلاه). يدرك النظام: "أوه، الروبوت يعتقد أنه متأكد بنسبة 90%، ولكن بناءً على البيانات السابقة، هو في الواقع محق بنسبة 60% فقط من الوقت".

الخطوة 2: التعديل (المعايرة)
يقوم النظام بإجراء إصلاح رياضي سريع (يسمى مقياس بلات - Platt scaling) لتعديل رقم ثقة الروبوت الداخلي ليكون أكثر دقة. الآن، يعرف النظام أن الروبوت يجب أن يتصرف وكأنه متأكد بنسبة 60% فقط.

الخطوة 3: إعادة الكتابة (التحكم اللغوي)
هذا هو الجزء الذكي. النظام لا يغير الرقم فحسب؛ بل يغير الكلمات.

التشبيه: تخيل أن الروبوت كتب: "السماء زرقاء". (واثق جداً).
يمتلك النظام قاموساً ضخماً (Lexicon) يربط الكلمات بمستويات الثقة. هو يعلم أن جملة "السماء زرقاء" تتوافق مع ثقة 90%، لكن جملة "السماء على الأرجح زرقاء" تتوافق مع ثقة 60%.
يستخدم النظام الاسترجاع (مثل محرك البحث) للعثور على كلمات "التحوط" المثالية (مثل "على الأرجح"، "من الممكن"، "أعتقد") التي تتوافق مع مستوى الثقة الجديد والمصحح.
ثم يطلب من ذكاء اصطناعي ثانٍ إعادة كتابة الجملة باستخدام تلك الكلمات المحددة.
النتيجة: تصبح الإجابة "السماء على الأرجح زرقاء". المعنى هو نفسه، لكن النبرة أصبحت صادقة ومعايرة.

4. ماذا وجدوا؟

اختبر المؤلفون هذا على خمسة أنواع مختلفة من نماذج الذكاء الاصطناٍعي وثلاثة اختبارات مختلفة للإجابة على الأسئلة (مثل المعلومات العامة وفهم القراءة).

النتائج: جعل نظام RALC الروبوتات أفضل بكثير في مطابقة ثقتها مع الواقع.
- حسن الأمانة (تقليل عامل "المفاجأة") بنسبة تصل إلى 66%.
- حسن المعايرة (دقة الثقة) بنسبة تصل إلى 58%.
المقارنة: لقد عمل بشكل أفضل من مجرد طلب "كن أكثر حذراً" من الروبوت (وهي حيلة شائعة تسمى "التلقين/Prompting") أو غيرها من طرق "الصندوق الأسود".
أفضل إشارة: من المثير للاهتمام أن النظام عمل بشكل أفضل عندما استخدم "عدم اليقين الدلالي" (Semantic Uncertainty) (التحقق مما إذا كان الروبوت يعطي إجابات مختلفة عند سؤاله نفس السؤال بطرق مختلفة) كدليل له، بدلاً من مجرد النظر إلى الكلمات التي استخدمها الروبوت في البداية.

ملخص

تقترح الورقة طريقة لجعل الذكاء الاصطناعي يبدو أكثر إنسانية وصدقاً. بدلاً من مجرد إعطاء رقم أو تخمين واثق، يقوم النظام بـ قياس عدم اليقين، وتعديل الرياضيات، ثم إعادة كتابة الجملة باستخدام كلمات "ربما" أو "على الأرجح" المثالية لضمان أن الروبوت ليس مفرط الثقة أو ناقص الثقة. إنه يشبه إعطاء الروبوت "فحصاً للنبرة" قبل أن يتحدث إليك.

ملخص تقني: المعايرة اللغوية المعززة بالاسترجاع (RALC)

بيان المشكلة

يعد تقدير الثقة الموثوق أمرًا بالغ الأهمية للنشر الموثوق لنماذج اللغات الكبيرة (LLMs) في اتخاذ القرار البشري. وبينما تمثل الطرق الحالية الثقة كقيم احتمالية عددية (مثل احتمالات مستوى الرمز أو الدرجات اللفظية)، يواجه البشر صعوبة في التفكير بدقة مع الاحتمالات العددية. وبناءً على ذلك، تُفضل العلامات اللغوية (مثل "من المرجح"، "قد") كواجهات طبيعية. ومع ذلك، فإن معاملة هذه العلامات كقيم عددية يتجاهل الذاتية المتأصلة في التفسير اللغوي: حيث يربط القراء المختلفون نفس التعبير بقيم احتمالية مدركة مختلفة. علاوة على ذلك، تشكل الإشارات اللغوية المصاحبة والتباينات السياقية تحديات فريدة تفشل التمثيلات العددية في التقاطها. وتعمل طرق المعايرة الحالية (post-hoc) بالكامل في الفضاء العددي، مما يفتقر إلى آليات لنقل الإشارات المعايرة مرة أخرى إلى اللغة الطبيعية، بينما غالبًا ما تعمل الاستراتيجيات اللغوية الموجودة كإجراءات "صندوق أسود" تفتقر إلى التحكم المنهجي.

المنهجية

1. النمذجة التوزيعية للثقة اللغوية

يعمل المؤلفون على نمذجة الثقة اللغوية ليس كقيمة عددية واحدة، بل كـ توزيع على قيم احتمالية مدركة محتملة لمدى صحة عبارة ما.

الصيغة الرياضية: تُمثل الثقة كـ توزيع بيتا (Beta distribution)، $S = \text{Beta}(\alpha, \beta)$ $S = Beta (α, β)$ .
- يلتقط المتوسط $\mu = \alpha/(\alpha+\beta)$ النزعة المركزية للثقة المدركة عبر القراء.
- يرمز التركيز $\kappa = \alpha + \beta$ إلى قوة الاتفاق (التباين) بين القراء.
التقدير: يقوم مُقدر الثقة $g$ برسم خريطة للاستجابة $R$ إلى توزيع بيتا. ويتم تحديد هذا التوزيع من خلال ملاءمة توزيع بيتا مع الدرجات الناتجة عن مجموعة (ensemble) من نماذج اللغات الكبيرة التي تعمل كبديل للجمهور البشري، مما يلتقط التفاعل بين مختلف الإشارات اللغوية والسياق.

2. تباعد الإخلاص (Faithfulness Divergence - FD)

لتقييم الثقة بما يتجاوز المعايرة على مستوى المجتمع (خطأ المعايرة المتوقع - ECE)، يقدم البحث مفهوم الإخلاص (Faithfulness) كبُعد على مستوى الحالة الواحدة.

التعريف: يقيس الإخلاص مقدار "المفاجأة" التي تثيرها حقيقة الواقع في معتقدات الجمهور عند الكشف عن الحقيقة.
المقياس: يُعرف تباعد الإخلاص (FD) بأنه تكلفة تحديث بايزي موزونة بالتركيز:
$FD_i := (\alpha_i + \beta_i) \cdot \text{KL}(S^*_i \parallel S_i)$
حيث $S_i$ هو التوزيع القبلي و $S^*_i$ هو التوزيع البعدي المحدث بملصق الحقيقة $y_i$ .
التعليل: يقيس FD المفاجأة من منظور نظرية المعلومات، حيث يزن تباعد KL بمعامل التركيز (حجم العينة الفعال). إن الاعتقاد غير المتوافق ذو التركيز العالي يسبب عقوبة (مفاجأة) أكبر من عدم التوافق ذي التركيز المنخفض، مما يعكس الحدس بأن المعتقدات القوية الخاطئة هي الأكثر إثارة للمفاجأة.

3. المعايرة اللغوية المعززة بالاسترجاع (RALC)

إن RALC عبارة عن خط معالجة خفيف الوزن يعمل في مرحلة ما بعد المعالجة (post-hoc)، يقوم بتحويل استجابات نماذج اللغات الكبيرة الخام إلى مخرجات معايرة ومخلصة مباشرة في الفضاء اللغوي. يتكون خط المعالجة من ثلاث مراحل:

معايرة فضاء الإشارة: يتم معايرة متوسط توزيع الثقة المقدر باستخدام مقياس بلات (Platt scaling) (الانحدار اللوجستي) مقابل ملصقات الصحة الثنائية. يتم الحفاظ على معامل التركيز، لأنه يمثل قوة الاتفاق وليس هدفًا للمعايرة.
بناء المعجم: يقوم معجم مُعد مسبقًا بربط تعبيرات التحوط (مثل "يميل إلى"، "بالتأكيد") بتوزيعات بيتا المقابلة لها من الثقة المدركة. يتم اشتقاق هذه التوزيعات من خلال جعل مجموعة من النماذج تقيم عبارات معاد كتابتها تحتوي على إشارات تحوط محددة وغير قابلة للتحقق.
إعادة الكتابة المعززة بالاسترجاع: يعمل التوزيع المعاير كإشارة استرجاع. يقوم النظام بعملية بحث "أقرب جار" (KNN) على مرحلتين:
- التصفية المختصرة: بناءً على المسافة المطلقة بين متوسط التوزيع المعاير ومتوسط مدخل المعجم.
- التصنيف: بناءً على مسافة 1-واترشتاين (1-Wasserstein distance) لمطابقة كل من النزعة المركزية والانتشار (التركيز) للتوزيع.
- إعادة الكتابة: يتم تمرير أعلى $k$ من تعبيرات التحوط المسترجعة إلى محرر (LLM) مع الاستجابة الأصلية لإعادة كتابة النص، مما يضمن أن الثقة المدركة للاستجابة الجديدة تتوافق مع الإشارة المعايرة.

يتوافق خط المعالجة مع إشارات متنوعة، بما في ذلك الثقة اللغوية، واحتمالية الرمز (token probability)، وعدم اليقين الدلالي (المستمد من أخذ العينات المتسق ذاتيًا).

المساهمات الرئيسية

الإطار التوزيعي: صياغة الثقة اللغوية كـ توزيع بيتا لالتقاط التفاعل بين الإشارات وتنوع تفسير القراء، متجاوزة بذلك التعيين المنفصل والكمي.
مقياس الإخلاص: تقديم تباعد الإخلاص (FD) كمقياس تقييم جديد على مستوى الحالة، يقيس مدى مفاجأة المعتقدات التوزيعية عند ظهور الحقيقة، مما يعالج قصور المقاييس العددية مثل Brier score و NLL في البيئات التوزيعية.
خط معالجة RALC: اقتراح إطار عمل عام وقابل للتطبيق في مرحلة ما بعد المعالجة، يقوم بمعايرة الثقة في الفضاء اللغوي عبر إعادة الكتابة المعززة بالاسترجاع، وهو متوافق مع إشارات تقدير الثقة المختلفة.

النتائج التجريبية

تم تقييم الإطار عبر خمس عائلات من نماذج اللغات الكبيرة (GPT-OSS-20B, Llama-3.1-8B, Qwen3-8B, Mistral-7B, Gemma-4-31B) وثلاثة معايير اختبار (MMLU, SQuAD 2.0, TruthfulQA).

مكاسب الأداء: حقق RALC تحسنًا في الإخلاص داخل النطاق بنسبة تصل إلى 66% وفي المعايرة (ECE المعمم) بنسبة تصل إلى 58% مقارنة بالنماذج المرجعية قبل المعايرة.
المقارنة: تفوق RALC على كل من النماذج المرجعية "الصندوق الأسود" (Hedged QA، الذي يطلب التحوط دون إشارات معايرة) والنماذج المرجعية "الصندوق الرمادي" (Direct Beta-Guided Rewrite، الذي يفتقر إلى استرجاع المعجم المهيكل).
متانة الإشارة: برز عدم اليقين الدلالي كأكثر إشارات الثقة متانة، حيث حقق أقوى التحسينات في كل من المعايرة والإخلاص عبر جميع المجالات.
النقل عبر المجالات: أظهر خط المعالجة قدرة قوية على النقل؛ ففي بعض الحالات، تفوقت المعايرات العابرة للمجالات على المعايرات داخل المجال عندما كان مجال الهدف يعاني من انحياز معايرة ضعيف، مما سمح للمصدر ذي الانحياز الأقوى بتعلم تصحيح أكثر حسمًا.
التحقق من المقياس: أكدت التجارب أن FD يصنف مستويات المفاجأة بشكل صحيح بما يتوافق مع الملفات التوزيعية (عبر معاقبة حالات عدم التوافق ذات التركيز العالي)، في حين فشلت مقاييس KL divergence و Brier score و NLL في استعادة هذا الترتيب.

الأهمية

تجادل الورقة بأن الثقة اللغوية هي بطبيعتها توزيعية بسبب ذاتية التفسير. ومن خلال نمذجة هذا التوزيع وتقديم الإخلاص كمقياس تكميلي، يوفر هذا العمل طريقة منهجية لتقييم مدى توافق ثقة النموذج مع الواقع على مستوى الحالة الواحدة. يثبت خط معالجة RALC أنه يمكن نقل إشارات الثقة المعايرة بفعالية إلى اللغة الطبيعية عبر إعادة الكتابة المعززة بالاسترجاع، مما يوفر حلاً قابلاً للتوسع في مرحلة ما بعد المعالجة يعزز موثوقية نماذج اللغات الكبيرة دون الحاجة إلى الوصول إلى مكوناتها الداخلية أو إعادة تدريبها. وتشير النتائج إلى أن استرجاع المعجم المهيكل يتفوق على التوليد غير المقيد في مواءمة المخرجات اللغوية مع الثقة المعايرة.