💬 NLP

Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models

تقدم هذه الورقة طريقة جديدة للتقدير الكمي لعدم اليقين تحت الإشراف لنماذج اللغات الكبيرة، والتي تعمل على تكييف مسافة ماهالانوبيس مع تمثيلات التوكن (token-level embeddings) عبر طبقات متعددة، مما يظهر دقة وقدرة على التعميم تتفوق على النهج الحالية في مهام استخلاص الحقيقة في كل من توليد التسلسلات والتحقق من الحقائق.

المؤلفون الأصليون: Artem Vazhentsev, Lyudmila Rvanova, Ivan Lazichny, Alexander Panchenko, Maxim Panov, Timothy Baldwin, Artem Shelmanov

نُشر 2026-04-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Artem Vazhentsev, Lyudmila Rvanova, Ivan Lazichny, Alexander Panchenko, Maxim Panov, Timothy Baldwin, Artem Shelmanov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا ذكيًا جدًا ومطلعًا (نموذج لغوي كبير، أو LLM) يمكنه كتابة القصص، والإجابة على الأسئلة، وتلخيص الأخبار. المشكلة هي أن هذا الروبوت "يهلوس" أحيانًا—أي أنه يختلق حقائق بثقة أو يكذب، تمامًا مثل طالب يخمن الإجابة في اختبار ولكنه في الواقع مخطئ.

أراد مؤلفو هذه الورقة البحثية بناء "جهاز كشف كذب" لهذا الروبوت. أرادوا طريقة لمعرفة ما إذا كان الروبوت غير متأكد بالفعل أم أنه مجرد "يتبجح"، وذلك قبل أن نثق في إجابة الروبوت.

إليك كيف فعلوا ذلك، مشروحًا ببساطة:

المشكلة في الطرق القديمة

سابقًا، حاول العلماء استخدام طريقتين رئيسيتين للإمساك بالروبوت وهو يكذب:

طريقة "اسأل مرة أخرى": اسأل الروبوت نفس السؤال 10 مرات. إذا أعطى 10 إجابات مختلفة، فمن المحتمل أنه مرتبك. العيوب: هذه الطريقة بطيئة ومكلفة، مثل سؤال صديقك نفس السؤال 10 مرات فقط لترى ما إذا كانت قصته ستتغير.
طريقة "درجة الثقة": انظر إلى مدى ثقة الروبوت في كلامه. العيوب: الروبوتات بارعة في الظهور بمظهر الواثق حتى عندما تكون مخطئة تمامًا.

الفكرة الجديدة: محقق "كثافة مستوى الرمز" (Token-Level Density)

أدرك المؤلفون أن "عقل" الروبوت (طبقاته الداخلية) يحمل أدلة حول عدم اليقين لديه. لذا قرروا استخدام أداة رياضية تسمى مسافة ماهالانوبيس (Mahalanobis Distance - MD).

التشبيه: "الحشد الطبيعي" مقابل "الشاذ"
تخيل أن الروبوت لديه مكتبة ذهنية من "الإجابات الجيدة والصحيحة" التي تعلمها أثناء تدريبه.

الطريقة القديمة (على مستوى التسلسل): عندما ينهي الروبوت جملة كاملة، كانت الطريقة القديمة تنظر إلى الجملة بأكملها ككتلة واحدة كبيرة وتسأل: "هل تبدو هذه الكتلة بأكملها مثل الإجابات 'الجيدة'؟" المشكلة هي أن الجملة قد تحتوي على كلمة واحدة غريبة تفسد الجملة بأكملها، ومع ذلك قد تبدو "الكتلة" جيدة.
الطريقة الجديدة (على مستوى الرمز/الكلمة): قرر المؤلفون النظر إلى كل كلمة (رمز/Token) يكتبها الروبوت، واحدة تلو الأخرى.
- يسألون: "هل تبدو هذه الكلمة المحددة مثل الكلمات الموجودة في مكتبة الروبوت 'الجيدة'؟"
- إذا كتب الروبوت كلمة غريبة جدًا أو بعيدة عن مكتبة الكلمات الصحيحة لديه، فستحصل هذه الكلمة على "درجة اشتباه" عالية.
- يفعلون ذلك لكل كلمة في الجملة، ثم يحسبون متوسط الدرجات للحصول على "درجة عدم يقين" نهائية للإجابة بأكملها.

كيف بنوا ذلك (الوصفة)

جمع الأمثلة "الجيدة": أخذوا مجموعة من الأسئلة وإجابات الروبوت عليها. قاموا بتصفية هذه الإجابات للاحتفاظ فقط بتلك التي كانت صحيحة بالتأكيد (مثل معلم يصحح ورقة اختبار ويحتفظ فقط بأوراق الطلاب الحاصلين على تقدير ممتاز A+).
رسم خريطة "الكلمات الجيدة": نظروا إلى الرياضيات الداخلية (التمثيلات/Embeddings) للكلمات في تلك الأوراق الممتازة لإنشاء خريطة لما يعنيه "الصواب" لكل طبقة من طبقات عقل الروبوت.
اختبار "الاشتباه": عندما يولد الروبوت إجابة جديدة، يتحقق النظام من كل كلمة بمفردها مقابل خريطة "الصواب" تلك.
- إذا كانت الكلمة بعيدة عن خريطة "الصواب"، فستحصل على درجة مسافة عالية (عدم يقين عالٍ).
- إذا كانت قريبة، فستحصل على درجة منخفضة (عدم يقين منخفض).
"المدرب" (الانحدار الخطي): بما أن النظر في كل طبقة من طبقات عقل الروبوت أمر معقد، فقد دربوا "مدربًا" بسيطًا (نموذج انحدار خطي). هذا المدرب ينظر إلى جميع درجات الاشتباه من الطبقات المختلفة وثقة الروبوت الخاصة، ثم يقول: "بناءً على كل هذه الأدلة، ما مدى احتمالية أن تكون هذه الإجابة صحيحة؟"

ماذا وجدوا

اختبروا هذا "المحقق الجديد على مستوى الرمز" في 11 مهمة مختلفة، من تلخيص المقالات الإخبارية إلى الإجابة على أسئلة علمية صعبة.

إنه أسرع: على عكس طريقة "اسأل مرة أخرى"، لا تتطلب هذه الطريقة تشغيل الروبوت عدة مرات. إنها سريعة تقريبًا مثل كتابة الروبوت للإجابة بشكل طبيعي.
إنه أذكى: لقد كشف الأكاذيب بشكل أفضل بكثير من الطرق السابقة. وفي العديد من الاختبارات، كان هو الطريقة الأفضل المتاحة.
يعمل على أشياء جديدة: حتى عندما اختبروه على مواضيع لم يراها أثناء التدريب (مثل الانتقال من تلخيص الأخبار إلى الإجابة على أسئلة طبية)، ظلت الطة تعمل بشكل جيد.
تعزيز "الهجين": وجدوا أن دمج طريقتهم الجديدة مع درجة ثقة الروبوت الخاصة (نهج "هجين") جعلها أكثر قدرة على كشف الأكاذيب.

الخلاصة

تزعم الورقة البحثية أنه من خلال النظر إلى كل كلمة يكتبها الروبوت والتحقق من مدى "غرابة" هذه الكلمات مقارنة بتدريب الروبوت، يمكننا إنشاء طريقة سريعة ودقيقة وغير مكلفة لمعرفة ما إذا كان الروبوت يقول الحقيقة أم يختلق الأمور. الأمر يشبه إعطاء الروبوت مرآة ليرى متى يوشك على قول شيء غريب، حتى قبل أن ينطق به.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "طرق تقدير عدم اليقين القائمة على الكثافة على مستوى الرمز (Token) لاستخلاص صدقية النماذج اللغوية الكبيرة."

1. بيان المشكلة

تتعرض النماذج اللغوية الكبيرة (LLMs) لظاهرة الهلوسة وتوليد ادعاءات غير واقعية، مما يشكل مخاطر كبيرة في التطبيقات الحرجة من حيث السلامة. وبينما يعد تقدير عدم اليقين (UQ) نهجاً رئيسياً للكشف عن هذه الأخطاء، تواجه الطرق الحالية عيبين رئيسيين:

عدم فعالية الطرق القائمة على الكثافة: حققت تقنيات تقدير عدم اليقين التقليدية القائمة على الكثافة (مثل مسافة ماهالانوبيس - Mahalanobis Distance) نجاحاً كبيراً في تصنيف النصوص، لكنها فشلت في أداء المهام عند تطبيقها على مستوى التسلسل (Sequence level) في مهام توليد النصوص. وقد أسفرت المحاولات السابقة عن أداء لا يتجاوز الاختيار العشوائي.
التكلفة الحسابية: تعتمد طرق تقدير عدم اليقين الحديثة للنماذج اللغوية الكبيرة غالباً على النهج القائم على الاتساق (Consistency-based) (مثل الإنتروبيا الدلالية - Semantic Entropy، أو أخذ عينات من توليدات متعددة) أو المجموعات العميقة (Deep Ensembles)، مما يؤدي إلى زيادة هائلة في التكاليف الحسابية (زيادة بنسبة 300-700% في وقت الاستدلال)، مما يجعلها غير عملية للتطبيقات في الوقت الفعلي أو واسعة النطاق.
محدودية الميزات: تعتمد الطرق الخاضعة للإشراف مؤخراً، والتي تستخدم الحالات الداخلية للنماذج اللغوية الكبيرة، على ميزات بسيطة أو تفشل في دمج مقاييس الكثافة الراسخة والقوية بشكل فعال.

2. المنهجية

يقترح المؤلفون إطار عمل جديد لتقدير عدم اليقين خاضع للإشراف، وعلى مستوى الرمز (Token-level)، وقائم على الكثافة، يقوم بتكييف مسافة ماهالانوبيس (MD) للنماذج التوليدية. يكمن الابتكار الجوهري في الانتقال من تمثيلات التسلسل (Sequence embeddings) إلى تمثيلات الرمز (Token embeddings) وتجميعها بذكاء.

المكونات الرئيسية:

استخراج تمثيل الرمز (Token-Level Embedding Extraction):
- بدلاً من متوسط التمثيلات لتشكيل متجه تسلسل واحد، تقوم الطريقة باستخراج تمثيلات الحالة المخفية (Hidden state embeddings) لكل رمز مُولد من طبقات متعددة للنموذج اللغوي الكبير.
- اختيار التمثيل: لبناء توزيع مرجعي (المركز ومصفوفة التباين)، تقوم الطريقة بتصفية بيانات التدريب لتشمل فقط الاستجابات عالية الجودة (الصحيحة). يضمن ذلك أن نموذج الكثافة يمثل التوليدات "الصادقة".
مسافة ماهالانوبيس للطبقات (Layer-Wise Mahalanobis Distance - MD):
- لكل طبقة $l$ ، تحسب الطريقة مسافة ماهالانوبيس بين تمثيل الرمز ومركز تمثيلات "الرموز الصحيحة" المختارة من تلك الطبقة.
- مسافة ماهالانوبيس النسبية (RMD): تطبق الطريقة أيضاً مسافة ماهالانوبيس النسبية، والتي تطرح المسافة إلى توزيع خلفي (مثل مجموعة بيانات C4 العامة) لتمييز الصدق داخل النطاق عن الضجيج العام بشكل أفضل.
- التجميع: يتم حساب متوسط درجات مستوى الرمز لإنتاج درجة على مستوى التسلسل (متوسط مسافة ماهالانوبيس على مستوى الرمز أو ATMD / ATRMD).
الانحدار الخطي الخاضع للإشراف:
- بما أن الطبقة الأفضل أداءً تختلف باختلاف المهمة، فإن الطريقة تعامل درجات مسافة ماهالانوبيس لكل طبقة كميزات.
- يتم تدريب نموذج انحدار خطي (Linear Regression) للتنبؤ بدرجة عدم اليقين (المستهدفة كمقياس جودة سالب، مثل $-ROUGE$ أو $-Accuracy$) باستخدام درجات المسافة لهذه الطبقات.
- تحليل المكونات الرئيسية (PCA): للتعامل مع تعدد الخطية (Multicollinearity) بين ميزات الطبقات، يتم استخدام أعلى 10 مكونات رئيسية (PCA) كمدخلات للمنظم (Regressor).
- الدرجة الهجينة (HUQ): يمكن أن تكون درجة عدم اليقين النهائية عبارة عن درجة هجينة من درجة مسافة ماهالانوبيس الخاضعة للإشراف واحتمالية التسلسل (أقصى احتمالية للتسلسل، MSP)، مدمجة عبر دالة وزن متعلمة.

3. المساهمات الرئيسية

التكيف على مستوى الرمز: توضح الورقة أن تطبيق الطرق القائمة على الكثافة على مستوى الرمز (بدلاً من مستوى التسلسل) أمر بالغ الأهمية للنجاح في توليد النصوص من قبل النماذج اللغوية الكبيرة، مما يتجاوز فشل طرق الكثافة السابقة على مستوى التسلسل.
إطار عمل إشرافي فعال: يقدم المؤلفون طريقة خاضعة للإشراف خفيفة حسابياً تجمع بين درجات الكثافة لكل طبقة والانحدار الخطي، متجنبين الحاجة إلى أخذ العينات المكلف أو المجموعات (Ensembling).
تقييم شامل: تم التحقق من صحة الطريقة عبر 11 مجموعة بيانات متنوعة (تغطي التلخيص، والإجابة على الأسئلة ذات الإجابات الطويلة/القصيرة، والأسئلة متعددة الخيارات) ومهمتين: التوليد الانتقائي على مستوى التسلسل والتحقق من الادعاءات على مستوى الادعاء.
التعميم: تظهر الطريقة قدرة قوية على التعميم في البيئات خارج النطاق (Out-of-domain)، حيث تحافظ على أدائها حتى عند التدريب على أنواع مهام مختلفة (مثل التدريب على التلخيص/الإجابة على الأسئلة والاختبار على الأسئلة متعددة الخيارات).

4. النتائج التجريبية

استخدمت التجارب نماذج Llama 8b v3.1، وGemma 9b v2، وMistral 7b.

أداء التوليد الانتقائي:
- تفوقت الطرق المقترحة (SATRMD+MSP و HUQ-SATRMD) بشكل كبير على جميع النماذج المرجعية، بما في ذلك الطرق غير الخاضعة للإشراف الحديثة (Semantic Entropy, SAR) والطرق الخاضعة للإشراف الأخرى (SAPLMA, Factoscope).
- المقاييس: تم قياسها بواسطة نسبة رفض التنبؤ (PRR). حققت الطرق المقترحة أعلى مراتب متوسطة عبر مجموعات البيانات. على سبيل المثال، في مجموعة بيانات MMLU، تفوقت طريقة SATRMD+MSP بشكل كبير على أقرب طريقة تالية لها.
- تحليل الطبقات: خلافاً لمهام التصنيف حيث تكون الطبقة الأخيرة هي الأفضل غالباً، أظهرت النتائج أن الطبقات الوسطى غالباً ما توفر التمثيلات الأكثر غنى بالمعلومات لعدم اليقين في النماذج اللغوية الكبيرة من نوع (Decoder-only).
أداء التحقق من الادعاءات:
- في التحقق من الادعاءات على مستوى الادعاء (Mistral 7b)، حققت طريقة HUQ-SATRMD أفضل ROC-AUC (0.750)، متفوقة على النموذج المرجعي CCP بنسبة 3.4%.
الكفاءة الحسابية:
- العبء الحسابي: تفرض الطرق المقترحة عبئاً حسابياً ضئيلاً يتراوح بين 5.3% – 7.6% مقارنة باستدلال النموذج اللغوي الكبير القياسي.
- المقارنة: هذا أقل بكثير من طرق أخذ العينات مثل Semantic Entropy أو SAR، التي تتسبب في عبء يتراوح بين 315% – 700%.
المتانة:
- الطريقة متينة تجاه حجم مجموعة بيانات التدريب (تعمل جيداً مع 200-500 حالة فقط).
- ليست حساسة للغاية لعتبة الصحة (Correctness threshold) المستخدمة لتصفية تمثيلات التدريب.

5. الأهمية

تجسر هذه الدراسة الفجوة بين فعالية تقدير عدم اليقين القائم على الكثافة في التصنيف والمجال الصعب لتوليد النصوص في النماذج اللغوية الكبيرة. ومن خلال نقل مستوى التفصيل إلى مستوى الرمز واستخدام مزيج خطي خاضع للإشراف لميزات الطبقات، يقدم المؤلفون حلاً هو:

أكثر دقة: يتفوق بشكل كبير على طرق تقدير عدم اليقين الحديثة (SOTA) في اكتشاف الهلوسة.
أكثر كفاءة: يجعل تقدير عدم اليقين في الوقت الفعلي ممكناً في بيئات الإنتاج من خلال تجنب أخذ العينات المكلف.
قابل للتعميم: يظهر القدرة على نقل قدرات تقدير عدم اليقين عبر مجالات وأنواع مهام مختلفة، وهو مطلب حاسم لنشر النماذج اللغوية الكبيرة في تطبيقات العالم الحقيقي المتنوعة.

تخلص الورقة إلى أن الطرق القائمة على الكثافة، عندما يتم تكييفها بشكل صحيح مع بنية مستوى الرمز للنماذج اللغية الكبيرة، تعد بديلاً متفوقاً لكل من النماذج الاحتمالية البسيطة والطرق المكلفة القائمة على أخذ العينات.