Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "التجميع العنقودي للرموز الدلالية من أجل التقدير الفعال لعدم اليقين في النماذج اللغوية الكبيرة".

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) قصوراً حرجاً: فهي غالباً ما تولد استجابات تبدو منطقية ولكنها غير صحيحة واقعياً (الهلوسة) مع إظهار ثقة عالية. هذه "الثقة المفرطة" تجعل من الصعب تحديد المخرجات غير الموثوقة.

• القيود الحالية: تندرج طرق تقدير عدم اليقين (UQ) الحالية عموماً تحت فئتين، كلتاهما تعاني من عيوب كبيرة:
  1. الطرق القائمة على أخذ العينات (Sampling-based methods): (مثل Semantic Entropy و EigenScore): تتطلب هذه الطرق توليد استجابات متعددة لقياس التشتت الدلالي. وهذا يؤدي إلى عبء حسابي وزمن انتقال (latency) كبيرين.
  2. الطرق القائمة على النماذج المساعدة (Auxiliary model-based methods): (مثل CCP و P(True)): تعتمد هذه الطرق على نماذج استدلال لغوي طبيعي (NLI) خارجية أو أدوات فحص للتحقق من الصحة، مما يضيف تكاليف استدلال واعتمادية على موارد خارجية.
• الهدف: يهدف المؤلفون إلى تطوير طريقة لتقدير عدم اليقين تكون فعالة حسابياً (توليد واحد فقط)، مكتفية ذاتياً (لا تحتاج لنماذج خارجية)، وواعية دلالياً (من خلال الاستفادة من التمثيلات الداخلية للنموذج اللغوي الكبير).

2. المنهجية: التجميع العنقودي للرموز الدلالية (STC)

تقوم الطريقة المقترحة، التجميع العنقودي للرموز الدلالية (STC)، بتقدير عدم اليقين عن طريق تجميع الكتلة الاحتمالية عبر مجموعات الرموز المتسقة دلالياً بدلاً من الرموز الفردية. وهي تعمل في مرحلتين:

أ. مرحلة ما قبل الحساب (Offline)

قبل عملية الاستدلال، تتم معالجة مفردات النموذج لإنشاء عناقيد دلالية.

• استخراج التضمينات (Embedding Extraction): يتم دمج تضمينات المدخلات والمخرجات لكل رمز لتشكيل تمثيل دلالي موحد.
• التجميع العنقودي (Clustering): يقوم خوارزمية تجميع غير خاضعة للإشراف (تحديداً التجميع الهرمي التجمعي - Agglomerative Clustering باستخدام مسافة جيب التمام) بتجميع الرموز في عناقيد متسقة دلالياً (على سبيل المثال، تجميع "TV"، و"television"، و"TV"، و"televis" في عنقود واحد).
• التحسين: يتم استبعاد كلمات الوظائف (function words) والأرقام العربية لتقليل الضجيج. تُنفذ هذه الخطوة مرة واحدة لكل نموذج، ولا تترتب عليها أي تكلفة زمن تشغيل أثناء الاستدلال.

ب. مرحلة الاستدلال (Online)

خلال تمريرة توليد واحدة، تحسب الطريقة عدم اليقين لكل رمز مولد $y_i$:

1. التجميع الدلالي: بدلاً من النظر في احتمال الرمز المولد المنفرد $P(y_i)$، تحدد الطة مجموعة من الرموز المرشحة $T_i$ التي تتسق دلالياً مع $y_i$.
2. الترشيح المزدوج: يتم تشكيل المجموعة $T_i$ من اتحاد:
   • الرموز المجمعة بالتضمين ($T^e_i$): الرموز التي تنتمي إلى نفس العنقود الدلالي المحسوب مسبقاً لـ $y_i$.
   • الرموز المطابقة للبادئة ($T^p_i$): الرموز التي تعمل كبادئة للتوليد اللاحق (على سبيل المثال، إذا ولد النموذج "tele"، يتم تضمين رموز مثل "television" أو "televis" لالتقاط الاتساق في الشكل السطحي).
3. تجميع الكتلة الاحتمالية: يتم جمع الكتلة الاحتمالية عبر هذه المجموعة:
   $$\hat{p}_c(y_i | x, y_{<i}) = \sum_{t \in T_i} p(t | x, y_{<i})$$
4. الدرجة النهائية: يتم حساب درجة عدم اليقين الإجمالية $S(x, y)$ للتسلسل كواحد ناقص حاصل ضرب هذه الاحتمالات المجمعة عبر جميع الخطوات:
   $$S(x, y) = 1 - \prod_{i=1}^{n} \hat{p}_c(y_i | x, y_{<i})$$
   تشير الدرجة الأعلى إلى عدم يقين أعلى (ثقة أقل).

3. المساهمات الرئيسية

1. الكفاءة: تتطلب طريقة STC توليدًا واحدًا فقط ولا تحتاج لنماذج خارجية. فهي تلغي الحاجة إلى تكرار أخذ العينات أو نماذج NLI المساعدة، مما يقلل من عبء الاستدلال بنسبة تقارب 98% مقارنة بطرق مثل CCP.
2. الوعي الدلالي: على عكس المقاييس القائمة على اللوغيت (مثل Perplexity) التي تعامل الرموز كرموز منفصلة، تستفيد STC من البنية الدلالية الداخلية للنموذج اللغوي الكبير. فهي تدرك أن الرموز المختلفة (مثل "TV" مقابل "television") يمكن أن تمثل المعنى نفسه، مما يمنع ظهور النموذج بمظهر غير الواثق بسبب الاختلافات في الشكل السطحي.
3. تنفيذ مكتفٍ ذاتياً: لا تتطلب الط méthode أي ضبط دقيق (fine-tuning)، أو جمع بيانات خاضعة للإشراف، أو بيانات مصنفة. وهي تعمل مباشرة على النماذج اللغوية الكبيرة ذات "الصندوق الأبيض" (white-box) الجاهزة.
4. الحساب المسبق (Offline): يتم إجراء التجميع المكثف حسابياً بشكل مسبق (offline)، مما يضمن بقاء عملية الاستدلال خفيفة ومناسبة للبيئات ذات الموارد المحدودة أو زمن الاستجابة المنخفض.

4. النتائج التجريبية

قيم المؤلفون STC مقابل 14 نموذجاً مرجعياً (بما في ذلك Perplexity و Semantic Entropy و CCP و EigenScore) عبر نماذج متعددة (Llama-2/3, Mistral, Qwen2.5) ومجموعات بيانات (NQ, TQA, WQ).

• الأداء (AUROC): تحقق STC أداءً مماثلاً للنماذج المرجعية المتطورة (SOTA). وفي كثير من الحالات، تتفوق على طرق أخذ العينات وتتفوق بشكل كبير على المقاييس القائمة على اللوغيت مثل Perplexity.
  • مثال: في مجموعة بيانات TQA مع Llama-3-8B، حققت STC درجة AUROC بلغت 0.882، وهي مماثلة لـ Semantic Entropy (0.882) و EigenScore (0.882)، ولكن بتكلفة أقل بكثير.
• الكفاءة:
  • وقت التنفيذ: تضيف STC عبئاً طفيفاً (على سبيل المثال، ~1.7% عبء نسبي على Llama-3-8B) مقارنة بطرق أخذ العينات التي غالباً ما تضيف عبئاً بنسبة 200%–400%.
  • الأجهزة: يمكن لـ STC العمل بكفاءة على أجهزة المعالجة المركزية (CPUs) دون الحاجة إلى وحدات معالجة الرسومات (GPUs)، بينما تتطلب العديد من النماذج المرجعية تسريع GPU لعمليات أخذ العينات.
• دراسة الاستئصال (Ablation Study): أدى حذف إما التجميع بالتضمين أو مطابقة البادئة إلى تدهور الأداء، مما يؤكد أن كلا المكونين ضروريان لالتقاط الاتساق الدلالي والسطحي.

5. الأهمية والقيود

الأهمية:
تمثل STC تحولاً جذرياً في تقدير عدم اليقين من خلال الابتعاد عن أخذ العينات المكلف أو التحقق الخارجي نحو الاستفادة من المعرفة الدلالية المتأصلة المشفرة بالفعل في أوزان النموذج اللغوي الكبير. إنها تجعل تقدير عدم اليقين عالي الجودة ممكناً للتطبيقات في الوقت الفعلي والبيئات محدودة الموارد.

القيود:

1. متطلبات الوصول: مثل معظم طرق الحالة الداخلية، تتطلب الوصول إلى لوغيتات (logits) وتضمينات الرموز، مما يجعلها غير قابلة للتطبيق على النماذج مغلقة المصدر (Black-box APIs) دون تعديل.
2. التضمينات الثابتة: تستخدم الطريقة تضمينات رموز ثابتة. قد تواجه صعوبة في التعامل مع تعدد المعاني (Polysemy) (الكلمات ذات المعاني المتعددة) حيث قد يجمع التجميع غير المرتبط بالسياق معاني متباعدة. يقترح المؤلفون أن العمل المستقبلي يمكن أن يدمج التضمينات المدركة للسياق.
3. المعايرة (Calibration): درجات عدم اليقين الخام ليست معايرة صراحة (رغم أنه يمكن معايرتها لاحقاً إذا لزم الأمر).

في الختام، يوفر التجميع العنقودي للرموز الدلالية حلاً فعالاً للغاية، ودقيقاً، ومكتفياً ذاتياً للكشف عن مخرجات النماذج اللغوية الكبيرة غير الموثوقة، مما يسد الفجوة بين الأداء والتكلفة الحسابية.