ملخص تقني: التصويت الصامت

تعريف المشكلة: انحياز إعادة التطبيع والتصويت الصامت

تحدد هذه الورقة مشكلة موثوقية منهجية في النماذج اللغوية الكبيرة (LLMs) المستخدمة كمصنفات بأسلوب "التعلم الصفري" (zero-shot)، والتي أطلقت عليها اسم انحياز إعادة التطبيع (Renormalization Bias). في عملية فك التشفير المقيد (constrained decoding) القياسية، يتم تقييد النماذج بمجموعة صغيرة من التسميات المستهدفة (مثل فئات عاطفية محددة). ولفرض ذلك، يتم تطبيق عملية "softmax" فقط على الرموز (tokens) التي تمثل هذه التسميات، مما يؤدي فعلياً إلى حجب بقية المفردات.

يجادل المؤلفون بأن هذه العملية تتجاهل "التصويت الصامت": وهو الكتلة الاحتمالية المخصصة للمترادفات الدلالية والمفاهيم ذات الصلة التي توجد خارج مجموعة التسميات المقيدة ولكنها ذات صلة دلالية بالمدخلات. ولأن النماذج اللغوية الكبيرة تتعلم تمثيلات موزعة حيث يتوزع المعنى عبر جوار كثيف من المترادفات، فإن إجبار النموذج على الاختيار من بين مجموعة ضيقة من الرموز قبل حساب الاحتمالات يؤدي إلى ثقة مفرطة مصطنعة. حيث يمنح النموذج احتمالية تقترب من اليقين لتسمية مستهدفة معينة لمجرد أنها الرمز الوحيد المسموح به الذي يمتلك تقارباً غير مهمل، حتى لو كان التوافق الدلالي المطلق ضعيفاً. يؤدي هذا إلى سوء المعايرة (calibration)، حيث تتجاوز الثقة المتوقعة الدقة الفعلية بشكل كبير، ويفشل في قياس عدم اليقين العرضي (aleatoric uncertainty) المتأصل في المدخلات الغامضة.

المنهجية: الـ Softmax الدلالي (Semantic Softmax)

لاستعادة المعلومات المفقودة والتخفيف من انحياز إعادة التطبيع، يقترح المؤلفون الـ Softmax الدلالي (Semantic Softmax)، وهو طبقة استدلال خفيفة الوزن ولا تتطلب تدريباً. بخلاف فك التشفير المقيد القياسي الذي يحجب المفردات، يقوم الـ Semantic Softmax بتجميع الكتلة الاحتمالية من الجوار الدلالي المحيط بكل تسمية مستهدفة.

يعمل الإطار كما يلي:

1. التوزيع غير المقيد: يقوم النموذج بتوليد قيم "logits" خام على كامل المفردات.
2. اختيار أفضل K (Top-K Selection): بدلاً من الحجب، تأخذ الطريقة في الاعتبار أفضل $K$ من الرموز من التوزيع غير المقيد ($V_{topK}$).
3. النواة الدلالية (Semantic Kernel): يتم حساب وزن دلالي $w(v, l)$ بين كل رمز غير مقيد $v$ وتسمية مستهدفة $l$ باستخدام تضمينات (embeddings) مخرجات النموذج. ويُشتق هذا الوزن من تشابه جيب التمام (cosine similarity) المعتمد على عتبة:
   $$w(v, l) = \max\left(0, \frac{E_v \cdot E_l}{\|E_v\|\|E_l\|} - \tau\right)$$
   حيث $\tau$ هو معامل عتبة يعمل كمرشح للضجيج.
4. الاحتمال المجمع: يتم حساب الاحتمال النهائي لتسمية مستهدفة كجمع مرجح لاحتمالات أفضل $K$ من الرموز، مع تطبيعها عبر جميع التسميات المستهدفة:
   $$P_{sem}(l|x) = \frac{\sum_{v \in V_{topK}} P(v) \cdot w(v, l)}{\sum_{l' \in L} \sum_{v \in V_{topK}} P(v) \cdot w(v, l')}$$

يسمح هذا النهج للنموذج بعكس عدم اليقين الداخلي لديه؛ فإذا كانت الأدلة الدلالية موزعة عبر رموز مرتبطة بفئات مختلفة، فإن توزيع الاحتمالات الناتج يصبح ناعماً بطبيعته بدلاً من أن يظل حاداً بشكل مصطنع.

الإعداد التجريبي والنتائج

قام المؤلفون بتقييم الـ Semantic Softmax على نموذجي Qwen-3-1.7B و Phi-4-mini (3.8B) باستخدام مجموعتي بيانات:

• GoEmotions: مجموعة بيانات تضم 58,000 تعليق من Reddit مع 28 فئة عاطفية دقيقة، اختيرت بسبب التداخل الدلالي الكبير بين التسميات.
• Civil Comments (المجموعة الفرعية الغامضة): استُخدمت لتقييم التعامل مع عدم اليقين العرضي، بالاعتماد على درجات اختلاف المقيّمين بدلاً من التسميات القطعية.

النتائج الرئيسية:

• تحسين المعايرة: قلل الـ Semantic Softmax بشكل كبير من خطأ المعايرة المتوقع (ECE). في GoEmotions، انخفض ECE من 0.574 إلى 0.069 لنموذج Qwen-3 ومن 0.421 إلى 0.065 لنموذج Phi-4، مما يمثل تحسناً يصل إلى 8.5 ضعفاً عن النماذج المرجعية القياسية. كما لوحظت انخفاضات مماثلة (أكثر من 75% في المتوسط) في Civil Comments.
• درجة براير (Brier Score): خفضت الطريقة باستمرار درجة براير، مما يشير إلى تقليل متوسط الفرق التربيعي بين الاحتمالات المتوقعة والنتائج الفعلية.
• الأداء التمييزي: خلافاً للافتراض بأن تحسينات المعايرة قد تأتي على حساب الدقة، عزز الـ Semantic Softmax القدرة التمييزية في الوقت نفسه. فقد ارتفعت قيم AUROC و Macro-F1 في جميع الإعدادات المختبرة.
• توزيع الثقة: أظهرت مخططات الموثوقية أن فك التشفير القياسي أظهر ثقة مفرطة منهجية (منحنيات تحت القطر)، بينما تتبع الـ Semantic Softmax منحنى المعايرة المثالي بدقة. وفي المدخلات الغامضة، فرضت النماذج القياسية احتمالات قصوى (>0.9)، بينما أنتج الـ Semantic Softmax درجات تتماشى مع الإجماع البشري.

المساهمات الرئيسية

تقدم الورقة ثلاث مساهمات رئيسية:

1. صياغة انحياز إعادة التطبيع: حدد المؤلفون وصاغوا الانحراف المنهجي الناتج عن تقييد التطبيع على الرموز المستهدفة، معتبرين إياه محركاً للثقة المفرطة في عمليات نشر النماذج اللغوية الكبيرة في المؤسسات.
2. إطار عمل الـ Semantic Softmax: قدموا عملية قابلة للتنفيذ رياضياً لتجميع الأدلة الدلالية الموزعة أثناء الاستدلال المقيد دون الحاجة إلى تحديثات للمعلمات أو تغييرات هيكلية في النموذج.
3. التحقق التجريبي: من خلال التجارب على GoEmotions و Civil Comments، أثبتوا أن الطريقة تقلل خطأ المعايرة ودرجة براير مع تحسين التوافق مع الاختلاف البشري في السيناريوهات الغامضة وتعزيز الأداء التمييزي العام.

الأهمية والقيود

تضع الورقة الـ Semantic Softmax كحل "جاهز للاستخدام" (plug-and-play) للبنية التحتية الحالية للخدمات، والذي يحسن موثوقية التصنيف بأسلوب التعلم الصفري من خلال مراعاة الفروق اللغوية الدقيقة. وهو يقدم بديلاً أكثر معايرة للمهام التي تتضمن اكتشاف السمات السامة وتصنيف العواطف.

ومع ذلك، حافظ المؤلفون على نطاق متواضع فيما يتعلق بادعاءاتهم:

• النطاق: صُممت الطريقة خصيصاً لنموذج "النموذج اللغوي الكبير كمصنف" مع فك التشفير المقيد.
• البنية: اقتصر التحقق على البنى الهيكلية الفعالة (1.7B–3.8B بارامتر)؛ ولم يتم تحديد قوانين القياس (scaling laws) للنماذج التأسيسية الأكبر حجماً.
• التكلفة الحسابية: تفرض الطة عبئاً إضافياً في وقت الاستدلال بسبب البحث الديناميكي عن أفضل $K$ وحسابات التشابه، مما يجعلها أقل ملاءمة لمهام فك التشفير طويلة الأمد حيث يتراكم زمن الاستجابة.
• الاعتماد على التضمين: تعتمد الفعالية على جودة فضاء التضمين الأساسي؛ إذ يمكن نظرياً أن تؤدي التضمينات متباينة الخواص (anisotropic) أو التجمعات الدلالية الضعيفة إلى إدخال الضجيج.
• اللغة: يقتصر التقييم حالياً على معايير اللغة الإنجليزية.

ملاحظة أخلاقية: يؤكد المؤلفون أنه بينما تعمل الطريقة على تحسين تحديد عدم اليقين، فإنها لا تقضي على التحيزات المجتمعية المتأصلة في النماذج الأساسية. وينصحون باستخدام المخرجات ذات درجة عدم اليقين العالية كمحفزات للمراجعة البشرية بدلاً من الاعتماد الكلي على الأحكام الآلية في مهام الإشراف الحساسة.