💬 NLP

Why Semantic Entropy Fails: Geometry-Aware and Calibrated Uncertainty for Policy Optimization

تحدد هذه الورقة فجوات متباينة القياس ومعايرة حرجة في مقدرات عدم اليقين القائمة على الإنتروبيا للنماذج اللغوية الكبيرة في مرحلة ما بعد التدريب، وتقترح "تحسين السياسة المعاير المعتمد على الهندسة" (GCPO)، وهو إطار عمل مبتكر يدمج مقاييس مدركة للهندسة ومعايرة قائمة على المكافأة لتتبع تباين التدرج بشكل أكثر دقة وتحسين استقرار التحسين.

المؤلفون الأصليون: Zheyuan Zhang, Kaiwen Shi, Han Bao, Zehong Wang, Tianyi Ma, Yanfang Ye

نُشر 2026-05-22

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zheyuan Zhang, Kaiwen Shi, Han Bao, Zehong Wang, Tianyi Ma, Yanfang Ye

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "لماذا يفشل قياس الإنتروبيا الدلالية: التقدير الواعي بالهندسة والمعاير لتحسين السياسة" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: تعليم روبوت كيف يفكر بشكل أفضل

تخيل أنك تقوم بتدريب روبوت ذكي جداً (نموذج لغوي كبير) لحل ألغاز معقدة، مثل الإجابة على أسئلة صعبة أو حل مسائل رياضية. ليس لديك معلم بشري يقف فوق رأسه لكل سؤال بمفرده. بدلاً من ذلك، تترك الروبوت يحاول الإجابة على نفس السؤال 16 مرة (مجموعة من الإجابات).

إذا قدم الروبوت 16 إجابة مختلفة، فقد يكون بعضها عبقرياً، وبعضها سخيفاً، وبعضها الآخر قد يكون خاطئاً قليلاً. الهدف من طريقة التدريب (التي تسمى GRPO) هو معرفة أي الإجابات جيدة وأيها سيئة، ثم توجيه عقل الروبوت لصنع المزيد من الإجابات الجيدة.

المشكلة؟ الروبوت لا يعرف مدى وجوب ثقته في ارتباكه الخاص. إذا كان مرتبكاً، فهل يجب عليه تجاهل هذا السؤال؟ أم يجب عليه الانتباه أكثر لأن الارتباك غالداً ما يعني أن هناك الكثير ليتعلمه؟

الطريقة القديمة: "مقياس الارتباك" (الإنتروبيا الدلالية)

في السابق، استخدم الباحثون أداة تسمى الإنتروبيا الدلالية (Semantic Entropy) لقياس مدى ارتباك الروبوت.

كيف كانت تعمل: كانت تحصي عدد الإجابات المختلفة التي قدمها الروبوت. إذا قدم الروبوت 16 إجابة مختلفة تماماً، يرتفع "مقياس الارتباك". وإذا قدم 16 إجابة متشابهة، يظل المقياس منخفضاً.
العيب: هذا المقياس كان يحصي فقط عدد الإجابات المختلفة، وليس مدى اختلافها فعلياً.

التشبيه: تخيل معلماً يصحح مقال طالب.

المقياس القديم يحصي فقط عدد الكلمات المختلفة عن المقال السابق.
المشكلة: إنه يعامل طالباً كتب "القط جلس على الحصيرة" وطالباً آخر كتب "السنور استراح على البساط" (وكلاهما يعني الشيء نفسه تماماً) بنفس درجة الارتباك التي يعامل بها طالباً كتب "القط جلس على الحصيرة" وآخر كتب "القمر مصنوع من الجبن".
النتيجة: الطريقة القديمة ترتبك بسبب الاختلافات الصغيرة غير الضارة (مثل المترادفات) وتغفل عن الاختلافات الكبيرة والخطيرة (مثل مسار منطقي خاطئ تماماً). كما أنها لا تهتم إذا كانت الإجابات "المرتبكة" مفيدة حقاً للتعلم أم لا.

الخطآن الكبيران اللذان ترتكبهما الطريقة القديمة

وجد المؤلفون سببين محددين لفشل "مقياس الارتباك" القديم:

1. مشكلة "الشكل" (الفجوة متباينة الخواص - Anisotropic Gap)

المشكلة: الطريقة القديمة تعامل جميع الاختلافات على أنها متساوية. إنها لا تنظر إلى المسافة بين الإجابات.
التشبيه: تخيل أنك تحاول العثض على طريق العودة إلى المنزل.
- السيناريو أ: أخذت منعطفاً خاطئاً، لكنك بعيد عن المسار الصحيح بـ 10 أقدام فقط. (خطأ قريب).
- السيناريو ب: أخذت منعطفاً خاطئاً وانتهى بك الأمر في مدينة أخرى تماماً. (خطأ بعيد جداً).
- الطريقة القديمة تقول إن كلا السيناريوهين "خاطئان بنسبة 100%" وتعاملهما بنفس الطريقة تماماً.
- الطريقة الجديدة تدرك أن السيناريو (أ) في الواقع قريب جداً من الإجابة الصحيحة ويجب التعامل معه بلطف، بينما السيناريو (ب) هو خطأ فادح يتطلب تصحيحاً كبيراً. الطريقة القديمة تتجاهل الهندسة (الشكل والمسافة) للأخطاء.

2. مشكلة "القيمة" (فجوة المعايرة - Calibration Gap)

المشكلة: تفترض الطريقة القديمة أن كون المرء "مرتبكاً" (لديه إجابات كثيرة مختلفة) هو دائماً ضجيج سيء، وتحاول قمع ذلك.
التشبيه: تخيل نادياً للمناظرة.
- السيناريو أ: الجميع يتفق على الإجابة. (ارتباك منخفض، تعلم منخفض).
  _السيناريو ب:** الجميع يتجادلون بجنون، لكنهم يتجادلون جميعاً حول نفس الموضوع الصعب، والمعلم (المكافأة) يعطي نقاطاً لأفضل الحجج. (ارتباك عالٍ، تعلم عالٍ).
- الطريقة القديمة ترى هذا الجدال (الارتباك) وتقول: "توقفوا! هذا ضجيج فوضوي!" وتقوم بإيقاف النقاش. إنها ترمي بأثمن فرص التعلم.
- الطريقة الجديدة تنظر إلى درجة المعلم. ترى أنه رغم وجود جدال، إلا أن المعلم يعطي مكافآت كبيرة لأفضل الحجج. لذا تقول: "رائع! هذا الارتباك هو في الواقع منجم ذهب للتعلم. لنستمر!".

الحل: GCPO (المدرب الذكي)

يقترح المؤلفون نظاماً جديداً يسمى GCPO (تحسين السياسة الواعي بالهندسة والمعاير). فكر في GCPO كمدرب ذكي يستخدم أداتين جديدتين بدلاً من "مقياس الارتباك" القديم:

"مسطرة المسافة" (الوعي بالهندسة):
بدلاً من مجرد عد الإجابات المختلفة، تقيس هذه الأداة مدى بعد الإجابات عن بعضها من حيث المعنى.
- إذا كانت الإجابات مجرد مترادفات (مثل "قط" مقابل "سنور")، تقول المسطرة: "هذه قريبة من بعضها. تجاهل الفرق الضئيل".
- إذا كانت الإجابات مختلفة تماماً (مثل "قط" مقابل "جبن القمر")، تقول المسطرة: "هذه متباعدة جداً! هذا خلاف حقيقي".
- النتيجة: ستمنع الروبوت من الذعر بسبب تغييرات الكلمات الطفيفة وتركز على الأخطاء المنطقية الحقيقية.
"بوصلة المكافأة" (المعايرة):
تتحقق هذه الأداة من "الدرجة" (المكافأة) التي حصل عليها الروبوت مقابل إجاباته.
- إذا كان الروبوت مرتبكاً ولكن الدرجات كلها منخفضة ومتشابهة، تقول البوصلة: "هذا مجرد ضجيج. لا تضيع الوقت هنا".
- إذا كان الروبوت مرتبكاً ولكن الدرجات تتباين بشكل كبير (بعض الإجابات حصلت على درجات عالية، وبعضها منخفض)، تقول البوصلة: "هذه لحظة تعلم رائعة! الاختلافات مهمة. دعونا نستخدم هذا الارتباك للتعلم".
- النتيستة: تجعل الروبوت يستمر في التدريب على المشكلات الصعبة والمثيرة للاهتمام حيث يمكنه التحسن فعلياً، بدلاً من مجرد تجنب الأشياء الصعبة.

ماذا حدث عندما جربوا ذلك؟

اختبر الباحثون هذه الطريقة الجديدة "المدرب الذكي" في عدة مهام صعبة، مثل فهم النصوص (NarrativeQA) والمسائل الرياضية.

النتيجة: تفوقت الطريقة الجديدة (GCPO) باستمرار على الطرق القديمة.
لماذا؟ لأنها لم تكتفِ بمجرد قمع "الارتباك" بشكل أعمى. لقد عرفت أي ارتباك كان مفيداً (إمكانية تعلم عالية) وأيها كان عديم الفائدة (مجرد ضجيج عشوائي).
الملاحظة: عملت الطريقة بشكل أفضل في المهام التي يمكن أن تكون فيها الإجابات مختلفة ولكنها لا تزال صحيحة (مثل سرد القصص). أما في المسائل الرياضية الصارمة جداً حيث توجد إجابة واحدة صحيحة فقط، فقد كانت الفائدة أقل، لأن "شكل" الإجابات كان أقل أهمية من الحصول على الرقم الصحيح.

الملخص

تجادل الورقة بأن مجرد عد مدى "ارتباك" الذكاء الاصطناعي (باستخدام طرق الإنتروبيا القديمة) يشبه الحكم على طالب فقط من خلال عدد الكلمات المختلفة التي يستخدمها، دون النظر فيما إذا كان مخطئاً أم مصيباً بالفعل.

الطريقة الجديدة، GCPO، أكثر ذكاءً. فهي تنظر إلى:

مدى بعد الإجابات عن بعضها حقاً (الهندسة).
مقدار المكافأة التي منحها المعلم للإجابات المختلفة (المعايرة).

من خلال الجمع بين هذين الأمرين، يتعلم الذكاء الاصطناعي بشكل أسرع وأكثر استقراراً، متجاهلاً الضجيج وتركيزاً على اللحظات التي لديه فيها أكبر قدر ليتعلمه.

ملخص تقني: لماذا تفشل الإنتروبيا الدلالية: اليقين المدرك هندسياً والمعاير لتحسين السياسات

بيان المشكلة

أصبح التدريب اللاحق للنماذج اللغوية الكبيرة (LLMs) أمراً مركزياً لتحسين الاستدلال والمواءمة، لا سيما من خلال الأساليب القائمة على المجموعات والخالية من الناقد، مثل تحسين السياسة النسبية للمجموعات (GRPO). في هذه النماذج، يتم أخذ عينات متعددة من الاستجابات لمدخل واحد، ويتم توجيه التحسين عبر المكافآت النسبية. ومع ذلك، يوجد قصور حرج: تتعامل النهج الحالية مع جميع الاستعلامات بشكل موحد، فتفشل في التمييز بين إشارات التعلم المعلوماتية والتباينات الضوضائية.

بينما تحاول الأعمال الحديثة تنظيم التحسين باستخدام إشارات عدم اليقين على مستوى الاستجابة (مثل الإنتروبيا الدلالية)، فإن نجاحها التجريبي غير مستقر. تجادل الورقة بأن مقدرات الإنتروبيا الحالية تعاني من فجوتين جوهريتين عند النظر إليها من منظور تباين التدرج وجودة إشارة التعلم:

الفجوة متباينة المناحي (The Anisotropic Gap): تقيس مقاييس الإنتروبيا تشتت الاحتمالات (مدى احتمالية وجود مجموعات دلالية مختلفة) لكنها تتجاهل المقدار الهندسي للاختلاف. في مهام الاستدلال، قد يكون لخطأ "الاقتراب من الصواب" وخطأ "المسار الخاطئ تماماً" إنتروبيا متشابهة، لكنهما قد يستحثان اتجاهات تدرج مختلفة تماماً. تعامل الإنتروبيا هذه الأخطاء على أنها متساوية في الشدة، وتفشل في التقاط البنية متباينة المناحي الحقيقية لفضاء الخطأ.
فجوة المعايرة (The Calibration Gap): الإنتروبيا منفصلة عن معلوماتية المكافأة. عدم اليقين العالي لا يعني بالضرورة إشارة تعلم قوية؛ فقد يعكس مجرد ضوضاء. وعلى العكس من ذلك، غالباً ما تحتوي العينات ذات التباين العالي على معلومات غنية ومتميزة بالمكافأة. ومن خلال كبح العينات ذات الإنتروبيا العالية دون النظر في تشتت المكافأة، تؤدي الطرق الحالية عن غير قصد إلى كبح العينات التي توفر أقوى إشارات التعلم التصحيحية، مما يؤدي إلى تحسين متحيز وانهيار في تباين التدرج.

المنهجية: تحسين السياسة المعاير والمدرك هندسياً (GCPO)

لمعالجة هذه الفجوات، يقترح المؤلفون GCPO، وهو إطار عمل يعيد تفسير عدم اليقين ليس كوكيل استدلالي للتشتت، بل كآلية لتوصيف ومعايرة تباين التدرج. يدمج GCPO مكونين أساسيين:

1. المقاييس المدركة هندسياً (لمعالجة الفجوة متباينة المناحي)

بدلاً من الاعتماد فقط على الكتلة الاحتمالية، يقدم GCPO مقاييس تلتقط المسافة الهندسية بين التمثيلات الدلالية في فضاء التضمين:

التشتت جيب التمام (Cosine Dispersion - CD): يقيس الاختلاف الهندسي الزوجي مباشرة في فضاء التضمين. يقوم بحساب مجموع الأوزان لمسافات جيب التمام بين تضمينات الاستجابات. يعد CD فعالاً في التقاط التباينات الدلالية المستمرة والدقيقة.
النقل الباري سنتري (Barycentric Transport - BoT): مستوحى من النقل الأمثل، يلتقط هذا المقياس التشتت المهيكل عبر المجموعات الدلالية المتميزة. يقوم بتجميع الاستجابات في مجموعات دلالية، ويحسب اتجاه المركز الباري (Barycenter) للإجماع، ويقيس تكلفة النقل (انحراف جيب التمام) لمركز كل مجموعة عن هذا الإجماع. يتميز BoT بالمتانة تجاه التكرار البارافرازي (إعادة الصياغة) داخل المجموعات بينما يظل حساساً للتباعد الدلالي الحقيقي بين الأنماط.

تولد هذه المقاييس وزناً للموثوقية، $\omega_{geo}$ ، والذي يعاقب الانحرافات الدلالية الكبيرة مع التسامح مع الاختلافات الطفيفة.

2. تشتت المكافأة (لمعالجة فجوة المعايرة)

للمواءمة بين عدم اليقين وقوة إشارة التعلم، يقدم GCCP تشتت المكافأة (Reward Dispersion - RD). يحدد هذا الوحدة مدى معلوماتية مجموعة من المخرقات بناءً على تباين المكافآت داخل تلك المجموعة.

إذا أنتجت مجموعة من الاستجابات مكافآت متنوعة للغاية (تشتت عالٍ)، فهذا يشير إلى إشارات تفضيل قوية وفرص تعلم معلوماتية.
إذا كانت المكافآت موحدة (تشتت منخفض)، فإن المجموعة تقدم إشارة تعلم محدودة.
يولد RD وزناً تضخيمياً، $\omega_{RD}$ ، يقوم بتوسيع نطاق التحديثات للمجموعات ذات المعلوماتية العالية للمكافأة.

التعديل الموحد

يتم تعديل تحديث السياسة النهائي للاستعلام $q$ من خلال حاصل ضرب هذه الأوزان:
$\tilde{A}_i = A_i \cdot \omega_{geo}(q) \cdot \omega_{RD}(q)$
يضمن هذا الصياغة أن تحديثات التدرج تُقوى عندما تظهر الاستجابات بنية دلالية متوافقة مع تباين مكافأة معلوماتي، وتُضعف عندما يهيمن التباين على الضوضاء أو عدم الاتساق الدلالي.

المساهمات الرئيسية

صياغة مبدئية: تقدم الورقة أول تحليل يصيغ صراحةً إشارات عدم اليقين كآليات لتنظيم تباين التدرج وجودة إشارة التعلم. لقد حددت وشخصت نظرياً الفجوة متباينة المناحي وفجوة المعايرة كأسباب جذرية لفشل طرق الإنتروبيا.
إطار عمل GCPO: اقتراح إطار عمل تحسين جديد يجمع بين البنية الدلالية المدركة هندسياً (CD/BoT) وبين معايرة المكافأة (RD) لكبح التباين الضوضائي انتقائياً مع الحفاظ على التدرجات المعلوماتية.
التحقق التجريبي: أظهرت التجارب المكثفة أن المقاييس المدركة هندسياً تتوافق بشكل أكبر مع تباين التدرج على مستوى العينة مقارنة بمقاييس الإنتروبيا. كما أثبتت الطريقة المقترحة تفوقاً مستمراً في أداء ما بعد التدريب عبر عدة اختبارات مرجعية.

النتائج التجريبية

قيم المؤلفون GCPO على اختبارات مرجعية متنوعة تشمل الأسئلة ذات الإجابات المفتوحة (NarrativeQA, Qasper)، والأسئلة القائمة على الحقائق (HotpotQA)، والاستدلال الرياضي (MATH500, AIME24, OlympiadBench) باستخدام نموذج Qwen2.5-1.5B-Instruct.

مكاسب الأداء: يتفوق GCPO باستمرار على GRPO الخام والأساليات القائمة على الإنتروبيا (مثل Seed-GRPO و EMPO).
- في NarrativeQA، حقق GCPO (مع BoT) تحسناً بنسبة 11.38% في الدقة و 10.15% في F1 مقارنة بـ GRPO الخام.
- في Qasper، كانت التحسينات تقريباً 20% في الدقة و 18.82% في F1.
- في HotpotQA، أظهر GCPO مكاسب بنسبة 21.56% في F1.
توافق التدرج: كشف التحليل الإحصائي أن المقاييس المدركة هندسياً (CD, BoT) تظهر ارتباطاً أقوى بكثير مع تباين التدرج على مستوى العينة مقارنة بمقاييس الإنتروبيا. وهذا يؤكد الادعاء النظري بأن هذه المقاييس تتبع ديناميكيات التحسين الفعلية بشكل أفضل.
الاستقرار: قلل GCPO من الانحراف المعياري لعمليات التدريب، مما يشير إلى تحسن الاستقرار دون التضحية بالأداء.
دقة الاستدلال الرياضي: بينما حسن GCPO الأداء في MATH500، كانت المكاسب أقل وضوحاً في AIME24 و OlympiadBench. يعزو المؤلفون ذلك إلى طبيعة هذه المهام، حيث قد توجد مسارات حل متعددة وصحيحة ذات مكافآت متشابهة، مما يضعف التوافق بين عدم اليقين الدلالي وتباين التدرج المعلوماتي.

الأهمية والادعاءات

تدعي الورقة أن عدم اليقين لا ينبغي معاملته كوكيل عام للتشتت، بل كإشارة مهيكلة مرتبطة بديناميكيات التعلم. تكمن أهمية هذا العمل في:

إعادة صياغة عدم اليقين: تغيير المنظور من "عدم اليقين كضوضاء يجب كبحها" إلى "عدم اليقين كإشارة معايرة لتنظيم التدرج".
تدريب لاحق قوي: تقديم دليل مبدئي لتصميم إشارات عدم اليقين التي تحافظ على التدرجات المعلوماتية مع تجنب انهيار إشارات التعلم، وهو أمر بالغ الأهمية لاستقرار التدريب اللاحق للنماذج اللغوية الكبيرة.
التصميم الواعي للمهام: تسليط الضوء على أن فعالية تقدير عدم اليقين تعتمد على التوافق بين التباين الدلالي وإشارات التحسين، مما يشير إلى أن الأساليب المستقبلية يجب أن تكون مصممة خصيصاً لخصائص مهام محددة (مثل الاستدلال مقابل التوليد).

يخلص المؤلفون إلى أنه من خلال دمج البنية المدركة هندسياً مع معايرة المكافأة، يحقق GCPO مواءمة أكثر موثوقية مع ديناميكيات التحسين، مما يوفر مساراً قوياً لتحسين الاستدلال والمواءمة في النماذج اللغوية الكبيرة.