🤖 machine learning

The Alignment Tax: Response Homogenization in Aligned LLMs and Its Implications for Uncertainty Estimation

تحدد هذه الورقة "تجانس الاستجابة" كضريبة محاذاة كبيرة في النماذج اللغوية المدربة باستخدام التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) تجعل تقدير عدم اليقين القائم على أخذ العينات غير فعال، مبرهنةً أن إنتروبيا الرمز (token entropy) تظل إشارة قوية ومقترحةً استراتيجية تتابع منخفضة التكلفة لتحسين دقة التنبؤ الانتقائي.

المؤلفون الأصليون: Mingyi Liu

نُشر 2026-03-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mingyi Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً (روبوت) ذكياً جداً ومدرباً جيداً. تسأله سؤالاً، فيعطيك إجابة. ولكن كيف تعرف ما إذا كان الروبوت متأكداً من إجابته أم أنه مجرد يخمن؟

لفترة طويلة، اعتقد الباحثون أن أفضل طريقة للتحقق هي سؤال الروبوت نفس السؤال عشر مرات. إذا أعطاك الروبوت عشر إجابات مختلفة، فمن المحتمل أنه مرتبك (ثقة منخفضة). أما إذا أعطاك نفس الإجابة عشر مرات، فمن المحتمل أنه متأكد (ثقة عالية).

تكشف هذه الورقة البحثية، بعنوان "ضريبة المحاذاة" (The Alignment Tax)، عن مشكلة صادمة: مساعدو الذكاء الاصطناعي الحديثون "المحاذون" (Aligned) مهذبون للغاية لدرجة أن هذه الحيلة لم تعد تعمل.

إليك تفصيل الأمر بكلمات بسيطة، باستخدام بعض التشبيهات من الحياة اليومية.

1. مشكلة "غرفة الصدى" (تجانس الاستجابة)

تخيل أنك تسأل مجموعة من 10 أصدقاء: "ماذا يحدث إذا أكلت بذور البطيخ؟"

في الماضي (النماذج الأساسية - Base Models): قد يقول أحد الأصدقاء: "سينمو عرق نبات في معدتك!"، وقد يقول آخر: "لا شيء، ستمر عبر جسمك فقط"، وثالث قد يقول: "سمعت أنها سامة". جميعهم يقدمون إجابات مختلفة. هذا التنوع يخبرك: "مهلاً، لا أحد يعرف الحقيقة هنا حقاً".
اليوم (النماذج المحاذاة - Aligned Models): لأن هذه النماذج تم تدريبها لتكون "مفيدة، وغير ضارة، وصادقة"، فقد تعلمت تقديم الإجابة "الآمنة والصحيحة". عندما تسأل نفس السؤال 10 مرات، يعطيك الروبوت نفس الإجابة تماماً في كل مرة.

التشبيه: الأمر يشبه سؤال جوقة غنائية (كورال) لأداء أغنية. إذا كانت "جوقة أساسية"، فقد يغنونها بـ 10 أساليب مختلفة. أما إذا كانت "جوقة محاذات"، فقد تم تدريبهم بدقة شديدة لدرجة أنهم جميعاً يغنون نفس النوتة، بنفس الدرجة، وبنفس النبرة تماماً.

المشكلة: ولأنهم جميعاً يبدون متشابهين، لا يمكنك معرفة ما إذا كانوا يغنون النوتة الصحيحة أم الخاطئة. إنهم مخطئون بثقة. تطلق الورقة على هذا اسم "ضريبة المحاذاة": لكي نجعل الذكاء الاصطناعي آمناً ومتسقاً، كسرنا دون قصد قدرته على إظهار متى يكون غير متأكد.

2. "البوصلة المعطلة" (لماذا تفشل الطرق القديمة)

استخدم العلماء سابقاً طريقة تسمى "الاعتلاج الدلالي" (Semantic Entropy) (وهي سؤال الروبوت عدة مرات والتحقق من التنوع) لقياس عدم اليقين.

ما وجدته الورقة: في الأسئلة الواقعية الصعبة (مثل "من كان أول رئيس للولايات المتحدة؟")، تعطي هذه الطريقة الآن صفر من الإشارات. إنها مثل بوصلة تشير دائماً إلى الشمال، حتى وأنت في القطب الجنوبي. فهي تخبرك أن الروبوت "واثق"، حتى لو كان يهذي بهراء.
الإحصائية: في 40% إلى 79% من الأسئلة، يعطي الروبوت نفس الإجابة تماماً في كل مرة، حتى لو كانت تلك الإجابة خاطئة.

3. "الرعشة الخفية" (الحل الجديد)

إذا كانت إجابات الروبوت كلها متطابقة، فكيف يمكننا معرفة ما إذا كان غير متأكد؟
تقترح الورقة النظر إلى "عملية التفكير الداخلية" للروبوت بدلاً من الإجابة النهائية.

التشبيه: تخيل لاعب سيرك يمشي على حبل مشدود.
- الطريقة القديمة: راقب خطواته. إذا سلك 10 مسارات مختلفة، فهو مهتز. إذا سلك نفس المسار 10 مرات، فهو ثابت. (لكن الروبوت "المحاذى" يسلك دائماً نفس المسار، حتى لو كان حبلاً مهتزاً).
- الطريقة الجديدة: استمع إلى تنفسه وضربات قلبه. حتى لو سلك نفس المسار في كل مرة، فقد يكون قلبه ينبض بسرعة (ارتفاع "اعتلاج الرموز" أو Token Entropy) عندما يكون في جزء خطير من الحبل.

تظهر الورقة أنه بينما تكون الإجابات متطابقة، فإن "درجة الثقة" الداخلية للروبوت لكل كلمة يكتبها لا تزال تتذبذب. هذه "الرعشة" الداخلية هي إشارة أفضل لعدم اليقين من الإجابة النهائية.

4. "بوابة الرسوم الذكية" (بنية الهيكل المتتالي - Cascade Architecture)

بما أنه لا توجد طريقة واحدة تصلح لكل شيء، تقترح المؤلفات نظام "التتالي الأرخص أولاً" (UCBD). فكر في هذا كمركز أمني ذكي لإجابات الذكاء الاصطناعي.

بدلاً من إجراء اختبارات مكلفة وبطيئة على كل سؤال، يستخدم النظام قمعاً (Funnel):

المستوى 1 (مجاني وسريع): تحقق من "نبض قلب" الروبوت الداخلي (اعتلاج الرموز - Token Entropy). إذا بدا مهتزاً، ضع علامة تحذير. هذا يلتقط 57% من المشكلات مجاناً.
المستوى 2 (رخيص): إذا كان المستوى الأول هادئاً، اطلب من الروبوت التحقق من ذاكرته (كثافة التضمين - Embedding Density). هل هذا السؤال في "صحراء معرفية"؟
المستوى 3 (مكلف): فقط إذا كان المستويان الأول والثاني غير متأكدين، نقوم بإجراء فحص ثقيل وبطيء (مثل سؤال ذكاء اصطناعي آخر أو البحث في الإنترنت).

النتيجة: يوفر هذا النظام كمية هائلة من قدرات الحوسبة (توفير 57% من التكلفة) بينما يجعل الذكاء الاصطناعي أكثر دقة في الواقع. في المسائل الرياضية، رفع هذا النظام الدقة من 84% إلى 93% ببساطة عن طريق رفض الإجابة عندما يكون الروبوت غير متأكد.

5. لماذا يحدث هذا؟ (المتهم هو "DPO")

تبحث الورقة في سبب أصبح الروبوت مكرراً للغاية. ووجدت أن الأمر لم يكن مجرد "تعلم التحدث مع البشر" (SFT). المتهم الحقيقي هو تقنية تدريب محددة تسمى "تحسين التفضيل المباشر" (DPO - Direct Preference Optimization).

التشبيه: تخيل طالباً يحصل على درجات جيدة لإعطاء الإجابة "النموذجية". إذا استمر المعلم (مدرب الذكاء الاصطناعي) في مكافأة الطالب لإعطاء نفس الإجابة لكل سؤال، فسيتوقف الطالب عن محاولة التفكير بشكل إبداعي. سيكتفي فقط بحفظ الاستجابة "الآمنة".
الخبر الجيد: وجدت الورقة أن ليست كل وصفات التدريب متشابهة. بعض النماذج (مثل Tulu-3) تم تدريبها بطريقة حافظت على "تنوعها"، بينما أصبحت نماذج أخرى (مثل Zephyr) مكررة جداً. وهذا يعني أنه يمكننا إصلاح المشكلة عن طريق تغيير طريقة تدريب الذكاء الاصطناعي.

ملخص: ما الذي يجب أن تستخلصه؟

لا تثق في اختبار "نفس الإجابة": مجرد تقديم الذكاء الاصطناً لنفس الإجابة 10 مرات لا يعني أنه على صواب. قد يكون "محاذى" ليكون مكرراً فحسب.
ابحث عن "نبض القلب": لمعرفة ما إذا كان الذكاء الاصطناعي غير متأكد، انظر إلى درجات الثقة الداخلية الخاصة به، وليس فقط مخرجاته النهائية.
استخدم نظام القمع: لا تستخدم فحوصات ثقيلة ومكلفة لكل سؤال. استخدم نظاماً خطوة بخطوة يبدأ بفحوصات مجانية وسريعة ولا يصبح مكلفاً إلا عند الضرورة.
"الضريبة" حقيقية: جعل الذكاء الاصطناعي آمناً ومتسقاً له تكلفة خفية: إنه يجعل من الصعب معرفة متى يكون الذكاء الاصطناعي مرتبكاً. نحن بحاجة إلى أدوات جديدة لإصلاح ذلك.

باختاًصر: لقد تعلم الذكاء الاصطناعي أن يكون صدىً مثالياً، ولكن في بعض الأحيان نحتاج لسماع "الشرخ" في صوته لنعرف أنه في ورطة.

إليك ملخص تقني مفصل لورقة البحث "ضريبة المحاذاة: تجانس الاستجابة في النماذج اللغوية الكبيرة المحاذية وتداعياتها على تقدير عدم اليقين" للباحث مينجي ليو.

1. بيان المشكلة

تتناول الورقة نمط فشل حرج في التعلم المعزز من التغذية الراجعة البشرية (RLHF) للنماذج اللغوية الكبيرة (LLMs) المحاذية: تجانس الاستجابة (Response Homogenization).

الظاهرة: عندما يتم توجيه النماذج المحاذية بأسئلة واقعية (مثل TruthfulQA) ويتم أخذ عينات منها عدة مرات (i.i.d.)، فإنها غالباً ما تنهار في عنقود دلالي واحد. فبدلاً من توليد إجابات متنوعة (بعضها صحيح وبعضها خاطئ)، ينتج النموذج نفس الإجابة بشكل متكرر، بغض النظر عن صحتها.
النتيجة: هذه "ضريبة المحاذاة" تجعل طرق تقدير عدم اليقين القائمة على أخذ العينات (UQ) عديمة الفائدة هيكلياً. فالطرق مثل "الاعتلاج الدلالي" (Semantic Entropy - SE) أو "SelfCheckGPT" تعتمد على التنوع بين العينات للكشف عن الأخطاء. وإذا كان النموذج يخرج دائماً نفس الإجابة (حتى لو كانت خاطئة)، فإن هذه الطرق تعطي قدرة تمييزية معدومة (AUROC ≈ 0.50).
الفجوة: بينما تحتفظ مستويات الاعتلاج على مستوى الرمز (Token-level entropy) -وهي إشارة من تمريرة واحدة- ببعض الإشارة، إلا أن الطرق القائمة على أخذ العينات تفشل تماماً في مهام الأسئلة والأجوبة الواقعية، بينما تعمل بشكل جيد في مهام الاستدلال الرياضي. وهذا يكشف أن عدم اليقين ليس كتلة واحدة بل يعتمد على المهمة.

2. المنهجية

استخدم المؤلفون تصميماً تجريبياً صارماً يتضمن 22 تجربة عبر 5 معايير مرجعية، و4 عائلات من النماذج، و3 مقاييس للنماذج (3B–14B).

أ. التجارب التشخيصية ("ضريبة المحاذاة")

معدل العنقود الواحد (SCR): المقياس الأساسي هو النسبة المئوية للأسئلة التي تنهار فيها $N$ من العينات (عادة $N=10$ ) في عنقود دلالي واحد.
متانة التجميع (Clustering Robustness): تحقق المؤلفون من التجانس باستخدام طرق تجميع متعددة:
- على المستوى السطحي: تشابه Jaccard للكلمات الثنائية (Bigram).
- على المستوى الدلالي: تشابه جيب التمام للتضمين (Embedding cosine similarity) (التجميع التراكمي، أسلوب SINdex).
- على المستوى المنطقي: التجميع القائم على الاستدلال باللغة الطبيعية (NLI) باستخدام نماذج DeBERTa (70M–435M معلمة).
الاستئصال السببي (Causal Ablations):
- الأساسي مقابل المُتعلّم (Base vs. Instruct): مقارنة النماذج الأساسية سابقة التدريب مع نظيراتها المضبوطة بالتعليمات/المحاذية بالـ RLHF.
- تفكيك مراحل التدريب: عزل تأثير الضبط الدقيق الخاضع للإشراف (SFT) مقابل تحسين التفضيل المباشر (DPO) باستخدام سلاسل التدريب (Mistral/Zephyr و Llama/Tulu-3).
- العائلة والوصفة البرمجية: مقارنة عائلات نماذج مختلفة (Qwen, LLaMA, Mistral) ووصفات تدريب مختلفة (مثل DPO الخاص بـ Zephyr مقابل DPO+RLVR الخاص بـ Tulu-3).
فحوصات المتانة: الاختبار عبر درجات حرارة مختلفة ( $T=0.3$ إلى $1.5$)، استراتيجيات فك التشفير (Nucleus sampling)، أطوال التوليد (40–200 رمز)، ومستويات التكميم (4-bit مقابل 8-bit).

ب. الحل المقترح: شلال UCBD

مدفوعاً بالتشخيص بأن إشارة واحدة لا تصلح لجميع المهام، اقترح المؤلفون UCBD (شلال عدم اليقين مع كشف الحدود).

البنية: شلال "الأرخص أولاً" من خمسة حدود معرفية متعامدة:
1. B1 (الطلاقة): اعتلاج مجاني على مستوى الرمز (يقيس عدم اليقين الحسابي).
2. B2 (الكثافة): تخلخل مساحة التضمين (يقيس مناطق نقص المعرفة).
3. B3 (الحداثة): فحوصات البيانات الوصفية الزمنية (يكشف المعرفة القديمة).
4. B4 (انقطاع الارتباط): درجات إكمال الرسم البياني للمعرفة (يكشف الروابط المفقودة).
5. B5 (التأصيل): التحقق الخارجي عبر NLI أو الاسترجاع.
التوجيه: يقوم "نموذج مؤشر" خفيف الوزن (انحدار لوجستي) بتوجيه الاستعلامات عبر الشلال. إذا أشارت إشارة رخيصة (B1) إلى عدم اليقين، يقوم النظام بالتصعيد إلى إشارات أغلى (B2–B5) عند الضرورة فقط.

3. المساهمات الرئيسية

تحديد كمية ضريبة المحاذاة:
- أثبتوا أن 40-79% من الأسئلة في TruthfulQA تنهار في عنقود دلالي واحد في النماذج المحاذية (اعتماداً على طريقة التجميع).
- أظهروا أنه في هذه الأسئلة ذات العنقود الواحد، تمتلك طرق UQ القائمة على أخذ العينات قدرة تمييزية معدومة (AUROC ≈ 0.50)، بينما تحتفظ إشارة الرمز المجانية ببعض القدرة (AUROC ≈ 0.603).
الإسناد السببي إلى DPO:
- الأساسي مقابل المُتعلّم: قللت المحاذاة التنوع بمقدار $2.6\times$ (قفز SCR من 1.0% في Base إلى 28.5% في Instruct لنموذج Qwen3-14B).
- استئصال المرحلة: يحافظ SFT على تنوع قريب من النموذج الأساسي (SCR ≈ 1.5%)، بينما DPO هو المحرك الرئيسي للانهيار (قفز SCR إلى 4.0% في Zephyr).
- الاعتماد على الوصفة: تختلف الشدة بشكل كبير باختلاف وصفة التدريب. يظهر Tulu-3 (DPO+RLVR) ضريبة ضئيلة (0.5% SCR)، بينما يظهر Zephyr (DPO فقط) 4.0%، و Qwen3-14B يظهر 28.5%.
هيكل عدم اليقين المعتمد على المهمة:
- كشفوا عن فجوة هائلة في قوة إشارة عدم اليقين:
  - الأسئلة والأجوبة الواقعية (TruthfulQA): معامل Cohen's $d = 0.07$ (قريب من الصدفة).
  - الاستدلال الرياضي (GSM8K): معامل Cohen's $d = 0.81$ (إشارة قوية).
- هذا يثبت أن كاشف عدم اليقين الواحد لا يمكنه سد جميع أنواع المهام؛ لذا يلزم نهج متعدد الحدود.
بنية شلال UCBD:
- اقترحوا شلالاً محسناً من حيث التكلفة يحقق توفيراً بنسبة 57% في التكلفة من خلال حل 50% من الاستعلامات في مرحلة B1 المجانية.
- أظهروا أن الحدود ضعيفة الاعتماد ( $|r| \le 0.12$ ) تسمح بتغطية فائقة الجمع.

4. النتائج الرئيسية

معدلات التجانس:
- Qwen3-14B: 28.5% SCR.
- LLaMA-3.2-3B: 5.5% SCR.
- Mistral-7B: 1.0% SCR.
- Tulu-3: 0.5% SCR.
- النماذج الأساسية (Base): ≈ 0–1.0% SCR.
أداء كشف عدم اليقين:
- TruthfulQA: يتفوق اعتلاج الرمز B1 (AUROC 0.599) بشكل كبير على الاعتلاج الدلالي (AUROC 0.548) و SE القائم على NLI (AUROC ≈ 0.51).
- GSM8K: يحقق اعتلاج الرمز B1 قيمة AUROC قدرها 0.724.
- التنبؤ الانتقائي: في GSM8K، رفع استخدام الشلال للامتناع عن أكثر 50% من الاستعلامات عدم يقين دقة النموذج من 84.4% إلى 93.2%.
المتانة:
- تستمر الضريبة عبر درجات الحرارة ( $T=0.3$ إلى $1.5$)، واستراتيجيات فك التشفير، وأطوال التوليد (حتى عند 200 رمز، يظل SCR كبيراً).
- أكد التحقق من التضمين المتقاطع (Qwen3-Embedding مقابل Nomic-embed-text) أن التجانس هو خاصية لتوزيع مخرجات النموذج، وليس نتاجاً لنموذج التضمين.

5. الأهمية والتداعيات

نظرياً: تعيد الورقة تعريف "ضريبة المحاذاة" ليس فقط كفقدان للإبداع، بل كـ فشل هيكلي في تقدير عدم اليقين. وهي تفسر لماذا تتفوق الطرق ذات التمريرة الواحدة (مثل اعتلاج الرمز) غالباً على الطرق القائمة على أخذ العينات في النماذج المحاذية: RLHF يثبط التنوع بين العينات لكنه لا يستطيع تثبيط الاعتلاج الحسابي داخل الرمز بشكل كامل دون تدهور جودة التوليد.
عملياً:
- تحذير: لا ينبغي للممارسين الوثوق بعدم اليقين القائم على أخذ العينات (مثل "اسأل النموذج 10 مرات وتحقق من التباين") للأسئلة الواقعية في النماذج المحاذية؛ فمن المرجح أن يفشل.
- الحل: استخدم اعتلاج الرمز كخط أساس مجاني وطبق شلالات متعددة الحدود (UCBD) لتوجيه الاستعلامات إلى طرق التحقق الأكثر تكلفة (مثل الاسترجاع أو NLI) عند الضرورة فقط.
- التدريب: شدة الضريبة تعتمد على الوصفة البرمجية. يمكن لمسارات التدريب التي تتضمن RLVR أو أهدافاً محددة للحفاظ على التنوع (مثل Tulu-3) أن تخفف من حدة الضريبة بشكل كبير مقارنة بـ DPO القياسي.
الاتجاهات المستقبلية: تقترح الورقة وجوب تقييم طرق المحاذاة الحافظة للتنوع (مثل H-DPO و SPL) باستخدام مقياس معدل العنقود الواحد (SCR)، وأن أنظمة UQ المستقبلية يجب أن تتجاوز نهج الإشارة الواحدة للتعامل مع أوضاع الفشل المتنوعة للنماذج اللغوية الحديثة.