Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis
تقترح هذه الورقة إطار عمل "إدراك الخلاف ومواءمة عدم اليقين" (DPUA)، وهو نهج ثنائي المراحل يعزز تحليل الذاتية في النماذج اللغوية الكبيرة من خلال نمذجة الخلاف البشني صراحةً لمواءمة عدم يقين النموذج مع تباينات الأحكام في العالم الحقيقي، مما يؤدي إلى تقليل الثقة المفرطة وتحسين التعميم.
المؤلفون الأصليون:Junyu Lu, Deyi Ji, Xuanyi Liu, Lanyun Zhu, Bo Xu, Liang Yang, Xian-Sheng Hua, Hongfei Lin
إليك شرح لورقة بحثية بعنوان "محاذاة عدم اليقين في النماذج اللغوية الكبيرة مع الخلاف البشري في تحليل الذاتية"، باستخدام لغة بسيطة وتشبيهات إبداعية.
المشكلة الجوهرية: "الخبير المفرط في الثقة"
تخيل أنك تسأل روبوتًا فائق الذكاء (نموذج لغوي كبير، أو LLM) أن يحكم على نكتة.
طريقة الروبوت القديمة: تم تدريب الروبوت من خلال النظر في آلاف الأمثلة حيث صوت البشر على ما إذا كان الشيء "مضحكًا" أو "غير مضحك". إذا قال 90% من البشر "مضحك"، تعلم الروبوت أن الأمر مضحك بنسبة 100%. وإذا قال 51% "مضحك"، فإن الروبوت لا يزال يتعلم أنه "مضحك"، لكنه يتصرف وكأنه متأكد بنسبة 100%.
الخلل: في المهام الذاتية (مثل اكتشاف السخرية، أو الإساءة، أو المشاعر)، غالبًا ما يختلف البشر. قد يجد شخص ما تعليقًا مسيئًا، بينما يراه آخر مضحكًا. عندما نجبر الروبوت على اختيار إجابة واحدة فقط، فإنه يتجاهل حقيقة أن البشر في حالة ارتباك. والنتيجة؟ يصبح الروبوت مفرطًا في الثقة. فهو يعطي إجابة قاطعة على سؤال صعب، حتى عندما يكون السؤال نفسه غامضًا. الأمر يشبه خبير الأرصاد الجوية الذي يقول "ستمطر بالتأكيد" بينما السماء في الواقع مزيج من الغيوم والشمس.
الحل: DPUA (المحقق المتواضع)
يقترح المؤلفون إطار عمل جديدًا يسمى DPUA (إدراك الخلاف ومحاذاة عدم اليقين). بدلاً من مجرد تعليم الروبوت ما هي الإجابة، فهم يعلمونه مدى عدم تأكده عندما يختلف البشر.
تخيل DPUA كتدريب لمحقق في مرحلتين محددتين:
المرحلة الأولى: تعلم رصد "الضباب" (إدراك الخلاف)
في هذه المرحلة، يتعلم الروبوت التعرف على الحالات التي تكون فيها الحالة "ضبابية" (غامضة).
التشبيه: تخيل معلمًا يصحح المقالات. بالنسبة للمقالات الواضحة (اتفاق عالٍ)، يعطي المعلم درجة A مباشرة. ولكن بالنسبة للمقالات التي يكون فيها قصد الطالب غير واضح (اتفاق منخفض)، لا يكتفي المعلم بإعطاء درجة، بل يكتب ملاحظة تقول: "هذا أمر شائك. قد يرى البعض هذا كـ X، بينما قد يراه آخرون كـ Y".
كيف يعمل: يتم تدريب الروبوت على إعطاء اهتمام خاص لهذه الحالات "الضبابية". يتعلم توليد "تفسير" (مبرر) يعترف فيه بـ: "أرى لماذا قد يرى البعض هذا مسيئًا، ولكني أرى أيضًا لماذا قد لا يراه آخرون كذلك". إنه يتوقف عن محاولة فرض إجابة واحدة جامدة على البيانات الفوضوية.
المرحلة الثانية: ضبط "مؤشر الثقة" (محاذاة عدم اليقين)
في هذه المرحلة، يتعلم الروبوت ضبط "مؤشر ثقته" ليتناسب مع مدى اختلاف البشر فعليًا.
التشبيه: تخيل مقياسًا يقيس مدى تأكدك.
إذا اتفق 100 شخص على أن عبارة ما صحيحة، يدير الروبوت المؤشر إلى 100%.
إذا اتفق 51 شخصًا فقط (و49 اختلفوا)، يدير الروبوت المؤشر إلى 55%.
إذا انقسم البشر بنسبة 50/50، يدير الروبوت المؤشر إلى 50% (أدنى مستوى له)، ليقول فعليًا: "ليس لدي أدنى فكرة، وهذا أمر مقبول".
كيف يعمل: يستخدم الباحثون نظام مكافأة خاصًا (مثل نقاط ألعاب الفيديو) لمعاقبة الروبوت إذا بدا واثقًا جدًا عندما يكون البشر في حالة ارتباك، ومكافأته إذا كان حذرًا عندما تكون البيانات فوضوية.
ماذا وجدوا؟
اختبرت الورقة البحثية ذلك على ثلاث مهام: اكتشاف السخرية، رصد اللغة المسيئة، وتحليل المشاعر (إيجابي/سلبي).
لم يفقد ذكاءه: لم يصبح الروبوت أسوأ في إعطاء الإجابة الصحيحة. في الواقع، ظل جيدًا تمامًا في التنبؤ بالتصنيف.
أصبح أكثر صدقًا: توقف الروبوت عن التظاهر باليقين عندما لا ينبغي له ذلك. في حالات "الحدود" الصعبة (حيث يختلف البشر)، انخفضت درجة ثقة الروبوت لتتطابق مع الارتباك البشري.
تعميم أفضل: عندما تم اختبار الروبوت على أنواع جديدة من المشكلات الذاتية التي لم يرها من قبل، تعامل معها بشكل أفضل من النماذج القديمة. لقد تعلم مهارة عامة وهي "معرفة ما لا يعرفه".
الخلاصة
تجادل الورقة البحثية بأنه بالنسبة للمهام الذاتية، عدم اليقين ليس خطأً برمجياً، بل هو ميزة.
من خلال تعليم الذكاء الاصطناائي التعبير عن عدم اليقين بطريقة تعكس الخلاف البشري، نحصل على نماذج أكثر موثوقية. بدلًا من روبوت يعطي إجابة خاطئة بثقة على نكتة صعبة، نحصل على روبوت يقول: "من المرجح أن هذه نكتة، لكني أرى لماذا قد ينزعج بعض الناس، لذا أنا متأكد بنسبة 60% فقط". هذا يجعل الذكاء الاصطناعي شريكًا أفضل للبشر في اتخاذ القرارات المعقدة والدقيقة.
ملخص تقني: مواءمة عدم اليقين في النماذج اللغوية الكبيرة مع الخلاف البشري في تحليل الذاتية
بيان المشكلة تعتمد النماذج اللغوية الكبيرة (LLMs) الحالية المستخدمة في تحليل الذاتية (مثل تحليل المشاعر، كشف السخرية، وكشف الإساءة) عادةً على تسميات مجمعة مستمدة من التصويت بالأغلبية. هذا النموذج يضغط التباينات الجوهرية في الحكم البشري في إشارة إشراف واحدة. ونتيجة لذلك، فإنه يتجاهل عدم اليقين المتأصل في العينات ذات الاتفاق المنخفض، مما يؤدي غالباً إلى تنبؤات مفرطة في الثقة وحدود قرار جامدة. هذا القصور يقوض موثوقية النموذج وقدرته على التعميم في السياقات الذاتية المعقدة حيث تكون الحدود الدلالية ضبابية وتتفاوت التفسيرات البشرية. المشكلة الجوهرية التي يعالجها البحث هي كيفية تمكين النماذج ليس فقط من التنبؤ بالتسميات، بل وأيضاً من التعبير عن عدم اليقين بما يعكس بدقة توزيع الخلاف البشري.
المنهجية: إطار عمل DPUA يقترح المؤلفون إطار عمل مكون من مرحلتين يسمى "إدراك الخلاف ومواءمة عدم اليقين" (DPUA) لعملية تشغيل تحليل الذاتية الواعي بعدم اليقين. يتطلب إطار العمل من النماذج القيام بمهام التنبؤ بالتسمية، وتوليد المبررات (rationale generation)، وتقدير الثقة بشكل مشترك.
1. المرحلة الأولى: إدراك الخلاف (التعلم المنفصل التكيفي)
الهدف: تعزيز حساسية النموذج لإشارات الخلاف مع الحفاظ على أداء المهمة.
الآلية: يقدم المؤلفون استراتيجية تعلم منفصلة تكيفية أثناء الضبط الدقيق تحت الإشراف (SFT). يتم إعادة وزن هدف التدريب بناءً على درجة الاتفاق البشري (Cih) لكل عينة.
عينات الاتفاق العالي: تتلقى إشرافًا أقوى للتنبؤ بالتسمية لضمان أنماط قرار مستقرة.
عينات الاتفاق المنخفض: تتلقى وزناً متزايداً لتوليد المبررات لتشجيع النموذج على تعلم إشارات الخلاف والأدلة المتعلقة بها.
المخرج: يتعلم النموذج توليد مبررات تحدد تبريرات التسمية وأيضاً مصادر الغموض أو الخلاف المحتملة.
2. المرحلة الثانية: مواءمة عدم اليقين (التحسين القائم على GRPO)
الهدف: صقل الاستدلال الواعي بعدم اليقين ومواءمة تعبير النموذج عن الثقة مع توزيع الخلاف البشري.
الآلية: يستخدم المؤلفون تحسين السياسة النسبي للمجموعات (GRPO). تعمل هذه المرحلة على تحسين النموذج باستخدام مكوني مكافأة محددين:
مكافأة الاستدلال الواعي بعدم اليقين: تقيم جودة المبرر المولد (تبرير التسمية وتحديد إشارات الخلاف) باستخدام نموذج حكم (GPT-4o-mini). يتم تعديل وزن هذه المكونات ديناميكياً بناءً على درجة الاتفاق البشري.
مكافأة معايرة عدم اليقين: تقيس التفاوت بين توزيع الثقة المتوقع من النموذج وتوزيع الخلاف البشري التجريبي باستخدام متوسط الخطأ المطلق (MAE). تشجع هذه المكافأة النموذج على أن يكون أقل ثقة في العينات ذات الاتفاق المنخفض وأكثر ثقة في العينات ذات الاتفاق العالي.
التحسين: يتم تحديث النموذج من خلال تعظيم الميزة النسبية للمجموعات من المخرجات التي تم أخذ عينات منها، مما يعزز الاستدلال الذي يتوافق مع أنماط عدم اليقين البشرية.
المساهمات الرئيسية
تحول في النموذج المعرفي: يدعو البحث إلى "تحليل الذاتية الواعي بعدم اليقين"، بالانتقال من مجرد ملاءمة تسمية مجمعة واحدة إلى سياق يجب على النماذج فيه تحديد إشارات الخلاف والتعبير عن عدم اليقين المعاير.
مقترح إطار العمل: تقديم إطار DPUA، وهو إطار عمل مرحلي يجمع بين التنبؤ بالتسمية، وتوليد المبررات، وتقدير الثقة.
التحقق التجريبي: التقييم المنهجي في ثلاث مهام لتحليل الذاتية (كشف السخرية، تحليل المشاعر، وكشف الإساءة) باستخدام نماذج خلفية Qwen-3 و LLaMa-3.1.
النتائج التجريبية أُجريت التجارب على ثلاث مجموعات بيانات: مجموعة بيانات السخرية الحوارية (CSC)، وGoEmold (GOE)، وMD-Agreement (MD)، باستخدام النماذج الخلفية Qwen-3 و LLaMa-3.1.
مواءمة عدم اليقين: تفوق DPUA بشكل كبير على النماذج المرجعية (Zero-shot، Few-shot، SFT القياسي، و GRPO التقليدي) في مقاييس مواءمة عدم اليقين. فقد قلل من متوسط الخطأ المطلق (MAE) بين توزيع النموذج وتوزيع البشر بنسبة تتراوح بين 5.94% إلى 8.31% وحسّن معاملات ارتباط بيرسون بنسبة 5.13% إلى 6.06% عبر النماذج الخلفية.
أداء المهمة: على عكس النماذج المرجعية الواعية بعدم اليقين والتي قد تضحي أحياناً بالدقة، حافظ DPUA على أداء تنافسي في التنبؤ بالتسمية، مظهرًا تحسينات طفيفة في الدقة (Accuracy) ومقاييس F1 مقارنة بالنماذج المرجعية القوية.
تخفيف الإفراط في الثقة: أظهر تصور توزيعات الثقة أن DUPΑ يخفف من الإفراط في الثقة في عينات الحدود، حيث يخصص قيم احتمالية متوسطة للحالات ذات الاتفاق المنخفض، بينما يميل SFT القياسي إلى أن يكون مفرط الثقة فيها.
التعميم: في إعدادات نقل البيانات خارج التوزيع (OOD) (مثل التدريب على GOE والاختبار على CSC)، أظهر DPUA قدرة فائقة على التعميم، محققاً أفضل النتائج أو نتائج تنافسية في كل من التنبؤ بالتسمية ومواءمة عدم اليقين، مما يشير إلى أن أنماط عدم اليقين المتعلمة قابلة للنقل.
القابلية للتفسير: أشارت دراسات الحالة وتقييمات المبررات إلى أن DPUA يولد مبررات أكثر معلوماتية وسداداً تعكس بوضوح الغموض والخلاف البشري المحتمل.
الأهمية والادعاءات يزعم البحث أن نمذجة الخلاف البشري كمصدر جوهري لعدم اليقين أمر بالغ الأهمية لتطوير نماذج لغوية كبيرة موثوقة في سيناريوهات اتخاذ القرار الذاتي. ومن خلال مواءمة ثقة النموذج مع التوزيع الفعلي للخلاف البشري، يعالج DPUA مشكلة الإفراط في الثقة عند عينات الحدود، وهي حالة فشل شائعة في أنظمة تحليل الذاتية الحالية. ويؤكد المؤلفون أن نهجهم يوفر أساساً أكثر موثوقية للمهام الذاتية من خلال ضمان تعبير النماذج عن عدم اليقين بطريقة تتوافق مع تعقيد الإدراك البشري، بدلاً من فرض شعور زائف باليقين من خلال التسميات المجمعة. ويسلط العمل الضوء على أن مواءمة عدم اليقين هي تحدٍ متميز عن التنبؤ بالتسمية، وتتطلب استراتيجيات معمارية وتدريبية محددة لتحقيقها بفعالية.