💬 NLP

Multi-Perspective LLM Annotations for Valid Analyses in Subjective Tasks

تقدم هذه الورقة "الاستدلال القائم على المنظور" (Perspective-Driven Inference)، وهو أسلوب أخذ عينات تكيفي يستفيد من ميزانية محدودة للتعليق البشري لتقدير توزيع تعليقات النماذج اللغوية الكبيرة بدقة عبر المجموعات الديموغرافية المتنوعة في المهام الذاتية، مما يعالج قيود افتراضات الحقيقة المطلقة الواحدة.

المؤلفون الأصليون: Navya Mehrotra, Adam Visokay, Kristina Gligorić

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Navya Mehrotra, Adam Visokay, Kristina Gligorić

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم شعور مجموعات مختلفة من الناس تجاه فيلم جديد. تسأل 1,000 شخص عن آرائهم، لكن ميزانيتك لا تسمح إلا بدفع أجر 20 شخصاً فقط لكتابة مراجعات مفصلة وصادقة. أما المراجعات الـ 980 الأخرى، فيقوم بإنتاجها روبوت ذكي جداً، ولكنه منحاز قليلاً.

ما هي المشكلة؟ الروبوت بارع في تخمين شعور شاب مهتم بالتقنية يبلغ من العمر 20 عاماً، لكنه سيء جداً في تخمين شعور متقاعد يبلغ من العمر 70 عاماً. إذا تركت الروبوت يخمن للجميع فحسب، فسيكون تقريرك النهائي خاطئاً بشأن المتقاعدين. وإذا طلبت من البشر العشرين مراجعة أفلام عشوائية، فقد ينتهي بك الأمر بسؤالهم عن 19 فيلماً نجح الروبوت بالفعل في مراجعتها، وتفقد فئة المتقاعدين تماماً.

تقدم هذه الورقة استراتيجية جديدة ذكية تسمى الاستدلال القائم على المنظور (Perspective-Driven Inference - PDI) لحل هذه المشكلة تحديداً. وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: النقاط العمياء للروبوت

نماذج اللغات الكبيرة (LLMs) تشبه روبوتات سريعة جداً ورخيصة جداً يمكنها قراءة النصوص وإبداء الآراء (مثل: "هل هذا البريد الإلكتروني مهذب؟" أو "هل هذا التعليق مسيء؟").

العائق: هذه الروبوتات لديها "نقاط عمياء". فهي غالباً ما تفهم منظور الشخص الشاب والمتعلم بشكل مثالي، لكنها قد تفهم تماماً بشكل خاطئ منظور شخص أكبر سناً أو شخص من خلفية ثقافية مختلفة.
الطريقة القديمة: كان الباحثون إما يثقون في الروبوت ثقة عمياء (مما يؤدي إلى بيانات سيئة) أو يطلبون من البشر مراجعة مزيج عشوائي من النصوص (وهو أمر غير فعال وقد يتجاهل مجموعات معينة بالكامل).

2. الحل: استراتيجية "الكشاف الذكي"

تقترح المؤلفة طريقة تستخدم قدراً ضئيلاً من الجهد البشري لإصلاح أكبر أخطاء الروبوت. فكر في الأمر كأنك قائد كشافة يدير فريقاً من كشافة الروبوتات.

الخطوة 1: الروبوت يقوم بالعمل الشاق. يقرأ الروبوت كل نص ويعطي تقييماً سريعاً. إنه سريع ورخيص، لكننا نعلم أنه قد يكون مخطئاً أحياناً.
الخطوة 2: مرحلة "التسخين" (التحمية). يطلب النظام من عدد قليل من البشر تقييم مجموعة عشوائية من النصوص. هذا يعطي النظام لمحة صغيرة من الواقع ليقارنها بتخمينات الروبوت.
الخطوة 3: الكشاف الذكي (الحلقة التكيفية). هذا هو الجزء السحري. ينظر النظام إلى تخمينات الروبوت وإلى الإجابات البشرية القليلة التي لديه بالفعل، ثم يتساءل: "أين يبدو الروبوت مرتبكاً؟"
- إذا كان الروبوت واثقاً ولكن البشر يختلفون معه (خاصة بالنسبة لمجموعة معينة، مثل الأشخاص فوق سن الخمسين)، فإن النظام يصنف هذا النص كـ "أولوية عالية".
- إذا كان الروبوت دقيقاً بالفعل لمجموعة ما، فإن النظام يقول: "لا داعي لإضاعة المال البشري هنا".
الخطوة 4: المساعدة البشرية المستهدفة. بدلاً من طلب مراجعة النصوص من البشر بشكل عشوائي، يوجه النظام المراجعين البشريين خصيصاً إلى النصوص التي من المرجح أن يكون الروبوت مخطئاً فيها بالنسبة لمجموعات محددة.

3. النتيجة: صورة أكثر إنصافاً

من خلال إنفاق الميزانية البشرية فقط حيث تشتد الحاجة إليها، يحصل الباحثون على صورة أكثر دقة حول شعور المجموعات المختلفة.

بدون هذه الطريقة: قد تحصل على تقرير يقول "الجميع يرى أن هذا مهذب"، لأن الروبوت خمن ذلك للجميع.
باستخدام هذه الطريقة: تحصل على تقرير يقول "الشباب يرون أن هذا مهذب، لكن كبار السن يجدونه فظاً"، لأنك طلبت تحديداً من البشر التحقق من النصوص التي فشل الروبوت في فهم منظور كبار السن فيها.

لماذا هذا مهم (ما الفائدة من ذلك؟)

في العالم الحقيقي، نستخدم الذكاء الاصطناعي غالباً لتحليل بيانات العلوم الاجتماعية، مثل اكتشاف خطاب الكراهية أو قياس رضا العملاء.

إذا لم نصلح انحياز الروبوت، فقد نعتقد أن سياسة ما تعمل بشكل جيد لأن الروبوت يقول ذلك، بينما هي في الواقع تضر بمجموعة معينة لا يستطيع الروبوت فهمها.
تضمن هذه الطة ألا يضيع صوت أي شخص لمجرد أن الذكاء الاصطناعي سيء في محاكاة شخصيته. إنها تعامل "الاختلاف" بين المجموعات ليس كخطأ يجب إصلاحه، بل كإشارة قيمة يجب الحفاظ عليها.

الخلاصة

اعتبر هذه الورقة بمثابة دليل لتوفير الميزانية من أجل الإنصاف. إنها تعلمنا كيفية استخدام القليل من الحكمة البشرية المكلفة لتصحيح ذكاء اصطناعي سريع ورخيص، لضمان أن النتيجة النهائية تمثل الجميع، وليس فقط المجموعات التي يجيد الذكاء الاصطنا حادثة فهمها. الأمر يتعلق بمعرفة أين يكمن عمى الروبوت الخاص بك، وإرسال دليل بشري إلى تلك البقعة تحديداً.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التعليقات التوضيحية للنماذج اللغوية الكبيرة متعددة المنظورات للتحليلات الصالحة في المهام الذاتية."

1. بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لتعليق النصوص (annotation) في العلوم الاجتماعية الحوسبية لتقليل الجهد البشري. ومع ذلك، تواجه طرق التعليق التقليدية المعتمدة على هذه النماذج عائقين حرجين في المهام الذاتية (مثل تقييم الأدب أو الإساءة):

غياب الحقيقة الأرضية (Ground Truth): في المجالات الذاتية، لا تكون "الصحة" قيمة عددية واحدة، بل هي توزيع للمنظورات. فغالباً ما يختلف الأشخاص العقلانيون من مجموعات ديموغرافية مختلفة حول ما إذا كان النص مسيئاً، أو مهذباً، أو تعاطفياً. والتعامل مع هذا الاختلاف كـ "خطأ" يجب تصحيحه عبر التصويت بالأغلبية يؤدي إلى إهدار إشارات معرفية ذات معنى.
التحيز الديموغرافي في النماذج اللغوية الكبيرة: لا تمثل هذه النماذج جميع المنظورات الديموغرافية بالتساوي؛ فهي غالباً ما تتبنى وجهة نظر محددة (مثل: غربية، متعلمة، شابة) وتفشل في استيعاب الفروق الدقيقة للمجموعات غير الممثلة كفاية (مثل: كبار السن، أو أقليات عرقية معينة).
فشل عمليات التصحيح الحالية: تفترض طرق "الإصلاح" الحالية (مثل الاستدلال المدعوم بالتنبؤ - Prediction-Powered Inference) وجود حقيقة أرضية واحدة. علاوة على ذلك، ثبت أن تقنيات مثل "توجيه الشخصية" (Persona Prompting) (أي طلب من النموذج "التقمص" كديموغرافية معينة) غير موثوقة، حيث تؤدي غالباً إلى تضخيم الصور النمطية أو الفشل في تحسين الدقة للمجموعات التي تهدف لتمثيلها.

التحدي الجوهري: كيف يمكن للباحثين استخدام ميزانيات التعليق البشري المحدودة لتقدير توزيع التعليقات عبر المجموعات الديموغرافية (كمتجه تقديري - vector estimand) بدلاً من مجرد متوسط واحد، مع تصحيح التحيز المنهجي للنماذج اللغوية الكبيرة؟

2. المنهجية: الاستدلال القائم على المنظور (PDI)

يقترح المؤلفون إطار عمل الاستدلال القائم على المنظور (PERSPECTIVE-DRIVEN INFERENCE - PDI)، وهو إطار يعامل توزيع التعليقات الخاصة بكل مجموعة ككمية مراد تقديرها. تجمع هذه الطريقة بين الوكلاء من النماذج اللغوية الكبيرة واستراتيجية أخذ عينات تكيفية لتخصيص الجهد البشري بكفاءة.

المكونات الرئيسية:

المتجه التقديري (Vector Estimand): بدلاً من تقدير قيمة عددية واحدة $\theta^*$ ، الهدف هو تقدير متجه $\theta^* = (\theta^*_{g_1}, \dots, \theta^*_{g_K})$ ، حيث يمثل كل مدخل متوسط التعليق لمجموعة ديموغرافية محددة $g_k$ .
حلقة أخذ العينات التكيفية:
1. مرحلة الإحماء (Burn-in Phase): جمع مجموعة أولية صغيرة من التعليقات البشرية بشكل عشوائي منتظم لإنشاء خط أساس.
2. التنبؤ بالخطأ: تدريب متنبئ "صندوق أسود" (مثل XGBoost) لتقدير مربع خطأ النموذج اللغوي الكبير $(\hat{H}_i - H_i)^2$ بناءً على السمات الديموغرافية للمُعلّق ( $d_i$ ).
3. التخصيص التكيفي: حساب احتمال أخذ تعليق بشري جديد للنص $i$ بما يتناسب مع الخطأ المتوقع: $\pi_i \propto \widehat{\text{err}}_i(d_i)$ . وهذا يوجه الميزانية البشرية نحو المجموعات التي يُتوقع أن يكون النموذج اللغوي فيها أقل دقة.
4. التكرار: تحديث متنبئ الخطأ ببيانات جديدة وتكرار عملية أخذ العينات.
التقدير والتصحيح: بمجرد استنفاد الميزانية، يستخدم الإطار "أوزان الاحتمال العكسي" (Inverse Probability Weighting - IPW) لإنتاج تقديرات غير متحيزة على مستوى المجموعات وفترات ثقة صالحة، مما يصحح التوزيع غير المنتظم لأخذ العينات.

3. المساهمات الرئيسية

إطار عمل رسمي: صاغت الورقة البحثية الاستدلال على المتون (corpus inference) متعدد المنظورات كعملية تقدير لمتجه تقديري، مما يوسع طرق (PPI) القياسية لتناسب الإعدادات التي لا توجد فيها حقيقة أرضية واحدة.
استراتيجية أخذ عينات تكيفية: طريقة مبتكرة تركز موارد التعليق البشري على المجموعات الديموغرافية التي تكون فيها النماذج اللغوية الكبيرة أقل موثوقية، بدلاً من أخذ العينات المنتظمة.
التقييم التجريبي: تقييم شامل لمهام تقييم الأدب والإساءة باستخدام بيانات واقعية (POPQUORN) وبيانات اصطناعية، مما يثبت أن PDI يتفوق بشكل كبير على النماذج المرجعية للمجموعات التي يصعب نمذجتها.
نقد توجيه الشخصية (Persona Prompting): تقدم الدراسة دليلاً قوياً على أن توجيه الشخصية هو بديل غير موثوق للمدخلات البشرية الفعلية من مجموعات ديموغرافية محددة، وغالباً ما يفشل في التقاط المنظورات المقصودة.

4. النتائج التجريبية

قيم المؤلفون إطار PDI مقابل عدة نماذج مرجعية: النماذج المعتمدة على LLM فقط (بدون توجيه، توجيه قليل، توجيه الشخصية)، وPPI مع أخذ عينات منتظمة.

مجموعات البيانات: تقييمات الأدب والإساءة من مجموعة POPQUORN (تعليقات بشرية متنوعة ديموغرافياً) ومجموعة بيانات ثنائية اصطناعية.
النماذج: تم الاختبار عبر 8 نماذج لغوية كبيرة (بما في ذلك GPT-5.2، Claude، Gemini، Llama).
النتائج الرئيسية:
- التغطية (Coverage): فشلت الطرق المعتمدة على LLM فقط في تحقيق تغطية صالحة (غالباً أقل من 50% لمجموعات مثل الفئة العمرية +50 عاماً). بينما حافظ PDI على تغطية فوق 90% لجميع المجموعات.
- الدقة (الفرق/Delta): قلل PDI بشكل كبير من متوسط الخطأ المطلق (MAE) للمجموعات الممثلة تمثيلاً ناقصاً.
  - مثال (الإساءة، الفئة العمرية +50): حقق نموذج Few-shot المعتمد على LLM فرقاً قدره 24.54%، بينما حقق PDI فرقاً قدره 5.24%.
  - مثال (الأدب، الفئة العمرية +50): قلل PDI الفرق من 16.31% (Few-shot) إلى 11.23%.
- الكفاءة: نجحت الاستراتيجية التكيفية في تحديد المجموعات ذات الخطأ العالي. بالنسبة لفئة (+50 عاماً) في مهمة الأدب، خصص PDI 33% أكثر من التعليقات البشرية مقارنة بأخذ العينات المنتظمة، مما ترجم مباشرة إلى تحسن في الدقة.
- فشل توجيه الشخصية: غالباً ما أدى توجيه الشخصية إلى أسوأ أداء، حيث سجل أحياناً تغطية بنسبة 0% لمجموعات معينة، مما يؤكد أنه لا يمكن أن يحل محل البيانات البشرية.

5. الأهمية والآثار المترتبة

استدلال صالح للمهام الذاتية: يوفر PDI طريقة دقيقة إحصائياً لتحليل البيانات الذاتية دون اختزال المنظورات البشرية المتنوعة في "متوسط" واحد قد لا يمثل أحداً.
كفاءة الموارد: من خلال أخذ العينات التكيفي، يمكن للباحثين تحقيق نتائج عالية الدقة للمجموعات الأقل تمثيلاً أو الصعبة النمذجة بنفس الميزانية التي قد تعطي نتائج ضعيفة تحت أخذ العينات المنتظم.
تطبيقات أوسع: يمكن تطبيق هذا الإطار خارج مهام التقييم البسيطة ليشمل:
- التعلم المعزز من التغذية الراجعة البشرية (RLHF): معالجة التحيز في بيانات التفضيل حيث تُدرب النماذج على شريحة ضيقة من التغذية الراجعة البشرية.
- النموذج اللغوي كحَكَم (LLM-as-a-Judge): تصحيح حقيقة أن نموذجاً واحداً لا يمكنه الحكم بعدالة على المخرجات عبر جميع السياقات الديموغرافية.
- محاكاة الاستطلاعات: تحسين دقة محاكاة توزيعات الرأي العام.
الاعتبارات الأخلاقية: يحذر المؤلفون من أنه بينما يحسن PDI الصلاحية الإحصائية، فإنه يركز جهد التعليق على المجموعات المهمشة. ويشددون على ضرورة توفير تعويض عادل وموافقة مستنيرة لهؤلاء المشاركين.

الخاتمة

تثبت هذه الورقة أن تصحيح تحيز التعليقات في النماذج اللغوية الكبيرة يتطلب ما هو أكثر من مجرد تحسين "التوجيه" (prompting)؛ إنه يتطلب إطار عمل إحصائياً يقر بوجود منظورات متعددة وصحيحة. يقدم الاستدلال القائم على المنظور (PDI) حلاً قوياً عبر تخصيص الجهد البشري تكيفياً حيث تخفق النماذج اللغوية، مما يضمن أن التحليلات اللاحقة تمثل تنوع الرأي البشري بأمانة بدلاً من الانحياز لآراء النموذج.