💬 NLP

Can AI Truly Represent Your Voice in Deliberations? A Comprehensive Study of Large-Scale Opinion Aggregation with LLMs

تقدم هذه الورقة DeliberationBank، وهي مجموعة بيانات ضخمة مشروحة بشرياً، وDeliberationJudge، وهو نموذج مضبوط بدقة يتفوق على النماذج اللغوية الكبيرة في تقييم ملخصات المداولات، وذلك لتحديد ومعالجة التحيزات المستمرة بشكل منهجي، مثل نقص تمثيل وجهات نظر الأقليات في المداولات العامة التي يقودها الذكاء الاصطناعي.

المؤلفون الأصليون: Shenzhe Zhu, Shu Yang, Michiel A. Bakker, Alex Pentland, Jiaxin Pei

نُشر 2026-03-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shenzhe Zhu, Shu Yang, Michiel A. Bakker, Alex Pentland, Jiaxin Pei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل اجتماعًا عامًا ضخمًا حيث يصرخ 3,000 شخص بآرائهم حول قضاية هامة مثل الضرائب، أو الذكاء الاصطناعي، أو الرعاية الصحية. الهدف هو تحويل كل هذا الضجيج إلى ملخص واحد واضح وعادل يمكن للسياسي استخدامه فعليًا لاتخاذ القرارات.

هذه الورقة البحثية تطرح سؤالًا كبيرًا: هل يستطيع الذكاء الاصطناعي (AI) القيام بهذه المهمة دون استبعاد أي أحد؟

إليك قصة بحثهم، مقسمة إلى أجزاء بسيطة مع بعض التشبيهات الإبداعية.

1. المشكلة: ذكاء اصطناعي "غرفة صدى"

في الماضي، إذا أردت تلخيص 3,000 رأي، كنت ستحتاج إلى فريق من المحررين البشر. إنه أمر بطيء ومكلف. لذا، بدأ الناس في استخدام الذكاء الاصطناعي (نماذج اللغات الكبيرة، أو LLMs) للقيه.

لكن هناك خدعة. فكر في الذكاء الاصطناعي كأنه "الفتى المشهور" في المدرسة الثانوية. عندما يلخص هذا الفتى المشهور ما يعتقده الفصل بأكمله، فإنه يميل إلى تكرار ما قالته "الأغلبية" لأن هذا هو ما يسمعه أكثر من غيره. وغالبًا ما يتجاهل "الطفل الهادئ" في الخلف أو الشخص الذي لديه فكرة غريبة وفريدة.

وجد الباحثون أن ملخصات الذكاء الاصطناعي الحالية بارعة في جعل الكلام يبدو ذكيًا، لكنها غالبًا ما تتجاهل آراء الأقلية. إذا كان 90% من الناس يريدون "الخيار أ" و10% يريدون "الخيار ب"، فقد يقول ملخص الذكاء الاصطناعي: "الجميع يريد الخيار أ"، مما يمحو الـ 10% تمامًا. وفي الديمقراطية، يعد هذا مشكلة كبيرة.

2. الحل: بناء "اختبار عدالة" (DeliberationBank)

لإصلاح ذلك، قام الباحثون (من ستانفورد، ومعهد ماساتشوستس للتكنولوجيا، وغيرهم) ببناء ساحة اختبار ضخمة تسمى DeliberationBank.

الإعداد: جمعوا 3,000 رأي بشري حقيقي حول 10 مواضيع ساخنة مختلفة.
الاختبار: طلبوا من 18 نموذجًا مختلفًا من نماذج الذكاء الاصطناعي تلخيص هذه الآراء.
الحكام: استعانوا بـ 4,500 إنسان حقيقي لتقييم ملخصات الذكاء الاصطناعي تلك. لم يسأل البشر فقط: "هل هذا ملخص جيد؟"، بل طرحوا أربعة أسئلة محددة:
1. التمثيل (Representativeness): هل التقط هذا الملخص رأيي الخاص بدقة؟
2. الإفادة (Informativeness): هل قدم لي تفاصيل جديدة ومفيدة؟
3. الحياد (Neutrality): هل بدا منصفًا أم كان منحازًا؟
4. الموافقة على السياسة (Policy Approval): هل سأثق في سياسي يستخدم هذا الملخص لصياغة قانون؟

3. "الحكم الخارق" (DeliberationJudge)

هذا هو الجزء الصعب: لا يمكنك توظيف 4,500 إنسان في كل مرة تريد فيها اختبار ذكاء اصطناعي جديد، فهذا مكلف للغاية. لذا، جرب الباحثون استخدام نماذج ذكاء اصطناعي أخرى لتعمل كحكام.

الأخبار السيئة: عندما طلبوا من نماذج الذكاء الاصطناعي الضخمة والفاخرة تقييم الملخصات، كانت أحكام هذه النماذج غير متسقة. لقد كانوا مثل حكام مباريات غير موثوقين يغيرون القواعد في كل مرة يطلقون فيها صافرتهم. لم يتفقوا مع البشر الحقيقيين بشكل جيد.

الأخبار الجيدة: قام الباحثون بتدريب نموذج ذكاء اصطناعي خاص وأصغر حجمًا يسمى DeliberationJudge.

فكر في هذا النموذج كأنه مدرب رياضي مخضرم شاهد آلاف المباريات. لقد تم تدريبه خصيصًا بناءً على ملاحظات الـ 4,500 إنسان حقيقي.
النتيجة: هذا المدرب دقيق للغاية. فهو يتفق مع آراء البشر بشكل أفضل بكثير من نماذج الذكاء الاصطناعي العامة الضخمة. بالإضافة إلى ذلك، فهو سريع جدًا وغير مكلف للتشغيل (أسرع بـ 100 مرة من النماذج الكبيرة).

4. ما اكتشفوه

باستخدام "الحكم الخارق" الجديد، اختبروا 18 نموذجًا مختلفًا من نماذج الذكاء الاصطناعي ووجدوا بعض الأشياء المفاجئة:

الأكبر ليس دائمًا الأفضل: لم تكن نماذج الذكاء الاصطناعي الأكثر تكلفة وضخامة هي الأكثر إنصافًا بالضرية. بعض النماذج الأصغر والمتخصصة قامت بعمل أفضل في الحفاظ على الحياد.
"نقطة العمى تجاه الأقلية": فشلت جميع نماذج الذكاء الاصطناسي تقريبًا في تمثيل آراء الأقلية بشكل جيد. وسواء كان رأي الأقلية عبارة عن "شعور ذاتي" بالاختلاف، أو فكرة "نادرة موضوعيًا"، فإن الذكاء الاصطناعي مال إلى تسوية الأمور وجعل تلك الآراء تتلاشى وتختفي.
نوعان من "الأقليات": وجدوا أن بعض الناس يشعرون بأنهم من الأقلية (حتى لو كانت كلماتهم شائعة)، بينما يمتلك آخرون كلمات فريدة فعليًا (حتى لو لم يدركوا ذلك). وقد أخطأ الذكاء الاصطناعي في النوعين.

5. الخلاصة

هذه الورقة البحثية تشبه تقرير مراقبة الجودة لمستقبل الديمقراطية.

إنها تخبرنا أنه بينما يعد الذكاء الاصطناعي أداة قوية لتلخيص الرأي العام، لا يمكننا الوثوق به بشكل أعمى. إذا استخدمنا الذكاء الاصطناعي لتلخيص ما يعتقده الجمهور، فإننا نخاطر بخلق "واقع مزيف" حيث يطغى صوت الأغلبية على الجميع ويخنق الآخرين.

ومع ذلك، فقد منحنا الباحثون الأدوات اللازمة لإصلاح ذلك:

DeliberationBank: مجموعة بيانات ضخمة للاستمرار في اختبار عدالة الذكاء الاصطناعي.
DeliberationJudge: أداة متخصصة لضمان أن ملخصات الذكاء الاصطناعي عادلة وتمثيلية حقًا قبل أن نسمح لها بالتأثير على السياسات الواقعية.

باختصار: يمكن للذكاء الاصطناعي أن يساعدنا في الاستماع إلى الحشد، ولكن فقط إذا منحناه "فلتر للعدالة" للتأكد من أنه لا يسمع فقط الأصوات الأعلى.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "هل يمكن للذكاء الاصطناعي حقاً تمثيل صوتك في المداولات؟ دراسة شاملة لتجميع الآراء على نطاق واسع باستخدام النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

تنتج المداولات العامة واسعة النطاق (مثل الجمعيات المواطنية، أو المناقشات البرلمانية) آلاف الآراء ذات الصيغ الحرة التي يجب تلخيصها في ملخصات محايدة وتمثيلية لصنع السياسات. وبينما توفر النماذج اللغوية الكبيرة (LLMs) حلاً قابلاً للتوسع لهذا التلخيص، لا يزال هناك تحديان حاسمان:

تحيز التمثيل: تميل النماذج اللغوية الكبيرة إلى الإفراط في تمثيل وجهات نظر الأغلبية مع التقليل المنهجي من تمثيل وجهات نظر الأقلية، مما يثير مخاوف تتعلق بالعدالة في السياقات الديمقراطية عالية المخاطر.
موثوقية التقييم: تعتمد الممارسات الحالية على نماذج "النموذج اللغوي كحكم" (LLM-as-a-judge) لتقييم الملخصات. ومع ذلك، تظهر النماذج اللغوية الكبيرة للأغراض العامة ضعفاً في التوافق مع الأحكام البشرية، وتظهر عدم استقرار، وتكون عرضة لتحيزاتها الخاصة، مما يجعلها غير موثوقة لتقييم أدوات المداولة.

تعالج الورقة السؤال المركزي: هل يمكن للنماذج اللغوية الكبيرة إنتاج ملخصات تمثيلية، ومعلوماتية، ومحايدة حقاً لاستخدامها في السياسات، وكيف يمكن تقييمها بشكل موثوق على نطاق واسع؟

2. المنهجية

يقترح المؤلفون إطار عمل شاملاً يتكون من مجموعة بيانات جديدة، ونموذج تقييم متخصص، ودراسة معيارية صارمة.

أ. DELIBERATIONBANK (مجموعة البيانات)

مجموعة بيانات معيارية ضخمة قائمة على أسس بشرية، تم إنشاؤها من خلال مسار مكون من ثلاث مراحل شارك فيه 7,500 مشارك فريد من الولايات المتحدة:

المرحلة 1 (جمع الآراء): تم جمع 3,000 رأي بصيغة حرة عبر 10 أسئلة مداولة (5 أسئلة سياسات ثنائية، و5 أسئلة مجتمعية مفتوحة) من 300 مشارك ممثل لكل سؤال.
المرحلة 2 (توليد الملخصات): تم إنشاء 750 ملخصاً باستخدام 5 نماذج لغوية كبيرة مختلفة (بما في ذلك GPT-5، وClaude-4، وGemini-2.5، وDeepSeek، وQwen3) عبر أحجام مجموعات مدخلات متفاوتة (من 10 إلى 300 رأي) لاختبار القابلية للتوسع.
المرحلة 3 (التعليق البشري): تم جمع 4,500 تعليق بشري من مجموعة متميزة تضم 450 مشاركاً لكل سؤال. كتب كل معلّم رأيه الخاص وقيم الملخصات بناءً على أربعة أبعاد:
1. التمثيلية (Representativeness): القدرة على التقاط الجوهر الدلالي لرأي الفرد.
2. الإعلامية (Informativeness): تنوع وتفصيل المعلومات.
3. الحياد (Neutrality): غياب لغة التحيز.
4. الموافقة السياساتية (Policy Approval): مدى الملاءمة لاتخاذ القرار.
  تضمنت التعليقات كلاً من التقييم المطلق (مقياس ليكرت من 1 إلى 5) ومهام المقارنة الزوجية.

ب. DELIBERATIONJUDGE (المُقيِّم)

للتغلب على قيود نماذج الحكم اللغوية العامة، طور المؤلفون DELIBERATIONJUDGE:

البنية: نموذج DeBERTa-v3-base خضع لضبط دقيق (Fine-tuned).
استراتيجية التدريب: الضبط الدقيق الخاضع للإشراف (SFT) على 4,500 تعليق بشري. يقوم النموذج بتوحيد مهام التقييم والمقارنة عن طريق تطبيع الملصقات (Labels) في مساحة مستمرة $[0, 1]$ .
الهدف: التنبؤ بمتجه درجات رباعي الأبعاد يتوافق بشكل وثيق مع التفضيلات البشرية مع الحفاظ على كفاءة عالية في الاستدلال.

ج. بروتوكول القياس المعياري

قام المؤلفون بتقييم 18 نموذجاً لغوياً كبيراً (تتراوح أحجامها من 0.6 مليار إلى 671 مليار معلمة، بما في ذلك النماذج المملوكة والنماذج مفتوحة الأوزان) باستخدام مجموعة بيانات DELIBERATIONBANK. وحللوا الأداء عبر:

حجم النموذج وبنيته (Dense مقابل MoE).
مقياس المدخلات (عدد الآراء الملخصة).
نوع السؤال (ثنائي مقابل مفتوح).
تمثيل الأقلية (التقارير الذاتية مقابل اكتشاف الشذوذ الدلالي الموضوعي).

3. المساهمات الرئيسية

DELIBERATIONBANK: أول مجموعة بيانات ضخمة قائمة على أسس بشرية لتلخيص المداولات، تحتوي على 3,000 رأي و4,500 تقييم متعدد الأبعاد.
DELIBERATIONJUDGE: مُقيِّم متخصص وخفيف الوزن يتفوق على النماذج اللغوية الكبيرة للأغراض العامة في كل من التوافق مع الحكم البشري والكفاءة الحسابية.
تحليل التحيز المنهجي: تحديد دقيق لعدم التمثيل المنهجي لوجهات نظر الأقلية في الملخصات المولدة بواسطة النماذج اللغوية الكبيرة، مع التمييز بين الأقليات الذاتية (Subjective) والأقليات الموضوعية (Objective).

4. النتائج الرئيسية

أ. أداء التقييم

التوافق البشري: تظهر النماذج اللغوية الكبيرة للأغراض العامة (حتى الكبيرة منها مثل GPT-5) ارتباطاً ضعيفاً مع الأحكام البشرية (معامل بيرسون/سبيرمان $\rho < 0.4$ ).
تفوق DELIBERATIONJUDGE: يحقق نموذج DeBERTa الذي تم ضبطه بدقة معامل ارتباط سبيرمان قدره 0.70 مع الأحكام البشرية (مقابل ~0.20 لأفضل نموذج لغوي كبير)، وهو أكثر كفاءة بـ 100 مرة (0.03 ثانية مقابل >8 ثوانٍ لكل عنصر).
ارتباط الرتب: يظهر DELIBERATIONJUDGE توافقاً شبه مثالي في الرتب بالنسبة لـ "الإعلامية" ( $\rho=1.00$ ) وتوافقاً عالياً في "الحياد" و"الموافقة السياساتية" ( $\rho=0.90$ ).

ب. معايير التلخيص

أداء النماذج: حققت النماذج رفيعة المستوى (GPT-5، Claude-4) متوسط درجات بلغ ~0.62 عبر الأبعاد. كانت الفجوات بين النماذج متواضعة (<0.1)، مما يشير إلى أن معظم النماذج تلتقط "الجوهر" بشكل متشابه ولكنها تعاني في التقاط التفاصيل الدقيقة.
حدود القابلية للتوسع: تتحسن جودة التلخيص مع زيادة حجم المدخلات من 10 إلى حوالي 100 رأي، ولكنها تستقر (Plateau) بعد ذلك. تفشل النماذج في الاستفادة بفعالية من مجموعات المدخلات الأكبر، مما يشير إلى الحاجة لآليات تجميع أفضل.
الحساسية للموضوع: تؤدي النماذج بشكل أفضل في الأسئلة الثنائية (المواقف المقيدة) مقارنة بالأسئال المفتوحة (الآراء المتنوعة).

ج. تحيز تمثيل الأقلية (نتيجة حاسمة)

نقص التمثيل المنهجي: عبر جميع النماذج الـ 18، تلقت الملخصات باستمرار درجات أقل في "التمثيلية" لآراء الأقلية مقارنة بآراء الأغلبية.
- الأقلية الذاتية: الآراء حيث حدد المستخدمون أنفسهم بأنهم يحملون وجهة نظر أقلية.
- الأقلية الموضوعية: الآراء التي تم تحديدها كقيم شاذة دلالياً عبر تحليل عامل المخرج المحلي (LOF).
الفجوة: كانت فجوة التحيز كبيرة (تصل إلى 0.08 في المواضيع الثنائية). ومن المهم ملاحظة أن التداخل بين الأقليات الذاتية والموضوعية كان أقل من 10%، مما يشير إلى أنهما تمثلان ظواهر متميزة:
- الأقليات الذاتية غالباً ما تشعر بالعزلة بسبب السياق الشخصي أو عدم اليقين، حتى لو كان محتواها الدلالي شائعاً.
- الأقليات الموضوعية تحتوي على حجج دلالية نادرة أو أنماط استدلال فريدة تقوم النماذج بتهميشها.
الضبط العشوائي: أظهرت المجموعات المختارة عشوائياً تحيزاً ضئيلاً، مما يؤكد أن نقص التمثيل مرتبط فعلياً بوجهات نظر الأقلية وليس ناتجاً عن حجم العينة.

5. الأهمية والآثار المترتبة

الموثوقية في الذكاء الاصطناعي الديمقراطي: تثبت الورقة أن مناهج "النموذج اللغوي كحكم" الحالية غير كافية لتقييم الأدوات المستخدمة في العمليات الديمقراطية بسبب ضعف التوافق مع القيم البشرية والتحيزات المتأصلة.
العدالة في التلخيص: تقدم الورقة دليلاً تجريبياً على أن النماذج اللغوية الكبيرة تُسكت أصوات الأقلية بشكل منهجي، وهو فشل حرج في حالات استخدام الذكاء الاصطنا_ي في صنع السياسات.
إطار تقييم قابل للتوسع: من خلال تقديم DELIBERATIONJUDGE، يوفر المؤلفون طريقة فعالة من حيث التكلفة وقابلة للتوسع لمراجعة وتحسين أنظمة المداولة دون الاعتماد على التقييم البشري المكلف في كل مرحلة.
الاتجاهات المستقبلية: تشير الورسة إلى أن مستقبل ذكاء المداولة يجب أن يتضمن قيوداً صريحة للعدالة، وأهدافاً تراعي التنوع، ومقاييس تقييم متخصصة لضمان التمثيل العادل لجميع أصحاب المصلحة.

في الختام، بينما تبدو النماذج اللغوية الكبيرة واعدة في تلخيص المداولات العامة، إلا أنها تفتقر حالياً إلى العدالة اللازمة وموثوقية التقييم الضرورية للنشر في السياقات عالية المخاطر. توفر DELIBERATIONBANK و DELIBERATIONJUDGE المقترحة الأدوات الأساسية المطلوبة لبناء أنظمة ذكاء اصطناعي أكثر تمثيلاً وعدالة وملاءمة للسياسات.