← أحدث الأبحاث
💬 NLP

ConsistencyAI: A Benchmark to Assess LLMs' Factual Consistency When Responding to Different Demographic Groups

تقدم الورقة البحثية ConsistencyAI، وهو معيار مستقل يقيم 19 نموذجاً من النماذج اللغوية الكبيرة من حيث الاتساق الواقعي عبر شخصيات ديموغرافية متنوعة، كاشفةً أن درجات الاتساق تتباين بشكل كبير حسب كل من مزود النموذج والموضوع، مع متوسط عتبة للمعايير يبلغ 0.8656.

المؤلفون الأصليون: Peter Banyas, Shristi Sharma, Alistair Simmons, Atharva Vispute

نُشر 2026-09-09
📖 5 دقيقة قراءة🧠 قراءة متعمّقة
CC BY 4.0

المؤلفون الأصليون: Peter Banyas, Shristi Sharma, Alistair Simmons, Atharva Vispute

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عصر المعلومات الحديث، نلجأ بشكل متزايد إلى الذكاء الاصطناعي للإجابة على تساؤلاتنا، بدءاً من سعر الحليب وصولاً إلى تفاصيل التاريخ المعقد. هذه الأنظمة، المعروفة باسم النماذج اللغوية الكبيرة، مصممة لفهم اللغة البشرية وتوليد نصوص تبدو وكأنها محادثة. لقد أصبحت وسيلة أساسية للوص ของ الناس للوصول إلى الحقائق، وغالباً ما تحل محل محركات البحث التقليدية للحصول على إجابات سريعة. ومع ذلك، يظل هناك سؤال جوهري حول كيفية عمل هذه الآلات: هل تروي القصة نفسها للجميع، أم أنها تغير الحقائق بناءً على هوية السائل؟ إذا كان البرنامج الحاسوبي يعرف أنك طالب شاب، فهل يقدم مجموعة مختلفة من الحقائق عما سيقدمه لمدير تنفيذي أكبر سناً؟ هذا الاحتمال يثير مخاوف بشأن العدالة ونزاهة المعلومات. فإذا كانت الحقائق نفسها تتغير بناءً على خلفية الشخص، مثل عمره أو جنسه أو وظيفته، فإن ذلك يشير إلى أن النظام لا يكتفي بالإجابة على سؤال فحسب، بل يصيغ واقعاً مخصصاً ليتناسب مع جمهور معين. وهذه الظاهرة، إذا كانت حقيقية، يمكن أن تشكل ببراعة كيفية فهم مجموعات مختلفة من الناس للعالم، مما قد يؤدي إلى تعميق الانقسامات بدلاً من جسرها.

وللتحقيق في ذلك، أنشأ باحثون من جامعة ديوك وجامعة كارولاينا الشمالية اختباراً جديداً يسمى ConsistencyAI. كان هدفهم هو معرفة ما إذا كانت النماذج اللغوية الكبيرة تذكر حقائق مختلفة لأشخاص مختلفين. لم يطلبوا من النماذج التحقق مما إذا كانت المعلومات صحيحة، بل سألوا عما إذا كانت النماذج تقدم نفس المجموعة من الحقائق لمعلم يبلغ من العمر 25 عاماً كما تقدمها لعامل بناء يبلغ من العمر 60 عاماً. قام الفريق ببناء نظام يحاكي مجموعة متنوعة من الأشخاص من الولايات المتحدة، يمثلون نطاقاً واسعاً من الأعمار والوظائف والخلفيات. ثم سألوا خمسة وعشرين نموذجاً مختلفاً من الذكاء الاصطناعي لتقديم خمس حقائق حول خمسة عشر موضوعاً مختلفاً، مثل تكاليف الإسكان، والعجز التجاري، والنزاعات السياسية. طُرح كل سؤال على كل نموذج مائة مرة، مع تغيير سياق الشخص السائل في كل مرة باستخدام مجموعة من 100 شخصية مستمدة من قاعدة بيانات تمثيلية. ومن خلال مقارنة الإجابات، استطاع الباحثون قياس مدى تغير المحتوى عند تغير الشخصية.

كشفت النتائج أنه بينما تكون العديد من النماذج متسقة بشكل عام، إلا أنها ليست متسقة تماماً. وجد الباحثون أن النماذج تغير بالفعل الحقائق التي تعرضها بناءً على من تعتقد أنها تتحدث إليه. وفي اختبار واسع النطاق شمل 100 شخصية، تراوحت درجات الاتساق للنماذج من حد أقصى قدره 0.9137 إلى حد أدنى قدره 0.6719، بمتوسط قدره 0.8555. أصبح هذا المتوسط هو المعيار المرجعي للدراسة. وكان النموذج الأكثر اتساقاً هو Grok-4 من شركة xAI، والذي ظل ثابتاً بشكل ملحوظ في حقائقه بغض النظر عن المستخدم. وفي الطرف الآخر من الطيف، أظهرت العديد من النماذج الأخف والأقل درجة أكبر قدر من التباين. وأظهرت الدراسة أن الموضوع الذي تتم مناقشته يهم بقدر أهمية النموذج نفسه. فعلى سبيل المثال، عندما سُئلت النماذج عن العجز التجاري للولايات المتحدة، وهو موضوع ذو بيانات حكومية واضحة ومعيارية، كانت النماذج متسقة للغاية. ومع ذلك، عندما سُئلت عن تكاليف الإسكان، وهو موضوع ذو مصادر بيانات معقدة ومتنوعة، قدمت النماذج إجابات مختلفة تماماً لأشخاص مختلفين.

اكتشف الباحثون أيضاً أن النماذج لا تغير نبرتها أو أسلوبها فحسب، بل تختار حقائق مختلفة بالفعل. فعندما تتغير الشخصية، غالباً ما تتغير التفاصيل المحددة والمنظمات والأرقام المذكورة في الاستجابة. على سبيل المثال، في موضوع أمن الحدود، مال أحد النماذج إلى تقديم إجابات تركز على إنفاذ القانون للمستخدمين الأكبر سناً، بينما تلقى المستخدمون الأصغر سناً إجابات تركز على الجغرافيا. وقدم نموذج آخر استجابات مبسطة تعتمد على التشبيهات للقاصرين، بينما قدم استجابات مباشرة وواقعية للبالغين. يشير هذا إلى أن النماذج حساسة للإشارات الديموغرافية وتعدل معلوماتها وفقاً لذلك. كما لاحظت الدراسة أن كون النموذج أكثر تقدماً أو "قدرة على التفكير" لا يضمن اتساقاً أفضل. فقد أدت بعض النماذج الأصغر والأقدم أداءً أفضل من الأنظمة الأحدث والأكثر تعقيداً، مما يشير إلى أن الاتساق ليس مجرد نتاج لحجم النموذج أو ذكائه.

ركز جزء كبير من البحث على المواضيع المثيرة للجدل. أظهر الصراع الإسرائيلي الفلسطيني أوسع تباين في الإجابات، حيث قدمت بعض النماذج حقائق متسقة للغاية بينما قدمت نماذج أخرى حقائق مختلفة تماماً. وفي هذا الموضوع، رفضت بعض النماذج حتى الإجابة أو أعطت أخطاءً، خاصة عندما يتم تحديد المستخدم كطفل. يشير هذا إلى أن النماذج قد تحتوي على فلاتر (مرشحات) مدمجة تجعلها تتراجع عن المواضيع الحساسة اعتماداً على المستخدم المتصور. كما وجدت الدراسة أن الحساسية السياسية وحدها لم تكن تتنبأ بعدم الاتساق. فبينما كانت بعض المواضيع السياسية غير متسقة للغاية، لم تكن مواضيع أخرى كذلك، وحتى المواضيع غير السياسية مثل تكاليف الإسكان أظهرت اتساقاً منخفضاً. يشير هذا إلى أن صعوبة العثور على سرد واحد ومستقر للبيانات هي عامل رئيسي. فإذا كانت المعلومات المتاحة حول موضوع ما مشوشة أو متنازع عليها، فمن المرجح أن يقدم النموذج حقائق مختلفة لأشخاص مختلفين.

يؤكد المؤلفون أن عملهم لا يحدد ما إذا كانت الحقائق صحيحة، بل يحدد ما إذا كانت الحقائق مستقرة. ويجادلون بأنه حتى لو كانت المعلومات صحيحة، فإن تقديم مجموعات مختلفة من الحقائق لأشخاص مختلفين يمكن أن يكون ضاراً. إذ يمكن أن يؤدي ذلك إلى الانحياز التأكيدي، حيث لا يسمع الناس سوى نسخة الواقع التي تتوافق مع معتقداتهم الحالية، أو يمكن أن يعزز الصور النمطية. تشير الدراسة إلى أنه لكي يكون الذكاء الاصطناعي موثوقاً حقاً، يجب أن يقدم مجموعة مستقرة من الحقائق بغض النظر عن السائل. وقد نشر الباحثون أدوات الاختبار الخاصة بهم وموقعاً تفاعلياً حتى يتمكن الصحفيون والمطورون والجمهور من رؤية كيفية تصرف النماذج المختلفة بأنفسهم. ويأملون أن يشجع هذا الوضوح الشركات على بناء أنظمة أقل عرضة لتخصيص الحقيقة لتناسب المستخدم، مما يضمن أن تظل المعلومات التي نعتمد عليها جميعاً متسقة وجديرة بالثقة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →