ملخص تقني: GPF-LIVENEWS

بيان المشكلة

تعمل نماذج اللغات الكبيرة (LLMs) المنشورة في بيئات غير مستقرة، حيث تتطور إصدارات النماذج، وطبقات الاسترجاع، وأنظمة السلامة، والمدخلات الواقعية بشكل مستمر. وبينما تُعد معايير التحيز الثابتة (مثل CrowS-Pairs وBBQ) مفيدة للمقارنات المنضبطة، إلا أنها تفشل في رصد كيفية صياغة النماذج لـ الأحداث الناشئة حديثاً لمختلف الجماهير المستهدفة عبر الأوامر (prompts). إن الإخفاقات ذات الأهمية الاجتماعية في الأنظمة التوليدية غالباً ما تظهر ليس في شكل سمات سامة صريحة، بل في شكل تأطير متباين (differential framing): حيث يمكن تقديم الحدث نفسه كخطر، أو فرصة، أو مشكلة سياسات بناءً على الهوية الديموغرافية المحددة في الأمر. ولا تستطيع قوائم الجرد الثابتة الحالية اكتشاف هذه التحولات لأنها لا تستخدم مدخلات حديثة أو أوامر مهيكلة عبر مجموعات الهوية.

المنهجية: GPF-LIVENEWS

تقدم الورقة البحثية GPF-LIVENEWS، وهو بروتوكول تقييم وبث ومقتطف معياري مصمم لتدقيق التأطير المشروط بالمجموعات في مخرجات نماذج اللغات الكبيرة مفتوحة النهايات. تتكون المنهجية من أربعة مكونات أساسية:

1. مصادر البيانات والتوسع

• المدخلات الحية (Live Inputs): يستخدم النظام عناوين إخبارية وأوصافاً قصيرة طازجة من تدفقات BBC وReuters الحية. يضمن ذلك أن يكون التقييم مرتكزاً على الأحداث الجارية بدلاً من المعايير الثابتة التي قد تكون محفوظة في ذاكرة النموذج.
• إطار الأوامر المعمم (GPF): يتم توسيع كل عنصر إخباري ($x$) عبر تصنيف يضم 42 تسمية هوية ($g$) تغطي ستة أبعاد ديموغرافية (العرق/الإثنية، الدين، النوع الاجتماعي/الجنسانية، الجغرافيا، الوضع الاجتماعي والاقتصادي، والتوجه السياسي).
• عائلات الأوامر (Prompt Families): يطبق الإطار سبع عائلات متميزة من الأوامر ($c$) لاستعلام نفس العنصر الإخبري من زوايا تفسيرية مختلفة:
  • التأثير، الأهمية، منظور المجتمع، الرؤية العالمية/القيم، فحص التحيز، السياسة/الإجراء، والاستجابة العاطفية.
• حزم الاستجابة (Response Bundles): لكل نموذج، وعنصر إخباري، وبُعد ديموغرافي، وعائلة أوامر، يقوم النظام بتوليد "حزمة استجابة" تتكون من 42 استجابة مشروطة بالهوية (مثال: "أنا [الهوية]. كيف يؤثر هذا الخبر علي؟").

2. مقاييس التقييم

بدلاً من تسجيل درجات الأوامر الفردية، يحلل الإطار الحزمة من الاستجابات للكشف عن التباين. يتم حساب إشارتين أساسيتين:

• الحساسية الدلالية (التشتت): تقيس المسافة الدلالية بين الاستجابات للهويات المختلفة داخل نفس الحزمة. وتستخدم تضمينات نصية (embeddings) معيارية لحساب مدى ابتعاد معاني الاستجابات عند تغير الهوية. كما يتم حساب درجة تأطير مضادة للواقع مصححة بالضجيج ($SCFS$) لضمان أن التباين يتجاوز ضجيج التوليد العشوائي العادي.
• التباين في المشاعر (Sentiment Disparity): يقيس التباعد في السجل العاطفي عبر الحزمة باستخدام درجات VADER المركبة. ويحسب النطاق ومتوسط الانحراف المطلق لدرجات المشاعر عبر الهويات لتحديد ما إذا كان النبرة العاطفية تتغير بشكل كبير بناءً على الجمهور المستهدف.

3. الضوابط والصلاحية

للتمييز بين التأطير ذي المعنى وبين آثار الأوامر (prompt artifacts)، يتضمن البروتوكول:

• ضوابط خالية من الهوية وهويات عشوائية: للكشف عن تأثيرات القوالب (templates).
• ضوابط التوليد المتكرر: لتقدير وطرح الضجيج العشوائي.
• ضوابط إعادة صياغة الأوامر: لاختبار المتانة تجاه تغيير الصياغة.
• الأخبار الطبقية: فصل المواضيع المحايدة للهوية (مثل الرياضة) عن المواضيع ذات الصلة بالهوية (مثل الهجرة).

4. الإعداد التجريبي

تضمنت الدراسة التجريبية 12 عملية مراقبة عبر أربع دفعات إخبارية، حيث تم تقييم 23 نموذجاً مستضافاً من Anthropic وGoogle وOpenAI. أنتج النظام ما يقرب من 7,456 خلية مسجلة صالحة.

النتائج الرئيسية

أسفرت الدراسة عن أنماط مرصودة في "نافذة المراقبة"، والتي يؤكد المؤلفون أنها ليست ترتيبات نهائية للعدالة بل هي إشارات تدقيق لشريحة زمنية محددة:

• عائلات الأوامر: أنتجت أوامر السياسة/الإجراء أقوى حركة دلالية (أعلى حساسية)، مما يشير إلى أن النماذج تغير تأطيرها بشكل كبير فيما يتعلق بالتبعات والإجراءات بناءً على الجمهور.
• الأبعاد الديموغرافية: أثار بُعدا النوع الاجتماعي/الجنسانية والوضع الاجتماعي والاقتصادي أعلى حساسية دلالية، بينما أظهر الدين والتوجه السياسي تبايناً أقل.
• الدلالة مقابل المشاعر: أظهر التباين الدلالي تمايزاً واضحاً عبر الأبعاد والنماذج، بينما ظل التباين في المشاعر مسطحاً وضيقاً عبر جميع المجموعات. يشير هذا إلى أن النماذج تغير ما تؤكده (المعنى) أكثر من كيفية شعورها (النبرة).
• تباين النماذج:
  • أظهرت نماذج OpenAI أدنى متوسط حساسية دلالية (0.041).
  • أظهرت نماذج Google أعلى متوسط حساسية دلالية (0.056) وأعلى تباين في المشاعر.
  • وقعت نماذج Anthropic في المنتصف بينهما.
• الاستقرار: أظهرت بعض النماذج (مثل Gemini-3-flash-preview) استقراراً عالياً عبر الأخبار (انحراف معياري منخفض عبر الدفعات)، بينما تقلب بعضها الآخر بشكل كبير مع تغير مزيج الأخبار.

المساهمات الرئيسية

1. بروتوكول GPF-LIVENEWS: إطار تقييم بثي يدقق في التأطير المشروط بالمجموعات باستخدام مدخلات إخبارية حية وطازجة بدلاً من المعايير الثابتة.
2. تحليل حزمة الاستجابة: تحول في وحدة التحليل من الأوامر المنعزلة إلى حزم من الاستجابات المشروطة بالهوية، مما يسمح بقياس التأطير المتباين.
3. إشارات التدقيق: تعريف الحساسية الدلالية والتباين في المشاعر كمقاييس متكاملة لتلخيص التباين على مستوى المعنى والمستوى النبري عبر المجموعات.
4. أثر قابل لإعادة الإنتاج: إصدار مقتطف معياري بنسخة محددة (v1) يحتوي على بيانات وصفية للمقالات، وقوالب الأوامر، والأوامر المُنشأة، وبيانات وصفية لمخرجات النماذج، وجداول الدرجات، وسكريبتات إعادة الإنتاج.

الأهمية والادعاءات

تضع الورقة البحثية GPF-LIVENEWS ليس كحل للعدالة أو كترتيب نهائي لتحيز النماذج، بل كـ واجهة تقييم اجتماعية تقنية للمراقبة المستمرة.

• الادعاءات المتواضلة: يذكر المؤلفون صراحة أن الدرجات العالية تشير إلى التأطير المتباين، وليس بالضرورة التحيز الضار. الدرجة العالية تعني أن الاستجابات تباينت أكثر عبر الهويات؛ وهذا لا يثبت أن التباين غير لائق اجتماعياً. يلزم وجود مراجعة بشرية لتفسير ما إذا كان التباين يشكل نمطية، أو تخصيصاً ثقافياً، أو اختلافات مشروعة في التأثير المادي.
• المنفعة: تم تصميم الإطار لتحديد "النقاط الساخنة" التي يجب أن يركز عليها المدققون البشريون مراجعتهم. إنه يعالج مشكلة "الهدف المتحرك" للنماذج المنشورة من خلال توفير آلية لتتبع كيفية تغير سلوك النموذج تحت ظروف العالم الحقيقي المتغيرة.
• القابلية للتوسع: التصميم النمطي يسمح بإضافة هويات جديدة، وعائلات أوامر، ومصادر أحداث دون تغيير خط الإنتاج الأساسي، مما يجعله إثبات مفهوم لهندسة تقييم مستمرة أوسع للأثر الاجتماعي والمواءمة في البيئات غير المستقرة.