Marginal Alignment Does Not Guarantee Joint-Distribution Fidelity: An Official-Reference Audit of Nemotron-Personas-Korea with Cross-Locale Replication
تقدم هذه الورقة بروتوكول تدقيق "بصمة فرضية الاستقلال" (IAF) لإثبات أنه في حين تتوافق مجموعة بيانات NVIDIA Nemotron-Personas-Korea مع الديموغرافيا الهامشية الرسمية، إلا أنها تفشل في الحفاظ على هياكل التوزيع المشترك الحرجة عبر سمات مثل المهنة والعمر والجنس، مما يثبت أن التوافق الهامشي وحده غير كافٍ لضمان دقة البيانات الاصطناعية.
تخيل أنك تحاول خبز نسخة طبق الأصل من مدينة صاخبة باستخدام طاهٍ آلي فائق الذكاء. تعطي الروبوت قائمة من القواعد: "تأكد من أن 50% من الناس رجال، و50% نساء"، "تأكد من أن 20% أطباء"، و"تأكد من أن 10% مزارعون". يتبع الروبوت هذه التعليمات بدقة؛ فيصنع مليون شخص وهمي، وإذا قمت بجمعهم، ستتطابق الأرقام مع المدينة الحقيقية تماماً. لكن هنا تكمن الخدعة: لقد قيل للروبوت أن يختار الجنس والوظيفة بشكل "مستقل". لم يكن يعلم أنه في العالم الحقيقي، تُشغل وظائف معينة من قبل الرجال غالباً، بينما تُشغل وظائف أخرى من قبل النساء غالباً. لذا، بينما قد يصنع الروبوت العدد الإجمالي الصحيح من الأطباء والعدد الإجمالي الصحيح من النساء، فإنه قد يتسبب دون قصد في جعل نصف الأطباء نساء ونصف المزارعين نساء، مما يخلق مدينة تبدو صحيحة من بعيد، لكنها تنهار عند النظر في التفاصيل. هذا هو جوهر لغز "البيانات الاصطناعية" — وهي معلومات مزيفة يتم إنشاؤها بواسطة الذكاء الاصطناعي لمساعدة الباحثين على اختبار البرمجيات أو دراسة المجتمع دون الحاجة إلى أشخاص حقيقيين. السؤال الكبير هو: لمجرد أن البيانات المزيفة تبدو صحيحة في الأرقام الكبيرة، هل تلتقط حقاً الواقع المتشابك والمعقد لكيفية عيش الناس فعلياً؟
هذه الورقة البحثية، التي تحمل عنوان "المحاذاة الهامشية لا تضمن دقة التوزيع المشترك"، تغوص في تلك المشكلة تحديداً. يبحث المؤلف، جون هيونغ باي، في مجموعة بيانات ضخمة تسمى "Nemotron-Personas-Korea"، والتي تحتوي على مليون ملف شخصي كوري مزيف أنشأتها شركة NVIDIA. زعم صانعو هذه المجموعة أنها جديرة بالثقة لأن أرقامها الكبيرة (الهوامش) تطابقت مع الإحصاءات الحكومية الرسمية. ومع ذلك، يجادل المؤلف بأن مطابقة الأرقام الكبيرة ليس كافياً؛ إذ يجب أن تطابق الشخصيات المزيفة "التركيبات" (المشتركات) للسمات التي توجد في الحياة الواقعية. ولاختبار ذلك، ابتكر المؤلف أداة تدقيق جديدة تسمى "بصمة فرضية الاستقلال" (IAF). فكر في (IAF) كعدسة مكبرة للمحقق، تتحقق مما إذا كان الذكاء الاصطناعي قد كسر قواعد الحياة الواقعية عن طريق الخطأ عبر معاملة الأشياء كأجزاء منفصلة بينما هي في الواقع مترابطة.
يكشف التحقيق أنه بينما نجحت مجموعة البيانات المزيفة في ضبط الأعداد البسيطة — مثل إجمالي عدد الرجال والنساء والأشخاص في مدن مختلفة — إلا أنها فشلت فشلاً ذريعاً في التركيبات المعقدة. على سبيل المثال، في القوى العاملة الكورية الحقيقية، هناك وظائف معينة مثل "مشغلي المصانع" يشغلها الرجال بشكل ساحق، بينما "عمال الخدمة" تشغلهم النساء بشكل ساحق. ولكن في مجموعة البيانات المزيفة، قام الذكاء الاصطناعي بتسوية هذه الاختلافات، مما جعل التقسيم بين الجنسين في هذه الوظائف يبدو متساوياً تقريباً، كما لو أن الذكاء الاصطناعي كان يحاول أن يكون "عادلاً" لكنه انتهى بمحو الواقع. كما وجدت الورقة أن البيانات المزيفة أخطأت تماماً في قواعد الخدمة العسكرية. في الواقع، يُطالب الشباب الكوريون بالخدمة في الجيش، مما يخلق طفرة هائلة في أعداد الخدمة الفعلية للفئة العمرية 19-22 عاماً. ومع ذلك، أظهرت البيانات المزيفة نسبة مئوية ضئيلة وثابتة للرجال في الجيش عبر جميع الأعمار، متجاهلة تماماً هذه المرحلة الحياتية الحاسمة.
اختبر المؤلف أيضاً ما إذا كانت هذه المشكلات تحدث في بلدان أخرى من خلال النظر في مجموعات بيانات مزيفة مماثلة للولايات المتحدة واليابان والهند وغيرها. كانت النتائج متباية: أظهرت بعض الأماكن "تسطيحاً" مشابهاً للأدوار الجندرية، بينما بدت أماكن أخرى مختلفة، مما يشير إلى أن الأخطاء تعتمد على بيانات وقواعد كل بلد على حدة. وتخلص الورقة إلى أنه بينما تكون هذه البيانات المزيفة مفيدة لبعض الأمور، مثل اختبار ما إذا كان برنامج كمبيوتر يمكنه قراءة النصوص، إلا أنها خطيرة إذا استُخدمت لفهم الإحصاءات الواقعية، مثل عدد النساء اللواتي يعملن فعلياً في الهندسة أو كيف تؤثر الخدمة العسكرية على حياة الشخص. ويحذر المؤلف من أنه إذا استخدم الباحثون هذه الأرقام المزيفة كما لو كانت بيانات تعداد حقيقية، فإنهم سيصلون إلى استنتاجات خاطئة حول المجتمع. والخلاصة واضحة: لمجرد أن المدينة المزيفة تبدو صحيحة من السماء، لا يعني ذلك أن الشوارع بداخلها حقيقية.
ملخص تقني: المحاذاة الهامشية لا تضمن دقة التوزيع المشترك
بيان المشكلة تُستخدم مجموعات بيانات الشخصيات الاصطناعية بشكل متزايد كـ "عينات سيليكونية" (silicon samples) لاستبدال المستجيبين في الاستطلاعات، واستقصاء توزيعات الآراء، وتقييم النماذج اللغوية الكبيرة (LLMs). وتستمد هذه الموارد مصداقيتها عادةً من ادعاءات المحاذاة مع الهوامش الديموغرافية الوطنية (مثل العمر، والجنس، والمنطقة). ومع ذلك، يستهلك المستخدمون النهائيون هذه الشخصيات كبنى مشتركة حيث تتفاعل سمات مثل العمر، والجنس، والمهنة، والتعليم، والوضع المؤسسي. تجادل الورقة بأن المحاذاة الهامشية لا تعني بالضرورة الحفاظ على هذه التوزيعات المشتركة. وتحديداً، لكي تكون الشخصيات الاصطناعية صالحة كعينات سيليكونية، يجب أن يعكس الهيكل المشترك الداخلي الواقع القابل للتحقق للمجتمع المستهدف، وليس فقط التوزيعات الهامشية. وتحدد الورقة فجوة حرجة: فبينما قد تدعي بطاقة مجموعة البيانات (dataset card) المحاذاة مع الإحصاءات الرسمية، فإنها غالباً ما توثق افتراضات توليدية (مثل معاملة العوامل الديموغرافية كمتغيرات مستقلة) مما يضعف الهياكل المشتركة الضرورية للمحاكاة الواقعية.
المنهجية: بصمة افتراض الاستقلال (IAF) لمعالجة ذلك، يقترح المؤلف بصمة افتراض الاستقلال (IAF)، وهي أداة تدقيق أولية مصممة لتشغيل الفجوة بين الادعاءات الهامشية والواقع المشترك. يعمل بروتوكول IAF كما يلي:
التدقيق المرتكز على الإفصاح: يستهدف التدقيق تركيبات السمات الموثقة صراحةً في بطاقة مجموعة البيانات على أنها عوملت بشكل مستقل (على سبيل المثال: "الجنس، والدخل، والتعليم، والمجال الرئيسي يؤثرون على تعيين المهنة بشكل مستقل").
المقارنة مع المراجع الخارجية: لكل افتراض استقلال موثق، يقوم IAF بمقارنة التوزيع المشترك الاصطناعي مقابل مراجع رسمية أو مؤسسية خارجية.
الجداول المشتركة المباشرة: حيثما توفرت (مثل جداول المهنة حسب الجنس من KOSIS)، يحسب التدقيق نسبة كرامر (Cramer's V ratio) (RV=VNPK/Vref). وتؤدي أي نسبة تقل عن عتبة استدلالية قدرها 0.7 إلى إطلاق "علامة" (FLAG)، مما يشير إلى فقدان قوة الارتباط مقارنة بالمرجع.
الفحوصات الضمنية بالقواعد: بالنسبة للقيود المؤسسية التي لا تتوفر لها جداول تلازمية مباشرة (مثل قواعد التجنيد العسكري)، يقوم التدقيق بإنشاء جداول مرجعية اصطناعية بناءً على القواعد المؤسسية لإجراء فحوصات الاتساق.
ضوابط التحكم السلبية: يتضمن البروتوكول ضوابط تحكم سلبية محددة مسبقاً (مثل توزيع سنة الميلاد × الاسم) المستمدة من المصادر المذكورة للتحقق من أن إجراء التدقيق يمكنه اكتشاف الهياكل المارة، مما يضمن أن الإخفاقات ليست مجرد نتاج لطريقة التدقيق نفسها.
قابلية النقل عبر النطاقات المحلية: يتم تطبيق تشخيص IAF عبر سبعة نطاقات محلية (كوريا، الولايات المتحدة، اليابان، الهند، البرازيل، سنغافورة، فرنسا) ومورد واحد غير NPK (وهو PersonaHub) لاختبار قابلية النقل، مع ملاحظة أن النتائج تعتمد على الموقع الجغرافي وتتأثر بتباين عدد تصنيفات المرجع.
دراسة حالة: Nemotron-Personas-Korea (NPK) التطبيق الأساسي لـ IAF هو على Nemotron-Personas-Korea (NPK)، وهي مجموعة بيانات تضم مليون شخصية كورية اصطناعية. تنص بطاقة مجموعة بيانات NPK صراحةً على أن العوامل الديموغرافية تؤثر على تعيين المهنة بشكل مستقل، دون وجود تأثيرات تفاعلية.
النتائج الرئيسية يكشف التدقيق أنه بينما تحافظ NPK على محاذاة هامشية قوية مع الإحصاءات الرسمية الكورية (KOSIS) فيما يتعلق بالعمر، والجنس، والمقاطعة، إلا أنها تظهر إخفاقات كبيرة في دقة التوزيع المشترك:
الجنس × المهنة (KSCO): يظهر التوزيع المشترك للجنس والمهنة تأثير "تسطيح النوع الاجتماعي" (gender flattening). ففي الفئات المهنية التي يهيمن عليها الذكور (مثل مشغلي المصانع، والحرفيين)، تكون حصة الإناث في NPK أعلى بمقدار 2.1 إلى 3.0 مرة مقارنة بمرجع KOSIS. وعلى العكس من ذلك، تكون حصة الإناث في الفئات التي تهيمن عليها الإناث أقل من المرجع. تقع نسبة كرامر (RV≈0.58) تحت عتبة 0.7 بكثير، مما يشير إلى ضعف شديد في الفصل المهني القائم على النوع الاجتماعي الموجود طبيعياً في كوريا.
التخصص × المهنة (KEIS GOMS): تكشف المقارنة بين NPK ومسح (KEIS) لحركية خريجي المهن عن عدم تطابق شرطي كبير. فعلى سبيل المثال، يظهر خريجو الهندسة في وظيفة "مشغلي المصانع" بنسبة 3.80% في NPK مقابل 18.13% في المرجع، بينما يقل تمثيل خريجي التعليم/تكنولوجيا المعلومات/الصحة في فئة "المهنيين" بنسبة تتراوح بين 35 إلى 42 نقطة مئوية.
الخدمة العسكرية (الاتساق المؤسسي): يحدد التدقيق عدم اتساق مؤسسي فيما يتعلق بالخدمة العسكرية. ففي كوريا، تبلغ نسبة الخدمة الفعلية الإلزامية للذكور الذين تتراوح أعمارهم بين 19 و22 عاماً ما بين 26-29%. بينما تظهر NPK معدلاً ثابتاً ومنخفضاً يترا-وح بين 1.13-1.70% عبر الأعمار من 19 إلى 50 عاماً، مما يفشل في رصد مسار الحياة المرتبط بالتجنيد.
ضوابط التحكم السلبية: يؤكد التدقيق أن NPK تنجح في إعادة إنتاج الهيكل المشترك لـ (سنة الميلاد × الاسم) (مطابقة لإحصاءات المحكمة العليا) و(الجنس × الحالة الاجتماعية)، مما يثبت أن التدقيق يمكنه التمييز بين الهياكل المحفوظة والمتهالكة.
نتائج النطاقات المحلية: يظهر نمط "تسطيح النوع الاجتماعي" (الإفراط في تأنيث الأدوار التي يهيمن عليها الذكور، وتقليل تأنيث الأدوار التي تهيمن عليها الإناث) بشكل متسق اتجاهياً في NPK-USA وNPK-Japan، وإن كان الحجم يختلف باختلاف الموقع الجغرافي ودقة تصنيف المرجع.
الأهمية والادعاءات تقدم الورقة ثلاث مساهمات رئيسية:
منهجية: تقدم IAF كأداة تدقيق أولية مرتكزة على الإفصاح، والتي تنقل تركيز التحقق من الادعاءات الهامشية إلى دقة التوزيع المشترك، مستهدفةً تحديداً افتراضات الاستقلال الموثقة في بطاقات مجموعات البيانات.
تجريبية: تقدم تدقيقاً هيكلياً لـ NPK-Korea، وتثبت أن المحاذاة الهامشية غير كافية لصلاحية العينات السيليكونية. وتصدر الورقة مجموعة شاملة من أدوات التدقيق (بيانات المراجع، الجداول التقاطعية، المقاييس، والسكربتات) بموجب رخصة MIT لتمكين إعادة الاستهداف.
إرشادات عملية: بناءً على النتائج، تصدر الورقة توصيات استخدام محددة (الجدول 10). وتنصح بأن NPK مناسبة للمهام التي تعتمد فقط على المحاذاة الهامشية (مثل اختبار جهد خطوط الإنتاج، أو بناء هياكل الأوامر البرمجية)، ولكن يجب عدم استخدامها كبديل للاستطلاعات الأصلية في المهام التي تتطلب توزيعات مشتركة دقيقة (مثل تقدير الفصل في سوق العمل، أو المواقف المشروطة بالمهنة، أو عمليات تدقيق المسار الحياتي المؤسسي).
القيود والنطاق يحافظ المؤلف على نطاق متواضع، مقراً بأن التدقيق يعتمد على مراجع عامة ولا يحدد الآليات التوليدية المحددة (مثل التجزئة في النماذج الاحتمالية البيزية - PGM مقابل تأثيرات RLHF) التي تسبب هذه التباينات. تُعرض نتائج النطاقات المحلية كدليل على قابلية النقل وليس كتدقيق نهائي للنطاقات غير الكورية، مع ملاحظة أن الاختلافات في دقة تصنيف المراجع (مثل المهنة مقابل الصناعة) تؤثر على إمكانية مقارنة عدد العلامات (flags). وتخلص الورقة إلى أنه لكي تُعتمد الشخصيات الاصطناعية كعينات سيليكونية موثوقة، يجب اقترن الادعاءات الهامشية بتدقيقات مشتركة مرتكزة على الإفصاح قبل إعادة الاستخدام.