في عالم علوم البيانات المعاصر، غالبًا ما يواجه الباحثون معضلة: فهم بحاجة إلى اختبار فكرة جديدة أو بناء نموذج، لكنهم لا يستطيعون استخدام البيانات الأصلية الحساسة التي تحمل الإجابات. ربما تحتوي هذه البيانات على سجلات طبية خاصة، أو تواريخ مالية، أو تفاصيل شخصية لا يمكن مشاركتها. ولحل هذه المشكلة، ينشئ العلماء مجموعات بيانات "وكيلة" (proxy)—وهي نسخ اصطناعية أو نسخ محولة من المعلومات الأصلية تبدو وتتصرف بشكل مشابه ولكنها لا تحتوي على أشخاص حقيقيين. تسمح هذه الوكلاء للفرق بالتعاون واختبار سير العمل دون كشف الأسرار الخاصة. ومع ذلك، فقد ظهرت مشكلة جديدة. نظرًا لأن مجموعات البيانات الاصطناعية هذه يتم إنشاؤها بواسطة خوارزميات حاسوبية تتضمن العشوائية، فإن نسختين مختلفتين من نفس البيانات يمكن أن تبدوا مختلفتين تمامًا. قد تعمل إحداهما بشكل مثالي لاختبار معين، بينما تفشل الأخرى تمامًا. وهذا يخلق فخًا خطيرًا للباحثين: إذا قاموا بإنشاء عشرات النسخ الاصطناعية هذه واختاروا ببساطة النسخة التي تبدو الأفضل، فقد يخدعون أنفسهم. قد ينتهي بهم الأمر بالوثوق بمجموعة بيانات معيبة نجحت فقط في الاختبار عن طريق الحظ، أو قد يتخلون عن نظام موثوق لأن النسخة الوحيدة التي اختبروها كانت حالة استثنائية غير محظوظة.

هذا اليقين هو التحدي المركزي الذي يعالجه أسلوب جديد يسمى "ProxyGuard". وقد سعى الباحثون وراء هذا العمل، والذين يتخذون من جامعة نيويورك وكلينز كوليدج مقرًا لهم، إلى ابتكار طريقة صارمة لتحديد ليس فقط ما إذا كانت مجموعة بيانات اصطناعية واحدة جيدة، بل ما إذا كانت العملية بأكملها التي تنشئها موثوقة. تخيل مصنعًا ينتج آلاف المفاتيح المختلفة قليلاً. إذا اختبرت مفتاحًا واحدًا وفتح الباب، فأنت تعلم أن هذا المفتاح المحدد يعمل. لكنك لا تعرف ما إذا كان المصنع موثوقًا؛ فربما كان ذلك المفتاح مجرد ضربة حظ، والمفتاح التالي سيتسبب في تعليق القفل. الهدف من ProxyGuard هو الإجابة على سؤال المصنع: هل يمكننا التأكد من أنه إذا طلبنا من الآلة صنع مفتاح جديد غدًا، فإنه سيعمل على الأرجح؟ لقد طور الفريق نظامًا يفصل بين اختبار مجموعات البيانات الفردية واختبار الآلة التي تصنعها، مما يضمن أن الاستنتاجات المستخلصة ليست نتيجة تخمين محظوظ أو عيب خفي في عملية الاختبار.

حدد الباحثون طريقتين رئيسيتين للفشل عند تقييم مجموعات البيانات الاصطناعية هذه. يحدث الفشل الأول عندما يقوم الباحث بتوليد العديد من إصدارات مجموعة البيانات، ويجربها جميعًا، ويختار الإصدار الذي يحقق أفضل النتائج. هذا يشبه رمي حجر النرد عشرين مرة ثم التقرير فقط عن المرة التي استقر فيها على الرقم ستة. من خلال البحث عبر خيارات عديدة، يزيد الباري بزيادة فرص العثور على "فائز" هو في الواقع مجرد حادث إحصائي. أما الفشل الثاني فيحدث عندما يختبر الباحث نسخة واحدة فقط من مجموعة البيانات ويعلن أن النظام بأكمله موثوق لأن هذا الإصدار نجح. هذا يشبه اختبار سيارة واحدة من خط إنتاج وافتراض أن كل السيارات القادمة من ذلك الخط ستعمل بشكل مثالي. إذا كانت تلك السيارة هي نموذج عالي الأداء ونادر، فإن الاستنتاج حول المصنع سيكون خاطئًا. يعالج ProxyGuard كلا المشكلتين باستخدام بروتوكول اختبار مخطط له مسبقًا وصارم يمنع الباحثين من انتقاء النتائج أو بناء افتراضات بناءً على عينة واحدة.

يعمل الأسلوب في وضعين متميزين، اعتمادًا على ما يحتاجه الباحث. الوضع الأول، المسمى "الإصدار المُسمى" (named-release)، يُستخدم عندما يكون الهدف هو تحديد مجموعات بيانات فردية محددة آمنة للاستخدام. في هذا النهج، يضع الباحثون هدفًا مغلقًا—وهو مجموعة من البيانات الحقيقية التي تظل مخفية حتى نهاية العملية تمامًا. يقومون بتوليد العديد من مجموعات البيانات الاصطناعية واختبار كل منها مقابل هذا الهدف المغلق. ولمنع خطأ "الانتقاء" (cherry-picking)، يطبقون تصحيحًا رياضيًا يأخذ في الاعتبار حقيقة إجراء العديد من الاختبارات. إذا اجتازت مجموعة بيانات هذا الاختبار الصارم، فسيتم اعتمادها كصحيحة. ومع ذلك، فإن هذا الوضع لا يخبرك ما إذا كانت الآلة التي صنعت مجموعة البيانات موثوقة؛ بل يخبرك فقط أن هذه النسخة المحددة جيدة. وإذا فشلت مجموعة بيانات، فسيتم ببًا اعتبارها "غير محسومة"، وليس بالضرورة "معيبة"، لأن الاختبار قد يكون صعبًا للغاية بالنسبة لذلك السحب المحدد.

أما الوضع الثاني، المسمى "الهدف المشترك المباشر" (direct shared-target)، فيجيب على السؤال الأكبر: هل الآلة نفسها موثوقة؟ هنا، لا يهتم الباحثون بهوية مجموعات البيانات الفردية. بدلاً من ذلك، يقومون بتوليد عدد كبير من مجموعات البيانات الاصطناعية المستقلة واختبارها جميعًا مقابل نفس الهدف المغلق. يقومون بعد عدد مجموعات البيانات التي تجتاز الاختبار. وبما أن الهدف محدود، فمن الممكن لآلة سيئة أن تنتج بعض النجاحات المحظوظة بمحض الصدفة. يأخذ ProxyGuard في الاعتبار ذلك من خلال حساب "سماحية المرور الخاطئ" (false-pass allowance)—وهي هامش أمان يطرح عدد حالات النجاح التي كان من الممكن أن تحدث بمحض الصدفة. إذا ظل عدد مجموعات البيانات الناجحة مرتفعًا حتى بعد طرح عامل الحظ هذا، يمكن للباحثين الاستنتاج بثقة عالية أن الآلة موثوقة وستنتج بيانات جيدة في المستقبل. يسمح هذا النهج لهم بتقديم ادعاء قوي حول النظام بأكم، دون الحاجة إلى اختبار كل نتيجة ممكنة.

في سلسلة من المحاكاة الصارمة والاختبارات الواقعية، أظهر الباحثون قوة هذا الأسلوب. وجدوا أنه في الحالات التي تكون فيها الأدلة متوسطة—بمعنى أن البيانات الاصطناعية جيدة ولكن ليست مثالية—كان وضع "الهدف المشترك المباشر" متفوقًا بشكل هائل. في اختبار محدد يتعلق بهدف موثوقية بنسبة 95 بالمائة، نجحت الطريقة التقليدية لاختبار مجموعات البيانات الفردية فقط في تأكيد موثوقية النظام بنسبة 5.6 بالمائة. في المقابل، نجح وضع "الهدف المشترك المباشر" بنسبة 64.2 بالمائة. يظهر هذا التحسن الهائل أننا من خلال تجميع الأدلة وتصحيح الطبيعة المحدودة لبيانات الاختبار، يمكننا أن نكون أكثر ثقة في استنتاجاتنا. ومع ذلك، وجدت الدراسة أيضًا أنه عندما تكون الأدلة قوية للغاية—أي عندما تكون البيانات الاصطناعية ممتازة بوضوح—تظل الطريقة التقليدية لاختبار مجموعات البيانات الفردية قوية، وأحيانًا حتى أقوى.

لم يتوقف الفريق عند المحاكاة؛ بل طبقوا ProxyGuard على سيناريوهات واقعية لمعرفة مدى صموده. اختبروا نظامًا يولد بيانات اصطناعية للسجلات الطبية والمالية، بما في ذلك مسار كامل لإعادة تدريب نماذجهم في كل مرة ينشئون فيها مجموعة بيانات جديدة. كما اختبروا نظامًا يولد بيانات نصية، محاكيًا مقالات إخبارية. في عمليات التدقيق الاستباقية هذه، حيث كانت البيانات مغلقة قبل بدء الاختبار، نجح الأسلوب في التحقق من صحة الأنظمة عالية الجودة وتحديد الأنظمة المعيبة بشكل صحيح. على سبيل المثال، في اختبار يتعلق بآلية توليد النصوص، أكد الأسلوب أن النظام موثوق بمستوى ثقة 98 بالمائة. وفي اختبار آخر لشبكة عصبية للبيانات الطبية، حدد الأسلብ بشكل صحيح أن نسخة متدهورة من النظام كانت غير موثوقة. تثبت هذه النتائج أن الطريقة تعمل ليس فقط من الناحية النظرية، بل ومن الناحية العملية، مما يوفر مسارًا واضحًا للباحثين للوثوق بالبيانات الاصطناعية التي يستخدمونها.

أحد أهم النتائج التي توصلت إليها الدراسة هو أن الطريقة صادقة بشأن ما لا تعرفه. يصرح الباحثون صراحةً بأن اعتمادهم ينطبق فقط على الاختبارات والحدود المحددة التي سجلوها قبل الاطلاع على البيانات. إذا أراد باحث استخدام البيانات لغرض مختلف، أو لتقديم ادعاء حول مجموعة أخرى من الناس، فعليه إجراء تدقيق جديد. الطريقة لا تضمن سحريًا أن البيانات مثالية لكل استخدام ممكن؛ بل تضمن فقط أنها تلبي المعايير المحددة مسبقًا. هذه الصراحة هي ميزة وليست عيبًا، فهي تجبر الباحثين على الدقة في أهدافهم وتمنعهم من المبالغة في قدرات بياناتهم الاصطناعية. كما تسلط الدراسة الضوء على أن الطريقة قوية ضد الرغبة في البحث عن أفضل نتيجة. من خلال إغلاق قواعد الاختبار قبل الكشف عن البيانات، يضمن ProxyGuard أن الحكم النهائي يعتمد على الجودة الحقيقية للنظام، وليس على حظ السحب.

تمتد آثار هذا العمل إلى ما وراء مجرد البيانات الاصطناعية. الفكرة الجوهرية—وهي أننا بحاجة إلى التمييز بين جودة عينة واحدة وموثوقية العملية التي تولدها—تنطبق على مجالات عديدة تلعب فيها العشوائية دورًا. سواء كان ذلك في التصنيع، أو التجارب السيدية، أو اتخاذ القرار الخوارزمي، فإن القدرة على اعتماد عملية وليس مجرد منتج أمر بالغ الأهمية. أظهر الباحثون أنه من خلال الفصل بعناية بين عدم اليقين في العينة وعدم اليقين في العملية، وباستخدام هدف مشترك لقياس كليهما، يمكننا تحقيق مستوى من اليقين كان بعيد المنال سابقًا. لا تتطلب الطريقة افتراضات معقدة حول كيفية توليد البيانات، ولا تحتاج إلى مجموعات متعددة ومنفصلة من بيانات الاختبار. إنها تعمل مع هدف واحد مغلق وسلسلة من السحبات المستقلة، مما يجعلها عملية للاستخدام في العالم الحقيقي.

في النهاية، يقدم ProxyGuard معيارًا جديدًا للثقة في عصر البيانات الاصطناعية. فهو يوفر طريقة للانتقال من التخمين القائم على "هل يبدو هذا جيدًا؟" إلى اليقين القائم على "هل هذه العملية موثوقة؟". ومن خلال التحكم في الأخطاء الناتجة عن البحث عبر خيارات عديدة، ومن خلال مراعاة الحظ الذي يمكن أن يجعل نظامًا سيئًا يبدو جيدًا، يمنح الأسلوب الباحثين أساسًا متينًا لعملهم. تخلص الدراسة إلى أنه بينما لا يمكن لأي طريقة ضمان الكمال، فإن ProxyGuard يوفر ضمانًا لعينة محدودة يكون دقيقًا وموثوقًا. إنه يسمح للباحثين بالقول بثقة إن بياناتهم الاصطناعية ليست مجرد ضربة حظ، بل هي نتاج عملية جديرة بالثقة، جاهزة لدعم القرارات التي تعتمد عليها. ويمثل هذا التحول من اختبار الحالات الفردية إلى اعتماد الآلية نفسها خطوة كبيرة للأمام في كيفية التحقق من الأدوات التي نستخدمها لفهم العالم.