🤖 AI

Active Testing of Large Language Models via Approximate Neyman Allocation

تقدم هذه الورقة خوارزمية اختبار نشط مبتكرة لنماذج اللغات الكبيرة التوليدية تستفيد من الإنتروبيا الدلالية من النماذج البديلة لتقسيم مجمعات التقييم وإجراء تخصيص "نيمان" تقريبي، مما يقلل بشكل كبير من متوسط مربع الخطأ وتكاليف التوسيم مقارنة بأخذ العينات المنتظمة والخطوط المرجعية الحالية.

المؤلفون الأصليون: Zeli Liu, Jiancheng Zhang, Cong Liu, Yinglun Zhu

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zeli Liu, Jiancheng Zhang, Cong Liu, Yinglun Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من الأسئلة ("مجمع التقييم") ونموذج ذكاء اصطناعي فائق الذكاء ("النموذج اللغوي الكبير") تريد اختباره. أنت بحاجة لمعرفة مدى أداء هذا الذكاء الاصطناعي في المتوسط.

المشكلة؟ المكتبة تحتوي على آلاف الأسئلة، والحصول على "الإجابة الصحيحة" لكل سؤال منها أمر مكلف للغاية. فغالباً ما يتطلب الأمر استئجار خبير بشري لتقييم عمل الذكاء الاصطناعي. وإذا طلبت من الخبير تقييم كل سؤال على حدة، فسيستغرق الأمر ثروة طائلة ويستغرق وقتاً طويلاً جداً.

الهدف: تريد أن تطلب من الخبير تقييم عدد صغير فقط من الأسئلة، ولكنك لا تزال ترغب في معرفة متوسط درجة الذكاء الاصطناعي للمكتبة بأكملها بدقة عالية. وهذا ما يسمى بـ "الاختبار النشط" (Active Testing).

الطريقة القديمة: "لعبة التخمين"

في السابق، حاول الباحثون اختيار الأسئلة "الأكثر إثارة للاهتمام" لتقييمها. فقد تعاملوا مع الذكاء الاصطناعي كآلة بسيطة للاختيار من متعدد. كانوا ينظرون إلى مدى "ارتباك" الذكاء الاصطنا_ (باستخدام حيلة رياضية تسمى "الاعتلاج" أو Entropy) ويختارون الأسئلة التي يبدو فيها الذكاء الاصطناعي غير متأكد.

لماذا فشلت هذه الطريقة:

التركيز الخاطئ: نماذج الذكاء الاصطنا الحديثة لا تكتفي باختيار (أ) أو (ب) أو (ج) أو (د)، بل تكتب فقرات كاملة. الطرق القديمة كانت تنظر إلى "الحروف" التي يكتبها الذكاء الاصطناعي، وليس إلى "المعنى". إنه يشبه الحكم على طاهٍ من خلال عدد المرات التي أسقط فيها ملعقة، بدلاً من تذوق طعم الطعام نفسه.
"فخ الثقة": غالباً ما تكون هذه النماذج الذكية واثقة من نفسها بشكل مفرط. فهي تتصرف وكأنها تعرف الإجابة حتى عندما لا تعرفها. الطرق القديمة تعرضت للخداع بهذه الثقة المزيفة وانتهى بها الأمر باختيار أسئلة عشوائية، وهو ما لم يكن أفضل من مجرد التخمين.

الحل الجديد: "أمين المكتبة الذكي"

ابتكر مؤلفو هذه الورقة البحثية طريقة جديدة تعمل كـ "أمين مكتبة ذكي". فبدلاً من النظر إلى حروف الذكاء الاصطناعي، هم ينظرون إلى معنى الإجابات.

إليك كيف تعمل طريقتهم خطوة بخطوة:

1. "المعلم الظل" (النموذج البديل - Surrogate Model)

قبل طلب المساعدة من الخبير البشري المكلف، يستخدمون نموذج ذكاء اصطناعي أصغر وأرخص وأسرع (النموذج البديل) لإلقاء نظرة سريعة على جميع الأسئلة.

التشبيه: تخيل مساعد تدريس (النموذج البديل) ليس بذكاء الأستاذ الرئيسي (النموذج المستهدف)، ولكنه سريع ورخيص. يحاول المساعد الإجابة على جميع الأسئلة أولاً.

2. قياس "ارتباك المعنى" (الاعتلاج الدلالي - Semantic Entropy)

يقوم المساعد بتوليد عدة إجابات مختلفة لكل سؤال.

إذا قدم المساعد خمس إجابات مختلفة تماماً وغير مفهومة، فهذا يعني أن السؤال صعب وأن المعنى غير مستقر.
إذا قدم المساعد خمس إجابات تقول جميعها الشيء نفسه ولكن بكلمات مختلفة، فهذا يعني أن السؤال سهل والمعنى واضح.
الابتكار: تقيس الطريقة الجديدة هذا "الارتباك في المعنى" (الاعتلاج الدلالي) بدلاً من مجرد عد الحروف. وهذا يخبرهم أي الأسئلة هي حقاً الصعبة.

3. تصنيف الكتب (الطبقية - Stratification)

يقوم أمين المكتبة بتصنيف مكتبة الأسئلة بأكملها إلى "أرفف" (طبقات) بناءً على مدى ارتباك المساعد:

الرف (أ): الأسئلة التي كان المساعد فيها واثقاً تماماً (سهلة).
الرف (ب): الأسئلة التي كان المساعد فيها غير متأكد قليلاً (متوسطة).
الرف (ج): الأسئلة التي فقد فيها المساعد السيطرة تماماً (صعبة).

4. الميزانية الذكية (توزيع نييمان التقريبي - Approximate Neyman Allocation)

الآن، لديك ميزانية محدودة (على سبيل المثال، يمكنك دفع ثمن تقييم 70 سؤالاً فقط من المكتبة).

الخطأ القديم: تقييم 70 سؤالاً عشوائياً من المكتبة بأكملها.
الاستراتيجية الجديدة: تستخدم الطريقة قاعدة رياضية (توزيع نييمان) لتقرير عدد الأسئلة التي يجب تقييمها من كل رف.
- يتم إنفاق جزء أكبر من الميزانية على "الرف الصعب" (الرف ج) لأن تلك الأسئلة تتفاوت كثيراً وهي الأصعب في التنبؤ بها.
- يتم إنفاق جزء أقل على "الرف السهل" (الرف أ) لأن إجاباتها يمكن التنبؤ بها.
- تستخدم الطريقة أداء المساعد لتخمين مدى "تنوع" الإجابات، بحيث لا تحتاج لرؤية درجات الخبير النهائية لاتخاذ هذا القرار.

النتائج: توفير المال والوقت

اختبرت الورقة البحثية هذه الطريقة على مهام صعبة متنوعة (مثل أسئلة العلوم المتقدمة وتحليل الصور) باستخدام نماذج ذكاء اصطناعي مختلفة.

دقة أفضل: من خلال التركيز بميزانيتهم المحدودة على الأسئلة التي تهم حقاً (المربكة)، توقعت طريقتهم الدرجة الإجمالية للذكاء الاصطناعي بدقة أكبر بكثير من التخمين العشوائي.
توفير هائل: وجدوا أنه يمكنهم الحصول على نفس المستوى من الدقة مع إنفاق 23% أقل على تقييم الخبراء. وفي بعض الحالات، وفروا ما يصل إلى 28% من التكلفة.
معيار "أوراكل" (المرجع المثالي): هناك طريقة "مثالية" نظرياً للقيام بذلك (تسمى Oracle-Neyman) حيث تعرف سحرياً مدى صعوبة كل سؤال بالضبط قبل البدء. الطريقة الجديدة تقترب جداً من هذه النتيجة المثالية، رغم أنها لا تملك تلك المعرفة السحرية.

الملخص

فكر في الأمر مثل تذوق الحساء.

الطريقة القديمة: تأخذ ملعقة من الأعلى، والمنتصف، والأسفل بشكل عشوائي. قد تفوتك المنطقة المالحة في القاع.
الطريقة الجديدة: تستخدم متذوقاً رخيصاً (النموذج البديل) لمعرفة الأماكن التي يبدو فيها طعم الحساء غريباً. ثم تخصص ميزانية التذوق الغالية لتلك الأماكن الغريبة تحديداً لمعرفة النكهة الحقيقية للقدر بأكمله.

تسمح هذه الطريقة للشركات باختبار نماذج الذكاء الاصطناعي المكلفة الخاصة بها بشكل أكثر موثوقية دون استنزاف ميزانياتها على الخبراء البشريين.

ملخص تقني: الاختبار النشط للنماذج اللغوية الكبيرة عبر تخصيص نيمان التقريبي

بيان المشكلة

أصبح تقييم النماذج اللغوية الكبيرة (LLMs) والنماذج متعددة الوسائط يمثل عائقًا متكررًا وعالي التكلفة. فمع توسع النماذج من خلال مراحل ما قبل التدريب، وما بعد التدريب، ونماذج وقت الاستنتاج، ترتفع التكلفة الحسابية لكل عملية استنتاج. وفي الوقت نفسه، غالبًا ما تتجاوز تعقيدات المهام المستهدفة قدرات المقيّمين العاديين، مما يستلزم خبراء متخصصين مكلفين لعمليات التصنيف (Labeling).

تعتمد أساليب الاختبار النشط (Active Testing) الحالية، التي تهدف إلى تقدير أداء المجموعة الكاملة من خلال مجموعة فرعية صغيرة ومعلوماتية من البيانات، بشكل أساسي على مهام التصنيف. وتعتمد هذه الطرق عادةً على:

الاعتلاج (Entropy) بأسلوب التصنيف: استخدام الاعتلاج التنبؤي (PE) على مستوى الرمز (Token) كإشارة لعدم اليقين.
مقدرات LURE: مقدرات تعتمد على أوزان الأهمية تتطلب إعادة تدريب منتقيات البيانات أو الوصول إلى تنشيطات (Activations) أو لوجيتات (Logits) النموذج الداخلية (والتي غالبًا ما تكون غير متوفرة في إعدادات واجهة برمجة التطبيقات (API) الصندوق الأسود).

يحدد المؤلفون أن خطوط العمل الحالية تفشل في المهام التوليدية الحديثة لأنها:

الاعتلاج الدلالي مقابل السطحي: يخلط الاعتلاج التنبؤي (PE) على مستوى الرمز بين عدم اليقين بشأن المعنى وعدم اليقين بشأن الشكل السطحي (إعادة الصياغة). فالإنتاجات المتكافئة دلاليًا ولكن بصياغات مختلفة تضخم الاعتلاج دون أن يعكس صعوبة حقيقية.
الثقة المفرطة: تعاني النماذج اللغوية الكبيرة الحديثة من ثقة مفرطة منظمة، حيث ينهار الاعتلاج على مستوى الرمز في نطاق ضيق من الاعتلاج المنخفض، مما يضعف إشارة الاستحواذ.
عدم استقرار المقدر: تؤدي آلية وزن الأهمية في مقدر LURE إلى تضخيم عدم التطابق بين النموذج البديل والنموذج المستهدف، مما يؤدي إلى التباين بدلاً من التقليل منه.

المنهجية

تقترح الورقة إطار عمل جديد للاختبار النشط خالٍ من التدريب وغير متحيز نظريًا مصمم للمهام التوليدية ومتعددة الوسائط. تعمل الطريقة، المفصلة في الخوارزمية 1، عبر أربع خطوات:

1. توليد الإشارة عبر النماذج البديلة

بدلاً من الاعتماد على الحالات الداخلية للنموذج المستهدف، تستخدم الطريقة نموذجًا بديلًا (Surrogate Model) أصغر وأرخص ( $g$ ) لتوليد $k$ من الاستجابات لكل مدخل في مجموعة التقييم $D$ .

الاعتلاج الدلالي (Semantic Entropy - SE): لمعالجة مشكلة مستوى الرمز مقابل مستوى المعنى، تقوم الطريقة بتجميع توليدات النموذج البديل في فئات تكافؤ المعنى. ثم تحسب اعتلاج شانون (Shannon entropy) على احتمالات هذه الفئات. هذا يلتقط عدم اليقين فيما يتعلق بـ الإجابة وليس الصياغة.
درجة الاتساق الذاتي (Self-Consistency Score - SC): إشارة ثانوية تقيس مدى الاتفاق بين توليدات النموذج البديل. يشير الـ SC المرتفع إلى وجود إجماع (حالات سهلة)، بينما يشير الـ SC المنخفض إلى عدم الاتفاق (حالات صعبة).

2. الطبقية (Stratification)

يتم تقسيم مجموعة التقييم $D$ إلى $H$ من الطبقات بناءً على الاعتلاج الدلالي (SE) للنموذج البديل.

يتم إنشاء طبقة أساسية ( $D_0$ ) للحالات التي يكون فيها $SE = 0$ (يقين عالٍ).
يتم تقسيم الحالات المتبقية ( $SE > 0$ ) باستخدام تقسيم المئينات المتساوية (equal-quantile binning).
ينشئ هذا طبقات يُتوقع فيها أن يكون تباين خسارة النموذج المستهدف متجانسًا نسبيًا.

3. تخصيص نيمان التقريبي (Approximate Neyman Allocation)

يعمل تخصيص نيمان الكلاسيكي على تقليل تباين التقدير عن طريق تخصيص الملصقات (Labels) بما يتناسب مع حجم الطبقة ( $N_h$ ) والانحراف المعياري للطبقة ( $\sigma_h$ ). ومع ذلك، فإن $\sigma_h$ غير معروف دون تصنيف المجموعة بأكملة.

استراتيجية الوكيل (Proxy Strategy): تقرب الطريقة $\sigma_h$ باستخدام متوسط درجة الاتساق الذاتي ( $p_h$ ) للنموذج البديل داخل كل طبقة.
صيغة التخصيص: يتم تخصيص ميزانية الملصقات $m_h$ للطبقة $h$ كما يلي:
$m_h \propto N_h \cdot \sqrt{p_h(1 - p_h) + \delta}$
حيث $\delta$ هو إزاحة تنعيم لمنع الانهيار عندما تقترب $p_h$ من 1. يسمح هذا للطريقة بتخصيص ميزانية أكبر للطبقات التي يشير فيها النموذج البديل إلى عدم يقين عالٍ (اتساق ذاتي منخفض)، دون الحاجة إلى ملصقات النموذج المستهدف.

4. التقدير (Estimation)

تقوم الطريقة بأخذ عينات قدرها $m_h$ من كل طبقة بشكل موحد وتصنيفها باستخدام النموذج المستهدف. ثم تجمع النتائج باستخدام مقدر هورفيتز-ثومبسون (Horvitz–Thompson estimator)، والذي ثبت أنه غير متحيز نظريًا لمخاطر المجموعة المحدودة.

المساهمات الرئيسية

أول مسار اختبار نشط توليدي غير متحيز: حسب علم المؤلفين، هذه هي أول طريقة توفر مقدرًا غير متحيز نظريًا وفعالًا في استخدام الملصقات لتقييم اللغة التوليدية والوسائط المتعددة، وهي تدعم التشغيل الخالي من التدريب والانتشار عبر واجهات برمجة التطبيقات (API-only).
الاعتلاج الدلالي المدفوع بالنموذج البديل: تقديم خوارزمية جديدة تستفيد من الاعتلاج الدلالي للنماذج البديلة لهيكلة عملية أخذ العينات، مما يفصل بفعالية بين عدم اليقين الدلالي وتنوع الشكل السطحي.
تخصيص نيمان بالوكالة (Proxy-Neyman Allocation): استراتيجية تخصيص مبتكرة تربط إشارات الاعتلاج الدلالي بتوزيع ميزانية واعٍ بالتباين، مما يلغي الحاجة إلى إعادة تدريب المنتقيات أو الوصول إلى لوجيتات النماذج الداخلية.

النتائج التجريبية

تم تقييم الطريقة عبر أربعة معايير (MMLU-Redux, MMLU-Pro, GPQA-Diamond, MMBench) باستخدام أزواج متنوعة من النماذج مفتوحة المصدر (سلسلة Qwen-3.5) والملكية (سلسلة GPT-5.4).

الأداء: تتفوق الطريقة باستمرار على أخذ العينات الموحد (Uniform Sampling) والتخصيص التناسبي (Proportional Allocation). في الإعداد التمثيلي ( $M=70$ )، حققت انخفاضًا يصل إلى 28% في متوسط مربع الخطأ (MSE) مقارنة بأخذ العينات الموحد.
القرب من الحالة المثالية (Oracle Proximity): تتبع الطريقة عن كثب أداء Oracle-Neyman (الحد الأمثل النظري الذي يتطلب معرفة كاملة بتباينات النموذج المستهدف)، مما يثبت أن الوكيل القائم على النموذج البديل يلتقط معلومات التباين بفعالية.
توفير الميزانية: حققت الطريقة عند تساوي الدقة، متوسط توفير بنسبة 22.9% في تكاليف التصنيف من قبل الخبراء عبر المعايير. تراوحت التوفيرات بين 15.0% (MMBench) و28.0% (MMLU-Redux).
دراسات الاستبعاد (Ablation Studies):
- الطبقية: تفوقت طبقية SE التكيفية (التي تعزل مجموعات SE الصفرية) على تقسيم المئينات، وk-means، وتقسيم المئينات القياسي.
- التخصيص: تفوقت استراتيجية Proxy-Neyman بشكل كبير على قواعد التخصيص المتساوية، والتناسبية، وقواعد القدرة (Power allocation)، مما يؤكد أن التخصيص الواعي بالتباين أمر بالغ الأهمية.

الأهمية والادعاءات

تدعي الورقة أن الاختبار النشط للنماذج التوليدية يتطلب تحولًا جذريًا من المقاييس على مستوى الرمز إلى مقاييس على مستوى المعنى. ومن خلال الانتقة من الاعتلاج بأسلوب التصنيف إلى الاعتلاج الدلالي واستبدال مقدرات وزن الأهمية غير المستقرة بـ تقدير هورفيتز-ثومبسون الطبقي، يوضح المؤلفون أنه من الممكن تحقيق كفاءة تقييم قريبة من المثالية دون إعادة تدريب أو الوصول إلى التفاصيل الداخلية للصناديق السوداء.

يعالج هذا العمل عائقًا عمليًا حرجًا: التكلفة المتزايدة لتعليق الخبراء لمهام الاستدلال المعقدة. ومن خلال تقليل عدد الملصقات المطلوبة من الخبراء بنسبة ~23% في المتوسط مع الحفاظ على دقة التقييم، تقدم الطريقة حلاً قابلاً للتوسع للتقييم المستمر للنماذج التوليدية واسعة النطاق.

القيود المعترف بها:

تعتمد الطريقة حاليًا على المعايير ذات الإجابات الحقيقية القابلة للتحقق (مساحات الإجابات المغلقة أو القابلة للتحليل). يظل توسيع ذلك ليشمل التوليد مفتوح النهايات تحديًا بسبب ضجيج التقييم.
تفترض الطريقة إمكانية الوصول إلى نموذج بديل يكون أرخص من النموذج المستهدف ولكنه مرتبط بصعوبة النموذج المستهدف، مما قد يحد من النشر في السيناريوهات التي لا يوجد فيها نموذج بديل مناسب.