🤖 machine learning

Label Curation Using Agentic AI

يقدم البحث إطار عمل AURA، وهو إطار عمل للذكاء الاصطناعي الوكيل الذي ينسق بين عدة وكلاء لتوليد والتحقق من تسميات متعددة الوسائط دون وجود حقيقة أرضية، وذلك عبر تكييف نموذج احتمالي باستخدام خوارزمية توقع-تعظيم (Expectation-Maximization) لاستنتاج التسميات الحقيقية وموثوقية المسمّين، محققاً تحسينات كبيرة في الدقة مقارنة بالنماذج المرجعية في كل من سيناريوهات التوسيم القياسية والتحديات الصعبة.

المؤلفون الأصليون: Subhodeep Ghosh, Bayan Divaaniaazar, Md Ishat-E-Rabban, Spencer Clarke, Senjuti Basu Roy

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Subhodeep Ghosh, Bayan Divaaniaazar, Md Ishat-E-Rabban, Spencer Clarke, Senjuti Basu Roy

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تنظيم مكتبة ضخمة من الكتب، لكن ليس لديك أمين مكتبة. بدلاً من ذلك، قمت بتعيين 50 شخصاً مختلفاً لقراءة الكتب وإخبارك بنوعها الأدبي. بعضهم خبراء، وبعضهم متعبون، وبعضهم يخمن، وبعضهم ببساطة مخطئون تماماً. إذا اكتفيت فقط باتباع مبدأ "تصويت الأغلبية" (بالسؤال: "ماذا يقول معظم الناس؟")، فقد ينتهي بك الأمر بالنوع الخاطئ إذا كان معظم مساعديك سيئين في عملهم.

هذه هي المشكلة التي يحلها بحث AURA.

المشكلة: "الجمهور المليء بالضجيج"

في عالم الذكاء الاصطناعي، تحتاج أجهزة الكمبيوتر إلى بيانات مصنفة لتتعلم (مثل طالب يحتاج إلى نموذج إجابة). عادةً ما يقوم البشر بهذا التصنيف، لكنه مكلف وبطيء، والبشر يرتكبون الأخطاء. مؤخراً، بدأنا نستخدم نماذج الذكاء الاصطناعي لتصنيف البيانات لنا. ولكن هنا تكمن المشكلة: نماذج الذكاء الاصطناعي هي أيضاً غير مثالية. فبعضها ذكي، وبعضها مرتبك، وبعضها متحيز.

إذا تركت مجموعة من نماذج الذكاء الاصطناعي تصوت على الإجابة، فإن النماذج "الخاطئة" يمكن أن تسحب المجموعة بأكملها للأسفل.

الحل: AURA (المدير الذكي)

ابتكر المؤلفون نظاماً يسمى AURA (الذكاء الاصطناعي الوكيل لنمذجة الموثوقية الموحدة وتجميع التوسيم). فكر في AURA كـ مدير فائق الذكاء لا يكتفي فقط بعدّ الأصوات؛ بل يكتشف من الذي يقول الحقيقة.

إليك كيف يعمل AURA، باستخدام تشبيه بسيط:

فريق المحققين: يجمع AURA فريقاً من محققي الذكاء الاصطناعي المختلفين (الوكلاء). قد يكون أحدهم بارعاً في رصد القطط، والآخر بارعاً في رصد الكلاب، والثالث قد يكون سيئاً في كليهما.
لا حاجة لنموذج إجابة: عادةً، لمعرفة من هو المحقق الجيد، تحتاج إلى معرفة الإجابة الصحيحة مسبقاً ("الحقيقة الأرضية"). AURA مميز لأنه لا يحتاج إلى نموذج إجابة. إنه يستنتج الحقيقة من خلال مراقبة أنماط الاختلاف.
لعبة "درجة الثقة":
- تخيل أن المحققين يتجادلون حول صورة. المحقق (أ) يقول "قطة"، المحقق (ب) يقول "كلب"، والمحقق (ج) يقول "قطة".
- إذا ثبت في الماضي أن المحقق (أ) و(ب) كاذبان، فإن AURA يتجاهلهما.
- إذا كان المحقق (ج) موثوقاً، فإن AURA يستمع إليه.
- يقوم AURA بذلك رياضياً. فهو يشغل حلقة تكرارية حيث يخمن الإجابة، ثم يتحقق من من صوّت لهذه الإجابة، ثم يحدّث "درجة الثقة" لكل محقق، ويكرر العملية حتى يتفق الجميع على الحقيقة الأكثر احتمالاً.

السر الكامن: حلقة "توقع التعظيم" (Expectation-Maximization)

يستخدم البحث خدعة رياضية متطورة تسمى "توقع التعظيم" (EM). فكر في هذا كأنه لعبة "ساخن وبارد":

الخطوة 1 (التخمين): يقوم AURA بتخمين التسمية الحقيقية لصورة ما.
الخطوة 2 (التحقق): ينظر إلى المحققين. "أوه، المحققون الذين عادة ما يصيبون في تخمينهم صوتوا لهذه الإجابة. أما الذين عادة ما يخطئون، فقد صوتوا للخيار الآخر".
الخطوة 3 (التحديث): يقوم AURA بتحديث قائمته حول من هو جدير بالثقة.
التكرار: يقوم بذلك مراراً وتكراراً. ومع كل جولة، تصبح "درجات الثقة" أكثر دقة، وتصبح التسميات النهائية أكثر دقة.

ماذا وجدوا؟

اختبر الباحثون AURA على أربعة أنواع مختلفة من البيانات (مقاطع فيديو لأشخاص يمارسون الرياضة، صور طعام، صور طيور، وصور عامة).

التفوق على الجمهور: في كل اختبار، كان AURA أفضل من مجرد أخذ تصويت أغلبية بسيط. وفي بعض الحالات، كان أكثر دقة بنسبة 50% من الطرق الأساسية، خاصة عندما يضم الفريق نماذج ذكاء اصطناعي سيئة جداً.
كشف المزيّفين: كان AURA ممتازاً في تحديد أي نماذج الذكاء الاصطناعي موثوقة وأيها عديمة الفائدة. على سبيل المثال، حدد بدقة أن نموذج ذكاء اصطناعي معين كان يصيب بنسبة 6% فقط من الوقت، فتوقف عن الوثوق به.
لا يتطلب تدريباً: لست بحاجة لتعليم AURA كيفية القيام بذلك. فهو يعمل مع نماذج الذكاء الاصطناعي "الجاهزة" مباشرة بمجرد استخدامها. لست بحاجة لإعادة تدريبها أو إعطائها تعليمات خاصة.
التعامل مع عدم التوازن: حتى لو كانت مجموعة البيانات تحتوي على 100 صورة لكلاب وصورة واحدة فقط لطائر، فإن AURA لا يرتبك. فهو يعامل الطائر النادر بنفس الدقة التي يعامل بها الكلاب الشائعة.

الخلاصة

AURA هو نظام يحول مجموعة فوضوية من عمال الذكاء الاصطناعي غير المثاليين إلى فريق تسمية عالي الدقة. يفعل ذلك من خلال السؤال المستمر: "من الذي يقول الحقيقة؟" و"ما هي الإجابة الحقيقية؟" دون الحاجة أبداً لرؤية الإجابات الصحيحة مسبقاً. إنه يشبه امتلاك مدير يمكنه فوراً معرفة أي الموظفين يقومون بعمل جيد وأيهم يتكاسلون، مما يضمن أن التقرير النهائي دائماً ما يكون عالي الجودة.

ملخص تقني: AURA (الذكاء الاصطناعي الوكيل للنمذجة الموحدة للموثوقية وتجميع التوسيم)

1. تعريف المشكلة

تتناول الورقة البحثية التحدي المستمر المتمثل في إنتاج تسميات (labels) دقيقة وغير منحازة وقابلة للتوسع للتعلم الخاضع للإشراف مع زيادة حجم مجموعات البيانات وتنوعها وتعدد أنماطها. توصف مسارات العمل التقليدية المعتمدة على البشر بأنها مكلفة، وبطيئة، وعرضة للتباين بسبب التفسير الذاتي والإجهاد. وبينما يقلل التعلم النشط (active learning) من عبء التوسيم، إلا أنه يظل مقيداً بتوفر العنصر البشري وزمن الاستجابة.

لقد مكنت التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs) والوكلاء المستقلين من إنشاء مسارات توسيم مؤتمتة بالكامل. ومع ذلك، فإن النهج الحالية تتجاهل إلى حد كبير النمذجة المنهجية لعدم اليقين والضجيج والتحيز المتأصل في هؤلاء الوكلاء. فالوكلاء المستقلون غير متجانسين في موثوقيتهم، حيث يختلف أداؤهم باختلاف المهام والسياقات. وتتمثل المشكلة الجوهرية المحددة في غياب إطار عمل عام وذو أساس إحصائي يمكنه:

استنتاج التسميات الحقيقية الكامنة عالية الثقة في غياب الحقيقة الأرضية (ground truth).
نمذجة وقياس موثوقية كل وكيل ذكاء اصطناعي بشكل صريح.
تجميع التنبؤات المتضاربة من وكلاء غير متجانسين دون الحاجة إلى ضبط دقيق (fine-tuning) خاص بالمجال أو تعلم داخل السياق (in-context learning).

2. المنهجية: إطار عمل AURA

يقترح المؤلفون AURA (الذكاء الاصطناعي الوكيلي للنمذجة الموحدة للموثوقية وتجميع التوسيم)، وهو إطار عمل مؤتمت بالكامل ينسق بين عدة وكلاء ذكاء اصطناعي جاهزين للعمل بشكل تعاوني لتوليد والتحقق من التسميات.

الخوارزمية الأساسية: AEML

في قلب AURA تكمن خوارزمية AEML (توسيم توقع ماكسيموم للوكلاء)، وهي تكييف لنموذج "داويد-سكين" الاحتمالي الكلاسيكي [Dawid and Skene, 1979]. تستخدم AEML تقنية "توقع - تعظيم" (Expectation-Maximization) لحل التبعية الدائرية بين صحة التسمية وموثوقية الموضح (annotator).

تعمل العملية كما يلي:

المدخلات: مجموعة من $n$ من الحالات و $M$ من الموضحين (وكلاء الذكاء الاصطناعي) الذين يقدمون تسميات مشوشة $\ell^{(a)}_i$ . لا يتطلب الأمر وجود حقيقة أرضية.
التهيئة: يتم تهيئة الأولويات الطبقية ( $p_{y^*}$ ) بشكل موحد. ويتم تهيئة مصفوفات موثوقية الموضح (مصفوفات الارتباك $\Theta^{(a)}$ ) باستخدام معلم فائق $\lambda$ يمثل موثوقية أساسية مفترضة.
خطوة التوقع (E-Step): يقدر النموذج الاحتمال اللاحق للتسمية الحقيقية الكامنة $y^*_i$ لكل حالة. ويتم حساب ذلك عن طريق وزن التوسيمات المرصودة من جميع الوكلاء وفقًا لتقديرات الموثوقية الحالية والأولويات الطبقية.
$w_{iy^*} = Pr(y^*_i = y^* | \{\ell^{1:M}_i\}, p_{y^*}, \{\Theta^{1:M}\})$
خطوة التعظيم (M-Step): باستخدام تقديرات التسمية اللاحقة من خطوة E، يقوم النموذج بتحديث مصفوفات موثوقية الموضح ( $\Theta^{(a)}$ ). يتضمن ذلك حساب تكرار التوسيمات الصحيحة والخاطئة الموزونة باحتمالات التوقع، مما يؤدي فعليًا إلى تعلم مدى موثوقية كل وكيل لفئات محددة. كما يتم تحديث الأولويات الطبقية بناءً على أوزان التوقع المجمعة.
التقارب: تتكرر الخوارزمية حتى يصبح الفرق في "الاحتمال الأقصى" (log-likelihood) بين التكرارات المتتالية أقل من عتبة $\gamma$ .

مبادئ التصميم الرئيسية

نماذج جاهزة للاستخدام: يعمل AURA باستخدام نماذج مدربة مسبقًا (مثل GPT، Gemini، CLIP، Swin) دون أي ضبط دقيق أو تعلم داخل السياق.
عدم التجانس: ينمذج الإطار الوكلاء صراحةً على أن لديهم نقاط قوة وخصائص خطأ متميزة عبر مصفوفات الارتباك، بدلاً من افتراض دقة موحدة (كما في التصويت بالأغلبية).
التجميع الاحتمالي: بدلاً من التصويت البسيط، يقوم AURA بتجميع مبدئي من خلال التوفيق بين التنبؤات المتضاربة بناءً على الموثوقية المستنتجة.

3. التقييم التجريبي

قام المؤلفون بتقييم AURA على أربعة مجموعات بيانات من العالم الحقيقي تغطي أنماط الفيديو والصور:

Kinetics-400: التعرف على الأفعال في الفيديو (1,000 فيديو، 60 فئة).
ImageNet-ReaL: تصنيف الصور (4,271 صورة، 50 فئة).
Food-101: التعرف على الأطعمة (1,000 صورة، 101 فئة).
CUB-200: تصنيف أنواع الطيور (1,018 صورة، 17 فئة).

الموضحون: استخدمت التجارب مجموعة متنوعة من 18 وكيلًا غير متجانسًا، بما في ذلك نماذج لغوية كبيرة (GPT-4o, GPT-5, Gemini, Grok)، ونماذج رؤية متخصصة (Swin, CLIP)، وأنظمة محددة المجال (Pegasus-1.2, QwenVL). كما تم تضمين موضح عشوائي اصطناعي لاختبار التعامل مع الضجيج.

المقارنات المرجعية (Baselines): كان المرجع الأساسي هو التصويت بالأغلبية (Majority Voting). واعتُبرت النهج الأخرى ذات الصلة غير قابلة للتطبيق لأنها تتطلب ضبطًا دقيقًا أو تعلمًا داخل السياق.

المقاييس: الدقة (Accuracy)، الدقة (Precision)، الاستدعاء (Recall)، مقياس F1، ومعامل ارتباط بيرسون (لقياس التوافق بين الموثوقية المقدرة والدقة الفعلية).

4. النتائج

تحسين الأداء: تفوق AURA باستمرار على التصويت بالأغلبية عبر جميع مجموعات البيانات والمقاييس. تراوحت تحسينات الدقة من 2.4% (Kinetics-400) إلى 5.8% (Food-101). وفي السيناريوهات التي تعاني من وجود موضحين ضعيفي الجودة (محاكى عبر إزالة أفضل المؤدين)، وصلت التحسينات إلى 50% مقارنة بالمرجع الأساسي.
تقدير الموثوقية: قدر الإطار بدقة موثوقية الموضح. تتبعت درجات الموثوقية المقدرة بدقة الدقة الفعلية للوكلاء (فروق نموذجية تتراوح بين 2-4%)، ونجحت في التمييز بين الوكلاء عاليي الأداء (مثل GPT-5-mini) والوكلاء منخفضي الأداء (مثل MoonDream2).
المتانة تجاه عدم توازن الفئات: أظهر AURA عدم حساسية تجاه عدم توازن الفئات، مع معامل ارتباط بيرسون منخفض (0.169) بين مقياس F1 ودعم الفئة، مما يشير إلى أنه لا يحابي فئات الأغلبية بشكل منهجي.
التقارب: أظهر النموذج سلوك تقارب مستقر، حيث زاد الاحتمال الأقصى (log-likelihood) بشكل رتيب حتى الوصول إلى الحد الأمثل المحلي.

5. الأهمية والادعاءات

تدعي الورقة أن AURA يمثل خطوة مهمة نحو توسيم بيانات موثوق وقابل للتوسع لتطبيقات الذكاء الاصطناعي من الجيل القادم. وتتمثل مساهماته الرئيسية في:

أول إطار عمل مؤتمت بالكامل: يُقدم كأول إطار عمل للذكاء الاصطناعي الوكيلي للتوسيم واسع النطاق الذي يعتمد حصريًا على نماذج جاهزة دون ضبط دقيق.
الأساس الإحصائي: على عكس طرق التجميع التجريبية، يوفر AURA إطار عمل احتمالي قائم على أسس إحصائية ينمذج صراحةً عدم اليقين والتحيز لدى الوكيل.
الأتمتة المدركة للموثوقية: يتيح تقييم جودة الموضح واستنتاج تسميات عالية الثقة حتى في غياب الحقيقة الأرضية أو خطوات التحقق المسبق.
القدرة على التعميم: أظهر الإطار قدرة على التكيف عبر أنماط متعددة (فيديو، صور) وبنيات مختلفة (LLMs، نماذج رؤية) دون معايرة خاصة بالمهمة.

يخلص المؤلفون إلى أن AURA ذو قيمة خاصة في السيناريوهات التي تكون فيها جودة الموضح غير معروفة أو غير متجانسة، مما يسمح باستخدام مزيج من الوكلاء المكلفين وعاليي الجودة مع البدائل الرخيصة ومنخفضة الجودة دون المساس بجودة التوسيم الإجمالية. وتشير الورقة إلى عمل مستمر لدمج التكاليف غير المتجانسة لتصميم إطار عمل يوازن بين التكلفة والأداء.