🤖 machine learning

An Evaluation of Hybrid Annotation Workflows on High-Ambiguity Spatiotemporal Video Footage

تُثبت هذه الورقة أن دمج التوصيفات المسبقة للمشفرات المضبوطة في سير عمل يعتمد على العنصر البشري يقلل بشكل كبير من وقت التوصيف اليدوي لمقاطع الفيديو ذات الأبعاد الزمانية والمكانية عالية الغموض بنسبة 35% لمعظم المستخدمين، مع وضع إطار عمل صارم لتقييم المقايضات بين السرعة الخوارزمية وسلامة التحقق البشري.

المؤلفون الأصليون: Juan Gutiérrez, Victor Gutiérrez, Ángel Mora, Silvia Rodriguez, José Luis Blanco

نُشر 2026-02-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Juan Gutiérrez, Victor Gutiérrez, Ángel Mora, Silvia Rodriguez, José Luis Blanco

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة الكبيرة: وسم الفيديوهات أمر مرهق

تخيل أن لديك مكتبة ضخمة من لقطات كاميرات المراقبة. مهمتك هي مشاهدة كل ثانية ورسم صندوق حول كل مرة يحدث فيها شيء "غريب" أو "خطير" (مثل شجار، أو سقوط، أو سرقة). وعليك أيضًا تدوين متى بدأ الأمر ومتى انتهى بالضبط.

القيام بذلك يدويًا يشبه محاولة رسم لوحة فنية ببراعة يدويًا، نقطة صغيرة تلو الأخرى. إنه أمر يستغك وقتًا طويلاً، وممل، وسيقوم أشخاص مختلفون برسم الصناديق في أماكن مختلفة قليلاً. هذا هو "المعيار الذهبي" لتدريب الذكاء الاصطناعي، لكنه بطيء جدًا ومكلف للغاية للقيام به لكميات هائلة من الفيديو.

الحل المقترح: "المساعد الذكي"

سأل الباحثون: ماذا لو أعطينا الشخص الذي يقوم بالوسم (annotator) "مساعدًا ذكيًا" يقوم بالعمل الشاق أولاً؟

بدلاً من البدء بشاشة فارغة، يقوم نموذج ذكاء اصطناعي خاص (نموذج رؤية-لغوية) بمسح الفيديو ويقول: "مهلاً، أعتقد أن هذه القطعة التي مدتها 10 ثوانٍ تبدو كعملية سرقة، وهذه القطعة التالية تبدو طبيعية". تُسمى هذه العمليات "الوسم المسبق" (Pre-Annotations).

تتغير وظيفة الإنسان من "مبتكر" (يرسم كل شيء من الصفر) إلى "محرر" (يتحقق من عمل الذكاء الاصطناني ويصلح الأخطاء). إنه يشبه الفرق بين كتابة رواية من الصفر وبين تحرير مسودة كتبها كاتب خفي.

التجربة: اختبار منضبط

لمعرفة ما إذا كان هذا "المساعد الذكي" يساعد حقًا دون خداع الناس، أجرى الباحثون تجربة صارمة:

المشاركون: 18 متطوعًا (معظمهم من طلاب الجامعات).
المهمة: كان عليهم وسم 30 فيديو مختلفًا.
الخدعة: قام كل شخص بأداء نوعين من المهام:
1. الطريقة الصعبة: وسم 5 فيديوهات بدون أي مساعدة (مجرد لقطات خام).
2. الطريقة السهلة: وسم 5 فيديوهات حيث قام الذكاء الاصطناعي بالفعل برسم الخطوط العريمة.
الإعداد: قاموا بتبديل الترتيب حتى لا يحصل أحد على ميزة غير عادلة لمجرد "التعود على الأداة".

النتائج: أسرع، ولكن هل فقدوا عقولهم؟

كان الباحثون قلقين بشأن فخ محدد: تأثير "الموافق دائمًا" (Yes-Man Effect).
إذا أعطيت شخصًا مسودة، فقد يكتفي بمجرد قول "حسنًا" لكل ما كتبه الكمبيوتر، حتى لو كان الكمبيوتر مخطئًا. قد يوافقون على الذكاء الاصطناعي فقط لإنهاء العمل بشكل أسرع، مما يفقدهم حكمهم الخاص. يُسمى هذا "الانزياح الدلالي" (semantic drift).

إليكم ما وجدوه:

1. السرعة: تأثير "آلة الزمن"

النتيجة: جعل "المساعد الذكي" الناس أسرع بنسبة 35% في المتوسط.
التشبيه: تخيل أنك تجهز حقيبة سفر. القيام بذلك بمفردك يستغرق 20 دقيقة. إذا قام شخص آخر بتجهيز 70% منها لك، وأنت عليك فقط إغلاق السحاب وإصلاح بعض الجوارب، فستنتهي في 13 دقيقة.
التفاصيل: كان 72% من المتطوعين أسرع مع مساعدة الذكاء الاصطناعي. وكلما استخدموا الأداة أكثر، أصبحوا أفضل في التحقق بسرعة من اقتراحات الذكاء الاصطناعي.

2. الجودة: هل وافقوا الذكاء الاصطناعي فحسب؟

النتيجة: للمفاجأة، لا. الأشخاص الذين استخدموا الذكاء الاصطناعي لم ينسخوا الكمبيوتر بشكل أعمى.
التشبيه: تخيل مجموعة من الأصدقاء يحاولون تحديد أين ينتهي مشهد سينمائي. بدون مساعدة، يخمن الجميع بشكل مختلف (البعض يقول إنه ينتهي عند 1:00، والبعض الآخر عند 1:05). مع المساعدة، يقول الذكاء الاصطناعي "إنه ينتهي عند 1:02". لا يزال الأصدقاء يتجادلون قليلاً، لكنهم جميعًا يتفقون بشكل أكبر بكثير على علامة الـ 1:02.
العلم: قاس الباحثون مدى اتفاق المتطوعين مع بعضهم البعض. المجموعة التي استخدمت الذكاء الاصطناعي اتفقت مع بعضها البعض أكثر من المجموعة التي عملت بمفردها. وهذا يعني أن الذكاء الاصطناعي عمل كـ "مسطرة" أو "معيار"، مما ساعد الجميع على رسم خطوطهم في نفس المكان دون إجبارهم على قبول الإجابات الخاطئة.

3. مشكلة "الارتجاف" (Jitter)

النتيحة: بدون مساعدة، كانت الوسوم البشرية "مرتجفة" (متذبذبة وغير متسقة). مع المساعدة، أصبحت الوسوم "سلسة" ومتسقة.
التشبيه: فكر في رسم خط على ورقة. إذا رسمته يدويًا بحرية، فسترتجف يدك قليلاً (ارتجاف). إذا استخدمت مسطرة (الذكاء الاصطناعي)، فسيكون الخط مستقيمًا. تدعي الورقة البحثية أن الذكاء الاصطناعي قدم "المسطرة" التي جعلت البشر أكثر اتساقًا، دون تغيير "ما" كانوا يرسمونه.

الخلاصة

تثبت هذه الورقة أن إعطاء البشر "مسودة أولى" من قبل الذكاء الاصطناعي هو مكسب للطرفين في عملية وسم الفيديو:

إنه يوفر الوقت: ينهي الناس المهمة بشكل أسرع بكثير.
يحافظ على جودة عالية: لا يوافق الناس على الذكاء الاصطناعي بشكل أعمى؛ بل يستخدمونه كدليل ليكونوا أكثر اتساقًا مع بعضهم البعض.
إنه آمن: لم يخدع الذكاء الاصطناعي البشر لاتخاذ قرارات سيئة؛ بل ساعدهم فقط على التوقف عن ارتعاش أيديهم أثناء الرسم.

أصدر الباحثون أيضًا الكود الخاص بهم والبيانات من نقرات الماوس والكتابة الخاصة بالمتطوعين حتى يتمكن العلماء الآخرون من التحقق من عملهم وتجربته بأنفسهم. وقد أكدوا أنه بينما يساعد هذا الأمر، يجب أن يظل البشر هم المسؤولون لإمساك الخطأ عندما يرتكب الذكاء الاصطناعي أخطاءً، خاصة عندما يكون محتوى الفيديو حساسًا أو عنيفًا.

ملخص تقني: تقييم سير عمل التوسيم الهجين على لقطات الفيديو ذات الغموض الزماني والمكاني العالي

بيان المشكلة
لا يزال التوسيم اليدوي هو المعيار الذهبي لمجموعات بيانات الفيديو الكثيفة وعالية الجودة، ولكنه بطبيعته مستهلك للوقت، ومكلف، ومتفاوت بين الموسمين. وتتفاقم هذه العقبة بشكل خاص في لقطات الفيديو عالية الغموض (مثل مراقبة العالم المفتوح)، حيث تفتقر الأحداث إلى حدود واضحة، وتتضمن حالات احتجاب، وتخضع للتفسير الثقافي والسياقي. وبينما تم اعتماد نماذج الرؤية واللغة (VLMs) وسير عمل "الإنسان في الحلقة" (HITL) لتحويل دور الموسّم من "الإنشاء" إلى "التحقق"، إلا أن هناك نقصاً في الدراسات المنضبطة والمحكومة التي تقيس مدى تأثير الاقتراحات القائمة على الذكاء الاصطناعي على كفاءة التوسيم، واتساق التوافق بين الموسمين، والسلامة الدلالية للتسميات. وبشكل محدد، هناك خطر من أن يؤدي المساعدة بالذكاء الاصطناعي إلى حدوث "انزياح دلالي" (Semantic Drift)، حيث ينزاح التوسيم البشري نحو الأولويات المسبقة للنموذج، مما قد يقلل من صلاحية التسمية حتى مع زيادة الاتفاق.

المنهجية
يقدم المؤلفون دراسة (A/B) مضبوطة ومتوازنة تشمل 18 متطوعاً من الموسمين يقومون بتوسيم 30 فيديو من مجموعات بيانات العالم المفتوح (UCF-Crime, UCA, XD-Violence, ActivityNet Captions). تقيم الدراسة سير عمل هجين (HITL) مصمم للتقطيع الزمني الكثيف.

خط معالجة ما قبل التوسيم: يستخدم النظام خط معالجة فعال في استهلاك الموارد يعتمد على مشفر من نوع (CLIP-style). يتم تشفير إطارات الفيديو، ثم تقوم عملية التجميع الزمني بتجميعها في تضمينات على مستوى الفيديو. ويتم مواءمة هذه التضمينات مع تضمينات النصوص عبر التعلم التبايني (تحسين خسارة التقاطع المتماثل).
التجميع الهرمي: لتوليد "عناقيد قوية" (التوسيمات المسبقة)، يطبق خط المعالجة عملية تجميع (k-means) كروية تكرارية في فضاء الميزات. ينشئ هذا هيكلاً شجرياً هرمياً، حيث يتوقف التقسيم عند بلوغ عتبة التماسك الدلالي (تشابه جيب التمام $\tau=0.85$ ) أو الوصول إلى أقصى عمق. تعمل هذه العناقيد كاقتراحات أولية للقراءة فقط.
واجهة المستخدم: تم دمج سير العمل في (Label Studio). في حالة "المساعدة" (Assisted)، يشاهد الموسمون القطع المعبأة مسبقاً على جدول زمني، ويجب عليهم تكرار الحدود وتعديلها وتصحيح تسميات الفئات صراحةً. أما في حالة "عدم المساعدة" (Unassisted)، فيقوم الموسمون بإنشاء القطع من الصوامد.
إطار التقييم: يقيس البحث ثلاثة أبعاد:
1. الكفاءة: مدة المهمة وبيانات التفاعل عن بُعد.
2. الاتساق: التوافق بين الموسمين (التجانس)، والاتساق مع الحقيقة الأرضية للإجماع (المستمدة من استراتيجية تداخل 6 أصوات).
3. التقنين (Standardization): التماسك الهيكلي المقاس عبر درجات "سيلويت" (Silhouette Scores) في الفضاء الكامن للكشف عن التباين العشوائي ("الارتجاف").

المساهمات الرئيسية

اختبار جهد مضبوط: دراسة تعزل تأثير التوسيمات المسبقة على السلوك البشري في بيئات عالية الغموض، متجاوزةً الدراسات المحاكية إلى لقطات العالم المفتوح الواقعية.
سير عمل هجين قابل لإعادة الإنتاج: خط معالجة متكامل وخفيف الوزن (توسيم مسبق + واجهة مستخدم) متاح ككود مفتوح المصدر، مما يتيح اختبار المقارنة المستقبلي للتفاعل بين الإنسان والنموذج.
بروتوكول تقييم متعدد المحاور: إطار عمل يتجاوز السرعة ليقيس الاتفاق، والإجماع، والصلاحية الدلالية في الفضاء الكامن للكشف عن الانزياح الدلالي.
مجموعة بيانات عامة: إصدار آثار التفاعل مجهولة المصدر (الوقت، التعديلات، تغييرات التسمية) لدعم الأبحاث حول بناء مجموعات البيانات المتمحورة حول الإنسان.

النتائج

الكفاءة: قلل سير العمل الهجين وقت التوسيم بمتوسط قدره 35% لـ 72% من المشاركين. بلغ متوسط تقليل الوقت عبر المجموعة 23.11%. كانت مكاسب الكفاءة قوية عبر مختلف مدد الفيديو وتعقيدات الفئات، وزادت الفائدة مع اكتساب المستخدمين الخبرة في الأداة.
الاتساق (الاتفاق): خلافاً للمخاوف من التثبيت السلبي، حافظت المجموعة المساعدة على التوافق مع الحقيقة الأرضية للإجماع (المعلومات المتبادلة المعدلة $\approx 0.64$ ) بشكل متطابق مع المجموعة غير المساعدة. يشير هذا إلى أن التوسيمات المسبقة لم تشوه حكم المستخدم أو تؤدِ إلى انحراف عن الإجماع الدلالي الجماعي.
التجانس (الاستقرار): أظهرت المجموعة المساعدة توافقاً أعلى بكثير بين الموسمين (AMI: 0.67) مقار بالمجموعة غير المساعدة (AMI: 0.62). عملت التوسيمات المسبقة كـ "مرساة دلالية"، مما قلل من الضجيج العشوائي و"ارتجاف" الحدود المتأصل في التوسيم البشري دون فرض إجابة صحيحة تعسفية.
التقنين: تحسنت درجة "سيلويت"، وهي مؤشر للاتساق الهيكلي الداخلي، من 0.28 (غير مساعدة) إلى 0.41 (مساعدة)، بزيادة نسبية قدرها 52.10%. يؤكد هذا أن سير العمل يعمل كمنظم (Regularizer)، حيث يقوم بتصفية الضجيج الناتج عن التباين بين الموسمين مع الحفاظ على الإجماع الدلالي الأساسي.

الأهمية والادعاءات
يزعم البحث أن التوسيمات المسبقة المولدة بواسطة النموذج يمكن أن تحسن بشكل كبير كفاءة التقطيع الزمني الكثيف للفيديو دون التضحية بصلاحية التسمية. ويجادل المؤلفون بأن سير العمل ينجح في إعادة صياغة التوسيم كمهمة تحقق وتحرير، مما يقلل العبء المعرفي والجهد اليدوي. والأهم من ذلك، أنهم أثبتوا أن مكاسب الكفاءة هذه لا تتحقق من خلال إجبار الموسمين على قبول مخرجات النموذج بشكل أعمى؛ بل يوفر النظام هيكلاً داعماً يساعد الموسمين على التوصل إلى حدود زمنية أكثر وضوحاً. يوفر هذا العمل منهجية تم التحقق منها لدراسة ديناميكيات التفاعل بين الإنسان والذكاء الاصطناعي، ويقدم أساساً عملياً لتوسيع نطاق إنشاء مجموعات بيانات الفيديو المعقدة والموسومة بكثافة، بشرط مراعاة الاعتبارات الأخلاقية المتعلقة بسلامة الموسمين واستقلاليتهم.

المشكلة الكبيرة: وسم الفيديوهات أمر مرهق

الحل المقترح: "المساعد الذكي"

التجربة: اختبار منضبط

النتائج: أسرع، ولكن هل فقدوا عقولهم؟

الخلاصة

أبحاث مشابهة