D-CLOT: Double Closed Loop Optimal Transport for Unsupervised Action Segmentation

تخيل أنك تشاهد فيديو طويلًا غير محرر لشخص يخبز كعكة. الكاميرا لا تتوقف أبدًا عن التصوير؛ فهي تلتقط عملية نخل الدقيق، وكسر البيض، وطنين الخلاط، وصوت صفارة فرن التوقيت، كل ذلك في تدفق مستمر واحد. هدفك هو العمل كمحرر فائق الذكاء يمكنه مشاهدة هذه اللقطات الخام وتقطيعها تلقائيًا إلى مشاهد مثالية ومصنفة: "الخلط"، "الخبز"، "التبريد". هذا هو جوهر تجزئة الحركة الزمنية (temporal action segmentation). وبينما تجيد الحواسيب التعرف على ماهية الأشياء (مثل قطة أو سيارة)، فإن تحديد "متى" ينتهي فعل ما ويبدأ آخر بالضبط في فيديو فوضوي هو أمر أصعب بكثير.

ولحل هذه المشكلة دون الحاجة إلى إنسان يكتب كل ثانية من الفيديو (وهو أمر مكلف وبطيء للغاية)، يستخدم العلماء أداة رياضية تسمى النقل الأمثل (Optimal Transport). فكر في الأمر كمسألة لوجستية: لديك كومة من "طرود الإطارات" (لحظات الفيديو) ومجموعة من "مستودعات الأفعال" (التصنيفات مثل "الخلط" أو "الخبز"). يحاول الكمبيوتر إيجال الطريقة الأكثر كفاءة لشحن كل إطار إلى المستودع الصحيح. وفي السيناريوهات المثالية، يتعلم الكمبيوتر تخمين التصنيفات، ويستخدم تلك التخمينات لتحسين فهمه للفيديو، ثم يستخدم هذا الفهم الأفضل لتخمين التصنيفات مرة أخرى، مما يخلق حلقة تغذية راجعة مفيدة. هذا هو أساس طريقة تسمى CLOT، والتي حققت نجاحًا كبيرًا في حل ألغاز الفيديو هذه.

ومع ذلك، لاحظ الباحثون وراء هذه الورقة البحثية وجود خلل طفيف في حلقة التغذية الراجعة تلك. الأمر يشبه رقصة تستمر فيها الموسيقى (تصنيفات الأفعال) في التغير، بينما يحاول الراقصون (إطارات الفيديو) اتباع خريطة رُسمت بالأمس. فكلما زاد فهم الكمبيوتر للفيديو، لم يتم تحديث "الخريطة" التي تُعرف الأفعال بالسرعة الكافية لتواكب الصورة الجديدة الأكثر دقة. هذا التباين يتسبب في إرباك الكمبيوتر، خاصة خلال اللحظات الحرجة مثل الانتقالات السريعة أو الأفعال القصيرة جدًا. تقدم الورقة طريقة جديدة تسمى D-CLOT (النقل الأمثل ذو الحلقة المغلقة المزدوجة) لإصلاح ذلك. ومن خلال إضافة "مثبت" يمنع إطارات الفيديو من الاضطراب، وخطوة "إعادة معايرة" تعمل باستمرار على تحديث خريطة الأفعال لتناسب الرقصة الحالية، تساعد D-CLOT الكمبيوتر على رؤية الفيديو بوضوح أكبر بكثير. وتظهر النتائج أن هذا النهج يحسن بدقة عملية تقطيع هذه الفيديوهات إلى المشاهد الصحيحة، حتى في المهام الصعبة والدقيقة للغاية مثل تجميع الألعاب.

المشكلة: خريطة لا تطابق الواقع

تخيل أنك تتنقل في مدينة باستخدام خريطة. في الباول، تكون الخريطة ضبابية بعض الشيء. ومع مرور الوقت، تبدأ في رؤية الشوارع بوضوح أكبر، وتقوم بتحديث صورتك الذهنية للمدينة. ولكن ماذا لو لم تتحدث الخريطة الورقية التي في يدك أبدًا؟ أنت تسير في مدينة تغيرت، لكن خريطتك لا تزال تظهر المخطط القديم. قد تحاول الانعطاف يسارًا حيث يوجد مبنى جديد الآن، أو قد تشعر بالارتباك لأن أسماء الشوارب على خريطتك لا تتطابق مع اللافتات التي تراها.

هذا بالضبط ما كان يحدث مع الطريقة الأفضل السابقة، CLOT. لقد كانت CLOT بارعة في تحسين "الصورة الذهنية" لإطارات الفيديو، مما يجعلها أكثر حدة وتميزًا. كانت تأخذ فيديو ضبابيًا، ومن خلال عملية ذكية من التخمين والتصحيح، تجعل الإطارات تبدو وكأنها تنتمي لأفعال محددة. ومع ذلك، فإن "الخريطة" التي تستخدمها لتعريف تلك الأفعال — وهي نماذج الأفعال الأولية (action prototypes) (التعريفات الرياضية لما يبدو عليه "الخلط" أو "الخبز") — لم تكن تتحدث بالسرعة الكافية.

حدد مؤلفو هذه الورقة هذا الأمر كـ عدم اتساق بين التمثيل والنموذج الأولي (representation–prototype inconsistency). فبينما أصبحت إطارات الفيديو أكثر وضوحًا وتنظيمًا، ظلت تعريفات الأفعال عالقة في حالتها القديمة الأقل دقة. وكان هذا الضرر واضحًا بشكل خاص أثناء الانتقالات الغامضة (عندما يتلاشى فعل ليحل محله آخر) وخلال الأفعال القصيرة أو النادرة (مثل حركة "فرقعة" سريعة بالأصابع أو خطوة نادرة مثل "إضافة الملح"). في هذه الحالات، كانت التعريفات القديمة والجامدة تتعرض للسيطرة من قبل الأفعال المهيمنة، مما يتسبب في جعل الكمبيوتر يفقد التفاصيل الصغيرة أو يدمج فعلين مختلفين في فعل واحد.

الحل: حلقة مزدوجة من التصحيح

لإصلاح ذلك، بنى الفريق نظام D-CLOT، الذي يضيف "حلقة مغلقة مزدوجة" إلى النظام. فكر في الأمر كإضافة فحصين جديدين لسلامة ساحة الرقص.

1. المثبت المقيد بالرسم البياني (شبكة الأمان)
أولاً، احتاج النظام إلى التأكد من أن إطارات الفيديو لا تصبح "جامحة" للغاية عند تحسينها. فأحيانًا، في عملية محاولة تجميع الإطارات المتشابهة معًا، قد يربط الكمبيوتر بالخطأ بين إطارين متباعدين زمنياً لمجرد أنهما يتشابهان في الشكل. وهذا يكسر التدفق الطبيعي للفيديو.

تقدم D-CLOT وحدة مقيدة بالرسم البياني (graph-constrained module). تخيل هذا كشبكة أمان تبقي الراقصين قريبين من جيرانهم الأصليين. فهي تضمن أنه إذا كان إطاران من الفيديو متجاورين في اللقطات الخام، فسيظلان قريبين من بعضهما البعض في النسخة "المحسنة" للكمبيوتر. هذا يحافظ على هيكل الجوار المحلي، ويمنع الكمبيوتر من إنشاء اتصالات وهمية بين لحظات غير مرتبطة. إنه يثبت هندسة الفيديو، مما يضمن أن "الواقع" موثوق قبل أن نحاول تحديث "الخريطة".

2. تحسين تضمين الفعل (تحديث الخريطة)
بمجرد استقرار إطارات الفيديو، يحتاج النظام إلى تحديث تعريفات الأفعال لتتطابق مع هذه الصورة الجديدة والأكثر وضوحًا. كانت الطريقة السابقة تحدث هذه التعريفات ببطء فقط، من خلال عملية تسمى "الاشتقاق المتدرج" (gradient descent)، وهي تشبه محاولة دفع صخرة ثقيلة باليدين؛ إنها عملية بطيئة ويمكن أن تتعثر.

تقدم D-CLOT خطوة إعادة تثبيت (re-anchoring) دورية. فكل فترة من الوقت، يتوقف النظام، وينظر إلى إطارات الفيديو المستقرة، ويعيد حساب ماهية النماذج الأولية للأفعال بالكامل. اختبر المؤلفون طريقتين للقيء بهذا:

• D-CLOT (تحديث K-Means): تستخدم هذه الطريقة تقنية تجميع قياسية (k-means) لإيجاد مركز مجموعات الإطارات الجديدة ونقل تعريفات الأفعال إلى هناك. إنها عملية تحديث سريعة وغير مرتبطة بالتعيين.
• D-CLOTB (تحديث Barycentric): هذه هي النسخة الأكثر تطورًا. فهي لا تكتفي بالنظر إلى مركز المجموعات فحسب، بل تحسب مركز الثقل للنقل الأمثل (optimal transport barycenter). تخيل أن لديك كومة من الرمل (إطارات الفيديو) وتريد إيجاد نقطة التوازن المثالية. هذه الطريقة تزن كل إطار بناءً على مدى ثقة الكمبيوتر في انتمائه لهذا الفعل. إذا كان الكمبيوتر متأكداً جداً من أن الإطار يمثل "الخلط"، فإنه يسحب تعريف "الخلط" بقوة. وإذا كان غير متأكد، فإنه يسحبه بقوة أقل. هذا يخلق تحديثاً واعياً بالتعيين (assignment-aware) يتطابق تماماً مع الحالة الراهنة للفيديو.

النتائج: قطع أكثر دقة وفهم أفضل

اختبر الفريق D-CLOT على خمس مجموعات بيانات مختلفة، تتراوح من فيديوهات الطبخ (مثل صنع الإفطار أو السلطات) إلى الفيديوهات التعليمية، وحتى مجموعة بيانات جديدة وصعبة للغاية تسمى Assembly101، والتي تتضمن تجميع الألعاب.

كانت النتائج مبهرة. فمن خلال إصلاح عدم التطابق بين إطارات الفيديو وتعريفات الأفعال، حسنت D-CLOT جودة التجزئة بشكل كبير:

• في مجموعة بيانات YouTube Instructions (YTI)، حسنت الطريقة الجديدة درجة F1 (مقياس لمدى مطابقة القطع للحقيقة الأرضية) بمقدار +12.7 نقطة، ومقياس mIoU (متوسط التقاطع على الاتحاد) بمقدار +10.2 نقطة مقارنة بأفضل طريقة سابقة.
• في مجموعة بيانات 50Salads، حققت مكاسب قدرها +8.9 نقطة F1 في تقييم مستوى النشاط.
• والأهم من ذلك، وضع الفريق أول خط أساس غير موجه (unsupervised baseline) على Assembly101. هذه المجموعة أصعب بكثير من غيرها، حيث يبلغ متوسط طول الفيديوهات أكثر من 13,000 إطار وتحتوي على 11 إلى 42 فعلاً مختلفاً ودقيقاً لكل فئة من فئات الألعاب. وحتى هنا، تفوقت D-CLOT على الطرق السابقة، مما أظهر أن نهج "الحلقة المزدوجة" يعمل حتى عندما تكون الأفعال صغيرة والفيديو طويلاً ومليئاً بالضجيج.

وجد المؤلفون أن المكونين — المثبت البياني وإعادة تثبيت النموذج الأولي — يعملان بشكل أفضل معاً. فقد حافظ المثبت على عدم تحول إطارات الفيديو إلى حالة فوضوية، وضمنت إعادة التثبيت بقاء تعريفات الأفعال متزامنة مع الفيديو. وقد تبين أن نسخة D-CLOTB، مع تحديث Barycentric الواعي بالتعيين، كانت الأكثر قوة، خاصة في مجموعات البيانات ذات الأفعال المعقدة وغير المتوازنة في المدة.

لماذا يهم هذا الأمر؟

تشير هذه الورقة البحثية إلى أنه لكي تفهم الحواسيب الفيديوهات غير المحررة حقاً دون مساعدة بشرية، فإنها تحتاج إلى تحديث "قاموسها" الداخلي للأفعال باستمرار لتتوافق مع وضوح الفيديو الذي تراه. لا يكفي مجرد تحسين الفيديو؛ بل يجب عليك أيضاً تحسين التعريفات لما تبحث عنه.

من خلال تقديم آلية الحلقة المزدوجة هذه، أظهر الباحثون أن تجزئة الأفعال غير الموجهة يمكن جعلها أكثر موثوقية، خاصة للأفعال الصعبة والقصيرة والنادرة التي غالباً ما تضلل الذكاء الاصطناعي. هم لم يقوموا فقط بتعديل الأرقام؛ بل أصلحوا مشكلة هيكلية جوهرية في كيفية تعلم هذه الأنظمة. ورغم أنه لا تزال هناك مساحة للتحسين، خاصة في مجموعة Assembly101 الدقيقة للغاية، إلا أن D-CLOT تضع معياراً جديداً لكيفية تعلم الآلات لمراقبة وفهم العالم من حولها، إطاراً تلو الآخر.