💻 computer science

FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding

يُعد FLoC إطار عمل لا يتطلب تدريباً ومستقلاً عن النماذج، حيث يستفيد من دالة تحديد الموقع (facility location function) وخوارزمية جشعة كسولة (lazy greedy algorithm) لاختيار مجموعة فرعية مدمجة ومتنوعة من الرموز المرئية (visual tokens) لفهم الفيديو الطويل بكفاءة، مما يقلل التكاليف الحسابية بشكل كبير مع الحفاظ على أداء يقارب المثالية عبر مختلف المعايكات.

المؤلفون الأصليون: Janghoon Cho, Jungsoo Lee, Munawar Hayat, Kyuwoong Hwang, Fatih Porikli, Sungha Choi

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Janghoon Cho, Jungsoo Lee, Munawar Hayat, Kyuwoong Hwang, Fatih Porikli, Sungha Choi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول شرح فيلم مدته ثلاث ساعات لصديق، ولكن ليس لديك سوى دقيقة واحدة فقط للقيام بذلك.

إذا حاولت وصف كل إطار (frame) في الفيلم، فسينتهي وقتك قبل أن تصل حتى إلى الحبكة الدرامية. وإذا اخترت لحظات عشوائية، فقد تفوتك ملامح وجه الشرير أو دليل حاسم. وإذا اكتفيت بتلخيص "الأجزاء المملة"، فستفقد الإثارة.

هذه هي المشكلة التي تواجهها الحواسيب تماماً عند محاولة فهم الفيديوهات الطويلة (مثل لقطات كاميرات المراقبة، أو المحاضرات، أو فيديوهات العائلة).

المشكلة: بيانات كثيرة، وقدرة استيعابية محدودة

نماذج الذكاء الاصطناعي الحديثة (التي تُسمى النماذج متعددة الوسائط الضخمة - Large Multimodal Models) تشبه المحققين الأذكياء جداً. يمكنها النظر إلى فيديو والإجابة على أسئلة مثل: "ماذا يرتدي الشخص؟" أو "ماذا حدث في المنتصف؟".

ومع ذلك، لكي "يرى" الذكاء الاصطناعي فيديو ما، فإنه يقوم بتفكيكه إلى ملايين القطع الصغيرة التي تسمى الرموز البصرية (visual tokens).

المشكلة: الفيديو الطويل يولد عدداً هائلاً من هذه الرموز، مما يؤدي إلى إرهاق "عقل" الذكاء الاصطناعي (ذاكرته). الأمر يشبه محاولة قراءة كتاب مكون من 10,000 صفحة في جلسة واحدة؛ سيصاب الذكاء الاصطناعي بالإرهاه، أو ينسى الأشياء، أو ببساطة يتوقف عن العمل (يحدث له انهيار).
الحل الحالي: تحاول معظم الطرق حل هذه المشكلة إما عن طريق:
1. تخطي الصفحات: حذف إطارات بشكل عشوائي (مثل تخطي كل صفحة عاشرة). المخاطرة: قد تفوتك نقطة التحول في القصة.
2. تجميع الصفحات المتشابهة: تجميع المشاهد المتشابهة معاً. المخاطرة: إذا حدث حدث نادر ومهم (مثل سقوط مفتاح على الأرض)، فقد يتم دمجه مع "الخلفية المملة" ويتم حذفه.

الحل: FLoC (المكتبي الذكي)

يقترح المؤلفون طريقة جديدة تسمى FLoC (الضغط الفعال للرموز البصرية القائم على تحديد الموقع المرفقي - Facility Location-based Efficient Visual Token Compression).

تخيل الفيديو كأنه مكتبة ضخمة تحتوي على آلاف الكتب (الرموز). الذكاء الاصطناعي لديه مساحة لقراءة 10 كتب فقط (الميزانية المتاحة). كيف تختار الـ 10 كتب التي تحكي القصة بأكملها؟

1. مفهوم "تحديد الموقع المرفقي" (Facility Location)

تخيل أنك تفتتح سلسلة من مقاهي القهوة في مدينة جديدة. لديك ميزانية لافتتاح 5 مقاهٍ فقط.

الهدف: تريد وضعها بحيث يكون كل ساكن في المدينة قريباً من مقهى، ولكنك لا تريد وضع مقهيين بجانب بعضهما مباشرة (هدر للمال).
الاستراتيجية: أنت لا تختار أماكن عشوائية. بل تختار أماكن تغطي أكبر مساحة ممكنة مع ضمان التنوع. ستختار مقهى في الشمال، وآخر في الجنوب، وآخر في وسط المدينة المزدحم، وآخر في الضواحي الهادئة، وهكذا.

تقوم FLoC بفعل ذلك مع الرموز البصرية للفيديو:

تنظر إلى جميع "اللحظات" البصرية في الفيديو.
تختار مجموعة صغيرة من اللحظات التي تمثل الفيديو بأكمله (مثل المقاهي التي تغطي المدينة).
والأهم من ذلك، أنها تضمن عدم اختيار 5 لقطات لنفس الحائط الممل. بل ستختار الحائط، والشخص الذي يمر بجانبه، والسيارة التي تمر، واللحظة النادرة التي ينبح فيها الكلب. إنها توازن بين التمثيل (تغطية القصة الرئيسية) والتنوع (التقاط التفاصيل النادرة).

2. خدعة "الجشع الكسول" (The Lazy Greedy Trick) (دفعة السرعة)

عادةً، عملية إيجاد المواقع الخمسة المثالية لمقاهي القهوة هي كابوس رياضي يستغرق وقتاً طويلاً جداً للحساب.

الطريقة القديمة: فحص كل التشكيلات الممكنة لـ 5 مقاهٍ. (يستغرق ساعات).
طريقة FLoC (الجشع الكسول): تستخدم اختصاراً ذكياً. تختار أفضل مكان أولاً. ثم، بدلاً من إعادة حساب كل شيء للمكان الثاني، تستخدم تقديراً "كسولاً" لترى ما إذا كان المكان التالي الأفضل لا يزال جيداً بما يكفي. إذا كان كذلك، تختاره. وإذا لم يكن، تنتقل لما بعده.
النتيجة: تجد اختياراً قريباً من المثالية في جزء من الثانية. الأمر يشبه أمين مكتبة يمكنه مسح رف بسرعة واختيار الكتب العشرة الأكثر أهمية دون الحاجة لقراءة المكتبة بأكملها أولاً.

لماذا يهم هذا في الحياة الواقعية؟

بما أن FLoC لا تتطلب تدريباً (لا تحتاج لأن تُعلّم كيفية القيام بذلك) وهي جاهزة للاستخدام المباشر (تعمل مع أي ذكاء اصطناعي موجود)، فهي تعتبر تحولاً جذرياً في:

كاميرات المراقبة: بدلاً من تخزين تيرابايت من اللقطات، يمكن للذكاء الاصطناعي ضغط أيام من التصوير فوراً إلى "ملخص لأبرز الأحداث" المهمة، مما يوفر مساحات تخزين هائلة.
النظارات الذكية: إذا كنت ترتدي نظارات تسجل يومك، فإن FLoC تسمح للذكاء الاصطناعي الموجود على هاتفك بفهم ما رأيته دون استنزاف البطارية أو الحاجة إلى حاسوب خارق في السحابة.
الروبوتات: يمكن لروبوت يتنقل في مستودع معالجة ساعات من الفيديو في الوقت الفعلي للعث_ور على عنصر معين، بدلاً من التعثر في محاولة معالجة كل بكسل.

الخلا-صة

FLoC هي بمثابة محرر بارع. فبدلاً من قص الفيلم عشوائياً أو الاكتفاء بالاحتفاظ بالمشاهد "المتوسطة"، فهي تختار بذكاء الإطارات المحددة التي تحكي القصة بأكملها، مما يضمن عدم فقدان أي تفصيل مهم، وتفعل ذلك بسرعة فائقة. إنها تسمح للذكاء الاصطناعي أخيراً بـ "مشاهدة" الفيديوهات الطويلة دون أن يصاب بصداع.

إليك ملخص تقني مفصل لورقة البحث "FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding" (ICLR 2026).

1. بيان المشكلة (Problem Statement)

تواجه عملية فهم الفيديوهات الطويلة باستخدام النماذج اللغوية متعددة الوسائط الكبيرة (LMMs) عقبة حرجة في التوسع. فمع زيادة مدة الفيديو، يزدق عدد الرموز المرئية (visual tokens) الناتجة عن مشفرات الرؤية بشكل كبير، مما يتجاوز غالباً حدود نافذة السياق لنماذج LLM (التي تتراوح عادة بين 4K إلى 32K رمزاً).

التحدي: معالجة كل رمز أمر غير ممكن حسابياً للفيديوهات عالية الدقة أو طويلة المدة (مثل لقطات كاميرات المراقبة أو بث النظارات الذكية).
قصور الطرق الحالية:
- أخذ العينات الموحد/التجميع (Uniform Sampling/Pooling): يتجاهل الأهمية الدلالية، مما يؤدي إلى التخلص من الإشارات الحرجة.
- التجميع (مثل K-Means): غالباً ما يفشل في التقاط الأحداث النادرة ولكن المهمة (مثل جسم صغير كالمفاتيح في غرفة مزدحمة) لأنه يركز على المناطق الكثيفة في فضاء الميزات. كما أنه مكلف حسابياً ( $O(n^3)$ في حالة التجميع الطيفي - Spectral Clustering).
- الضغط المعتمد على الاستعلام (Query-Aware Compression): يتطلب معرفة مسبقة باستعلام المستخدم، مما يحد من إمكانية التطبيق في السيناريوهات ذات القدرة صفرية (zero-shot) أو الديناميكية.
- الضغط القابل للتعلم (Learnable Compression): يتطلب إعادة تدريب مكثفة وغير متوافق مع النماذج المختلفة (not model-agnostic).

المشكلة الجوهرية هي اختيار مجموعة فرعية من الرموز المرئية تكون موجزة، وممثلة، ومتنوعة ضمن ميزانية صارمة ( $K$ ) دون الحاجة للتدريب، مع الحفاظ على دقة استدلال عالية وتقليل العبء الحسابي.

2. المنهجية: FLoC

يقترح المؤلفون FLoC، وهو إطار عمل يعتمد على وظيفة "موقع المنشأة" (Facility Location)، وهو نهج تحسين تحت-نمطي (submodular optimization)، ويتميز بأنه لا يتطلب تدريباً ويعمل مباشرة (plug-and-play).

أ. المفهوم الجوهري: وظيفة موقع المنشأة (Facility Location Function)

تؤطر الطريقة عملية اختيار الرموز كعملية تعظيم لوظيفة تغطية $f(S)$ فوق مجموعة أساسية من الرموز $V$ ، مع مراعاة ميزانية $K$ :
$S^* = \arg \max_{S \subseteq V, |S| \le K} f(S)$
حيث تُعرف دالة موقع المنشأة كالتالي:
$f(S) = \sum_{v \in V} \max_{u \in S} \text{sim}(v, u)$

الآلية: لكل رمز في المجموعة الأصلية $V$ ، تجد الدالة الرمز الأكثر تشابهاً في المجموعة الفرعية المختارة $S$ .
الهدف: يضمن هذا أن كل رمز أصلي "مغطى" بواسطة رمز واحد على الأقل مختار. وهذا يحقق توازناً طبيعياً بين التمثيل (تغطية المناطق الكثيفة) والتنوع (ضمان عدم تجاهل المناطق المتفرقة ولكن المهمة).
مقياس التشابه: تشابه جيب التمام (Cosine similarity) بين تضمينات الرموز (token embeddings).

ب. التحسين: خوارزمية الجشع الكسول (Lazy Greedy Algorithm)

إن إيجاد المجموعة الفرعية المثلى لوظيفة موقع المنشأة هو مسألة صعبة (NP-hard). لذا استخدم المؤلفون خوارزمية الجشع الكسول (Minoux, 1978) للوصول إلى حلول قريبة من المثالية بكفاءة.

التحت-نمطية (Submodularity): تظهر الدالة خاصية "تناقص العوائد": حيث تقل الزيادة الهامشية لإضافة رمز مع نمو المجموعة.
الكفاءة: بدلاً من إعادة حساب المكاسب الهامشية لجميع المرشحين في كل خطوة، تحتفظ الخوارزمية بطابور أولوية للحدود العليا. وهي تعيد فقط حساب الربح الدقيق للمرشح الأعلى إذا لزم الأمر.
التعقيد: يقلل من التعقيد الزمني من $O(nK)$ (الجشع الساذج) إلى أداء قريب من الخطي تجريبياً، مما يجعله مناسباً للمعالجة في الوقت الفعلي.

ج. سير عمل الإطار (Framework Workflow)

المدخلات: يتم تحليل الفيديو إلى رموز مرئية.
التقسيم الزمني (Temporal Blocking): للتعامل مع البث وتقليل الذاكرة، يتم تقسيم الفيديو إلى كتل زمنية بطول $T$ .
الاختيار: يقوم FLoC باختيار مجموعة فرعية متنوعة من الرموز داخل كل كتلة باستخدام خوارزمية الجشع الكسول.
التكامل: يتم دمج الرموز المختارة مع المطالبات النصية (text prompts) وتغذيتها في نموذج video-LMM.
الخصائص: الطريقة لا تتطلب تدريباً، وغير مرتبطة بنموذج معين (تعمل مع أي video-LMM)، وغير مرتبطة باستعلام (يتم الضغط مرة واحدة، بشكل مستقل عن سؤال المستخدم).

3. المساهمات الرئيسية

صياغة مبتكرة: تقديم وظيفة موقع المنشأة لضغط الرموز المرئية، مما يضمن رياضياً التوازن بين التمثيل والتنوع، ويتغلب على "انحياز التجمعات الكثيفة" الذي تعاني منه طرق التجميع التقليدية.
كفاءة خوارزمية: تنفيذ استراتيجية الجشع الكسول التي تقلل بشكل كبير من العبء الحسابي مقارنة بالنماذج المرجعية للتجميع، مما يسمح بالمعالجة في الوقت الفعلي للفيديوهات الطويلة.
تعدد الاستخدامات: حل جاهز للاستخدام (plug-and-play) لا يتطلب إعادة تدريب، ويعمل مع نماذج خلفية متنوعة (Qwen2.5-VL, InternVL3, LLaVA)، ويتعامل مع أطوال الفيديو التعسفية.
تقييم شامل: اختبار واسع النطاق عبر أربعة مجموعات بيانات رئيسية (Video-MME, MLVU, LongVideoBench, EgoSchema) أظهر تفوقاً على الطرق الرائدة الحالية.

4. النتائج التجريبية

قام المؤلفون بتقييم FLoC مقابل 9 نماذج مرجعية (بما في ذلك LongVU, DyCoke, TS-LLaVA, DivPrune وطرق تجميع مختلفة) عبر عدة اختبارات.

أداء الدقة:
- تفوق FLoC باستمرار على جميع النماذج المرجعية عبر نسب ضغط مختلفة (1/8, 1/16, 1/32) ونماذج مختلفة (Qwen2.5-VL, InternVL3).
- مثال: في اختبار Video-MME باستخدام Qwen2.5-VL-7B عند نسبة ضغط 1/8، حقق FLoC دقة بلغت 63.33%، متفوقاً على أفضل طريقة تالية (LongVU بنسبة 62.19%)، ومتفوقاً بشكل ملحوظ على أخذ العينات العشوائي (60.30%).
- القدرة على التعامل مع السياق الطويل: عند معالجة ما يصل إلى 7,200 إطار (بعد ضغطها لطول الرموز الأمثل)، حسن FLoC الدقة بمقدار 1.21 نقطة (لنموذج 7B) و 2.44 نقطة (لنموذج 32B) مقارنة بالمعالجة القياسية المحدودة بالإطارات.
المهام دقيقة التفاصيل: أظهر FLoC قوة خاصة في مهام "الإبرة في كومة القش" (مثل Needle QA, Ego Reasoning) في اختبار MLVU، حيث احتفظ بالتفاصيل المتفرقة الحرجة التي تتخلص منها الطرق الأخرى.
الكفاءة:
- السرعة: حقق FLoC أقل وقت ضغط بين جميع الطرق. كانت طرق التجميع (K-Means, Spectral) أبطأ بمقدار يصل إلى 10 أضعاف.
- القابلية للتوسع: مع زيادة طول الكتلة ( $T$ )، ظل وقت تشغيل FLoc ضئيلاً مقارنة بالنمو التربيعي/التكعيبي لطرق التجميع.
التحليل النوعي: أكدت تصورات t-SNE أن FLoC يختار رموزاً موزعة بالتساوي عبر فضاء الميزات، مغطياً كلاً من التجمعات الكبرى والمناطق المتفرقة الحرجة (مثل أجسام محددة كالقبعات أو النظارات الشمسية) التي غالباً ما تفقدها خوارزمية K-Means.

5. الأهمية والأثر

سد الفجوة: يعمل FLoC بفعالية على سد الفجوة بين المتطلبات الهائلة للرموز للفيديوهات الطويلة وبين نوافذ السياق المحدودة لنماذج LLM الحالية، مما يتيح أداءً يقارب المستوى البشري في التسلسلات الممتدة.
القابلية للتطبيق في العالم الحقيقي: طبيعته التي لا تتطلب تدريباً وزمن استجابة منخفض تجعل منه حلاً مثالياً للأجهزة ذات الموارد المحدودة (النظارات الذكية، الروبوتات المحمولة، وأنظمة المراقبة) حيث تكون المعالجة في الوقت الفعلي أمراً حاسماً.
تحول في النموذج (Paradigm Shift): ينقل المجال بعيداً عن النهج المعتمد على الاستعلام أو إعادة التدريب الثقيلة نحو تحسين تحت-نمطي مبني على أسس متينة يضمن التنوع والتغطية دون عبء حسابي زائد.

في الختام، يقدم FLoC حلاً قوياً وفعالاً ومبنياً على أسس نظرية لمشكلة اختناق الرموز المرئية، واضعاً معياراً جديداً لفهم الفيديوهات الطويلة في النماذج اللغوية متعددة الوسائط الكبيرة.