🤖 AI

InfoTok: Adaptive Discrete Video Tokenizer via Information-Theoretic Compression

يقدم InfoTok إطاراً نظرياً للمعلومات وضابطاً تكيفياً قائماً على المحولات يقوم بتخصيص رموز الفيديو ديناميكياً بناءً على الثراء المعلوماتي، محققاً معدلات ضغط رائدة عالمياً مع الحفاظ على الأداء.

المؤلفون الأصليون: Haotian Ye, Qiyuan He, Jiaqi Han, Puheng Li, Jiaojiao Fan, Zekun Hao, Fitsum Reda, Yogesh Balaji, Huayu Chen, Sheng Liu, Angela Yao, James Zou, Stefano Ermon, Haoxiang Wang, Ming-Yu Liu

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haotian Ye, Qiyuan He, Jiaqi Han, Puheng Li, Jiaojiao Fan, Zekun Hao, Fitsum Reda, Yogesh Balaji, Huayu Chen, Sheng Liu, Angela Yao, James Zou, Stefano Ermon, Haoxiang Wang, Ming-Yu Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إرسال فيلم طويل ومعقد إلى صديق عبر اتصال إنترنت بطيء جداً.

الطريقة القديمة (المجزئات الثابتة - Fixed Tokenizers):
في الوقت الحالي، تعامل معظم أنظمة الفيديو بالذكاء الاصطناي تقريباً كل جزء من الفيلم بنفس الطريقة. تخيل أن لديك قاعدة تقول: "بغض النظر عما يحدث في الفيلم، يجب عليك إرسال 100 بطاقة بريدية لوصف كل ثانية واحدة".

المشكلة: إذا كان الفيلم يعرض كلباً نائماً بسلام لمدة ساعة، فأنت تهدر 90 بطاقة بريدية لوصف كلب لا يتحرك. وإذا تحول المشهد فجأة إلى شجار قطط صاخب، فلن يتبقى لك سوى 10 بطاقات فقط لوصف الجزء الأكثر إثارة، مما سيضطرك لتجاهل كل التفاصيل المهمة.
النتيجة: إما أن تهدر سعة النطاق الترددي (Bandwidth) في الأجزاء المملة، أو تفقد التفاصيل الجوهرية في الأجزاء المثيرة. هذا أمر غير فعال.

الطريقة الجديدة (InfoTok):
يقدم بحث InfoTok نظاماً ذكياً مستوحى من نظرية رياضية شهيرة من الأربعينيات (نظرية المعلومات لـ شانون). بدلاً من إرسال عدد ثابت من البطاقات البريدية، يعمل InfoTok كـ محرر ذكي يقرر مقدار التفاصيل التي يجب إرسالها بناءً على مدى "ازدحام" المشهد.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. "الموجه الذكي" (المحرر)

تخيل الفيديو كأنه مجرى مائي.

المشاهد المملة (مثل كلب نائم أو جدار ثابت) تشبه مجرى مائياً هادئاً وبطيء الحركة. هي لا تحتاج للكثير من الماء لوصفها.
المشاهد المثيرة (مثل حادث سيارة أو معركة رقص) تشبه شلالاً هائجاً. هي تحتاج للكثير من الماء لالتقاط الفوضى.

يمتلك InfoTok موجهًا ذكيًا (Smart Router) ينظر إلى الفيديو ويسأل: "كم مقدار المعلومات التي تحدث الآن حقاً؟"

إذا كان المشهد مملاً، يقول الموجه: "أرسل 20 بطاقة بريدية فقط".
إذا كان المشهد فوضوياً، يقول الموجه: "أرسل 80 بطاقة بريدية!".

هذا يضمن أنك لن تضيع المساحة أبداً في الأجزاء المملة، وسيكون لديك دائماً مساحة كافية للأجزاء المثيرة.

2. "الضاغط التكيفي" (خبير التعبئة)

بمجرد أن يقرر الموجه عدد البطاقات البريدية التي سيتم إرسالها، يبدأ الضاغط التكيفي (Adaptive Compressor) عمله.

تخيل أن لديك حقيبة سفر مليئة بالأغراض (بيانات الفيديو).
ينظر الضاغط إلى كل غرض ويسأل: "هل هذا الغرض مهم؟"
يحتفظ بالأشياء الأكثر "غنىً بالمعلومات" (القط المتحرك، الضوء المتغير) ويتخلص من الأشياء الزائدة (الخلفية الثابتة، فرو الكلب النائم الذي لم يتحرك).
ثم يقوم بتعبئة العناصر الأساسية فقط في عدد البطاقات البريدية الذي سمح به الموجه.

3. "ELBO" (البلورة السحرية)

كيف يعرف الكمبيوتر ما هو "المهم" دون مشاهدة الفيديو بأكمله أولاً؟
يستخدم البحث حيلة رياضية تسمى ELBO (الحد الأدنى للبرهان). فكر في هذا كـ بلورة سحرية تتنبأ بمدى صعوبة تخمين الإطار التالي من الفيديو.

إذا قالت البلورة السحرية: "من السهل جداً تخمين ما سيحدث بعد ذلك (لأن الكلب نائم)"، فإن النظام يعرف أنه لا يحتاج إلى الكثير من الرموز (Tokens).
إذا قالت البلورة السحرية: "من المستحيل تخمين ما سيحدث بعد ذلك (لأن القط قفز للتو)"، فإن النظام يعرف أنه يحتاج إلى الكثير من الرموز لوصف المفاجأة.

لماذا يعد هذا أمراً مهماً؟

لقد اختبر الباحثون هذا النظام على فيديوهات حقيقية ووجدوا ما يلي:

يوفر المساحة: استطاعوا تقليل عدد "البطاقات البريدية" (الرموز) بنسبة 20% دون فقدان أي جودة في الصورة.
أسرع: الطرق القديمة حاولت تخمين المساحة الصحيحة عن طريق التجربة والخطأ (إرسال القليل، التحقق، إرسال المزيد، التحقق مجدداً). أما InfoTok فيعرف ذلك فوراً. إنه أكثر كفاءة بـ 2.3 مرة من الطرق الذكية السابقة.
أكثر ذكاءً: هو لا يكتفي بالضغط فحسب، بل يفهم التعقيد. فيديو للوحة ثابتة يتم ضغطه بشدة؛ بينما فيديو لمباراة كرة قدم يتم ضغطه بشكل خفيف للحفاظ على كل الحركة.

الخلاصة

InfoTok يشبه الانتقال من صندوق شحن جامد وموحد الحجم إلى حقيبة سفر ذكية متغيرة الشكل. فهي تتوسع تلقائياً عندما يكون لديك الكثير من الأشياء لتعبئتها، وتتقلص عندما يكون لديك القليل، مما يضمن عدم نفاد المساحة للأشياء المهمة وعدم إضاعة المساحة في الأشياء المملة. هذا يجعل معالجة الفيديو بالذكاء الاصطناعي أسرع، وأرخص، وقادرة على التعامل مع أفلام أطول بكثير.

إليك ملخص تقني مفصل لورقة البحث بعنوان "INFOTOK: ADAPTIVE DISCRETE VIDEO TOKENIZER VIA INFORMATION-THEORETIC COMPRESSION".

1. بيان المشكلة

تواجه أجهزة ترميز الفيديو المتقطعة (discrete video tokenizers) الحالية عقبة أساسية: فهي تستخدم ضغطاً بمعدل ثابت، مما يعني أنها تقوم بتمثيل كل إطار فيديو بعدد محدد مسبقاً من الرموز (tokens) بغض النظر عن تعقيد محتوى الفيديو الفعلي.

عدم الكفاءة: الفيديوهات البسيطة والثابتة (مثل كلب نائم) يتم ضغطها بشكل مفرط برموز زائدة، بينما تعاني الفيديوهات المعقدة والديناميكية (مثل مشهد قتال) من فقدان المعلومات بسبب عدم كفاية الرموز.
عدم مثالية الطرق التكيفية الحالية: تعتمد المحاولات الأخيرة للترميز التكيفي (مثل ElasticTok) على تدريب يعتمد على الاستدلال (heuristics) وغير مرتبط بالبيانات (مثل القناع العشوائي الموحد) وعلى الاستنتاج القائم على التجربة والخطأ (البحث الثنائي لإيجال الطول الأمثل). وقد أثبت المؤلفون نظرياً أن هذه الطرق منحازة، مما يؤدي إلى أطوال رموز متوقعة أكبر بكوثير من الطول الأمثل النظري لجودة إعادة البناء المعينة.
الهدف: تطوير إطار عمل مبدئي ومثالي نظرياً للترميز التكيفي للفيديو يقوم بتخصيص الرموز ديناميكياً بناءً على الثراء المعلوماتي لمحتوى الفيديو، مما يقلل الحشو دون التضحية بجودة إعادة البناء.

2. المنهجية: INFOTOK

يقترح المؤلفون INFOTOK، وهو إطار عمل قائم على نظرية المعلومات لشانون (Shannon's Information Theory) ونظرية ترميز المصدر (Source Coding Theorem). تكمن الرؤية الجوهرية في أن طول الرمز الأمثل للفيديو $x$ يجب أن يتناسب مع اللوغاريتم السالب للاحتمالية (negative log-likelihood $-\log p(x)$ )، والذي يمثل محتواه المعلوماتي.

يتكون إطار العمل من ثلاثة مكونات رئيسية:

أ. الأساس النظري

تثبت الورقة بصرامة ما يلي:

أجهزة الترميز ذات الطول الثابت غير مثالية لأنها تتجاهل كثافة المعلومات المتفاوتة لمختلف الفيديوهات.
الموجهات (routers) التكيفية الحالية التي لا تعتمد على البيانات (والتي تستخدم توزيعات موحدة) هي منحازة؛ فهي تفشل في تحفيز النموذج على تقليل طول الرمز للبيانات منخفضة المعلومات، مما يؤدي إلى طول رموز متوقع يمكن أن يكون أكبر بكثير من الحد الأمثل النظري ( $H_C(D)$ ).

ب. الموجه (اختيار الطول بناءً على ELBO)

لتحديد عدد الرموز $N_x$ لفيديو معين دون حسابات احتمالية معقدة، يستخدم INFOTOK الحد الأدنى للاحتمالية (ELBO) كبديل.

الآلية: يقدر الموجه التعقيد المعلوماتي لفيديو الإدخال $x$ باستخدام ELBO المستمد من مشفر-فك تشفير (encoder-decoder) ثابت الطول ومدرب مسبقاً.
الصيغة: يتم تحديد طول الرمز عبر $r_\beta(N_x|x) = \delta(\beta \cdot \frac{\text{ELBO}(x)}{E[\text{ELBO}(x)]})$ ، حيث $\beta$ هو عامل ضغط يتحكم في متوسط ميزانية الرموز.
الميزة: يسمح هذا للنظام بتخصيص تسلسلات أقصر للمقاطع منخفضة التعقيد وتسلسلات أطول للمقاطع عالية التعقيد، بما يتماشى مع المثالية المعلوماتية.

ج. الضاغط التكيفي (Adaptive Compressor)

بمجرد تحديد $N_x$ ، يجب على النظام ضغط تمثيلات الكمون (latent embeddings) ثابتة الطول $h$ إلى تسلسل بطول $N_x$ .

التقليم القائم على الاحتمالية (Likelihood-Based Pruning): بدلاً من الاقتصاص البسيط أو القناع العشوائي، يحسب الضاغط قناعاً ثنائياً بناءً على لوغاريتمات الاحتمالية لكل رمز (التي يتم تقريبها عبر ELBO).
العملية: يقوم بالحفاظ على أعلى $N_x$ من الرموز ذات المحتوى المعلوماتي الأعلى (أعلى لوغاريتم احتمالية) ويستبعد الباقي.
البنية: يتم تنفيذ الضاغط وفك التشفير باستخدام طبقات Transformer (تحديداً ViT مكون من 8 طبقات مع انتباه سببي كلي/block-causal attention) والتي تتعلم إعادة توزيع المعلومات من الرموز المقنعة إلى الرموز النشطة المتبقية.
العبء الإضافي: يتم تخزين القناع كجزء من تسلسل الرموز، مما يضيف عبئاً طفيفاً (~5% في طول الرموز).

د. INFOTOK-Flex

للتعامل مع متطلبات الضغط المتفاوتة دون الحاجة لإعادة التدريب، قدم المؤلفون INFOTOK-Flex. يتم تدريب هذا المتغير باستخدام خليط من عوامل ضغط مختلفة ( $\beta$ )، مما يسمح لنموذج واحد بالتكيف مع معدلات البت المستهدفة (BPP) المختلفة عند الاستنتاج.

3. المساهمات الرئيسية

الإثبات النظري: إثبات صارم يوضح أن أجهزة الترميز الحالية ذات المعدل الثابت والتكيفية غير المرتبطة بالبيانات هي منحازة وغير فعالة بطبيعتها مقارنة بالمثالية المعلوماتية.
إطار عمل INFOTOK: بنية مبتكرة تدمج موجه يعتمد على ELBO لاختيار طول الرمز الديناميكي وضاغط تكيفي يعتمد على Transformer للتقليم القائم على الاحتمالية.
الكفاءة: يلغي هذا الأسلوب الحاجة إلى البحث الثنائي (التجربة والخطأ) المستخدم في الطرق التكيفية السابقة، حيث يتطلب فقط تمريرة واحدة إضافية لفك التشفير (decoder pass) لحساب ELBO.
الأداء المتفوق (SOTA): التحقق التجريبي الذي يظهر توفيراً كبيراً في الرموز مع الحفاظ على جودة إعادة البناء أو تحسينها.

4. النتائج التجريبية

قيم المؤلفون INFOTOK على مجموعات بيانات TokenBench و DAVIS، وقارنوه بأجهزة الترميز ثابتة الطول (Cosmos, OmniTokenizer) وبالنماذج التكيفية المرجعية (ElasticTok).

كفاءة الرموز:
- يوفر INFOTOK ~20% من الرموز مقارنة بأحدث أجهزة الترميز ثابتة الطول (Cosmos) مع عدم وجود فقدان في جودة إعادة البناء (PSNR, SSIM, LPIPS, FVD).
- عند معدل ضغط ثابت، يتفوق INFOTOK على ElasticTok بمعدل تحسن في الضغط قدره 2.3 ضعف (يحقق جودة مماثلة باستخدام رموز أقل بـ 2.3 مرة).
جودة إعادة البناء:
- عند BPP16 = 0.81، يحقق INFOTOK قيمة PSNR تبلغ 30.08 (مقابل 28.26 لـ ElasticTok) وقيمة FVD تبلغ 49 (مقابل 141 لـ ElasticTok) على TokenBench.
- يطابق INFOTOK أداء ترميز Cosmos ثابت الطول (PSNR 30.01) ولكنه يستخدم 0.81 BPP فقط (مقابل 1.00 BPP لـ Cosmos).
كفاءة الاستنتاج:
- يتطلب ElasticTok بحثاً ثنائياً عبر كتل الرموز، مما يؤدي إلى 12 تقييماً لشبكة الأمامية (NFEs) لكل فيديو.
- يتطلب INFOTOK فقط تمريرتين (2 NFEs) (واحدة لتقدير ELBO وواحدة لفك التشفير)، مما يؤدي إلى تقليل زمن الاستنتاج بمقدار ~11 ضعفاً (1.23 ثانية مقابل 13.45 ثانية للفيديو).
دراسات الاستئصال (Ablation Studies):
- يعمل الموجه القائم على ELBO بشكل متطابق تقريباً مع "النموذج المثالي" (Oracle) الذي يبحث بشكل شامل عن أفضل طول للرمز، مما يؤكد صحة النهج النظري.
- يتفوق التقليم القائم على الاحتمالية بشكل كبير على القناع العشوائي (R2L) أو القناع الموزع مكانياً (Jump).

5. الأهمية والتأثير المستقبلي

القابلية للتوسع للفيديوهات الطويلة: من خلال تقليل عدد الرموز بنسبة 20-50% دون فقدان الجودة، يجعل INFOTOK معالجة تسلسلات الفيديو الطويلة أمراً ممكناً للنماذج القائمة على Transformer، والتي تكون مقيدة عادةً بالتعقيد التربيعي.
النماذج متعددة الوسائط الموحدة: يوفر إطار العمل طريقة مبدئية لتوحيد مهام الرؤية واللغة من خلال توفير تمثيل أكثر كفاءة وكثافة معلوماتية يتماشى بشكل أفضل مع النماذج اللغوية الكبيرة (LLMs).
القدرة على التعميم: رغم التركيز على الفيديو، فإن مبادئ نظرية المعلومات تنطبق على أي وسيط بيانات ذو كثافة معلوماتية متغيرة، مثل الصوت أو السحب النقطية ثلاثية الأبعاد.
تحول جذري: تنقل هذه الورقة المجال من الترميز التكيفي القائم على الاستدلال والتجربة والخطأ إلى نهج مبدئي مدفوع بالنظرية بناءً على نظرية المعلومات.

في الختام، يمثل INFOTOK قفزة نوعية في تعلم تمثيل الفيديو، حيث يثبت أن الترميز التكيفي المدفوع بنظرية المعلومات يمكن أن يحقق كفاءة ضغط قريبة من المثالية وجودة إعادة بناء متفوقة مقارنة بأحدث الأساليب الحالية.