💻 computer science

OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Intelligence

تقدم الورقة البحثية OneVision-Encoder، وهي بنية متعددة الوسائط تتوافق مع مبادئ ترميز الفيديو من خلال تركيز الحوسبة على المناطق المتفرقة وعالية الإنتروبيا بدلاً من شبكات البكسل الموحدة، مما يحقق كفاءة ودقة فائقتين عبر معايير فهم الصور والفيديو والمستندات.

المؤلفون الأصليون: Feilong Tang, Xiang An, Yunyao Yan, Yin Xie, Bin Qin, Kaicheng Yang, Yifei Shen, Yuanhan Zhang, Chunyuan Li, Shikun Feng, Changrui Chen, Huajie Tan, Ming Hu, Manyuan Zhang, Bo Li, Ziyong Feng, Ziwei L

نُشر 2026-02-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Feilong Tang, Xiang An, Yunyao Yan, Yin Xie, Bin Qin, Kaicheng Yang, Yifei Shen, Yuanhan Zhang, Chunyuan Li, Shikun Feng, Changrui Chen, Huajie Tan, Ming Hu, Manyuan Zhang, Bo Li, Ziyong Feng, Ziwei Liu, Zongyuan Ge, Jiankang Deng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول مشاهدة فيلم مدته ساعتان، لكن ليس لديك سوى الطاقة الكافية لقراءة 10 صفحات فقط من السيناريو.

الطريقة القديمة (الذكاء الاصطناعي الحالي):
تحاول معظم نماذج الذاء الاصطناعي الحالية قراءة كل كلمة في السيناريو، من تترات البداية حتى مشهد النهاية. إنهم يقرأون أوصاف الأشجار، والغيوم، والجدران، والصمت بنفس الدقة التي يقرأون بها الجزء الذي يضرب فيه البطل الشرير. إنهم يهدرون طاقتهم المحدودة على الأجزاء المملة والثابتة، مما يتركهم منهكين ومشتتين عندما يبدأ الحدث المثير. إنهم يعاملون كل لحظة في الفيديو على أنها متساوية في الأهمية.

الطريقة الجديدة (OneVision-Encoder):
أدرك الباحثون وراء OneVision-Encoder أن عقول البشر (وتكنولوجيا ضغط الفيديو) لا تعمل بهذه الطريقة. نحن لا نتذكر الخلفية الثابتة؛ بل نتذكر التغييرات.

لقد بنوا ذكاءً اصطناعيًا يعمل مثل محرر أفلام ذكي أو كاميرا مراقبة تمتلك عقلاً. إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. سر الـ "Codec" (الخدعة السحرية)

فكر في كيفية قيام هاتفك بضغط الفيديو لتوفير المساحة. هو لا يحفظ كل إطار بشكل مثالي.

إطارات I (اللقطة الثابتة): يحفظ صورة واحدة كاملة وواضحة للمشهد بأكمِله (مثل الصورة الفوتوغرافية).
إطارات P (التحديثات): للثواني الثلاثين التالية، لا يحفظ الصورة الكاملة مرة أخرى. بل يحفظ فقط ملاحظة صغيرة تقول: "الشخص الذي يرتدي القميص الأحمر تحرك بوصتين إلى اليسار".

الذكاء الاصطناعي الحالي يتجاهل هذه "الملاحظات الصغيرة" ويحاول إعادة قراءة الصورة الكاملة في كل مرة. أما OneVision-Encoder فهو الأول الذي يقول: "مهلاً، لنقرأ الملاحظات الصغيرة فقط! هناك يحدث جوهر القصة فعلياً".

2. "محقق الحركة" (رصد الأكشن)

بدلاً من النظر إلى الشاشة بأكملها، يعمل هذا الذكاء الاصطناعي كـ محقق حركة.

إذا كانت شجرة تتأرجح في الريح، يتجاهلها الذكاء الاصطناعي (لأنها متوقعة).
إذا طار طائر فجأة عبر الشاشة، يركز الذكاء الاصطناعي على ذلك الطائر.
إذا تحطمت سيارة، يركز الذكاء الاصطناعي بالكامل على الحادث.

إنه ينتبه فقط لنسبة 3% إلى 25% من الفيديو التي تتغير أو تفاجئ المشاهد بالفعل. إنه يتجاهل الخلفية المملة والثابتة. هذا يشبه قراءة كتاب ولكن مع تظليل الجمل التي تحتوي على حبكة درامية فقط، وتخطي جميع الأوصاف المتعلقة بالأثاث.

3. ميزانية "الرموز الذكية" (Smart Token)

تخيل أن لديك دلواً يحتوي على 2,000 قطعة ليغو (هذه هي "الرموز" أو الـ tokens التي يستخدمها الذكاء الاصطناعي للفهم).

الذكاء الاصطناعي القديم: يستخدم 1,000 قطعة لبناء جدار ثابت (الخلفية) و1,000 قطعة أخرى لبناء مشهد حركة صغير وضبابي. النتيجة هي نموذج فوضوي وغير فعال.
OneVision-Encoder: يستخدم 200 قطعة لبناء الجدار (بما يكفي فقط لمعرفة أين أنت) ويصب الـ 1,800 قطعة المتبقية في بناء مشهد حركة مفصل وعالي السرعة.

لأنه يركز "قطع الليغو" الخاصة به فقط على الأجزاء المهمة، فإنه يفهم الفيديو بشكل أفضل وأسرع، رغم أنه يستخدم موارد أقل.

4. معلم "العناقيد" (التعلم عبر التجميع)

كيف يعرف الذكاء الاصطناعي ما هو مهم؟ إنه لا يخمن فحسب.
تخيل معلماً لديه سبورة بيضاء ضخمة تحتوي على مليون فئة (مثل "القفز"، "الطبخ"، "السقوط"، "الابتسام").
بدلاً من مجرد قول "هذا كلب"، يتعلم الذكاء الاصطناعي تجميع الحركات المتشابهة معاً. يتعلم أن "قفز الكلب" و"قفز القطة" ينتميان إلى نفس عنقود "القفز"، بينما "نوم الكلب" ينتمي إلى عنقود مختلف. هذا يساعده على فهم معنى الحركة، وليس مجرد البكسلات.

النتيجة: لماذا يهم هذا؟

تظهر الورقة البحثية أن هذا الذكاء الاصطناعي الجديد هو نجم خارق:

إنه أذكى: يتفوق على النماذج الرائدة الأخرى (مثل Qwen3 وSigLIP) في اختبارات فهم الفيديو، رغم أنه تم تدريبه على بيانات أقل بكثير.
إنه كفء: يحقق نتائج أفضل بينما ينظر إلى عدد أقل بكثير من البكسلات.
إنه شامل: يعمل بشكل رائع على الصور الفردية، والمقاطع القصيرة، والأفلام الطويلة.

باختقصيد:
يتوقف OneVision-Encoder عن محاولة حفظ الفيلم بأكمله إطاراً تلو الآخر. بدلاً من ذلك، يتعلم مشاهدة الفيلم مثل البشر: يتجاهل الخلفية المملة ويركز تماماً على الحركة، والنشاط، والمفاجآت. ومن خلال مواءمة عقله مع كيفية عمل تكنولوجيا الفيديو (الـ codecs) فعلياً، فقد خلق طريقة أكثر كفاءة وذكاءً لكي "ترى" الآلات.

إليك ملخص تقني مفصل لورقة البحث: "OneVision-Encoder: الكثافة الموجهة بترميز الفيديو (Codec-Aligned Sparsity) كمبدأ أساسي للذكاء متعدد الوسائط."

1. بيان المشكلة

تتعامل بنيات الرؤية الحالية، وخاصة محولات الفيديو (Video Transformers)، مع البيانات المرئية كشبكات كثيفة ومتجانسة من البكسلات. ويتعارض هذا النهج مع الطبيعة المعلوماتية النظرية لإشارات الفيديو، والتي تتميز بـ:

التكرار العالي: معظم المحتوى المرئي (الخلفيات الثابتة، الحركة المتوقعة) يتسم بتكرار عالٍ ويمكن التنبؤ به من السياق.
المعلومات التمييزية المتفرقة: "عنصر المفاجأة" أو المعلومات ذات المعنى (الحركة، تغير الأشياء، البواقي/Residuals) تكون متفرقة وموضعية.
عدم الكفاءة: معالجة شبكات البكسل الكثيفة بشكل موحد تهدر الموارد الحسابية على المناطق الثابتة، بينما قد تفشل في رصد الديناميكيات الزمنية الدقيقة والحرجة بسبب أخذ العينات الإطارية المتفرقة.

يفترض المؤلفون أن الذكاء الاصطناني العام (AGI) هو مشكلة ضغط (Compression). ولتوسيع نطاق الذكاء البصري، يجب أن تتماشى البنيات مع الهيكل التنبئي للبيانات، تماماً كما تعمل برامج ترميز الفيديو (مثل H.264/HEVC) من خلال الفصل بين السياق المكاني المستقر (إطارات I) والتحديثات الزمنية المتفرقة (إطارات P).

2. المنهجية: OneVision-Encoder (OV-Encoder)

تقترح الورقة OneVision-Encoder، وهو محول رؤية موحد يعتمد على التعلم الذاتي، يعيد صياغة النمذجة المرئية كعملية ضغط تنبئي. وتتكون المنهجية الأساسية من ثلاث ركائز:

أ. تقسيم الرقع بأسلوب الترميز (Codec Patchification)

بدلاً من أخذ عينات الإطارات الموحدة، يتبنى OV-Encoder صياغة مدخلات مستوحاة من ترميز الفيديو (Codec-Inspired Input Formulation) تستفيد من الإشارات التي تكشفها برامج ترميز الفيديو (متجهات الحركة والبواقي) لاختيار الرقع الأكثر غنى بالمعلومات.

تقسيم الفيديو الكثيف بأسلوب الترميز:
- تتم معالجة الفيديوهات كـ "مجموعات صور" (GOPs) بنظام HEVC، والتي تحتوي على إطار I واحد (سياق مكاني كامل) وعدة إطارات P (بواقي معوضة للحركة).
- اختيار البروز (Saliency Selection): بالنسبة لإطارات P، يحسب النموذج درجة بروز بناءً على مقدار الحركة وطاقة البواقي (Residual Energy). يتم اختيار أعلى 3.1% إلى 25% فقط من الرقع (المناطق الأكثر ديناميكية).
- ميزانية الرموز (Token Budget): يحافظ النظام على ميزانية رموز ثابتة (مثلاً 2048 رمزاً لمقطع مدته 64 إطاراً). توفر إطارات I المرتكز المكاني، بينما تُخصص رموز إطارات P حصرياً للمناطق الغنية بالحركة. يحقق هذا خفضاً بنسبة 87.5% في عدد الرموز مقارنة بالمعالجة الكثيفة مع الحفاظ على التغطية الزمنية الكاملة.
التقسيم المجزأ (Chunk-wise Patchification): بالنسبة للفيديوهات الأطول، يتم تقسيم التدفق إلى أجزاء زمنية، مع إجراء اختيار الرقع بشكل عالمي عبر الأجزاء لضمان التدرج الزمني.
التقسيم المكاني للصورة الواحدة: نسخة مكانية للصور الثابتة، مما يضمن معالجة المشفر لكلا النوعين من الوسائط بشكل موحد.

ب. البنية الموحدة والترميز الموضعي

العمود الفقري المشترك (Shared Backbone): يقوم محول رؤية (ViT) واحد بمعالجة الصور، وأجزاء الفيديو، والرقع المتفرقة المختارة من الترميز.
الترميز الموضعي الدوراني ثلاثي الأبعاد (3D RoPE): للتعامل مع تخطيطات الرموز غير المنتظمة (الرقع المتفرقة عبر الزمن)، يستخدم النموذج 3D RoPE مشتركاً. يقوم بترميز الإزاحات النسبية $(\Delta t, \Delta x, \Delta y)$ $(Δ t, Δ x, Δ y)$ ، مما يسمح للنموذج بالاستدلال المتماسك عبر:
- البواقي بين الإطارات (إطارات I/P).
- أخذ العينات الزمنية غير المنتظمة (الأجزاء/Chunks).
- التخطيطات المكانية الثابتة.

ج. هدف التدريب: التمييز العنقودي (Cluster Discrimination)

لفرض الهيكل الدلالي دون الاعتماد على تسميات لغوية خارجية للتدريب المسبق، يستخدم المؤلفون هدف التمييز العنقودي ذاتي الإشراف:

بنك المفاهيم (Concept Bank): يتم إنشاء بنك واسع النطاق من أكثر من مليون عنقود دلالي خارجياً باستخدام مشفر مجمد.
التدرج المزدوج: يعمل الهدف على تحسين كل من:
- الدلالات على مستوى الكائن (من الصور).
- الدلالات على مستوى الحركة (من الفيديو).
دالة الخسارة (Loss Function): تعمل خسارة التباين (Contrastive Loss) على سحب التمثيلات المرئية نحو مراكز عناقيدها المخصصة (إيجابي) ودفعها بعيداً عن مراكز العناقيد الأخرى (سلبي)، مما يفرض تعلم تمثيل هيكلي ومستقل عن الوسائط.

3. المساهمات الرئيسية

الكثافة الموجهة بالترميز (Codec-Aligned Sparsity): تقديم تقسيم الرقع بأسلوب الترميز (Codec Patchification)، وهي استراتيجية مدخلات مبتكرة تعامل فهم الفيديو كمسألة ضغط، حيث تختار فقط نسبة 3.1%–25% من المناطق الغنية بإشارة الإنتروبيا.
مشفر مكاني-زماني موحد: اقتراح مشفر واحد قادر على التعامل مع الصور الكثيفة، وإطارات الفيديو المتفرقة، وتخطيطات الرموز غير المنتظمة المستمدة من الترميز عبر 3D Rope.
استراتيجية تدريب مسبق قابلة للتوسع: إثبات أن النموذج المدرب مسبقاً على ~100 مليار رمز (باستخدام الاستراتيجية المتفرقة المقترحة) يمكنه التفوق على النماذج المدربة على أكثر من 2.1 تريليون رمز (مثل Qwen3-ViT) عند دمجه في نماذج اللغة الكبيرة متعددة الوسائط (LMMs).
التوافق النظري: إثبات أن مواءمة البنية مع الهيكل المعلوماتي للبيانات (البواقي التنبئية) يؤدي إلى كفاءة ودقة أفضل من المعالجة الكثيفة الموحدة.

4. النتائج التجريبية

تم تقييم OV-Encoder عبر اختبارات استقصاء متعددة الوسائط (LMM probing) واختبارات مستوى التمثيل (Attentive probing).

الأداء متعدد الوسائط (LMM Probing):
- عند دمجه في Qwen3-4B، تفوق OV-Encoder على النماذج المرجعية القوية (Qwen3-ViT و SigLIP2) عبر 16 اختباراً مرجعياً (فهم الصور، الفيديو، والمستندات).
- فهم الفيديو: حقق تحسناً متوسطاً بنسبة 4.1% عن Qwen3-ViT.
- كفاءة البيانات: رغم استخدام عدد أقل بكثير من رموز التدريب المسبق (100 مليار مقابل 2.1 تريليون)، تفوق OV-Encoder على Qwen3-ViT، مما يثبت فعالية نهج التوافق مع الترميز على التوسع بالقوة الغاشمة.
جودة التمثيل (Attentive Probing):
- تم التقييم على 7 اختبارات فيديو (مثل Diving-48، SSV2، Kinetics-400) باستخدام أعمدة فقارية مجمدة.
- Diving-48: حقق تحسناً في دقة Top-1 بنسبة 17.1% عن SigLIP2 و 8.1% عن DINOv3 تحت نفس ميزانية الرقع (2048 رمزاً).
- كفاءة الرموز: تحت ميزانية رموز ثابتة، تفوق OV-Encoder (النسخة الموجهة بالترميز) على SigLamente الكثيف في المهام الحساسة للحركة (Diving-48، اختبار الإدراك) مع تقليل معالجة الرقع بنسبة 75%–96.9%.
دراسات الاستئصال (Ablation Studies):
- استبدال رقع الحركة المختارة بالترميز برقع غير مرتبطة بالحركة أدى إلى انخفاض كبير في الأداء، مما يؤكد أن المكاسب تأتي من المحتوى الدلالي للحركة، وليس مجرد التفرق (Sparsity).
- خلط مواضع الرقع أدى إلى تدهور الأداء، مما يؤكد أهمية الهيكل المكاني-الزماني الذي يحافظ عليه التوافق مع الترميز.

5. الأهمية

تحول في النموذج (Paradigm Shift): تتحدى هذه الورقة افتراض "الشبكة الكثيفة" السائد في محولات الرؤية، وتجادل بأن التفرق المتوافق مع الهيكل التنبئي هو مبدأ أساسي للذكاء العام.
الارتباط بين الكفاءة والدقة: تثبت الورقة أن الكفاءة والدقة ليسا في صراع؛ فمن خلال التركيز على "المفاجأة" (البواقي/الحركة)، تصبح النماذج أسرع وأكثر دقة في آن واحد.
القابلية للتوسع: يقدم النهج مساراً قابلاً للتوسع لأنظمة المستقبل متعددة الوسائط، مما يسمح بمعالجة فيديوهات أطول وأعلى دقة دون زيادة أسية في التكاليف الحسابية.
أساس للذكاء الاصطناعي العام (AGI): من خلال التعامل مع الفهم البصري كمسألة ضغط، يوفر OV-Encoder محركاً قابلاً للتوسع للذكاء متعدد الوسائط الشامل الذي "يرى، ويحدث، ويستنتج عبر الزمن" بطريقة تشبه الإدراك البشري وبرامج ترميز الفيديو.

في الختام، نجح OneVision-Encoder في الجسر بين نظرية المعلومات (الضغط) والتعلم العميق، مثبتاً أن محاكاة التفكيك الهيكلي لبرامج ترميز الفيديو تؤدي إلى تمثيلات بصرية أكثر كفاءة، ودقة، وقابلية للتعميم.