💻 computer science

OmniEncoder: See, Hear, and Feel Continuous Motion Like Humans With One Encoder

تقدم الورقة البحثية "Omni-Encoder"، وهو هيكل "Transformer" موحد يقوم بدمج الإشارات البصرية والسمعية بشكل مشترك عند معدل 25 إطاراً في الثانية بشكل متماثل للتغلب على قيود المشفرات الخاصة بكل نمط، مما يتيح إدراكاً كلياً شبيهًا بالإدراك البشري للحركة المستمرة ويحسن الأداء بشكل كبير في المهام البصرية دقيقة التفاصيل مع الحفاظ على مستويات تنافسية في المعايير المرجعية السمعية البصرية.

المؤلفون الأصليون: Detao Bai, Shimin Yao, Weixuan Chen, Chengen Lai, Yuanming Li, Zhiheng Ma, Xihan Wei

نُشر 2026-05-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Detao Bai, Shimin Yao, Weixuan Chen, Chengen Lai, Yuanming Li, Zhiheng Ma, Xihan Wei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم فيلم من خلال النظر إلى صورة واحدة مجمدة كل ثانية بينما تستمع إلى الموسيقى التصويرية بالسرعة الكاملة. هذا هو بالضبط كيف تعمل معظم النماذج "متعددة الوسائط" (omni-modal) الحالية (الأنظمة التي ترى وتسمع). فهي تشاهد لقطات الفيديو ببطء (إطار واحد أو إطاران في الثانية) ولكنها تستمع إلى الصوت بسرعة كبيرة (25 مرة في الثانية). هذا يخلق عدم توافق: الذكاء الاصطناعي يرى العالم بالحركة البطيئة ولكنه يسمعه في الوقت الفعلي، مما يجعل من الصعب ربط إيماءة يد معينة بالصوت الذي تصدره بالضبط.

يقدم البحث Omni-Encoder، وهو "دماغ" ذكاء اصطناعي جديد مصمم لإصلاح ذلك من خلال الرؤية والسمع و"الشعور" بالحركة في آن واحد، تماماً كما يفعل البشر.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: "كاميرا الحركة البطيئة" مقابل "الأذن السريعة"

نماذج الذكاء الاصطناعي الحالية تشبه حارس أمن يتحقق من الممر كل 10 ثوانٍ، لكنه يستمع إلى كل خطوة قدم فور حدوثها. إذا لوح شخص بيده بسرعة بين عمليات التحقق، فقد يفوته الأمر.

المشكلة: النماذج الحالية تأخذ عينات من الفيديو ببطء شديد بحيث لا تستطيع التقاط الحركات السريعة (مثل لغة الإشارة أو الجمباز) بينما تعالج الصوت بالسرعة الكاملة. هذا يتسبب في فقدان "الرقصة" أو التناغم بين ما تراه وما تسمعه.

2. الحل: "الدماغ الخارق بـ 25 إطاراً في الثانية"

تم بناء Omni-Encoder لمعالجة الفيديو والصوت بنفس السرعة العالية: 25 إطاراً في الثانية. هو لا يكتفي بمجرد النظر إلى الصور؛ بل يفهم الحركة بينها.

ولجعل هذا ممكناً دون أن يتعطل الكمبيوتر بسبب كثرة البيانات، ابتكر المؤلفون ثلاث حيل ذكية:

أ. "الطريق السريع ذو الثلاث حارات" (نموذج توكن Omni-Encoder)

بدلاً من معاملة الفيديو والصوت ككومة فوضوية واحدة من البيانات، ينظم النظام المعلومات في ثلاث "حارات" متميزة لكل لحظة زمنية:

حارة الصوت: تحمل الصوت.
حارة "الحركة" (البصرية المستمرة): هذا هو المكون السحري. هذه نقاط بيانات خاصة تعمل مثل "مستشعرات الحركة". هي لا تهتم بما يبدو عليه الشيء (لونه أو شكله)؛ بل تهتم فقط بكيفية تحركه من إطار إلى آخر. فكر فيها كأنها تتبع مسار يد الراقص بدلاً من تتبع وجه الراقص.
حارة "الثبات" (القاعدة البصرية): تحمل تفاصيل ما تبدو عليه الأشياء (الأنسجة، الأشكال، الخلفية).

حيلة الكفاءة: يحافظ النظام على تشغيل حارتي "الحركة" و"الصوت" بالسرعة الكاملة (25 إطاراً في الثانية) حتى لا تضيع أي حركة. ومع ذلك، يقوم بإبطاء حارة "الثبات" لتصل إلى إطارين فقط في الثانية. لماذا؟ لأن الخلفية لا تتغير بهذه السرعة. هذا يوفر كميات هائلة من قدرة الكمبيوتر مع الحفاظ على بيانات الحركة السريعة سليمة.

ب. "نظام تحديد المواقع ثلاثي الأبعاد" (Omni-RoPE)

في الذكاء الاصطناعي العادي، يصعب التمييز ما إذا كانت قطعة من البيانات هي صوت، أو يد متحركة، أو جدار ثابت لأنها جميعاً تبدو كأرقاء متشابهة.
يمنح Omni-Encoder كل قطعة بيانات إحداثيات GPS ثلاثية الأبعاد فريدة (الزمن، الارتفاع، العرض).

الأصوات تحصل على إحداثيات عند "نقطة الأصل" (0,0).
الأيدي المتحركة تحصل على إحداثيات بجانبها مباشرة (0,1).
الجدران الثابتة تحصل على إحداثيات أبعد (1,1).
هذا يسمح للذكاء الاصطناعي بمعرفة "أوه، نقطة البيانات هذه هي صوت، وتلك هي جسم متحرك" بشكل فوري، بحيث يمكنه فهم كيفية ارتباطهما ببعضهما البعض دون ارتباك.

ج. "النافذة المنزلقة" (إزاحة النافذة الزمنية)

إن معالجة 25 إطاراً من الفيديو والصوت دفعة واحدة يشبه محاولة قراءة كل كتاب في المكتبة في وقت واحد — الأمر ثقيل جداً.
استخدم المؤلفون تقنية تسمى إزاحة النافذة الزمنية (Temporal Window Shifting). تخيل أنك تقرأ كتاباً من خلال النظر إلى نافذة صغيرة تغطي 16 صفحة في كل مرة.

أولاً، تقرأ الصفحات من 1 إلى 16.
ثم، تقوم بإزاحة النافذة إلى المنتصف وتقرأ من الصفحة 9 إلى 24.
ثم، تقوم بالإزاحة مرة أخرى.
هذا يسمح للذكاء الاصطناعي برؤية كيفية تدفق القصة من لحظة إلى أخرى دون الحاجة إلى حفظ الفيلم بأكمله في وقت واحد. هذا يجعل عملية التفكير سريعة وفعالة.

3. النتائج: ماذا أثبتوا؟

اختبر الفريق هذا النظام الجديد في مهام تتطلب التقاط حركات سريعة ودقيقة:

لغة الإشارة: التعرف على الإشارات يشبه قراءة كتاب مكتوب بحركات يد سريعة. النماذج القديمة حققت دقة تترا-وحيد 1% إلى 37%. أما Omni-Encoder فقد حقق 90% إلى 97%، متفوقاً حتى على الأنظمة المتخصصة المصممة خصيصاً للغة الإشارة.
الرياضة والحركة: في مهام مثل التعرف على حركات الغوص أو الجمباز، طابق أو تفوق على أفضل النماذج الموجودة.
الاستدلال السمعي البصري: عندما طُرحت عليه أسئلة تتطلب السمع والرؤية معاً (مثل "من الذي يتحدث؟")، كان أداؤه ممتازاً مثل الأنظمة المعقدة التي تستخدم "آذاناً" و"عيوناً" منفصلة.

الخلاصة

يزعم البحث أنه من خلال توحيد كيفية رؤية وسماع الذكاء الاصطنا للعالم — عبر معاملتهما كتدفق واحد متزامن من البيانات بدلاً من تدفقين منفصلين وغير متوافقين — يمكننا بناء نماذج تفهم العالم بشكل أقرب إلى البشر. يمكنهم التقاط "إحساس" الحركة المستمرة، مما يجعلهم أفضل بكثير في فهم الأفعال السريعة، والإيماءات، والعلاقة بين الصوت والرؤية.

ملخص تقني: OmniEncoder

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة متعددة الوسائط الحالية (Omni-modal LLMs) عادةً على تصميم معياري خاص بكل وسيط، حيث تستخدم مشفرات منفصلة للرؤية والصوت. يؤدي هذا الهيكل غالباً إلى استراتيجية أخذ عينات "بصرية خشنة، وصوتية كثيفة"، حيث يتم أخذ العينات من الإطارات المرئية بترددات منخفضة (1-2 إطار في الثانية) بينما تتم معالجة الصوت بترددات عالية (25 إطاراً في الثانية).

ويجادل المؤلفون بأن هذا التصميم يخلق تباينًا جوهريًا مع الإدراك البشري؛ فالبشر يدركون العالم بشكل كلي، حيث يرون ويسمعون ويشعرون بالحركة المستمرة في آن واحد، مع حدوث تفاعلات عبر الوسائط في المراحل المبكرة من المعالجة الحسية. إن نهج "إطار بإطار، ووسيط بوسيط" السائد يؤدي إلى:

تفاعل ضعيف بين الوسائط خلال مرحلة الترميز.
عدم القدرة على التقاط الحركة البصرية دقيقة التفاصيل، وهو أمر بالغ الأهمية لمهام مثل التعرف على لغة الإشارة، وتحليل الرياضة الدقيق، وقراءة الشفاه.
عدم الكفاءة الحسابية عند محاولة زيادة معدلات الإطارات المرئية لتطابق كثافة الصوت باستخدام آليات الانتباه العالمي التي تتوسع تربيعياً ( $O(T^2)$ ) مع طول التسلسل.

2. المنهجية: Omni-Encoder

لمعالجة هذه التحديات، يقترح المؤلفون Omni-Encoder، وهو هيكل Transformer موحد مصمم لدمج الإشارات المرئية والصوتية بشكل متماثل عند 25 إطاراً في الثانية ضمن مساحة كامنة مشتركة. يعالج الهيكل مقاطع الفيديو والصوت الخام في وقت واحد بدلاً من دمجها في مرحلة لاحقة.

المكونات الهيكلية الأساسية

أ. قالب توكن Omni-Encoder (Omni-Encoder Token Template)

يتم تفكيك الفيديو المدخل إلى ثلاثة تدفقات متميزة من الـ "توكنز" (Tokens) عند كل موضع زمني ( $t$ ):

توكنات الصوت ( $a_t$ ): مستخرجة من مخططات "لوج-ميل" (log-Mel spectrograms) عبر شبكات CNN أحادية الأبعاد خفيفة الوزن.
توكنات الاستمرارية البصرية ( $vc_t$ ): وهي ناقلات (vectors) قابلة للتعلم لكل إطار، تم إدخالها لالتقاط ديناميكيات الحركة بين الإطارات (مثل: مسارات الحركة، بدايات الإيماءات، والحركات الدقيقة).
توكنات القاعدة البصرية ( $vb_t$ ): يتم إنشاؤها عبر تضمين الرقع (patch embedding) لالتقاط سمات المظهر الثابتة (مثل: الملمس، الشكل، والتخطيط).

تخفيف كثافة التوكنات (Token Sparsification): للحفاظ على الجدوى الحسابية مع الحفاظ على دقة الحركة، يتم تطبيق مخفف للتوكنات (Token Sparsifier). يقوم هذا المخفف بالاحتفاظ بجميع توكنات الصوت والـ VC عند دقة 25 إطاراً في الثانية، ولكنه يقوم بتقليل عينات توكنات الـ VB إلى 2 إطار في الثانية. يقلل هذا بشكل كبير من إجمالي عدد التوكنات التي تُرسل إلى وحدة فك التشفير (LLM decoder) دون التضحية بمعلومات الحركة عالية التردد التي تلتقطها توكنات الـ VC.

ب. ترميز المواضع الدوراني ثلاثي الأبعاد (Omni-RoPE)

يخصص ترميز المواضع الدوراني ثلاثي الأبعاد (3D RoPE) القياسي إحداثيات $(t, h, w)$ . ومع ذلك، فإن تطبيق هذا مباشرة على الوسائط غير المتجانسة يخلق صراعاً حيث تفتقر توكنات الصوت والـ VC إلى إحداثيات مكانية مستقلة.

الحل: قام المؤلفون بإعادة تعيين الإحداثيات المكانية. حيث يتم إزاحة توكنات الـ VB لتبدأ من $(t, 1, 1)$ ، بينما تشغل توكنات الصوت الموقع $(t, 0, 0)$ وتشغل توكنات الـ VC الموقع $(t, 0, 1)$ .
الفائدة: يضمن هذا حصول جميع الوسائط على ترميزات مواضع غير متداخلة ضمن صيغة 3D RoPE نفسها، مما يسمح للنموذج بالتمييز بين الوسائط ونمذجة العلاقات بينها مع الحفاظ على القدرة على التوسع بغض النظر عن الدقة.

ج. إزاحة النافذة الزمنية (Temporal Window Shifting)

للتعامل مع التكلفة الحسابية للفيديو بسرعة 25 إطاراً في الثانية، استبدل المؤلفون الانتباه الزماني المكاني العالمي بآلية إزاحة النافذة الزمنية المستوحاة من Swin Transformer.

الآلية: يتم تقسيم تسلسل التوكنات إلى مجموعات زمنية غير متداخلة ( $G=16$ إطاراً). يتم حساب الانتباه الزماني المكاني المشترك داخل هذه المجموعات.
الإزاحة: في الطبقات المتبادلة، يتم إزاحة حدود النافذة بمقدار $G/2$ إطاراً، مما يسمح للمعلومات بالتدفق عبر المجموعات المتجاورة.
التعقيد: يقلل هذا من تعقيد الانتباه من التربيعي $O(T^2)$ إلى الخطي $O(T \cdot G)$ ، مما يسمح بتفاعل كثيف بين الوسائط عند 25 إطاراً في الثانية مع تكلفة حسابية يمكن التحكم فيها.

استراتيجية التدريب

يستخدم النموذج استراتيجية تدريب شاملة أحادية المرحلة (single-stage, end-to-end):

القاعدة: يتم استخدام مكون LLM الخاص بـ Qwen2.5-Omni-3B كفك تشفير ثابت.
التهيئة: يتم تهيئة Omni-Encoder باستخدام أوزان من تعلم التمثيل المرئي ذاتي الإشراف (V-JEPA). أما المكونات الجديدة (تضمينات الصوت، واستعلامات الـ VC القابلة للتعلم) فيتم تهيئتها عشوائياً.
التحسين: يتم تدريب رأس نمذجة اللغة (LM head) النهائي فقط؛ بينما تظل جميع بارامترات الـ LLM الأخرى ثابتة. وهذا يتجنب عمليات التدريب المسبق المعقدة متعددة المراحل.

3. المساهمات الرئيسية

ترميز موحد عالي التردد: أول مشفر موحد يعالج الإشارات المرئية والصوتية في وقت واحد عند 25 إطاراً في الثانية، مما يسد الفجوة بين الإدراك المستمر الشبيه بالبشر وطرق أخذ العينات المنفصلة الحالية.
ابتكارات هيكلية جديدة: تقديم قالب التوكن (الذي يفصل بين الحركة والمظهر)، و Omni-RoPE (إحداثيات زمانية-مكانية-وسائط موحدة)، و إزاحة النافذة الزمنية (انتباه كثيف فعال).
الأداء في مهام الحركة الكثيفة: إثبات أن المشفر الموحد يمكن أن يتفوق على النماذج المتخصصة في المهام التي تتطلب نمذجة زمنية دقيقة، وتحديداً لغة الإشارة والتعرف على الحركات الرياضية.

4. النتائج التجريبية

قام المؤلفون بتقييم Omni-Encoder مقابل النماذج المرجعية الخاصة بكل وسيط ونماذج OmniLLMs الموجودة (مثل Qwen2.5-Omni و Gemini-2.5-Pro) عبر عدة اختبارات مرجعية:

الفهم البصري المستمر:
- لغة الإشارة: في اختبار NationalCSL6707، حقق Omni-Encoder نسبة 90.32%، متفوقاً على أفضل نموذج متخصص سابق (69.61%) بأكثر من 20 نقطة مئوية. وفي اختبار SLR500، وصل إلى 97.8%، متفوقاً على نموذج SignBERT المتخصص.
- التعرف على الأفعال: في اختبار Diving48، حقق 90.8% (مقابل 90.3% لأفضل نموذج حالي)، و 68.7% في SthSv2، منافساً بذلك نماذج قوية مثل InternVideo2-S2-1B.
- ملاحظة: أظهرت نماذج OmniLLMs الحالية (حتى مع ضبط التعليمات البرمجية SFT) أداءً يقترب من العشوائية أو أداءً ضعيفاً في هذه المهام (على سبيل المثال، سجل Qwen2.5-Omni SFT نسبة 25.7% في Diving48)، مما يسلط الضوء على قصور الترميز البصري المتفرق.
الاستدلال الصوتي-البصري:
- تحديد موقع/هوية المتحدث: حقق Omni-Encoder نسبة 98.8% في تحديد الموقع و 82.31% في تحديد الهوية، وهو ما يطابق أو يتفوق على النماذج المخصصة مثل HumanOmni-Speaker.
- الأسئلة والأجوبة البصرية-السمعية (AVQA): حقق 82.6%، وهو ما يضاهي نسخة SFT من Qwen2.5-Omni-3B.
التعرف الصوتي-البصري (LRS2):
- بدون معالجة مسبقة لقص الشفاه، حقق النموذج معدل خطأ في الكلمات (WER) بنسبة 45.3% (بصري فقط)، و 10.2% (صوتي فقط)، و 7.2% (صوتي-بصري)، مما يدل على دمج فعال بين الوسائط.

5. الأهمية والادعاءات

يرى البحث أن الترميز الموحد الشامل (unified omnivorous encoding) هو اتجاه واعد لبناء نماذج متعددة الوسائط تقترب أكثر من الطبيعة المتكاملة للإدراك البشري.

تحول في النموذج: تشير النتائج إلى أن الانتقال من معدلات أخذ عينات متباينة خاصة بكل وسيط نحو مساحة ترميز موحدة وعالية التردد يسمح للنماذج بالتقاط ديناميكيات الحركة دقيقة التفاصيل التي كانت بعيدة المنال عن نماذج OmniLLM العامة.
الكفاءة مقابل الدقة: نجح الهيكل في التوفيق بين التحدي المزدوج المتمثل في فك الارتباط بين الوسائط (التمييز بين الصوت، والمظهر البصري الثابت، وإشارات الحركة) وبين الكفاءة الحسابية (التوسع الخطي مع طول الفيديو).
التعميم: يحقق النموذج أداءً يضاهي النماذج المتخصصة في مهام الحركة الكثيفة دون الحاجة إلى تخصيص هيكلي للمهمة، مما يؤكد أن النمذجة الزمنية عالية الكثافة هي استراتيجية تمثيل فعالة للأغراض العامة.

خلص المؤلفون إلى أنه بينما لا يزال النموذج يتخلف قليلاً عن النماذج المملوكة لجهات معينة (Proprietary SOTA) في مهام محددة (بسبب محدودية حجم بيانات التدريب)، فإن النهج الموحد يوفر أساساً قوياً لأنظمة المستقبل متعددة الوسائط التي تدرك العالم بشكل كلي.