💬 NLP

Efficient and High-Fidelity Omni Modality Retrieval

تقدم الورقة البحثية OmniRet، وهو أول نموذج استرجاع قادر على التعامل مع الاستعلامات المعقدة عبر الوسائط النصية والبصرية والسمعية، والذي يحقق أداءً عالي الدقة وفعالاً من خلال آليات إعادة أخذ العينات القائمة على الانتباه وآليات تجميع "واسرشتاين" المقطعة بالانتباه (Attention Sliced Wasserstein Pooling) المبتكرة، مع إنشاء معيار مرجعي جديد متمحور حول الصوت متعدد الوسائط لتقييم القدرات الشاملة للوسائط.

المؤلفون الأصليون: Chuong Huynh, Manh Luong, Abhinav Shrivastava

نُشر 2026-03-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chuong Huynh, Manh Luong, Abhinav Shrivastava

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على أغنية محددة في مكتبة ضخمة. في الأيام الخوالي، كان بإمكانك فقط طلب المساعدة من أمين المكتبة باستخدام الكلمات (مثل: "أريد أغنية حزينة عن المطر"). لاحقاً، أصبح بإمكانك عرض صورة لشارع ممطر، وسيقوم أمين المكتبة بالعثور على الأغاني التي تطابق الحالة المزاجية.

ولكن ماذا لو أردت أن تقول: "أريد أغنية تبدو مثل هذا التسجيل لنباح كلب، ولكن مع استبدال النباح بصوت صفارة إنذار، ويجب أن تكون الموسيقى الخلفية من نوع الجاز"؟

أنظمة الذكاء الاصطناعي الحالية تشبه أمناء المكتبة الذين يجيدون قراءة النصوص أو النظر إلى الصور، لكنهم يرتبكون عندما تخلط بينهم جميعاً. فهم يواجهون صعوبة في فهم الطلبات المعقدة التي تتضمن النصوص، والصور، والفيديو، والصوت في آن واحد.

تقدم هذه الورقة البحثية OmniRet، وهو "أمين مكتبة خارق" جديد مصمم للتعامل مع هذه الطلبات المعقدة والمتعددة الوسائط بكفاءة ودقة.

إليك كيف يعمل، مشروحاً عبر تشبيهات بسيطة:

1. المشكلة: عنق زجاجة "المعلومات الكثيرة جداً"

تخيل أنك تطلب من أمين مكتبة العثور على كتاب.

الطريقة القديمة: لفهم فيديو أو مقطع صوتي، يقوم الذكاء الاصطناعي بتفكيكه إلى آلاف القطع الصغيرة (الرموز/Tokens). إنه يحاول حشر أكثر من 500 قطعة من صورة واحدة في دماغ أمين المكتبة دفعة واحدة. هذا يشبه محاولة الشرب من خرطوم حريق؛ الأمر بطيء، فوضوي، ويجعل أمين المكتبة يشعر بالإرهاق.
مشكلة الدقة (Fidelity): لإصلاح مشكلة السرعة، تقوم الأنظمة الأخرى ببساطة بأخذ "متوسط" كل تلك القطع. الأمر يشبه تلخيص فيلم مدته 3 ساعات في جملة واحدة: "رجل يقاتل تنيناً". بهذا تفقد كل التفاصيل الرائعة (لون التنين، الموسيقى، حركات القتال المحددة).

2. الحل: قوتان خارقتان لـ OmniRet

بنى المؤلفون OmniRet باستخدام أداتين خاصتين لحل هذه المشكلات.

القوة الخارقة (أ): "العصر الذكي" (مُعيد عينات الوسائط المشترك - Shared Media Resampler)

بدلاً من حشر خرطوم الحريق بالكامل في دماغ أمين المكتبة، يستخدم OmniRet "عصراً ذكياً".

كيف يعمل: يأخذ تلك الكومة الضخمة من الـ 500+ قطعة صغيرة من صورة أو صوت ويضغطها بذكاء إلى مجموعة صغيرة وثابتة من "أبرز النقاط الرئيسية" (مثل 64 نقطة ملخصة).
التشبيه: تخيل أن لديك تقريراً من 100 صفحة. بدلاً من قراءة كل كلمة، يقوم مساعد ذكي بتحديد أهم 10 جمل وتسليمك إياها فقط.
لماذا هو مميز: هذا "العصر" مشترك. فهو يستخدم نفس القدرة الذهنية للصور والأصوات والفيديوهات، ولكن لديه "ملاحظة خاصة" لكل نوع بحيث يعرف كيف يتعامل مع نباح الكلب بشكل مختلف عن نغمة الكمان. وهذا ما يجعله سريعاً وفعالاً.

القوة الخارقة (ب): "اللقطة عالية الدقة" (تجميع واسيرشتاين المقطوع بالانتباه - Attention Sliced Wasserstein Pooling)

الآن، كيف نضمن عدم فقدان التفاصيل الدقيقة عند ضغط البيانات؟

الطريقة القديمة: أخذ المتوسط يشبه النظر إلى صورة ضبابية.
طريقة OmniRet: يستخدمون تقنية تسمى Attention Sliced Wasserstein Pooling.
التشبيه: تخيل أن لديك حقيبة من الكرات الملونة المختلطة (حمراء، زرقاء، خضراء) وتريد وصف الحقيبة لصديق.
- التجميع المتوسط (Average Pooling) يقول: "إنها حقيبة أرجوانية". (لقد فقدت الألوان).
- OmniRet يقول: "سأقوم بتقسيم هذه الحقيبة إلى طبقات رقيقة. في الشريحة الأولى، أرى معظمها أحمر. في الثانية، معظمها أزرق. في الثالثة، مزيج بينهما". إنه ينشئ خريطة ثلاثية الأبعاد للكرات بدلاً من مجرد لون واحد.
النتيجة: إنه يحافظ على التفاصيل "دقيقة الحبيبات" (مثل حدة صوت صفارة الإنذار أو ملمس القماش) مع الحفاظ على صغر حجم البيانات لتكون سريعة.

3. ساحة التدريب الجديدة (معيار ACM)

لإثبات نجاح ذلك، أدرك المؤلفون أنه لا يوجد "اختبار" جيد للصوت. الاختبارات الموجودة كانت تركز غالباً على الصور والكلمات.

الفجوة: لم يكن أحد يملك طريقة معيارية لاختبار ما إذا كان بإمكان الذكاء الاصطناعي فهم: "ابحث عن فيديو لكلب، ولكن غير نباحه إلى عواء".
الحل: أنشأوا معيار ACM (متعدد الوسائط المرتكز على الصوت). استخدموا ذكاءً اصطناعياً قوياً لتوليد الآلاف من هذه الألغاز المعقدة من نوع "غير هذا الصوت".
النتيجة: عندما اختبروا OmniRet، فقد اكتسح المنافسة. كان النموذج الوحيد الذي يمكنه التعامل مع مهام الصوت المعقدة "المزج والخلط" بفعالية، مع بقائه بارعاً في عمليات البحث القياسية عن الصور والنصوص.

الملخص: لماذا يهم هذا؟

فكر في OmniRet كأنه جهاز التحكم عن بعد العالمي للإنترنت.

قبل ذلك: كنت بحتاج لجهاز تحكم مختلف لتلفازك (فيديو)، ولـ Spotify الخاص بك (صوت)، ولـ Google Search (نص). لم تكن هذه الأجهزة تتواصل مع بعضها بشكل جيد.
الآن: OmniRet هو جهاز تحكم واحد يفهم أنه يمكنك قول: "اعرض لي فيديو لشاطئ، ولكن اجعل الصوت مثل عاصفة رعدية، وابحث لي عن أغنية تناسب تلك الحالة المزاجية".

إنه يحقق ذلك من خلال كونِهِ فعالاً (لا يرهقه كثرة البيانات) وعالي الدقة (يتذكر التفاصيل الصغيرة). هذا يقربنا خطوة كبيرة نحو ذكاء اصطناعي يمكنه حقاً فهم العالم الفوضوي متعدد الحواس الذي نعيش فيه، بدلاً من مجرد قراءة النصوص أو النظر إلى صور ثابتة.

إليك ملخص تقني مفصل لورقة البحث "Efficient and High-Fidelity Omni Modality Retrieval" (OmniRet).

1. تعريف المشكلة

تعالج الورقة القيود التي تواجهها أنظمة الاسترجاع متعددة الوسائط الحالية، والتي تقتصر في الغالب على التفاعلات ثنائية الوسائط (نص-رؤية). وبينما تتفوق نماذج مثل CLIP وBLIP في مهام النص والصورة، إلا أنها تعاني في عمليات الاسترجاع الشامل التي تتضمن ثلاث وسائط أو أكثر (نص، رؤية، وصوت) في آن واحد.

هناك عقبتان حرجتان تمنعان تطوير أنظمة استرجاع شاملة:

الكفاءة الحسابية: يؤدي تغذية تسلسلات الرموز (tokens) الضخمة من مشفرات الوسائط (على سبيل المثال، أكثر من 500 رمز لصورة أو فيديو واحد) مباشرة إلى النماذج اللغوية الكبيرة (LLMs) إلى انفجار حسابي. وهذا يحد من أحجام الدفعات (batch sizes)، مما يؤدي بدوره إلى تدهور فعالية التعلم التبايني (contrastive learning).
دقة التمثيل: غالبًا ما يؤدي ضغط البيانات متعددة الوسائط الغنية في متجه تمثيل (embedding vector) واحد إلى "عنق زجاجة معلوماتي"، مما يتسبب في فقدان التفاصيل الدقيقة. طرق التجميع القياسية (مثل متوسط التجميع أو استخدام رمز [EOS]) تؤدي إلى طمس المعلومات على مستوى الرمز، بينما تعتبر طرق التفاعل المتأخر (مثل ColBERT) مكلفة للغاية حسابيًا للاسترجاع واسع النطاق.

2. المنهجية: بنية OmniRet

OmniRet هو إطار عمل موحد مصمم للتعامل مع الاستعلامات والأهداف المركبة عبر النص، والرؤية، والصوت. وهو يستخدم نموذجًا لغويًا كبيرًا (LLM) مجمدًا كـ "مؤلف شامل"، ويقدم وحدتين مبتكرتين لحل تحديات الكفاءة والدقة.

أ. إعادة أخذ عينات الوسائط المشتركة (Shared Media Resampler) (الكفاءة)

لمعالجة مشكلة انفجار الرموز، قدم المؤلفون إعادة أخذ عينات قائمة على الانتباه (Attention-based Resampler) تعتمد على بنية Perceiver.

الوظيفة: تعمل على تكثيف تسلسلات الرموز الطويلة للوسائط (من مشفرات بصرية أو صوتية) إلى مجموعة مدمجة وثابتة الحجم من المتجهات الكامنة (على سبيل المثال، $N=64$ ) قبل دخولها إلى النموذج اللغوي الكبير.
التصميم: بينما يتم مشاركة إعادة أخذ العينات الأساسية عبر الوسائط لتعزيز التعميم، فإنها تستخدم متجهات كامنة خاصة بكل وسيط تُضاف إلى الاستعلامات المشتركة. يتيح ذلك للنموذج التكيف مع خصائص كل وسيط مع الحفاظ على بنية موحدة.
فقدان التنوع ( $L_{div}$ ): لضمان عدم انهيار الرموز المعاد أخذ عيناتها إلى تمثيل واحد، يتم تطبيق فقدان تنظيم التنوع. وهو يشجع على التعامد بين المتجهات الناتية باستخدام آلية أخذ عينات متفرقة (Dropout) وفقدان $L_1$ سلس، مما يضمن أقصى قدر من الاحتفاظ بالمعلومات.

ب. تجميع "واسرستينين المقطوع بالانتباه" (Attention Sliced Wasserstein Pooling - ASWP) (الدقة العالية)

للتغلب على فقدان المعلومات في التجميع القياسي، اقترح المؤلفون تقنية ASWP لتجميع الحالات الخفية (hidden states) الناتجة عن النموذج اللغوي الكبير في تمثيل نهائي.

الآلية: بدلاً من المتوسط الحسابي، تعامل ASWP مجموعة رموز النموذج اللغوي كـ "توزيع". وهي تقارن هذا التوزيع بمجموعة من النقاط المرجعية القابلة للتعلم عبر عدة إسقاطات أحادية البعد (slices).
العملية:
1. التقطيع (Slicing): إسقاط توزيع الرموز والنقاط المرجعية على $L$ من الاتجاهات العشوائية.
2. الاقتران مونج (Monge Coupling): حساب مسافة النقل الأمثل أحادية البعد (Monge coupling) لكل شريحة، مما يخلق واصفًا "شبيهًا بالمدرج التكراري" يحافظ على المعلومات الهيكلية الدقيقة.
3. الاختيار الصعب (Hard Selection): استخدام مقدر الحد الأقصى للمرور المباشر (Straight-Through Maximum - STM) لاختيار الميزات الأكثر صلة من الواصفات المقطوعة، مما يسمح بتدفق التدرجات عبر عملية الاختيار المنفصلة.
الفائدة: تحافظ هذه الطريقة على دقة مستوى الرمز (على عكس متوسط التجميع) مع الحفاظ على كفاءة نظام الاسترجاع ذي المتجه الواحد (على عكس نماذج التفاعل المتأخر).

ج. استراتيجية التدريب

البنية: تستخدم GTE-Qwen2-1.5B-Instruct كعمود فقري للنموذج اللماوي. تستخدم المدخلات البصرية مشفرات SigLIP؛ والمدخلات الصوتية مشفرات QwenAudio. يتم تدريب المشاريع (projectors)، وإعادة أخذ العينات، وASWP، ومهايئات LoRA فقط؛ بينما تظل المشفرات والنموذج اللغوي مجمدة.
البيانات: تم التدريب على تجميع لـ ~6.2 مليون زوج من الاستعلام-الهدف من 30 مجموعة بيانات متنوعة (بما في ذلك النص، والصورة، والفيديو، والصوت).
دوال الفقد (Loss Functions): مزيج من فقدان Hard-negative InfoNCE، وفقدان Triplet، وفقدان التنوع (Diversity loss).

3. المساهمات الرئيسية

إطار عمل OmniRet: أول نموذج استرجاع قادر على التعامل مع الاستعلامات المركبة التي تمتد عبر النص، والرؤية، والصوت في وقت واحد.
مكونات بنيوية مبتكرة:
- إعادة أخذ عينات الوسائط المشتركة: تحل مشكلة الكفاءة عبر ضغط رموز الوسائط دون فقدان الحساسية الخاصة بكل وسيط.
- ASWP: تقنية تجميع جديدة تجسر الفجوة بين كفاءة المتجه الواحد ودقة مستوى الرمز.
اختبار ACM (المتعدد الوسائط المرتكز على الصوت):
- اختبار مرجعي جديد تم تنسيقه من مجموعة بيانات VGG-Sound لتقييم الاسترجاع الشامل لما وراء النص-الرؤية.
- يقدم مهمتين كانتا مفقودتين سابقًا: الاسترجاع الصوتي المركب (صوت + نص $\leftarrow$ صوت) و الاسترجاع السمعي البصري (صوت $\leftarrow$ صورة/فيديو).
- تم توليد نصوص تعديل عالية الجودة اصطناعيًا باستخدام Gemini 2.5 والتحقق منها عبر التقييم البشري.
استراتيجية تدريب واسعة النطاق: منهج تعليمي من مرحلتين (الإحماء على المهام أحادية الوسائط، يليه ضبط دقيق على جميع مجموعات البيانات الـ 30) مما يتيح تعميمًا قويًا.

4. النتائج التجريبية

تم تقييم النموذج في 13 مهمة استرجاع (M-BEIR الموسعة)، وجزء من MMEBv2، واختبار ACM الجديد.

أداء M-BEIR: يحقق OmniRet أداءً رائدًا (SOTA) في مهام الاسترجاع المركب التي تتضمن الصور، والفيديوهات، والأصوات. وهو يتفوق بشكل كبير على النماذج المتخصصة (مثل CLAP للصوت أو ImageBind للسمعي البصري) والنماذج متعددة المهام (مثل VLM2VecV2)، خاصة في سيناريوهات الاستعلام المركب.
التعميم في MMEBv2: رغم عدم خضوعه لضبط دقيق كامل لمجموعات بيانات الفيديو المحددة، يحقق OmniRet نتائج رائدة (SOTA) في مهام استرجاع الفيديو واسترجاع اللحظات، مما يدل على قدرة قوية على التعميم في حالة عدم وجود بيانات (zero-shot).
اختبار ACM:
- الصوتي المركب (A,T $\to$ A): يتفوق OmniRet (23.0 Recall@5) بشكل كبير على أقوى خط أساس (خط أنابيب متعدد المراحل يستخدم Gemma + QwenOmni بنسبة 44.6، رغم أن خط الأنابيب هذا ثقيل حسابيًا وأقل كفاءة) وعلى النماذج المتخصصة مثل CLAP (16.1). ملاحظة: يبدو أن درجة خط الأنابيب القائم على النص في الجدول 4 أعلى، لكن الورقة تجادل بأنه غير فعال ويفشل في المهام الأخرى.
- السمعي البصري (A $\to$ V/I): يطابق OmniRet أو يتجاوز أداء ImageBind وOmniBind، مما يثبت قدرته على محاذاة الصوت مع الوسائط البصرية بفعالية.
دراسات الاستئصال (Ablation Studies):
- إزالة "إعادة أخذ العينات" (Resampler) يخفض الأداء بنسبة ~3.5%.
- استبدال ASWP بمتوسط التجميع (Average Pooling) يسبب انخفاضًا هائلًا (~29.5%)، مما يؤكد الحاجة إلى تجميع عالي الدقة.
- "فقدان التنوع" (Diversity Loss) أمر بالغ الأهمية؛ حيث يؤدي إزالته إلى انخفاض بنسبة 3.1%.

5. الأهمية

يمثل هذا العمل قفزة نوعية نحو الاسترجاع المعلوماتي الشامل.

الواقعية: من خلال حل مشكلة الكفاءة الحسابية، يجعل OmniRet من الممكن نشر أنظمة الاسترجاع الشاملة في التطبيقات الواقعية (مثل أنظمة RAG، ومحركات التوصية) التي تتطلب فهمًا لنية المستخدم متعددة الوسائط والمعقدة.
التقدم في مجال الصوت: يسد فجوة حرجة في المجال من خلال توفير إطار عمل واختبار مرجعي قوي للصوت، وهو وسيط كان تاريخيًا أقل خدمة مقار بالصوت والرؤية.
الرؤية البنيوية: يوفر تقديم ASWP نموذجًا جديدًا لتجميع التضمينات (embeddings)، مما يثبت أنه يمكن تحقيق تمثيلات عالية الدقة دون التكاليف الباهظة لنماذج التفاعل المتأخر.

في الختام، نجح Omni-Ret في توحيد النص، والرؤية، والصوت في مساحة تضمين واحدة، كفؤة، وعالية الدقة، واضعًا معيارًا جديدًا لأنظمة الاسترجاع متعددة الوسائط الشاملة.