💬 NLP

Unveil: Unified Visual-Textual Integration and Distillation for Multi-modal Document Retrieval

تقترح هذه الورقة البحثية Unveil، وهو إطار عمل مبتكر يدمج الميزات البصرية والنصية لاسترجاع المستندات متعدد الوسائط بشكل قوي، ويوظف تقنية تقطير المعرفة لنقل هذه القدرة إلى نموذج بصري فقط يتسم بالكفاءة ولا يتطلب عملية تحليل.

المؤلفون الأصليون: Hao Sun, Yingyan Hou, Jiayan Guo, Bo Wang, Chunyu Yang, Jinsong Ni, Yan Zhang

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hao Sun, Yingyan Hou, Jiayan Guo, Bo Wang, Chunyu Yang, Jinsong Ni, Yan Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على صفحة محددة في مكتبة ضخمة من الوسائط المختلطة: بعض الصفحات عبارة عن نصوص فقط، وبعضها رسوم بيانية معقدة، وبعضها صور مع تعليقات توضيحية، وبعضها مزيج فوضوي من الثلاثة معاً.

المشكلة: البحث "الذي لا يناسب أحداً"
تعاني محركات البحث الحالية لهذه المستندات من معضلة:

أمين المكتبة "المتخصص في النصوص فقط": هذا الأمين بارع في قراءة الكلمات. يمكنه العثور فوراً على مستند إذا سألته عن جملة محددة. ولكن إذا كان المستند عبارة عن رسم بياني أو مخطط لا يحتوي على كلمات، أو إذا كان النص غير واضح وصعب القراءة، فإنه يرتبك. غالباً ما يفتقد الصورة الكبيرة لأنه يتجاهل التخطيط البصري.
أمين المكتبة "المتخصص في الصور فقط": هذا الأمين ينظر إلى الصورة ككل. هو يفهم الرسوم البيانية، والألوان، وأماكن وضع العناصر. لكنه يعاني في قراءة الخطوط الصغيرة. إذا سألته عن كلمة محددة مخبأة في ملصق صغير جداً، فقد يفوتها لأنه ليس بارعاً في "قراءة" النص الموجود داخل الصورة.

الحل: "Unveil" (الكشف)
قام الباحثون وراء نظام Unveil (التكامل والتقطير الموحد بين المرئي والنصي) ببناء نظام جديد يعمل كأنه "أمين مكتبة خارق" يمكنه القيام بالوظيفتين معاً بإتقان، ثم يقوم بتعليم مساعد أبسط للقيام بنفس المهمة تقريباً دون الحاجة إلى القراءة.

إليك كيف فعلوا ذلك، باستخدام تشبيه بسيط:

الخطوة 1: "رئيس الطهاة" (النموذج المتكامل بصرياً ونصياً)

أولاً، قاموا بتدريب "رئيس طهاة" (النموذج المعلم - Teacher Model).

كيف يعمل: يحصل رئيس الطهاة هذا على مكونين: صورة المستند وكذلك النص المستخرج منه (باستخدام أداة تسمى OCR، وهي بمثابة ماسح ضوئي يحول صور الكلمات إلى نصوص رقمية).
النتيجة: لأن رئيس الطهاة يمتلك كلاً من الصورة والكلمات، فإنه يفهم المستند تماماً. هو يعرف كيف يبدو الرسم البياني ويعرف أيضاً بالضبط ما تقوله الأرقام. هذا الشيف ذكي للغاية ولكنه يستغرق وقتاً طويلاً في "الطهي" لأنه يحتاج لمعالجة كلا المكونين.

الخطوة 2: "المتدرب" (النموذج البصري فقط)

بعد ذلك، أرادوا مساعداً أسرع وأقل تكلفة (النموذج الطالب - Student Model) يمكنه العمل بدون مكون النص.

التحدّدي: إذا أخبرت المتدرب فقط أن ينظر إلى الصورة، فغالباً ما سيفقد التفاصيل الدقيقة التي التقطها رئيس الطهاة لأنه لا يستطيع قراءة النص.
الخدعة السحرية (التقطير المعرفي - Knowledge Distillation): بدلاً من مجرد إخبار المتدرب "هذا رسم بياني"، يقوم رئيس الطهاة بتعليمه من خلال إظهار كيف يفكر.
- المحاذاة (Alignment): يحاول المتدرب محاكاة "الخريطة الذهنية" لرئيس الطهاة حول المستند.
- الملصقات الناعمة (Soft Labels): لا يكتفي رئيس الطهاة بالقول "نعم، هذه هي الإجابة الصحيحة"، بل يقول: "هذه الإجابة صحيحة بنسبة 90%، وتلك صحيحة بنسبة 10%". هذا يساعد المتدرب على تعلم الفروق الدقيقة في عملية البحث.
- إعادة الوزن التكيفي (Adaptive Re-Weighting): إذا أخطأ المتدرب في مستند معين، يقوم رئيس الطهاة بتسليط الضوء على هذا الخطأ تحديداً ويقول له: "انتبه جيداً لهذا الجزء!".

النتيجة: وضعيتان لكل احتياج

بمجرد انتهاء التدريب، يوفر نظام Unveil طريقتين للبحث، اعتماداً على ما تحتاجه:

"وضع الدقة" (البصري-النصي): عندما تحتاج إلى أفضل دقة ممكنة ولا تمانع الانتظار قليلاً، تستخدم "رئيس الطهاة". فهو ينظر إلى الصورة و النص ليجد ما تبحث عنه بالضبط.
"وضع السرعة" (البصري فقط): عندما تحتاج للبحث في آلاف المستندات فوراً ولا يمكنك الانتظار حتى ينتهي الماسح الضوئي للنصوص (OCR)، تستخدم "المتدرب". ولأن رئيس الطهاة علمه جيداً، يمكن للمتدرب العثور على المستند الصحيح بمجرد النظر إلى الصورة، بدقة تقارب دقة رئيس الطهاة، ولكن بسرعة أكبر بكثير.

لماذا يهم هذا الأمر؟

تظهر الورقة البحثية أن هذا النظام الجديد يتفوق على أمناء المكتبة القدامى ("المتخصص في النصوص فقط" و"المتخصص في الصور فقط") في كل الاختبارات تقريباً.

هو أفضل في العثور على المستندات ذات الرسوم البيانية المعقدة مقارنة بالباحثين الذين يعتمدون على النصوص فقط.
هو أفضل في العثور على كلمات محددة في المستندات المليئة بالنصوص مقارنة بالباحثين الذين يعتمدون على الصور فقط.
والأهم من ذلك، أن "وضع السرعة" (المتدرب) جيد جداً لدرجة أنك لن تحتاج إلى ماسح النصوص البطيء بعد الآن للعديد من المهام، مما يوفر الوقت وقوة المعالجة الحاسوبية مع الحصول على نتائج رائعة.

باختصار، يخلق نظام Unveil نظاماً ذكياً يتعلم القراءة والرؤية في آن واحد، ثم يعلّم نسخة أسرع كيفية القيام بالمهمة بمجرد النظر، مما يسد الفجوة بين فهم الكلمات وفهم الصور.

ملخص تقني: Unveil: التكامل الموحد بين المرئي والنصي والتقطير لاسترجاع المستندات متعدد الوسائط

بيان المشكلة

تواجه عملية استرجاع المستندات في العالم الحقيقي تحديات كبيرة بسبب تنوع تنسيقات المستندات، والتي تشمل النصوص، والصور، والمخططات، والتخطيطات البصرية المعقدة. تظهر النهج الحالية قيوداً متميزة اعتماداً على نوع الوسائط:

الأساليب القائمة على النص: تعتمد خطوط المعالجة التقليدية على التعرف الضوئي على الحروف (OCR) لتحويل المستندات إلى نصوص قابلة للقراءة آلياً، يتبع ذلك الاسترجاع اللغوي (مثل BM25) أو القائم على التضمين (مثل DPR). تفرض هذه الأساليب عبئاً حوسبياً إضافياً وتتسبب في أخطاء محتملة في التعرف. والأهم من ذلك، أنها غالباً ما تتجاهل العناصر السياقية البصرية الحيوية (التخطيط، الرسومات) الضرورية للفهم.
الأساليب القائمة على الرؤية: تستخدم النهج الحديثة التي لا تعتمد على التحليل (parsing-free) نماذج اللغة المرئية-اللغوية (VLMs) لمعالجة لقطات شاشة المستندات مباشرة. وبينما تعد هذه الأساليب فعالة في الحفاظ على المعلومات الهيكلية والرسومية، إلا أن التحليل التجريبي يكشف عن معاناتها في التقاط الدلالات النصية الدقيقة في السيناريوهات الغنية بالنصوص.

يتمثل التحدي الجوهري المكتشف في أن الأساليب القائمة على النص تتفوق في الدلالات اللغوية لكنها تغفل التخطيط، بينما تحافظ الأساليب البصرية البحتة على السياق لكنها تفتقر إلى الفهم اللغوي العميق. ولا توجد طريقة حالية تتكيف بفعالية عبر كل من السيناريوهات الغنية بالنصوص والسيناريوهات الغنية بالصور.

المنهجية: إطار عمل Unveil

يقترح المؤلفون إطار عمل Unveil (التكامل الموحد بين المرئي والنصي والتقطير)، وهو مصمم لسد الفجوة بين النهج المرئي-النصي والنهج البصري فقط. يعمل إطار العمل في مرحلتين:

1. التضمين النصي-البصري (النموذج المعلم - Teacher Model)

المكون الأول هو بنية مشفر مزدوج يعالج صور المستندات والنصوص المستخرجة عبر الـ OCR بشكل مشترك.

المدخلات: تتم معالجة صورة المستند بواسطة مشفر رؤية لتوليد رموز بصرية (visual tokens). وفي الوقت نفسه، يستخرج الـ OCR وصفاً نصياً.
التكامل: يتم دمج هذه العناصر مع "مطالبة" (prompt) (على سبيل المثال: <s><img> <description> ما الذي يظهر في هذه الصورة؟</s>) وتغذيتها إلى نموذج لغة.
التمثيل: يولد النموذج تضمينات (embeddings) باستخدام رمز نهاية التسلسل (</s>) من الحالة المخفية الأخيرة.
التدريب: يتم تحسين النموذج باستخدام فقدان InfoNCE لتعظيم التشابه بين أزواج الاستعلام-المستند ذات الصلة.

2. تقطير المعرفة (من المعلم إلى الطالب - Teacher to Student)

لتمكين الاسترجاع عالي الكفاءة الذي لا يتطلب تحليلاً (parsing-free)، يتم نقل الفهم الدلالي للنموذج المعلم (المرئي-النصي) إلى نموذج طالب (بصري فقط). يستقبل نموذج الطالب صورة المستند فقط كمدخل أثناء الاستنتاج. وتستخدم عملية التقطير ثلاث استراتيجيات محددة:

محاذاة التمثيل (Representation Alignment): يتم تدريب نموذج الطالب لتقليل المسافة بين تمثيلات الاستعلام والمستند الخاصة به وتلك الخاصة بالنموذذ المعلم ( $L_{align}$ ). وهذا يجبر النموذج البصري فقط على ترميز الدلالات النصية ضمنياً.
التقطير بالملصقات الناعمة (Soft Label Distillation): بدلاً من الملصقات الصارمة (one-hot labels)، يقدم المعلم توزيعاً احتمالياً دقيقاً عبر مجموعة مستندات النموذج. ويتم تدريب الطالب لمطابقة هذا التوزيع باستخدام تباعد كولباك-لايبلر ( $L_{soft}$ )، مما يسمح له بتعلم علاقات التشابه الدقيقة.
إعادة الوزن التكيفي (Adaptive Re-Weighting): يقوم إطار العمل ديناميكياً بتحديد الحالات التي يختلف فيها النموذج الطالب والمعلم بشكل كبير. ويتم تخصيص أوزان أعلى لهذه الحالات أثناء التدريب للتركيز على تعلم الطالب في الحالات الصعبة.

دالة الفقد الإجمالية تجمع هذه المكونات: $L_{total} = \sum w_i \times (L_{align} + L_{soft})$ .

أوضاع الاستنتاج

يوفر Unveil مرونة بناءً على احتياجات التطبيق:

الوضع النصي-البصري (Visual-Textual Mode): يستخدم كلاً من الـ OCR والصور لتحقيق أقصى قدر من الأداء في سيناريوهات الدقة العالية.
الوضع البصري فقط (Visual-Only Mode): يستخدم النموذج البصري المقطر بدون OCR، مما يقلل من العبء الحوسبي مع الحفاظ على دقة تنافسية.

المساهمات الرئيسية

تحديد فجوات الوسائط: أثبت المؤلفون أن الأساليب الحالية القائمة على النص أو البصر تفشل في التكيف بفعالية عبر سيناريوهات المستندات المختلفة (الغنية بالنصوص مقابل الغنية بالصور).
إطار عمل موحد (Unveil): تقديم نهج تضمين مرئي-نصي يدمج كلا الوسيطين لإنشاء تمثيلات شاملة للمستندات.
استراتيجيات التقطير: اقتراح تقنيات محددة (محاذاة التمثيل، التقطير بالملصقات الناعمة، إعادة الوزن التكيفي) لنقل الفهم النصي القوي من معلم مرئي-نصي إلى طالب بصري فقط، مما يتيح الاسترجاء دون الحاجة للتحليل (parsing-free) دون فقدان الدقة.
التحقق التجريبي: تجارب واسعة النطاق تظهر أن الطريقة المرئية-النصية تتفوق على جميع النماذج المرجعية الحالية، وأن النموذج البصري (الذي يعتمد على الرؤية فقط) والمقطر نجح في سد الفجوة في الأداء بين النهج المرئي-النصي والنهج البصري فقط.

النتيات التجريبية

تم تقييم إطار العمل على 12 مجموعة بيانات تغطي سيناريوهين رئيسيين: استرجاع المستندات المرئية (مثل MP-DocVQA، ChartQA، SlideVQA) واسترجاع صفحات الويب (مثل NQ، TriviaQA، HotpotQA).

التفوق في الأداء: حقق نموذج Unveil المرئي-النصي باستمرار أعلى أداء استرجاع (مقاساً بـ Recall@10 و MRR@10) عبر جميع السيناريوهات، متفوقاً على كل من النماذج النصية البحتة (مثل BM25، BGE-Large) والنماذج البصرية البحتة (مثل SigLIP، ColPali، DSE).
فعالية التقطير: حقق النموذج البصري (الذي يعتمد على الرؤية فقط) المقطر أداءً مقارباً للنموذج المعلم وتفوق بشكل ملحوظ على النماذج المرجعية البصرية الأخرى. على سبيل المثال، في استرجاع المستندات المرئية، حقق النموذج المقطر متوسط استدعاء (Recall) قدره 87.06%، متجاوزاً أفضل نموذج مرجعي بصري (VisRAG بنسبة 86.08%) ومقارباً للمعلم الذي سجل 86.93%.
دراسات الاستئصال (Ablation Studies): أدى إزالة أي مكون من عملية التقطير (المحاذاة، الملصقات الناعمة، أو إعادة الوزن) إلى تدهور الأداء، مما يؤكد ضرورة كل استراتيجية.
تحليل طول النص: أشارت الدراسة إلى أنه بينما يحسن زيادة طول النص من أداء المعلم، إلا أنه يترتب عليه تكاليف استنتاج. وتسمح عملية التقطير للطالب بالتقاط فوائد فهم السياق الطويل دون العبء الحوسبي المرتبط به.

الأهمية والادعاءات

يزعم البحث أن Unveil يعالج المقايضة الأساسية بين الدقة الدلالية والكفاءة الحوسبية في استرجاع المستندات متعدد الوسائط. ومن خلال النجاح في نقل قدرات "الفهم النصي" من نموذج يعتمد على الـ OCR إلى نموذج بصري بحت، يتيح Unveil استرجاعاً لا يتطلب تحليلاً (parsing-free) لا يضحي بالدقة.

يؤكد المؤلفون أن نهجهم يقدم نظاماً مرناً: حيث يمكن للمستخدمين اختيار الوضع النصي-البصري للحصول على أقصى قدر من الدقة في السيناريوهات المعقدة، أو الوضع البصري المقطر للتطبيقات التي تتطلب كفاءة عالية. يوضح العمل أن تقطير المعرفة هو مسار قابل للتطبيق للتغلب على قيود النهج أحادية الوسائط، مما يوحد بفعالية نقاط القوة لكل من النص والرؤية من أجل استرجاع قوي للمستندات.