💬 NLP

Structural Anchor Pruning: Training-Free Multi-Vector Compression for Visual Document Retrieval

تقدم الورقة البحثية إطار عمل "تقليم المرساة الهيكلية" (SAP)، وهو إطار عمل لا يتطلب تدريباً ولا يعتمد على الاستعلام، يحقق ضغطاً عالياً في استرجاع الوثائق المرئية من خلال تحديد والحفاظ على "هضبة هيكلية" مستقرة ضمن الطبقات المتوسطة للنموذج، مما يحافظ على أكثر من 90% من أداء الاسترجاع مع تقليم أكثر من 90% من الرموز المرئية دون الحاجة إلى ضبط خاص لكل نموذج.

المؤلفون الأصليون: Zhuchenyang Liu, Ziyu Hu, Yao Zhang, Yu Xiao

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhuchenyang Liu, Ziyu Hu, Yao Zhang, Yu Xiao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة الكبيرة: مكتبة "البيانات الزائدة"

تخيل أن لديك مكتبة ضخمة من المستندات (مثل ملفات PDF، والرسوم البيانية، والنماذج). لكي تجد المستند المناسب عندما يسأل شخص ما سؤالاً، فإنك تستخدم أمين مكتبة ذكياً يعمل بالذكاء الاصطناعي. هذا الذكاء الاصطناعي لا يقرأ النص فحسب؛ بل ينظر أيضاً إلى الصور وتنسيق الصفحات.

للقيام بذلك، يقوم الذكاء الاصطناعي بتفكيك كل صفحة إلى آلاف القطع الصغيرة من أحجية الصور المقطوعة (تسمى "الرموز البصرية" أو visual tokens). وهو ينشئ خريطة مفصلة وضخمة لكل صفحة على حدة.

الخبر الجيد: هذا يجعل عملية البحث دقيقة للغاية.
الخبر السيئ: تخزين هذه الخرائط لملايين المستندات يستغرق مساحة تيرابايت (مثل مستودع ضخم). إنه ثقيل للغاية ومكلف للغاية للاحتفاظ به في نظام واقعي.

الحلول الفاشلة: التخلص من الأشياء بعشوائية

حاول الباحثون تقليص حجم هذه الخرائط عن طريق التخلص من 90% من قطع الأحجية، مع الاحتفاظ فقط بالقطع "المهمة".

خدعة "الصفحة الأخيرة": حاول البعض النظر فقط إلى الطبقة الأخيرة من عقل الذكاء الاصطناعي لتحديد ما يجب الاحتفاظ به. النتيجة: فشلت المحاولة. كان الذكاء الاصطناعي قد أعاد بالفعل ترتيب القطع للإجابة على أسئلة محددة، لذا فُقدت القطع "المهمة" الخاصة بـ البنية الهيكلية.
الخدعة "العشوائية": اختار آخرون قطعاً بشكل عشوائي. النتيجة: كانت جيدة نوعاً ما، ولكن ليست رائعة.
خدعة "إعادة التدريب": حاول البعض تعليم الذكاء الاصطناعي طريقة جديدة لضغط البيانات. النتيجة: نجحت هذه الطريقة، لكنها تطلبت إعادة تدريب الذكاء الاصطناعي بالكامل من الصالب، وهو أمر بطيء ومكلف وصعب التنفيذ للنماذج الجديدة.

الحل الجديد: تقليم المرساة الهيكلية (SAP)

يقترح المؤلفون طريقة جديدة تسمى تقليم المرساة الهيكلية (Structural Anchor Pruning - SAP). وهي طريقة لا تتطلب تدريباً (لا تحتاج لتعليم الذكاء الاصطناعي أي شيء جديد) ومستقلة عن الاستعلام (تعمل بنفس الطريقة بغض النظر عن السؤال المطروح).

إليك كيف تعمل، باستخدام تشبيه خريطة المدينة:

1. إيجاد "الهضبة الهيكلية" (الحي المستقر)

اكتشف المؤلفون أن عقل الذكاء الاصطناعي يحتوي على منطقتين متميزتين:

المنطقة أ (الوسط): هنا، يقوم الذكاء الاصطناعي ببناء خريطة مستقرة ومفصلة للمستند. إنها تشبه مدينة حيث الشوارع والمباني والمنتزهات محددة ومتصلة بوضوح. هذا هو "الهضبة الهيكلية" (Structural Plateau).
المنطقة ب (النهاية): هنا، يبدأ الذكاء الاصطناعي في طي تلك الخريطة لتناسب استعلام بحث محدد. إنه يشبه أخذ خريطة تلك المدينة وطيها لتصبح طائر "أوريغامي" صغيراً ليناسب الجيب. بهذا، يتشوه مخطط الشوارع الأصلي.

الرؤية المستخلصة: إذا كنت تريد تقليص حجم الخريطة دون فقدان تخطيط المدينة، يجب عليك القيام بذلك في المنطقة أ، قبل أن يبدأ الذكاء الاصطناعي في طيها لتصبح مثل "الأوريغامي".

2. تشخيص "الاحتفاظ بالدرجة" (فحص الجودة)

لتحديد أين تنتهي المنطقة "أ" وأين تبدأ المنطقة "ب"، اخترع المؤلفون أداة تسمى الاحتفاظ بالدرجة (Score Retention - SR).

تخيل أن لديك صورة مثالية عالية الدقة لمستند ما.
ثم تأخذ نسخة مشوشة ومقتصة منها.
تسأل أداة (SR): "هل لا تزال هذه النسخة المشوشة تبدو تماماً مثل الأصل عند مقارنتهما؟"
من خلال اختبار طبقات مختلفة من الذكاء الاصطناعي، وجدوا الطبقة "المثالية" التي لا تزال فيها بنية المستند مثالية، ولكن قبل أن تبدأ في التشوه بسبب عمليات البحث المحددة.

3. "الدرجة الداخلة البصرية" (إيجاد المراكز الحيوية)

بمجرد العثور على "الحي" المناسب (النافذة الهيكلية)، كان عليهم معرفة أي قطع محددة يجب الاحتفاظ بها.

نظروا إلى كيفية "تواصل" القطع مع بعضها البعض.
بعض القطع تشبه محطات القطارات المزدحمة (المراسي/Anchors). ترسل مئات القطع الأخرى انتباهها إلى هذه المحطات.
قطع أخرى تشبه الأزقة المسدودة.
تقوم تقنية (SAP) بالاحتفاظ بـ محطات القطارات (المراسي) لأنها تحمل معظم المعلومات حول بنية المستند. وهي تتخلص من الأزقة المسدودة.

النتائج: تقليص حجم المستودع

اختبر المؤلفون هذه الطريقة على ثلاثة نماذج مختلفة من الذكاء الاصطناعي (بعمق 18 و28 و36 طبقة).

الضغط: تخلصوا من 90% من البيانات (الاحتفاظ بـ 10% فقط من قطع الأحجية).
الجودة: رغم التخلص من هذا القدر الكبير، ظلت دقة البحث أكثر من 90% من النظام المثالي الأصلي.
السرعة: لأن الفهرس أصغر بـ 10 مرات، أصبح البحث أسرع بـ 8 مرات تقريباً.
التكلفة: لم يتطلب الأمر أي إعادة تدريب. أنت فقط تطبق القاعدة، وهي تعمل على أي نموذج.

الملخص

فكر في تقليم المرساة الهيكلية (SAP) كأنه أمين مكتبة ذكي يعرف بالضبط أي صفحات من الموسوعة الضخمة يجب تصويرها ضوئياً (Photocopy).

هو لا يكتفي بنسخ الصفحة الأخيرة فقط (لأنها تكون محددة للغاية).
ولا يكتفي بنسخ صفحات عشوائية.
بدلاً من ذلك، يجد "القسم الأوسط" حيث تكون الحقائق أكثر استقراراً، ويحدد "الفصول الرئيسية" التي تربط كل شيء معاً، وينسخ تلك الفصول فقط.
النتيجة هي كتاب صغير وخفيف الوزن، لكنه لا يزال يحكي القصة كاملة وبشكل مثالي، دون الحاجة لإعادة كتابة الموسوعة أولاً.

ملخص تقني: تقليم المرساة الهيكلية (SAP)

بيان المشكلة
مكّنت نماذج الرؤية واللغة (VLMs) الحديثة، مثل ColPali، استرجاع المستندات البصرية الدقيق (VDR) من خلال تمثيل المستندات كحقائب من تضمينات الرقع البصرية (visual patch embeddings). وبينما يلتقط نهج "التفاعل المتأخر" (late interaction) متعدد المتجهات هذا التفاصيل الهيكلية الغنية، فإنه يتسبب في عبء تخزيني باهظ، حيث تتوسع الفهارس خطياً مع عدد الرقع (لتصل غالباً إلى تيرابايتات في المجموعات الضخمة). وتنقسم الحلول الحالية لهذه العقبة إلى فئتين:

الأسالين المعتمدة على التدريب (مثل Light-ColPali): فعالة ولكنها تتطلب إعادة تدريب كاملة وتعديلات على النموذج، مما يحد من قابليتها للتطبيق في حالة "التعلم الصفري" (zero-shot).
الأساليب غير المعتمدة على التدريب (مثل DocPruner، والتقليم العشوائي، والتجميع الدلالي): توفر هذه الأساليب حلولاً برمجية نمطية، لكنها تعاني من تدهور حاد في الأداء تحت نسب الضغط القوية (تقليل بنسبة ≥80%). وقد جادلت الدراسات السابقة بأن التقليم الفعال عالي الضغط يعتمد بطبيعته على الاستعلام (query-dependent)، مما يجعل الاستراتيجيات الثابتة غير المعتمدة على التدريب غير كافية.

المنهجية: تقليم المرساة الهيكلية (SAP)
يقترح المؤلفون إطار عمل تقليم المرساة الهيكلية (SAP)، وهو إطار تقليم ذاتي المعايرة، غير معتمد على التدريب، وغير مرتبط بالاستعلام، يعمل في مرحلة الفهرسة. يعمل SAP عبر ثلاث مراحل:

تشخيص الاحتفاظ بالدرجة (SR Diagnostic):
قدم المؤلفون مقياس SR، وهو مقياس "صندوق أبيض" (white-box) يقيس مدى دقة التمثيلات المقلمة من خلال قياس الحفاظ على درجات MaxSim الخام بين الاستعلام والمستند. وخلافاً لمقياس NDCG، الذي يعتمد على المجموعة النصية ويخلط بين فقدان المعلومات وتحولات الترتيب، يقوم SR بعزل فقدان المعلومات الجوهري لكل زوج (استعلام، مستند).
اختيار النافذة الموجه بـ SR:
باستخدام SR كإشارة تشخيصية، يحدد الإطار تلقائياً "نافذة التقليم الهيكلي" داخل هيكل نموذج VLM دون الحاجة لضبط المعلمات الفائقة (hyperparameters) لكل نموذج. تحدد هذه العملية ما يسمى تباعد التجميع والاصطفاف (Alignment-Aggregation Divergence):

مرحلة التجميع (الهضبة الهيكلية - Structural Plateau): كتلة متصلة من الطبقات المتوسطة حيث تقوم الرموز البصرية بتجميع المعلومات إلى "رقع مرساة" (anchor patches) ذات مركزية عالية، مما يحافظ على الهيكل البصري للمستند.
مرحلة الاصطفاف (الطبقات النهائية - Alignment Phase): تقوم الطبقات النهائية بإعادة تشكيل التمثيلات إلى شكل متفرق (sparse) ومتوافق مع الاستعلام، مُحسَّن للاسترجاع التبايني (MaxSim). هذه العملية تعمل على "تفريغ" خريطة الانتباه، مما يدمر الإشارات الهيكلية الكثيفة اللازمة للتقليم الفعال.
يحدد إجراء التوجيه بـ SR الحد الذي تنخفض عنده درجات الاحتفاظ عن الوسيط العالمي، واضعاً نافذة التقليم مباشرة قبل منطقة الاصطفاف هذه.

تسجيل المركزية البصرية لدرجة الداخل (Visual In-Degree Centrality Scoring):
داخل النافذة المختارة تلقائياً، يحدد SAP رقع المرساة عبر حساب المركزية البصرية لدرجة الداخل للرموز. ومن خلال معاملة آلية الانتباه الذاتي كرسوم بيانية موجهة (مقتصرة على الانتباه من بصري إلى بصري)، تقوم الطريقة بجمع أوزان الانتباه التي تتلقاها كل رقعة عبر جميع الرؤوس والطبقات في النافذة. تعمل الرقع ذات درجة الداخل العالية كـ "محاور معلومات" (information hubs) ويتم الاحتفاظ بها كجوهر دلالي للمستند.

المساهمات الرئيسية

تحدي فرضية الاعتماد على الاستعلام: يثبت البحث أن التقليم الفعال عالي الضغط لا يتطلب تدريباً يعتمد على الاستعلام. ومن خلال استهداف "الهضبة الهيكلية" بدلاً من طبقات الاصطفاف النهائية، يحقق SAP ضغطاً عالياً دون الحاجة لتكيف مع كل استعلام.
الاختيار التلقائي للنافذة: إجراء خالٍ من الملصقات (label-free) وخالٍ من التدريب، يحدد تلقائياً طبقات التقليم المثلى لأي بنية هيكلية (تم اختبارها على نماذج مكونة من 18، 28، و36 طبقة) دون ضبط يدوي.
الرؤية الآلية (Mechanistic Insight): يوضح تحديد تباعد التجميع والاصطفاف سبب فشل طرق التقليم في الطبقات النهائية (مثل EOS-attention) تحت الضغط الشديد: الطبقات النهائية تُحسِّن ترتيب الاسترجاع على حساب المعلومات الهيكلية اللازمة لاختيار الرموز.
الكفاءة: يقدم SAP عبئاً حسابياً ضئيلاً (أقل من 0.03% من زمن انتقال المرور الأمامي) مقارنة بالطرق المعتمدة على التجميع، والتي تتسبب في عبء يصل إلى ~6%.

النتائج التجريبية
تم تقييم SAP على معايير ViDoRe v1 وv2 عبر ثلاث بنيات (ColPali، ColQwen2، وJina Embeddings v4)، وأظهر النتائج التالية:

احتفاظ عالٍ تحت الضغط الشديد: عند نسبة احتفاظ $\gamma = 0.10$ (تقليل بنسبة 90%)، يحتفظ SAP بأكثر من 90% من NDCG@5 في ViDoRe v1 وأكثر من 76% في ViDoRe v2 الأكثر صعوبة.
التفوق على النماذج المرجعية: يتفوق SAP باستمرار على النماذج المرجعية غير المعتمدة على التدريب (Random، Semantic Clustering، EOS-Adaptive) ويطابق أو يتجاوز أداء الطريقة المدربة Light-ColPali عند نسب ضغط متوسطة. عند $\gamma = 0.05$ ، يحافظ SAP على تفوق قدره 22-25 نقطة مئوية على EOS-Adaptive.
القابلية للتوسع: يؤدي تقليم 90% من الرموز إلى تقليل مساحة تخزين الفهرس بمقدار 10 أضعاف (مثلاً من 751 ميجابايت إلى 75 ميجابايت) ويسرع زمن استرجاع العمليات النهائية بمقدار 7.9 ضعفاً (من 6.1 مللي ثانية إلى 0.78 مللي ثانية) مع الحفاظ على دقة عالية.
المتانة: يحدد اختيار النافذة الموجه بـ SR نطاق الطبقات الأمثل باستمرار عبر مختلف أعماق البنى الأساسية، دون الحاجة لضبط لكل بنية.

الأهمية والادعاءات
يزعم البحث أن SAP يوفر حلاً عملياً وقابلاً للتوسع لنشر تقنية RAG البصرية (Visual RAG) في السيناريوهات واسعة النطاق، وذلك عبر إزالة عقبة التخزين الناتجة عن الفهارس متعددة المتجهات دون التكلفة التشغيلية لإعادة التدريب. ويؤكد المؤلفون أن "تباعد التجميع والاصطفاف" هو خاصية جوهرية في بنيات نماذج VLM، والتي عند استغلالها، تسمح بتقليم غير مرتبط بالاستعلام، وهو أمر كان يُعتقد سابقاً أنه مستحيل. ويتحدى هذا العمل الرأي السائد بأن التقليم عالي الضغط يتطلب تدريباً يعتمد على الاستعلام، مقدماً بدلاً من ذلك بديلاً هيكلياً ذاتي المعايرة يحافظ على دلالات المستند مع تقليل حجم الفهرس بشكل جذري.

القصور
يقر المؤلفون بأن تقييمهم يقتصر على نموذج الاسترجاع المتأخر متعدد المتجهات (multi-vector late-interaction VDR). ولا تزال قابلية التطبيق على المسترجعات الكثيفة أحادية المتجه (single-vector dense retrievers)، أو مطابقة الصورة والنص العامة، أو أنابيب RAG كاملة الطرف، أمراً غير مستكشف. بالإضافة إلى ذلك، تم استقاء مجموعة المعايرة من مجموعات بيانات خاصة بالمستندات؛ ويشير المؤلفون إلى أن موقع "الهضبة الهيكلية" قد يتغير في ظل تغيرات أكثر عدوانية في المجال البصري (مثل الصور الطبيعية أو صور الأقمار الصناعية)، مما يترك مسأ�ość المتانة في المجالات المختلفة للعمل المستقبلي.