Beyond Accuracy: Auditing Spatial Provenance in Visual Token Pruning for OCR-Critical MLLM Inference
تقدم هذه الورقة إطار عمل لتدقيق المخاطر القائمة على الأدلة لتقليم الرموز البصرية في النماذج اللغوية الكبيرة متعددة الوسائط الغنية بالنصوص، والذي يكشف كيف يمكن للمقاييس القائمة على الدقة أن تحجب الإخفاقات الحرجة في المصدر المكاني، مبرهنةً على أن أدوات الاختيار الشفافة والخالية من التدريب يمكن أن تحقق دقة مماثلة مع تحسين سرعة الدفعات وكفاءة الذاكرة بشكل كبير دون التضحية بقابلية تتبع المناطق الحرجة لعمليات التعرف الضوئي على الحروف (OCR).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تستطيع فيه الحواسيب أن "ترى" الصور وتجيب على الأسئلة حولها، تماماً مثل صديق ذكي للغاية يمكنه قراءة قائمة طعام من صورة أو إخبارك بما هو مكتوب على لافتة شارع. هذا هو عالم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs). وللقيام بذلك، يقوم الكمبيوتر بتفكيك الصورة إلى آلاف القطع الرقمية الصغيرة التي تسمى "الرموز" (tokens). ثم يقرأ هذه القطع واحدة تلو الأخرى، تماماً مثل قراءة الكلمات في كتاب، ليفهم موضوع الصورة.
ومع ذلك، فإن النظر إلى صورة عالية الدقة تحتوي على الكثير من النصوص يشبه محاولة قراءة موسوعة كاملة في جلسة واحدة؛ فهذا يتطلب وقتاً كبيراً وقوة حوسبة هائلة. ولجعل هذه النماذج أسرع، طور العلماء حيلة تسمى "تقليم الرموز البصرية" (visual-token pruning). فكر في الأمر كأمين مكتبة يقوم، قبل أن تسأله سؤالاً، بمسح سريع للكتاب ويرمي الصفحات التي يعتقد أنك لن تحتاج إليها، محتفظاً فقط بالأوراق الأكثر أهمية. والهدف هو الحفاظ على صحة الإجابة مع جعل العملية أسرع بكثير. ولكن هنا تكمن المشكلة: مجرد أن أمين المكتبة "يعتقد" أنه احتفظ بالصفحات الصحيحة لا يعني أنه فعل ذلك بالفعل. فإذا رمى أمين المكتبة الصفحة التي تحتوي على التاريخ المحدد الذي سألت عنه، ولكن الكمبيوتر خمن التاريخ الصحيح على أي حال لأنه يعرف كيف تبدو التواريخ عادةً، فإن الإجابة ستكون صحيحة، لكن المنطق وراءها سيكون معطلاً. يبحث هذا البحث تحديداً في هذا الخطر الخفي.
عملية سطو الرموز الكبرى: عندما تكون الإجابة صحيحة، لكن الأدلة اختفت
قرر مؤلفو هذا البحث، فييشيانغ ليو وفريقه، اختبار هؤلاء "الأمناء" (طرق التقليم) بسؤال محدد للغاية: إذا أعطى الكمبيوتر إجابة صحيحة، فهل نظر بالفعل إلى الجزء الصحيح من الصورة للحصول عليها؟
وجدوا أنه في كثير من الحالات، كانت الإجابة هي "لا".
تخيل أنك تجري اختباراً حول إيصال شراء. السؤال يسأل: "ما هو السعر الإجمالي؟". يحتوي الإيصال على رقم صغير ومحدد مكتوب في مربع صغير. قد تقوم طريقة تقليم ذكية برمي 70% من رموز صورة الإيصال لتوفير الوقت. ومن المثير للدهشة أن الكمبيوتر قد يظل يجيب بـ "15.99" بشكل صحيح. لكن المؤلفين اكتشفوا أنه في العديد من هذه الإجابات "الصحيحة"، لم يحتفظ الكمبيوتر فعلياً بالرمز الذي يمثل صندوق السعر الصغير ذاك. بدلاً من ذلك، خمن الكمبيوتر السعر بناءً على شكل الإيصال، أو نوع الخط، أو مجرد معرفته العامة بما تقوله الإيصالات عادةً.
هذا هو الاكتشاف الرئيسي للورقة البحثية: الدقة وحدها كاذبة. يمكنك الحصول على نموذج يحقق دقة بنسبة 78% من الوقت، ولكن إذا نظرت عن كثب إلى أين نظر، فسترى أنه تجاهل الدليل المحدد الذي كان يحتاجه. يطلق المؤلفون على هذه الحلقة المفقودة اسم "الأصل المكاني" (spatial provenance) — وهي طريقة معقدة للتساؤل: "هل يمكننا تتبع الإجابة وصولاً إلى البقعة المحددة في الصورة حيث يوجد الدليل؟"
أدوات المحقق
لإثبات ذلك، بنى الفريق "تدقيقاً لمخاطر الأدلة" (evidence-risk audit) خاصاً بهم. لقد عاملوا الصورة كمسرح جريمة:
- الدليل الإيجابي: اختاروا كلمة أو رقماً محدداً في الصورة (مثل السعر) وسألوا: "هل احتفظ الكمبيوتر بالرموز الخاصة بهذا المكان المحدد؟"
- الفخ: سألوا أيضاً عن أشياء لم تكن موجودة (مثل سعر وهمي) لمعرفة ما إذا كان الكمبيوتر يخمن فقط أم أنه يتحقق فعلياً.
- التدقيق: قارنوا بين ثلاث طرق مختلفة لاختيار الرموز التي سيتم الاحتفاظ بها:
- المستهدف (Target): يحاول الكمبيوتر تخمين الرموز المهمة بناءً على السؤال.
- العشوائي (Random): يختار الكمبيوتر الرموز عن طريق رمي نرد رقمي.
- الشبكي (Grid): يختار الكمبيوتر الرموز في نمط مربعات شطرنج منتظم.
النتائج الصادمة
كانت النتائج مثيرة للذهول. عندما اختبروا نموذجاً شهيراً يسمى Qwen عند ميزانية احتفاظ بنسبة 30% (الاحتفاظ بـ 30% فقط من رموز الصورة):
- طريقة "المستهدف" (Target) حافظت على صحة الإجابة (دقة 0.786) وتمكنت من الاحتفاظ برموز الأدلة المحددة في حوالي 62% من الأسئلة.
- طريقة "العشوائي" (Random) حصلت على إجابات صحيحة بنسبة أقل (0.739 دقة) واحتفظت بأدلة بنسبة 27% فقط من الأسئلة.
- طريقة "الشبكي" (Grid) كانت مشابهة للعشوائي، حيث احتفظت بالأدلة بنسبة 31% فقط من الأسئلة.
وهنا تكمن المفاجأة: على الرغم من أن طريقة "المستهدف" كانت أفضل، إلا أنها لا تزال تفقد الأدلة في ما يقرب من 40% من الحالات التي كانت فيها الإجابة صحيحة! وهذا يعني أن الكمبيوتر كان يعتمد غالباً على الأنماط اللغوية بدلاً من الصورة.
وجد المؤلفون أيضاً أن النماذج المختلفة تتبع قواعد مختلفة. فما ينجح مع نموذج واحد (مثل Qwen) لا ينجح مع نموذج آخر (مثل LLaVA أو InternVL). على سبيل المثال، الطريقة التي تحافظ على سلامة الأدلة لنموذج LLaVA قد تجعله يخمن أكثر. لا يوجد إعداد واحد يناسب الجميع.
تكلفة السرعة
نظرت الورقة البحثية أيضاً في فوائد السرعة في العالم الحقيقي. من خلال استبعاد 70% من الرموز، جعلوا الكمبيوتر أسرع بالفعل.
- بالنسبة لنموذج Qwen، شهدوا تسارعاً بمقدار 4.32 مرة في معالجة دفعات من الصور.
- كما وفروا 76.4% من الذاło المطلوبة لتخزين بيانات الصورة.
لكن المؤلفين يحذرون من أن هذه السرعة تأتي بتكلفة خفية. إذا كنت تستخدم النموذج لشيء بالغ الأهمية، مثل قراءة وصفة طبية أو وثيقة قانونية، فإن تخمين الإجابة لأن الدليل قد تم التخلص منه أمر خطير. تقترح الورقة ألا نكتفي بالإبلاغ عن "الدقة" (Accuracy) و"نسبة الضغط" (Compression Ratio) فحسب، بل يجب أن نبلغ أيضاً عن "الأصل المكاني" (Spatial Provenance) — وهو باختصار درجة تخبرنا كم من الدليل البصري الفعلي قد نجا من عملية التقليم.
الخلاية
لا تقول هذه الورقة إن التقليم أمر سيء، بل تقول إننا بحاجة إلى أن نكون أكثر ذكاءً في كيفية قياسه. مجرد حصول الكمبيوتر على الإجابة الصحيحة لا يعني أنه رأى الشيء الصحيح. يقترح المؤلفون معياراً جديداً: عندما نقوم بضغط صورة ليقرأها الكمبيوتر، يجب أن نتحقق مما إذا كانت "الأدلة" لا تزال موجودة. إذا كانت الإجابة صحيحة ولكن الأدلة اختفت، فإن النظام غير موثوق به، بغض النظر عن سرعته.
في النهاية، يقترح المؤلفون أنه بالنسبة للمهام التي يكون فيها قراءة نص محدد أمراً حاسماً (مثل التعرف الضوئي على النصوص OCR)، فإننا بحاجة إلى الاحتفاظ بجزء أكبر من الصورة مما كنا نعتقد، أو على الأقل أن نكون صادقين بشأن مقدار الجزء الذي نظرنا إليه فعلياً. لقد فتحوا باباً جديداً في سلامة الذكاء الاصطناعي، موضحين أن كون النظام "سريعاً" و"دقيقاً" ليس كافياً؛ بل يجب أن يكون أيضاً "قابلاً للتتبع".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.