🤖 AI

Focus, Don't Prune: Identifying Instruction-Relevant Regions for Information-Rich Image Understanding

تقدم الورقة البحثية PinPoint، وهو إطار عمل مبتكر ثنائي المراحل يعزز كفاءة ودقة نماذج الرؤية واللغة الكبيرة على الصور الغنية بالمعلومات من خلال تحديد وتدقيق المناطق ذات الصلة بالتعليمات لتقليل العبء الحسابي الناتج عن الرموز البصرية غير ذات الصلة.

المؤلفون الأصليون: Mincheol Kwon, Minseung Lee, Seonga Choi, Miso Choi, Kyeong-Jin Oh, Hyunyoung Lee, Cheonyoung Park, Yongho Song, Seunghyun Park, Jinkyu Kim

نُشر 2026-03-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mincheol Kwon, Minseung Lee, Seonga Choi, Miso Choi, Kyeong-Jin Oh, Hyunyoung Lee, Cheonyoung Park, Yongho Song, Seunghyun Park, Jinkyu Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز معقد، ولكن بدلاً من بضع قطع، تم منحك غرفة مليئة بها — آلاف القطع المبعثرة في كل مكان، بما في ذلك العديد من القطع التي لا علاقة لها بالصورة التي تحاول بناءها.

هذه هي بالضبط المشكلة التي تواجهها نماذج الرؤية واللغة الكبيرة (LVLMs) عند النظر إلى صور مفصلة مثل الرسوم البيانية (infographics)، أو المستندات الكثيفة، أو المخططات. لفهم الصورة، يحاول الذكاء الاصطناعي النظر إلى كل بكسل وتحويله إلى "توكن" (قطعة صغيرة من البيانات). هذا يشبه محاولة قراءة مكتبة كاملة للعثور على جملة واحدة محددة. إنها عملية بطيئة، ومكلفة، وغالباً ما تؤدي إلى ارتباك الذكاء الاصطناعي أو "الهلوسة" (اختلاق معلومات) بسبب غمره بالكثير من الضجيج.

إليك PinPoint، الطريقة الجديدة المقترحة في هذه الورقة البحثية. لا تفكر في PinPoint كأنه مقص يقطع الأشياء بشكل عشوائي، بل فكر فيه كـ كشاف ذكي و عدسة مكبرة.

إليك كيف يعمل، مقسماً إلى خطوات بسيطة:

1. المشكلة: نهج "المقص" (تقليم التوكنات - Token Pruning)

تحاول معظم الطرق الحالية توفير الوقت باستخدام "المقصات" لقص أجزاء من الصورة تعتقد أنها غير مهمة. فهي تنظر إلى "انتباه" الذكاء الاصطعي الداخلي (أين "ينظر") وتخمن الأجزاء التي يجب حذفها.

العيب: الأمر يشبه محاولة تحرير فيلم عبر تخمين الإطارات التي يجب قصها دون مشاهدة المشهد كاملاً أولاً. غالباً ما يقوم الذكاء الاصطناعي بقص الجزء الذي كان يحتاجه تماماً للإجابة، مما يؤدي إلى إجابات خاطئة أو حقائق مختلقة.

2. حل PinPoint: "التركيز، لا التقليم"

بدلاً من القص العشوائي، يستخدم PinPoint استراتيجية من خطوتين:

الخطوة أ: الكشاف الذكي (اختيار المنطقة - Region Selection)

تخيل أنك تبحث عن شخص معين في ملعب مزدحم. أنت لا تمسح كل الوجوه في الملعب بأكمها دفعة واحدة. أولاً، تمسح الحشد بسرعة لتجد القسم الذي يُحتمل أن يكون الشخص موجوداً فيه.

كيف يفعلها PinPoint: يقرأ سؤالك (مثلاً: "ما هو متوسط مدخرات التقاعد؟") ويستخدم "كشافاً ذكياً" لمسح الصورة. إنه يحدد بسرعة المنطقة المحددة من الصورة التي تحتوي على الإجابة والأدلة اللازمة لإيجادها. إنه يتجاهل بقية الغرفة.

الخطوة ب: العدسة المكبرة (تحسين المنطقة - Region Refinement)

بمجرد أن يجد الكشاف القسم الصحيح، لا تكتفي بالنظر إليه من بعيد. بل تقوم بعمل "زوم" (تكبير).

كيف يفعلها PinPoint: يأخذ تلك المنطقة المحددة والمظللة ويعيد معالجتها بتفاصيل عالية. إنه يزيل "الضجيج" من بقية الصورة ويمنح الذكاء الاصطناعي رؤية واضطة وعالية الدقة لهذا الجزء ذي الصلة فقط.

3. النتيجة: ذكاء اصطناعي أكثر ذكاءً وسرعة

لأن PinPoint يقدم للذكاء الاصطناعي "الأشياء الجيدة" فقط (المناطق ذات الصلة) ويقوم بتصفية "القمامة" (الخلفية غير ذات الصلة)، يحدث أمران مذهلان:

إنه أسرع: يحتاج الذكاء الاصطناعي لمعالجة قطع أقل بكثير من البيانات، لذا يجيب بشكل أسرع ويستهلك طاقة حاسوبية أقل.
إنه أكثر دقة: بما أن الذكاء الاصطناعي لا يتشتت بالتفاصيل غير ذات الصلة، فإنه يتوقف عن اختلاق الحقائق. إنه يركز تماماً على الأدلة الموجودة أمامه مباشرة.

"الخريطة الجديدة" (مجموعة البيانات)

أدرك الباحثون أيضاً أنه لتعليم الذكاء الاصطناعي القيام بذلك، كانوا بحاجة إلى خرائط أفضل. الخرائط الموجودة حالياً تظهر فقط الإجابة النهائية (مثل نقطة واحدة على خريطة الكنز).

خريطة PinPoint: أنشأوا مجموعة بيانات جديدة حيث تظهر الخريطة الإجابة بالإضافة إلى جميع الأدلة اللازمة للوصول إليها. على سبيل المثال، إذا كان السؤال عن رسم بياني، فإن الخريطة تتضمن عنوان الرسم البياني، وتسميات المحاور، وكذلك نقطة البيانات. هذا يعلم الذكاء الاصطناعي فهم السياق، وليس فقط الرقم النهائي.

باختصار

PinPoint يشبه توظيف محقق بارع جداً في تجاهل المشتتات. فبدلاً من قراءة الجريدة بأكملها للعثور على خبر واحد، يعرف المحقق فوراً أي صفحة وأي عمود يجب أن ينظر إليه، ويقرأ ذلك القسم بعناً، ويعطيك الإجابة المثالية دون أن يتشتت بالإعلانات أو أخبار الرياضة في الصفحات الأخرى.

الخلاصة: من خلال تعليم الذكاء الاصطناعي كيفية التركيز على المكان الصحيح بدلاً من محاولة تقليم (قص) الصورة بأكملها، نحصل على إجابات أسرع، وأرخص، وأكثر موثوقية بكثير.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التركيز، لا التقليم: تحديد المناطق ذات الصلة بالتعليمات لفهم الصور الغنية بالمعلومات" (PinPoint).

1. بيان المشكلة

تتفوق نماذج الرؤية واللغة الكبيرة (LVLMs) في المهام متعددة الوسائط، لكنها تعاني مع الصور الغنية بالمعلومات (مثل الإنفوجرافيك، وتخطيطات المستندات المعقدة).

العبء الحسابي: إن معالجة الصور عالية الدقة لالتقاط التفاصيل الدقيقة تولد عدداً هائلاً من الرموز البصرية (visual tokens)، مما يؤدي إلى تكاليف حسابية وزمن استجابة (latency) كبيرين.
قصور تقنيات تقليم الرموز (Token Pruning): تعتمد طرق الكفاءة الحالية على تقليم الرموز، والتي تقوم بإزالة الرموز "الأقل أهمية" بناءً على أوزان الانتباه من طبقات فك التشفير في النموذج اللغوي الكبير (LLM). حدد المؤلفون ثلاث عيوب جوهرية في هذا النهج:
1. خرائط انتباه غير مثالية: غالباً ما تكون أوزان الانتباه غير موثوقة، مما يؤدي إلى إزالة رموز حاسمة وبالتالي حدوث هلوسات (hallucinations).
2. التجزئة الدلالية: يمكن أن يؤدي التقليم على مستوى الرمز الفردي إلى كسر السياق الجماعي للعناصر المرئية (مثل تقسيم كلمة أو عنصر في مخطط بياني).
3. التشابك السياقي: يتسبب الانتباه الذاتي العالمي (Global self-attention) في تشابك الرموز ذات الصلة مع ضوضاء الخلفية غير ذات الصلة، مما يقلل من القدرة التمييزية.

2. المنهجية: PinPoint

يقترح المؤلفون PinPoint، وهو إطار عمل جديد من مرحلتين ينقل النموذج من "تقليم الرموز" إلى "التركيز على المناطق". الهدف هو تحديد مناطق الصورة ذات الصلة بالتعليمات أولاً، ثم تنقيحها لاستخراج ميزات مرئية عالية الجودة.

أ. نظرة عامة على البنية التحتية

تحديد المنطقة (التوطين التقريبي):
- استخراج الميزات على مستوى المنطقة: بدلاً من مقارنة الرموز الفردية، تقسم الطريقة خريطة الرموز المرئية إلى شبكة باستخدام نهج النافذة المنزلقة لإنشاء تمثيلات على مستوى المنطقة ( $\mathbf{R}_i$ ).
- المحاذاة بين التعليمات والمنطقة: تستخدم وحدة برمجية استعلامات توجيهية قابلة للتعلم ( $E$ ) لربط الوسائط المرئية والنصية. وهي توظف آلية الانتباه بناتج الضرب النقطي المقيّس (scaled dot-product attention) لمحاذاة التعليمات النصية ( $\mathbf{T}$ ) مع الميزات المرئية على مستوى المنطقة.
- استراتيجية الاختيار: يتم ترتيب المناطق حسب تشابه جيب التمام (cosine similarity) مع التعليمات. يتم اختيار المناطق الأعلى تصنيفاً بشكل تكيفي حتى تغطي نسبة محددة مسبقاً ( $r$ ) من إجمالي مساحة الصورة (على سبيل المثال، 60%).
تنقيح المنطقة (الاستخراج دقيق التفاصيل):
- بمجرد تحديد المناطق ذات الصلة، يتم إعادة ترميز الرموز المرئية الأصلية داخل هذه المربعات المحيطة المحددة بشكل مستقل.
- تعمل هذه الخطوة على تجريد السياق العالمي غير ذي الصلة (الضوضاء) واستخراج ميزات مرئية كثيفة ودقيقة خاصة بالمناطق المختارة.
- يتم تغذية مجموعة الرموز المدمجة الناتلة في النموذج اللغوي الكبير (LLM) لإجراء الاستنتاج النهائي.

ب. استراتيجية التدريب

التعلم التبايني (Contrastive Learning): يتم تدريب النموذج باستخدام هدفين لمحاذاة المناطق المرئية مع التعليمات:
1. خسارة التباين بين الوسائط: تقوم بمحاذاة تضمين التعليمات مع تضمين المنطقة الإيجابية (ذات الصلة) مع فصلها عن العينات السلبية غير المقترنة.
2. خسارة التباين داخل الصورة ( $\mathcal{L}_{intra}$ ): تدفع تضمين التعليمات ليكون أقرب إلى المنطقة الإيجابية وأبعد عن المناطق غير ذات الصلة (السلبية) داخل نفس الصورة.
كفاءة المعلمات: يتم تدريب الاستعلامات القابلة للتعلم وطبقتي MLP فقط. بينما يظل النموذج اللغوي الكبير (LLM)، والمشفر البصري (Vision Encoder)، والمُسقط (Projector) ثابتة (frozen)، مما يجعل التدريب عالي الكفاءة.

3. المساهمات الرئيسية

إطار عمل PinPoint: طريقة من مرحلتين تحدد المناطق ذات الصلة بالتعليمات وتقوم بتنقيحها، مما يقلل بشكل كبير من الرموز المرئية مع تحسين دقة الاستنتاج.
توصيفات مجموعات البيانات الجديدة: قام المؤلفون بتنسيق توصيفات جديدة للحقائق الأرضية (ground-truth) لمجموعات InfoVQA و SinglePageDocVQA و MultiPageDocVQA. وخلافاً لمجموعات البيانات القياسية التي تكتفي بوضع مربعات حول الإجابة النهائية فقط، تتضمن هذه التوصيفات:
- مربعات الإجابة المحيطة (Answer Bounding Boxes): موقع الإجابة.
- مربعات الأدلة المحيطة (Evidence Bounding Boxes): العناصر المحيطة الضرورية للاستنتاج.
- مربعات الاحتواء (Encompass Bounding Boxes): مربع موحد يغطي كلاً من الإجابة والدليل.
- ملاحظة: تم تطوير خط معالجة آلي باستخدام OCR والنماذج اللغوية الكبيرة لتوليد هذه التوصيفات بأقل جهد بشري.
أداء وكفاءة متفوقة: أثبتت التجربة أن التركيز على المناطق ذات الصلة يتفوق على طرق تقليم الرموز في كل من الدقة والكفاءة الحسابية.

4. النتائج التجريبية

تم تقييم الطريقة على أربعة معايير: InfoVQA، SPDocVQA، MPDocVQA، و GQA، باستخدام LLaVA-NeXT-7B و Qwen2-VL-7B كنماذج أساسية.

الدقة: تفوقت PinPoint باستمرار على أحدث طرق تقليم الرموز (مثل FastV، وPyramidDrop، وSparseVLM)، بل وتجاوزت نموذج "Vanilla" (الرموز الكاملة) لـ LLaVA-NeXT في المهام كثيفة المعلومات.
- مثال: في InfoVQA مع LLaVA-NeXT، حققت PinPoint قيمة 0.3024 ANLS (مقابل 0.2552 لنموذج Vanilla) بينما استخدمت 65.3% فقط من التكلفة الحسابية (FLOPs).
الكفاءة:
- قللت العمليات الحسابية (FLOPs) بنسبة تتراوح بين 35-55% مقارنة بالنماذج الأصلية (vanilla).
- قللت زمن الاستجابة بشكل كبير (على سبيل المثال، ~381 مللي ثانية مقابل 569 مللي ثانية لـ LLaVA-NeXT).
تقليل الهلوسة: أظهر التحليل النوعي ومعايير التقييم (POPE، CHAIR، AMBER) أن PinPoint تقلل الهلوسة بشكل كبير مقارم بطرق التقليم، التي غالباً ما تحذف رموز السياق الحرجة.
دراسات الاستئصال (Ablation Studies):
- ثبت أن خسارة التباين داخل الصورة ضرورية للتمييز بين المناطق ذات الصلة وغير ذات الصلة داخل نفس الصورة.
- تبين أن تنقيح المنطقة يساعد في استعادة التفاصيل الدقيقة التي فُقدت في الترميز الأولي، مما يعزز الدقة.
- أظهر إشراف الاحتواء (Encompass Supervision) أن التدريب باستخدام مربعات "الاحتواء" (التي تغطي الإجابة + الدليل) حقق دقة أعلى من التدريب باستخدام مربعات الإجابة الضيقة فقط.

5. الأهمية والأثر

تحول في النموذج الفكري: تتحدى الورقة الاتجاه السائد نحو "تقليم الرموز"، وتجادل بأن اختيار المنطقة هو استراتيجية أكثر قوة وتماسكاً دلالياً بالنسبة للصور المعقدة والغنية بالنصوص.
القابلية للتوسع: من خلال تثبيت النموذج اللغوي الكبير والمشفر البصري الضخم وتدريب وحدة محاذاة خفيفة الوزن فقط، تقدم PinPoint حلاً قابلاً للتوسع لنشر نماذج LVLM فعالة دون التكلفة الباهظة للضبط الدقيق الكامل.
المساهمة بالبيانات: إن إصدار "مجموعة بيانات PinPoint" مع توصيفات غنية للمربعات المحيطة متعددة العناصر يعالج الفجوة في معايير VQA الحالية، مما يسمح بتدريب أفضل للمهام القائمة على الاستنتاج حيث يكون السياق بنفس أهمية الإجابة نفسها.
التطبيق العملي: تمكن هذه الطريقة نماذج LVLM من التعامل مع المستندات والإنفوجرافيك عالية الدقة وكثيفة المعلومات بكفاءة، مما يجعلها أكثر جدوى لتطبيقات المؤسسات في العالم الحقيقي (مثل تحليل المستندات القانونية، وتلخيص التقارير المالية) حيث تكون الموارد الحسابية محدودة.