💻 computer science

One Patch Is Enough: Reinforcement-Optimized Visual Token Grounding for MLLM-Based Scene Text Spotting

تقترح هذه الورقة إطار عمل SPaTS، وهو إطار عمل مُحسَّن بالتعزيز يعمل على تحسين رصد النصوص في المشاهد ضمن نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) عن طريق توجيه كل مثيل نصي عبر رمز مرئي مرساة واحد يتم اختياره عبر SPaSO ويتم صقله باستخدام محاذاة التضمين الاتجاهي وفك التشفير المعزز بالرقع لتحقيق دقة فائقة مقارنة بالطرق الحالية.

المؤلفون الأصليون: Rui Tang, Wentao Yang, Peirong Zhang, Yongxin Shi, Shun Zhang, Huiguo He, Lianwen Jin

نُشر 2026-07-31

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Rui Tang, Wentao Yang, Peirong Zhang, Yongxin Shi, Shun Zhang, Huiguo He, Lianwen Jin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت قراءة لافتة في شارع مدينة صاخب ومزدحم. يمتلك الروبوت عقلًا فائق الذكاء يفهم اللغة ويمكنه كتابة القصص، لكنه سيئ للغاية في توجيه إصبعه بدقة نحو مكان كلمة ما في صورة. هذا هو عالم "رصد النص في المشاهد" (Scene Text Spotting)، وهو مجال يحاول فيه الكمبيوتر القيام بشيئين في آن واحد: قراءة الكلمات ورسم صندوق حولها. لفترة طويلة، حاول الباحثون حل هذه المشكلة عبر عرض صورة كاملة على الروبوت وطلب منه تخمين الموقع باستخدام الأرقام (مثل "س تساوي 10، ص تساوي 20"). لكن الأرقام يمكن أن تكون فوضوية وغير دقيقة. مؤخرًا، جرب العلماء حيلة مختلفة: سمحوا للروبوت بالإشارة إلى "رقع" (patches) مربعة صغيرة من الصورة، مثل شبكة من البلاطات الصغيرة، ليقول: "الكلمة موجودة هنا". الأمر يشبه طلب الإشارة من الروبوت إلى بلاطة محددة على الأرض للعثور على رسالة مخفية.

ومع ذلك، هناك عقبة. إذا طلبت من الروبوت الإشارة إلى العديد من البلاطات في وقت واحد للعثور على كلمة، فغالبًا ما يصاب بالارتباك. قد يشير إلى الكلمة، ولكنه قد يشير أيضًا عن طريق الخطأ إلى الخلفية، أو السماء، أو الكلمة المجاورة لها مباشرة. الأمر يشبه محاولة العثور على صديق معين في غرفة مزدحمة من خلال الإشارة إلى مجموعة كاملة من الناس؛ قد تصيب الشخص الصحيح، لكنك ستشير أيضًا إلى غرباء، مما يجعل التعليمات مليئة بالضجيج وغير واضحة. يسأل هذا البحث سؤالاً بسيطًا وجريئًا: ماذا لو سمحنا للروبوت فقط بالإشارة إلى بلاطة واحدة مثالية لكل كلمة؟ هل يمكن أن يكون ذلك كافيًا؟ يقترح المؤلفون، وهم فريق من جامعة جنوب الصين للتكنولوجيا، أن الإجابة هي نعم، إن بلاطة واحدة هي في الواقع أفضل من عدة بلاطات، بشرما يتعلم الروبوت كيفية اختيار "البلاطة الصحيحة". لقد بنوا نظامًا جديدًا يستخدم نوعًا خاصًا من التعلم القائم على "التجربة والخطأ" (المسمى بالتعلم المعزز) لتعليم الروبوت كيفية اختيار تلك البلاطة الواحدة الأفضل، ثم يستخدم بقية الصورة لرسم المخطط المثالي حول الكلمة.

ثورة البلاطة الواحدة

يقدم البحث إطار عمل جديدًا يسمى SPaTS (رصد النص عبر البلاطة الواحدة). فكر في الطريقة القديمة المتبعة في التعامل مع الأمور كأنها مشروع جماعي فوضوي حيث يصرخ الجميع بالأفكار في وقت واحد. أما طريقة SPaTS الجديدة فهي تشبه فريقًا منضبطًا حيث يتم اختيار شخص واحد ليتحدث باسم المجموعة بأكملاء. فبدلاً من محاولة الذكاء الاصطناعي تجميع المعلومات من مجموعة من رقع الصورة (المربعات الصغيرة للصورة)، يجبر نظام SPaTS النموذج على اختيار بلاطة "مرساة" (anchor) واحدة فقط لكل كلمة يريد قراءتها.

لماذا يعد هذا أفضل؟ وجد المؤلفون أنه عندما تستخدم رقعًا متعددة، يصبح الذكاء الاصطناعي "ضجيجيًا". يبدأ في خلط الكلمة التي يقرؤها مع الخلفية أو الكلمات المجاورة، مما يؤدي إلى الارتباك. الأمر يشبه محاولة الاستماع إلى آلة موسيقية واحدة في أوركسترا بينما يعزف الجميع بصوت عالٍ؛ حيث تضيع الإشارة. ومن خلال إجبار الذكاء الاصطناعي على اختيار بلاطة واحدة عالية الجودة فقط، تصبح الإشارة واضحة تمامًا. يقول النموذج: "أنا أرى هذا المكان المحدد"، ثم يستخدم هذا المكان كنقطة انطلاق لتحديد شكل بقية الكلمة.

لعبة "التخمين الذكي" (SPaSO)

هذا هو الجزء الصعب: كيف يعرف الذكاء الاصطناعي أي بلاطة واحدة هي "الأفضل" للاختيار؟ لا يوجد معلم يخبره: "اختر البلاطة رقم 42". أدرك المؤلفون أن هذه مهمة مثالية لـ التعلم المعزز (Reinforcement Learning)، وهو ما يشبه تدريب كلب باستخدام المكافآت.

لقد أنشأوا نظامًا يسمى SPaSO (التحسين الانتقائي للبلاطة الواحدة). تخيل أن الذكاء الاصطناعي يلعب لعبة حيث يتعين عليه تخمين أي بلاطة تحتوي على الكلمة.

التخمين: يحاول الذكاء الاصطناعي اختيار بلاطة.
المكافأة: إذا كانت البلاطة التي اختارها تساعده في قراءة الكلمة بشكل صحيح ورسم الصندوق بدقة، فإنه يحصل على "مكافأة" (درجة مكافأة). وإذا اختار بلاطة سيئة وفشل، فإنه لا يحصل على مكافأة.
التعلم: بمرور الوقت، يتعلم الذكاء الاصطناي أن اختيار أنواع معينة من البلاطات يؤدي إلى الحصول على مكافآت، ويصبح بارعًا جدًا في اختيار البلاطة الصحيحة دون الحاجة إلى إنسان ليريها الإجابة في كل مرة.

صمم المؤلفون نوعين محددين من "المكافآت" لهذه اللعبة. تتحقق إحدى المكافآت مما إذا كانت النتيجة النهائية (النص والصندوق) جيدة. وتتحقق المكافأة الأخرى مما إذا كان الذكاء الاصطناعي قد "نظر" على الأقل في البلاطة الصحيحة ضمن خياراته الأولى. يضمن نظام المكافأة المزدوج هذا أن الذكاء الاصطناعي لا يحالفه الحظ لمرة واحدة فحسب، بل يتعلم باستمرار العثور على أفضل دليل.

السر الخفي: الاتجاه والشكل

لجعل فكرة البلاطة الواحدة تعمل بشكل مثالي، أضاف الفريق ترقيتين ذكيتين لعقل الذكاء الاصطناعي:

محاذاة التضمين الاتجاهي (DEA): تخيل أن ذاكرة الذكاء الاصطناعي للبلاطة تشبه شعاع المصباح اليدوي. أحيانًا، يكون الشعاع ساطعًا جدًا (طاقة عالية) ولكنه يشير في الاتجاه الخاطئ. أدرك المؤلفون أن الذكاء الاصطناعي كان يتشتت بمدى "سطوع" البلاطة بدلاً من ماهيتها الفعلية. لقد بنوا مرشحًا (فلتر) يفصل بين "السطوع" (المقدار) و"الاتجاه" (ما تمثله البلاطة بالفعل). هذا يجبر الذكاء الاصطناعي على التركيز على أين تشير المعلومات، وليس فقط مدى قوة صراخها. الأمر يشبه قولك للروبوت: "تجاهل مدى سطوع الضوء؛ وانظر إلى الاتجاه الذي يشير إليه الشعاع".
فك التشفير المعزز بالبلاطة (PED): بمجرد أن يختار الذكاء الاصطناعي بلاطته "المرساة" الوحيدة، فإنه لا يزال بحاجة لمعرفة الشكل الكامل للكلمة، والتي قد تكون منحنية أو طويلة. البلاطة الواحدة هي مجرد نقطة انطلاق. بنى المؤلفون وحدة فك تشفير تأخذ تلك البلاطة الواحدة وتمزجها مع فهم الذكاء الاصطناعي للغة. الأمر يشبه أخذ دليل واحد من خريطة الكنز ودمجه مع معرفتك بالتضاريس لرسم المسار الكامل. وهذا يسم يسمح للذكاء الاصطناعي بالنظر إلى الصورة كاملة مرة أخرى، مستخدمًا البلاطة الواحدة كدليل، لرسم خط منحني دقيق حول النص.

النتائج: القليل يعني الكثير

اختبر الفريق نظامهم الجديد على عدة مجموعات بيانات مليئة بالنصوص المنحنية والمائلة والمزدحمة (مثل اللافتات في سوق مزدحم). كانت النتائج مبهرة. فقد تفوق نموذجهم، الذي يستخدم 2 مليار أو 4 مليارات معلمة فقط (وهو حجم صغير نسبيًا لنماذج الذكاء الاصطناعي)، على النماذج الضخمة والمغلقة المصدر والأكبر بكثير والأكثر تكلفة.

في الواقع، في بعض الاختبارات، كان أسلوب "البلاطة الواحدة" الخاص بهم أفضل بشكل ملحوظ من الأساليب التي حاولت استخدام بلاطات متعددة. على سبيل المثال، في مجموعة بيانات تسمى CTW1500، حقق أسلوبهم مقياس F (درجة الدقة) قدره 81.2%، بينما كافحت الأساليب الأخرى للوصول إلى 70%. يشير البحث إلى أنه من خلال استبعاد ضجيج البلاطات المتعددة والتركيز على مرساة واحدة مثالية، يصبح الذكاء الاصطناعي أكثر دقة وأقل ارتباكًا.

لماذا هذا مهم؟

يجادل هذا البحث بأن في عالم قراءة النصوص بواسطة الذكاء الاصطناعي، القليل هو في الواقع أكثر. من خلال رفض فكرة أن "المزيد من البلاطات يعني فهمًا أفضل"، يظهر المؤلفون أن النهج المركز المعتمد على نقطة واحدة، والموجه بتعلم ذكي قائم على التجربة والخطأ، يمكنه حل المشكلات المعقدة بشكل أفضل من القوة الغاشمة. إنه تذكير بأنه في بعض الأحيان، لكي تجد الإجابة، لا تحتاج إلى النظر إلى كل شيء في وقت واحد؛ بل تحتاج فقط إلى معرفة أين تنظر بالضبط. يعترف المؤلفون بأن طريقتهم تتطلب بعض وقت التدريب الإضافي لتعلم "لعبة" اختيار البلاطات، لكن العائد هو نظام ليس فقط أكثر دقة، بل أيضًا أكثر كفاءة وسهولة في الفهم.

ملخص تقني: رقعة واحدة تكفي (SPaTS)

1. بيان المشكلة

يتطلب تحديد النصوص في المشاهد (Scene text spotting) التعرف على النص والتموضع المكاني الدقيق لكل عملية نسخ إلى المنطقة التصويرية المقابلة لها في آن واحد. وبينما توفر النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قدرات قوية في الاستدلال الدلالي، إلا أنها تفتقر غالبًا إلى التحكم المكاني الدقيق اللازم للتموضع الدقيق. تحاول مناهج التأسيس البصري (Visual Token Grounding - VTG) الحالية سد هذه الفجوة من خلال ربط توليد اللغة بالأدلة البصرية. ومع ذلك، تعتمد النماذج الحالية عادةً على تمثيلات متعددة الرقع (multi-patch representations)، حيث يتم تجميع عدة رقع صورية لتمثيل مثيل نصي واحد.

يجادل المؤلفون بأن النصوص في المشاهد — التي غالبًا ما تكون صغيرة، وكثيفة، ومدمجة في خلفيات معقدة — يؤدي تجميع عدة رقع لها إلى إدخال ضوضاء زائدة، وغموض في التموضع، وأخطاء مترابطة. فغالباً ما تحتوي الرقع المتجاورة على خلفيات غير ذات صلة أو كلمات مجاورة، مما يؤدي إلى "سوء تموضع" و"غموض" يقلل من دقة كل من التعرف والضبط الهندسي. علاوة على ذلك، فإن تحديد الرقعة الأكثر إفادة لمثيل نصي واحد هو سمة كامنة تفتقر إلى تسميات ترتيب صريحة، مما يجعل من الصعب تحسينها بفعالية عبر التعلم الخاضع للإشراف القياسي.

2. المنهجية

يقترح البحث إطار عمل تحديد النصوص بالرقعة الواحدة (Single-Patch Text Spotting - SPaTS)، وهو إطار رؤية مركزي يقوم بتوجيه كل مثيل نصي عبر رمز بصري مرجعي واحد (single anchor visual token) واستعادة الهندسة عبر صقل الصورة الكاملة. تتكون المنهجية من ثلاثة مكونات أساسية:

أ. التحسين الانتقائي للرقعة الواحدة (SPaSO)

لمعالجة نقص تسميات "الرقعة المثالية" (Oracle labels)، أعاد المؤلفون صياغة اختيار الرقعة كمسألة قرار منفصلة يتم تحسينها عبر التعلم المعزز (RL).

الإطار: مبني على إطار تحسين السياسة النسبي للمجموعات (GRPO)، حيث يعامل SPaSO اختيار مؤشر الرقعة البصرية كإجراء للسياسة (policy action).
آلية المكافأة المزدوجة:
1. مكافأة توليد الرقعة ( $r_{gen}$ ): تقيم جودة التحديد النهائية (بالجمع بين دقة نسخ النص عبر مسافة التحرير والدقة الهندسية عبر تقاطع الاتحاد IoU). وهذا يجبر السياسة على اختيار الرقع التي تنتج نسخاً عالية الدقة وحدوداً دقيقة.
2. مكافأة هيمنة الرقعة ( $r_{dom}$ ): مكافأة كثيفة تشجع النموذج على إبقاء الرقع المرشحة للحقيقة الأرضية (ground-truth) ضمن أفضل $k$ من التنبؤات. وهذا يوفر إشارات تحسين حتى عندما تكون مكافأة التوليد المتفرقة منخفضة.
التحسين المشترك: يتم تدريب هدف التعلم المعزز للاختيار المنفصل بشكل مشترك مع الإشراف الهندسي المستمر (صناديق الإحاطة، منحنيات بيزييه، النقاط)، مما يسمح للنموذذ بتعلم أي رقعة يختار بينما يتعلم فك التشفير (decoder) كيفية تسجيل هندستها.

ب. محاذاة التضمين الاتجاهي (DEA)

لتثبيت عملية الاختيار ومنع النموذج من الانحياز نحو الرقع ذات الطاقة العالية (عالية المعيار/الـ norm) بدلاً من الرقع ذات الصلة دلالياً، قدم المؤلفون DEA.

الآلية: يعمل DEA على فصل مقدار الميزة واتجاه النماذج الأولية البصرية. يتم تمثيل النموذج الأولي $p_i$ كمعامل مقياس قابل للتعلم $\gamma_i$ مضروب في الاتجاه الموحد $\hat{v}_i$ لميزة الرقعة الأصلية.
استراتيجية التدريب: يتم تسخين المقياس $\gamma_i$ ثم تجميده، مما يجبر النموذج على التركيز على المحاذاة الدلالية الاتجاهية (تشابه جيب التمام) بدلاً من مقدار الميزة أثناء مرحلة الاختيار الحرجة. وهذا يقلل من انحياز المعيار غير المستقر في التنافس بين الرقع.

ج. فك التشفير المعزز بالرقع (PED)

إدراكاً بأن الرقعة الواحدة بمفردها قد لا تحتوي على معلومات كافية لتسجيل الحدود بدقة، يقترح المؤلفون PED للتخفيف من حدة عنق الزجاجة المعلوماتي.

الآلية: يقوم PED بدمج النموذج الأولي للرقعة البصرية المختارة ( $p_{at}$ ) مع الحالة الخفية للغة ( $h_t$ ) لتشكيل استعلام كائن (object query).
العملية: يُستخدم هذا الاستعلام المدمج في فك تشفير الانتباه المتقاطع (cross-attention decoder) للقراءة من خريطة ميزات الصورة الكاملة. وهذا يسمح للنموذج بالاستفضاء من الإشارات البصرية-الدلالية الغنية من الصورة بأكملها لاستعادة الحدود الهندسية الدقيقة (الصناديق، المنحنيات، النقاط) دون إعادة إدخال ضوضاء تجميع الرقع المتعددة.

3. المساهمات الرئيسية

إطار عمل SPaTS: نموذج جديد للركن البصري يعتمد على رقعة واحدة (single-anchor visual-token paradigm) يستبدل توجيه الرقع المتعددة المليئة بالضوضاء بركن بصري واحد لكل مثيل، يليه صقل هندسي للصورة الكاملة. توفر هذه الصيغة إشارة توجيه أكثر إيجازاً وارتباطاً وثيقاً بين الهندسة المتوقعة والمناطق المستهدفة.
SPaSO: إطار عمل للتعلم المعزز يحسن اختيار الرموز البصرية المنفصلة دون الحاجة لتسميات مثالية، باستخدام مكافآت على مستوى الرقعة مستمدة من نتائج التحديد النهائية.
الابتكارات الهيكلية (DEA و PED):
- DEA: يفصل بين مقدار واتجاه الرقعة لضمان تمثيل قوي ومحاذاة اتجاهية مع حالات اللغة.
  يدمج الأدلة المحلية الموجهة مع دلالات اللغة لاستعادة الحدود الدقيقة، متجنباً عنق الزجاجة المعلوماتي لفك تشفير الرقعة الواحدة مع منع ضوضاء الرقع المتعددة.

4. النتائج التجريبية

قيم المؤلفون SPaTS على ثلاثة معايير: Total-Text، و SCUT-CTW1500، و ICDAR 2015.

أداء يتفوق على الجميع (SOTA): تفوق SPaTS باستمرار (في نسختي 2B و 4B بارامتر) على كل من النماذج المغلقة المصدر الرائدة (مثل GPT-5.4، Claude-Sonnet-4.6، Gemini-3.1-Flash) والنماذج المتخصصة في التعرف الضوئي على الحروف (مثل HunyuanOCR، PaddleOCR-VL).
الكفاءة: رغم استخدام عدد أقل بكثير من البارامترات مقارنة بنماذج MoE الضخمة مفتوحة المصدر أو الأنظمة مغلقة المصدر، حقق SPaTS نتائج متفوقة، مما يسلط الضوء على كفاءة عالية في معايير البارامتر في المحاذاة البصرية-اللغوية.
دراسات الاستئصال (Ablation Studies):
- الرقعة الواحدة مقابل الرقع المتعددة: تفوق اختيار الرقعة الواحدة بشكل كبير على صيغ الرقع المتعددة وصيغ الإحداثيات-النصية، مما يؤكد أن الرقع المتعددة تسبب غموضاً في الاختيار.
- التعلم المعزز (RL) مقابل التعلم الخاضع للإشراف (SFT): وفرت مرحلة SPaSO (التعلم المعزز) دفعة كبيرة فوق التعلم الخاضع للإشراف القياسي (SFT)، خاصة في مقاييس التحديد الشاملة، مما يؤكد فعالية تحسين منطق الاختيار عبر المكافآت.
- تأثير المكونات: أدى إزالة DEA إلى انحراف الميزات الذي تهيمن عليه المعايير (norms)؛ وأدى إزالة PED إلى انهيار في الدقة، مما يؤكد ضرورة دمج الأولويات اللغوية مع الإشارات البصرية الصريحة.

5. الأهمية والادعاءات

يدعي البحث أن SPaTS يقدم نموذجاً جديداً للركن البصري (visual grounding paradigm) عالي الدقة لتحديد النصوص في المشاهد المعقدة. تكمن أهميته الأساسية في:

إعادة التفكير في التفاصيل (Granularity): إثبات أن "رقعة واحدة تكفي" عند دمجها مع الصقل الكامل للصورة، مما يتحدى الافتراض السائد بأن الرقع المتعددة ضرورية للركن القوي.
سد الفجوة: النجاح في الربط بين قدرة الاستدلال الدلالي للنماذج متعددة الوسائط الكبيرة وبين الدقة الهندسية الدقيقة المطلوبة للتعرف الضوئي على الحروف (OCR)، دون الاعتماد على تسميات رقع مثالية مكلفة.
المتانة: تقديم حل يتعامل مع النصوص المنحنية والكثيفة والمحجوبة بشكل أكثر فعالية من الطرق التقليدية، كما يتضح من النتائج النوعية على مجموعات البيانات الصعبة مثل CTW1500 و ICDAR 2015.

يقر المؤلفون بوجود بعض القيود، مشيرين إلى أن مرحلة التعلم المعزز تزيد من الأعباء التدريبية، وأن تجميد فرع المقدار في DEA قد يقلل من المرونة تحت ظروف الإضاءة المتطرفة. ومع ذلك، فهم يضعون SPaTS كخطوة هامة نحو تحديد نصوص أكثر دقة وكفاءة في المشاهد.