💻 computer science

Global-Local Dual Perception for MLLMs in High-Resolution Text-Rich Image Translation

تقدم هذه الورقة البحثية GLoTran، وهو إطار عمل للإدراك المزدوج العالمي-المحلي لنماذج اللغات الكبيرة متعددة الوسائط (MLLMs)، والذي يجمع بين السياق العالمي منخفض الدقة وتفاصيل مستويات المناطق متعددة المقاييس للتغلب على التحديات في ترجمة الصور الغنية بالنصوص عالية الدقة، مدعوماً بمجموعة بيانات GLoD واسعة النطاق التي تم إنشاؤها حديثاً.

المؤلفون الأصليون: Junxin Lu, Tengfei Song, Zhanglin Wu, Pengfei Li, Xiaowei Liang, Hui Yang, Kun Chen, Ning Xie, Yunfei Lu, Jing Zhao, Shiliang Sun, Daimeng Wei

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junxin Lu, Tengfei Song, Zhanglin Wu, Pengfei Li, Xiaowei Liang, Hui Yang, Kun Chen, Ning Xie, Yunfei Lu, Jing Zhao, Shiliang Sun, Daimeng Wei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول ترجمة لوحة إعلانية ضخمة وفوضوية في مدينة أجنبية. اللوحة ضخمة، مغطاة بملاحظات مكتوبة بخط اليد الصغير، وعناوين عريضة وبارزة، وزهور زخرفية. إذا حاولت النظر إليها بالكامل مرة واحدة من بعيد، فلن تتمكن من قراءة الكلمات الصغيرة. ولكن إذا اقتربت كثيرًا لقراءة كلمة واحدة، فستفقد سياق اللوحة بأكملها وقد تترجم كلمة بشكل خاطئ لأنك لا تعرف موضوع الجملة.

هذه هي بالضبط المشكلة التي يواجهها علماء الكمبيوتر عند محاولة ترجمة النصوص داخل الصور (مثل القوائم، أو الملصقات، أو لقطات الشاشة) باستخدام الذكاء الاصطناعي.

إليك تحليل بسيط لورقة بحثية بعنوان "GLoTran" وكيف تحل هذه المشكلة:

1. المشكلة: "معضلة التكبير" (The Zoom Dilemma)

النماذج الحالية للذكاء الاصطناعي (المعروفة بـ MLLMs) تشبه الطلاب المتميزين في قراءة الكتب ولكنهم سيئون جدًا في قراءة الملصقات الضخمة والفوضوية.

إذا ابتعدوا (Zoom out): يرون الصورة الكبيرة ولكنهم يفتقدون النصوص الصغيرة. قد يتخطون جملة أو يفوتون كلمة بالكامل (وهذا ما يسمى بالحذف - Omission).
إذا اقتربوا (Zoom in): يقرؤون الكلمات بشكل صحيح ولكنهم يفقدون القصة. قد يترجمون كلمة بشكل صحيح ولكن يضعونها في مكان خاطئ، أو يخترعون كلمات ليست موجودة أصلاً (وهذا ما يسمى بالهلوسة - Hallucination).
النتيجة: تكون الترجمة إما غير كاملة أو غير منطقية.

2. الحل: نهج "شارلوك هولمز" (GLoTran)

ابتكر الباحثون نظامًا جديدًا يسمى GLoTran. بدلاً من إجبار الذكاء الاصطناعي على النظر إلى الصورة بأكملها دفعة واحدة، يعلمونه استخدام استراتيجية "العالمي-المحلي" (Global-Local).

فكر في الأمر كأنك محقق يحل جريمة في مسرح الجريمة:

الرؤية العالمية (اللقطة الواسعة): يأخذ الذكاء الاصطناعي أولاً نظرة سريعة ومنخفضة الدقة على الصورة بأكملها. يشبه الأمر النظر إلى مسرح الجريمة من طائرة مروحية. إنه يرى التخطيط: "آه، هذه قائمة طعام، والأسعار موجودة على اليمين". هذا يعطي الذكاء الاصطناعي السياق.
الرؤية المحلية (العدسة المكبرة): بعد ذلك، يقوم الذكاء الاصطناعي بتقسيم الصورة إلى شرائح صغيرة (مثل التقاط صور فقط لقسم "المقبلات" أو قسم "المشروبات"). إنه يقترب بشدة من هذه الشرائح ليقرأ خط اليد الصغير والفوضوي بدقة مثالية.
الرابط السحري: لا ينظر الذكاء الاصطناعي إلى الشرائح بمعزل عن بعضها البعض. بل يتحقق باستمرار من "رؤية المروحية" (العالمية) أثناء قراءة "رؤية العدسة المكبرة" (المحلية). وهذا يضمن معرفته بمكانه في المستند ويحافظ على اتساق القصة.

3. آلية "إعادة التشغيل" (The Replay Mechanism): للحفاظ على تدفق المحادثة

تخيل أنك تترجم رسالة طويلة، فقرة تلو الأخرى. إذا نسيت ما ترجمته في الفقرة الأولى، فقد لا تكون الفقرة الثانية منطقية.

يستخدم GLoTran "نافذة إعادة التشغيل" (Replay Window). قبل أن يترجم شريحة النص الحالية، ينظر إلى ترجمات الشرائح السابقة. الأمر يشبه المترجم الذي يهمس لنفسه: "حسنًا، لقد ترجمت العنوان للتو كـ 'تخفيضات الصيف'، لذا فإن هذه الجملة التالية حول 'خصم 50%' لا بد أنها جزء من تلك التخفيضات". هذا يحافظ على سلاسة المنطق في الترجمة بأكملها.

4. ميدان التدريب الجديد (مجموعة بيانات GLoD)

لا يمكنك تعليم طالب القيادة بدون مدرسة تعليم قيادة. وبالمثل، أدرك الباحثون أن بيانات تدريب الذكاء الاصطناعي الحالية لم تكن جيدة بما يكفي لهذه المهمة المحددة. معظم البيانات كانت مجرد صور بسيطة مع ترجمة واحدة.

لذلك، قاموا ببناء مجموعة بيانات ضخمة جديدة تسمى GLoD (510,000 مثال!).

أخذوا صورًا من العالم الحقيقي (قوائم طعام، لافتات طرق، ملصقات).
أنشأوا أزواجًا "عالمية-محلية" لكل صورة على حدة (الصورة الكاملة + الشرائح المقربة).
جعلوا البشر والذكاء الاصطناعي يعملون معًا لضمان أن تكون الترجمات مثالية.
التشبيه: الأمر يشبه إعطاء الذكاء الاصطناعي مكتبة تضم 500,000 ألبوم صور "قبل وبعد"، حيث كل صورة مشروحة بدقة بكيفية ترجمة النص في مستويات تكبير مختلفة.

5. النتائج: أذكى، وليس فقط أكبر

عادةً، لجعل الذكاء الاصطناعي أكثر ذكاءً، تقوم الشركات فقط بجعل الذكاء الاصطناعي "أكبر" (إضافة المزيد من القدرات الذهنية). لكن هذه الورقة البحثية تظهر أن أن تكون أذكى في كيفية النظر هو أفضل من مجرد أن تكون أكبر.

الكفاءة: يمكن لـ GLoTran ترجمة الصور عالية الدقة باستخدام قدر أقل بكثير من قدرة الكمبيوتر مقارنة بالنماذج الأخرى. فهو لا يحتاج إلى معالجة ملايين البكسلات في وقت واحد؛ بل يعالج الأجزاء المهمة فقط.
الدقة: في الاختبارات، ترجم GLoTran النصوص بشكل أكثر اكتمالًا ودقة من حتى أشهر نماذج الذكاء الاصطناعي وأكثرها تكلفة (مثل GPT-4o أو Qwen-VL). لقد توقف عن تخطي الكلمات وتوقف عن اختراع جمل وهمية.

الملخص

GLoTran هو طريقة جديدة لتعليم الذكاء الاصطناعي كيفية قراءة النصوص في الصور. بدلاً من التحديق في جدار ضخم ومربك من النصوص، فإنه يعلم الذكاء الاصطناعي:

التراجع خطوة للخلف لفهم المشهد.
التقريب (Zoom in) لقراءة التفاصيل.
التذكر لما قرأه للتو للحفاظ على ترابط القصة.

الأمر يشبه منح الذكاء الاصطناعي منظارًا وعدسة مكبرة، وتعليمه كيفية استخدام كليهما في نفس الوقت للحصول على الترجمة المثالية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الإدراك المزدوج العالمي-المحلي للنماذج اللغوية الكبيرة متعددة الوسائط في ترجمة الصور الغنية بالنصوص عالية الدقة" (GLoTran).

1. بيان المشكلة

تتضمن الترجمة الآلية للصور النصية (TIMT) ترجمة النصوص المدمجة داخل الصور من لغة مصدر إلى لغة مستهدفة. وبينما ساهمت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) في تطوير هذا المجال، إلا أنها تواجه تحديات كبيرة عند معالجة الصور عالية الدقة والغنية بالنصوص (مثل الملصقات، القوائم، والوثائق المعقدة).

محدودية الطرق الحالية:
- سلاسل العمل المتتالية (Cascaded Pipelines): تعاني من انتشار الأخطاء (الأخطاء في التعرف الضوئي على الحروف OCR تؤدي إلى أخطاء في الترجمة) وارتفاع زمن الاستجابة الحسابي.
- النماذج التقليدية من طرف إلى طرف (End-to-End): غالبًا ما تجد صعوبة في التعميم على سيناريوهات العالم الحقيقي المتنوعة ذات التخطيطات المزدحمة.
- النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الحالية: عند معالجة الصور عالية الدقة مباشرة، تواجه ما يلي:
  - الفائض البصري: الرموز البصرية غير النصية الزائدة (الخلفيات، الأيقونات) تضعف التركيز (Attention).
  - قيود الدقة (Resolution Constraints): غالبًا ما تقوم هذه النماذج بتقليل دقة الصور لتناسب حدود المدخلات، مما يتسبب في فقدان تفاصيل النصوص الدقيقة.
  - عدم المحاذاة بين المستوى العالمي والمحلي: تفشل النماذج في الحفاظ على سياق المشهد ككل مع التعرف بدقة على النصوص الصغيرة والمتفرقة، مما يؤدي إلى الحذف، الهلوسة، الترجمة الخاطئة، والانحراف الدلالي.

2. المنهجية: إطار عمل GLoTran

يقترح المؤلفون GLoTran، وهو إطار عمل مصمم لدمج الفهم السياقي العالمي مع الإدراك النصي المحلي دقيق التفاصيل.

أ. استراتيجية الإدراك البصري المزدوج (العالمي-المحلي)

بدلاً من معالجة صورة واحدة عالية الدقة أو صورة مصغرة واحدة منخفضة الدقة، يقوم GLoTran بتفكيك المدخلات إلى منظورين متكاملين:

المنظور العالمي ( $I_g$ ): يتم تقليل دقة الصورة الأصلية عالية الدقة إلى دقة منخفضة (مثلاً 224 بكسل). يلتقط هذا المنظور التخطيط الشامل للمشهد، والأسس الدلالية، والعلاقات بين المناطق.
الشرائح المحلية ( $I_i$ ): يحدد كاشف مناطق النصوص (مثل PaddleOCR) مناطق النصوص المرشحة. يتم قص هذه المناطق، وترتيبها حسب الترتيب المكاني، ودمجها في شرائح متماسكة. تحافظ كل شريحة على تفاصيل نصية عالية الدقة.

ب. البنية وتدفق المعالجة

الكشف والتجميع: يتم اكتشاف مناطق النصوص، وترتيبها، ودمجها بناءً على الإشارات الهندسية والطباعية لتشكيل تسلسل من الشرائح المحلية.
الترميز المزدوج: يتم ترميز كل من الصورة العالمية والشرائح المحلية بواسطة مشفر بصري مشترك (مثل ViT).
الاهتمام المتبادل الهرمي (Hierarchical Cross-Attention): الابتكار الرئيسي هو إدخال الاهتمام المتبادل الهرمي بين الرموز (Tokens) العالمية والمحلية في طبقات Transformer المبكرة. يسمح هذا للرموز النصية المحلية بالانتباه بشكل انتقائي لرموز السياق العالمي ذات الصلة دلاليًا، مما يربط الترجمة المحلية بالسياق العام للمشهد.
الترجمة الإقليمية التراجعية: تتم الترجمة بالتتابع عبر الشرائح.
- آلية إعادة التشغيل (Replay Mechanism): تعتمد ترجمة الشريحة الحالية ( $\hat{Y}_i$ ) على الصورة العالمية، والشريحة الحالية، وترجمات المناطق السابقة $\eta$ (نافذة إعادة التشغيل). يضمن ذلك اتساق المصطلحات والاستمرارية السردية.
التلقين المهيكل (Structured Prompting): يتضمن التلقين المدخل للنموذج اللغوي الكبير أربعة مكونات:
- تعليمات الفهم العالمي: فهم التخطيط العام.
- تعليمات التركيز المحلي: التركيز على نص الشريحة المحددة.
- قاعدة الاتساق: ضمان توافق المخرجات المحلية مع السياق العالمي والترجمات السابقة.
- تعليمات الترجمة: تعريف المهمة بشكل صريح.

3. المساهمات الرئيسية

1. إطار عمل GLoTran

بنية مبتكرة توازن بين سياق المشهد وتفاصيل النص الدقيقة. يعالج بفعالية مشكلة "تشتت الانتباه" في الصور عالية الدقة من خلال فصل السياق العالمي (منخفض الدقة) عن التفاصيل المحلية (شرائح عالية الدقة).

2. مجموعة بيانات GLoD

لدعم هذا النموذج، أنشأ المؤلفون GLoD، وهي مجموعة بيانات ضخمة لـ TIMT تم اختيارها خصيصًا للإدراك المزدوج (العالمي-المحلي).

النطاق: 510 ألف زوج (صورة-نص) عالمي-محلي عالي الدقة.
التنوع: تغطي أكثر من 40 سيناريو من واقع الحياة (قوائم، وثائق، ملصقات، لوحات طرق) بـ 5 لغات.
الجودة: تم اختيارها عبر مسار صارم يتضمن الكشف الآلي، والدمج عبر الترجمة ثنائية الاتجاه (باستخدام GPT-4o/DeepSeek)، والتحقق البشري.

3. التقييم الشامل

تقدم الورقة اختبارات مرجعية واسعة النطاق تظهر تفوق GLoTran على النماذج اللغبية الكبيرة متعددة الوسائط (سواء مفتوحة المصدر مثل Qwen3-VL و InternVL3، أو مغلقة المصدر مثل GPT-4o) في اكتمال ودقة الترجمة، لا سيما في التخطيطات الكثيفة وغير المتجانسة.

4. النتائج التجريبية

الأداء على معيار MCiTon:
- حقق GLoTran (المبني على Qwen3-VL 8B) أفضل النتائج عبر جميع السيناريوهات الثمانية (وثائق، ملصقات، روايات، إلخ).
- تفوق على نموذج Qwen3-VL 8B الأساسي بنسبة +7.49% في مقياس BLEU و +2.49% في مقياس COMET.
- في التخطيطات الكثيفة (الوثائق/الملصقات)، أظهر مكاسب متوسطة قدرها 4.6% في BLEU مقارنة بالنماذج الأخرى مفتوحة المصدر.
الأداء متعدد اللغات (MTIT6):
- حقق باستمرار أعلى أداء عبر 6 أزواج لغوية (مثل اليابانية ← الصينية، الكورية ← الصينية)، متفوقًا على نماذج ذات عدد معاملات أكبر بكثير.
رؤى التوسع (Scaling Insights):
- وجدت الدراسة أن مجرد زيادة معاملات النموذج (مثلاً من 7 مليار إلى 32 أو 40 مليار) يعطي عوائد متناقصة لمهام TIMT.
- استراتيجية GLoTran (الإدراك العالمي-المحلي) قدمت مكاسب في الأداء أكبر من مجرد زيادة حجم المعاملات.
الكفاءة مقابل الدقة:
- لمضاهاة دقة GLoTran، سيتعين على نموذج MLLM قياسي (مثل Qwen3-VL) معالجة صور كاملة الدقة، مما يؤدي إلى زيادة بنسبة ~215 ضعفًا في العمليات الحسابية (FLOPs) وزمن استجابة أعلى بكثير.
- يحقق GLoTran دقة عالية باستخدام منظور عالمي منخفض الدقة (224 بكسل) وشرائح محلية، مما يحافظ على عدد رموز (tokens) يمكن التحكم فيه (~4.9K - 8.4K) وبصمة ذاكرة منخفضة.

5. الأهمية والأثر

تحول في النموذج (Paradigm Shift): يتجاوز نهج "الحجم الواحد يناسب الجميع" لمدخلات عالية الدقة، ويثبت أن التفكيك المهيكل (عالمي + محلي) أكثر فعالية للصور الغنية بالنصوص.
حل مشكلات الهلوسة والحذف: من خلال ربط النص المحلي صراحة بالسياق العالمي وفرض الاتساق عبر آليات إعادة التشغيل، يقلل الإطار بشكل كبير من إخفاقات MLLT الشائعة مثل فقدان النصوص أو اختلاق المحتوى.
كفاءة الموارد: يقدم مسارًا لترجمة TIMT عالية الجودة دون التكلفة الحسابية الباهظة لمعالجة الصور كاملة الدقة في النماذج اللغبية الكبيرة، مما يجعله أكثر قابلية للتطبيق في العالم الحقيقي.
مورد للمجتمع العلمي: إن إصدار GLoD يسد فجوة حرجة في مجموعات بيانات TIMT عالية الدقة والغنية بالنصوص، مما يتيح أبحاثًا مستقبلية في الترجمة متعددة الوسائط دقيقة التفاصيل.

باختصار، يضع GLoTran معيارًا جديدًا للترجمة في الصور المعقدة والغنية بالنصوص عبر تعليم النماذج اللغبية الكبيرة متعددة الوسائط كيف "ترى الغابة (السياق العالمي) والأشجار (النص المحلي)" في آن واحد، بدلاً من محاولة معالجة الغابة بأكملها بدقة واحدة، غالبًا ما تكون مربكة.