🤖 AI

MULTITEXTEDIT: Benchmarking Cross-Lingual Degradation in Text-in-Image Editing

تقدم الورقة البحثية MULTITEXTEDIT، وهو معيار مرجعي منضبط يمتد عبر 12 لغة ومقياساً جديداً لدقة اللغة، لتوضيح أن أنظمة تحرير النصوص داخل الصور الحالية تعاني من تدهور كبير في دقة اللغات عبر اللغات، لا سيما في دقة الخطوط للغات غير اللاتينية، على الرغم من الحفاظ على البنية البصرية العالمية.

المؤلفون الأصليون: Liwei Cheng, Zirui Song, Shibo Feng, Lunjie Zhou, Yixuan Guan, Dayan Guan

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Liwei Cheng, Zirui Song, Shibo Feng, Lunjie Zhou, Yixuan Guan, Dayan Guan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة رقمية لملصق مكتوب عليه كلمة "SALE" (تخفيض). تريد استخدام أداة ذكاء اصطناعي لتغيير هذه الكلمات إلى "SOLD" (بيعت) دون إفساد الخلفية، أو الألوان، أو صورة القميص الموجود خلف النص. يسمى هذا "تحرير النصوص داخل الصور".

بينما أصبحت أدوات الذكاء الاصطناعي هذه جيدة جداً في القيام بذلك باللغة الإنجليزية، فإن ورقة بحثية بعنوان MULTITEXTEDIT تطرح سؤالاً بسيطاً ولكنه حاسم: ماذا يحدث عندما نطلب من الذكاء الاصطناعي القيام بنفس الشيء بلغات أخرى؟

إليك تفصيل نتائجهم، مشروحة بتشبيهات من الحياة اليومية:

1. المشكلة: "النقطة العمياء" المتمثلة في اللغة الإنجليزية فقط

فكر في محررات الصور الحالية بالذكاء الاصطناعي كطاهٍ بارع في طهي الطعام الإيطالي لكنه لم يجرب قط طهي الطعام التايلاندي أو العربي أو الياباني. إذا طلبت منه استبدال مكون في طبق تايلاندي، فقد يحافظ على الطبق وإعدادات الطاولة بشكل مثالي، لكنه قد يقدم لك التوابل الخاطئة أو يخطئ تماماً في اسم الطبق.

وجد المؤلفون أن الاختبارات الحالية لهذه الأدوات تعتمد بشكل شبه كامل على اللغة الإنجليزية. فهي غالباً ما تحكم على الذكاء الاصطناعي بناءً على ما إذا كانت الصورة تبدو جيدة (المقبولية البصرية)، متجاهلة ما إذا كانت الكلمات منطقية بالفعل (الصحة الدلالية). يشبه ذلك تقييم طالب بناءً على مدى أناقة خطه، حتى لو كان يخطئ في تهجئة كل كلمة.

2. الحل: "صالة ألعاب رياضية لغوية" جديدة (المعيار المرجعي)

لإصلاح ذلك، بنى الباحثون ساحة تدريب واختبار ضخمة تسمى MULTITEXTEDIT.

الإعداد: أخذوا 300 صورة أساسية (مثل الملصقات الفارغة) وأنشأوا 12 نسخة مختلفة من كل منها، نسخة واحدة لـ 12 لغة مختلفة (بما في ذلك الإنجليزية، الإسبانية، العربية، العبرية، الصينية، وحتى لغات أقل شيوعاً مثل اليوروبا والبنغالية).
الضبط: نظرًا لأن كل نسخة بدأت من نفس الصورة تماماً، فقد تمكنوا من عزل متغير اللغة. الأمر يشبه اختبار محرك سيارة على مضمار حيث الشيء الوحيد الذي يتغير هو نوع الوقود، وليس الطريق أو الطقس.
النطاق: نتج عن ذلك 3,600 حالة اختبار محددة تغطي 7 أنواع مختلفة من التعديلات (مثل تغيير حجم الخط، أو اللون، أو استبدال الكلمات).

3. المسطرة الجديدة: قياس "دقة الخط"

أدرك الباحثون أن الاختبارات الحاسوبية القياسية (التي تحسب فقط عدد البكسلات المتطابقة) سيئة جداً في رصد الأخطاء اللغوية.

التشبيه: تخيل حاسوباً يفحص ملاحظة مكتوبة بخط اليد. إذا كتبت "Mother" ولكن نسيت علامة النبرة (accent) على حرف "e" (مما يجعلها "me" والتي تعني "تمر" في اللغة الفيتنامية)، فقد يقول روبوت عد البكسلات: "مهلاً، هذا يبدو متطابقاً بنسبة 99%!". لكن الإنسان يعرف أن المعنى قد تغير تماماً.
الإصلاح: أنشأوا مقياساً جديداً يسمى دقة اللغة (LSF). استخدموا ذكاءً اصطناعياً ذكياً للتدقيق فقط في الكلمات التي تم تغييرها، والتحقق من التفاصيل الدقيقة مثل علامات النبرة المفقودة، أو الحروف المعكوسة (الشائعة في العربية أو العبرية)، أو الخطوط المختلطة. لقد تم تدريب هذا "القاضي" على رصد هذه "الأخطاء المطبعية" التي يهتم بها البشر ولكن يغفل عنها الآلات.

4. النتائج: فخ "التخطيط العالمي"

عندما اختبروا 12 نظاماً مختلفاً للذكاء الاصطناعي (سواء كانت مجانية أو مدفوعة) على هذا المعيار الجديد، وجدوا نمطاً ثابتاً:

الأخبار الجيدة: الذكاء الاصطناعي بارع في الحفاظ على مظهر الخلفية جميلاً. إذا طلبت منه تغيير نص في صورة لشاطئ، فإن الرمال والمحيط سيبقيان مثاليين.
الأخبار السيئة: يعاني الذكاء الاصطناعي بشكل كبير مع الكلمات الفعلية، خاصة في اللغات غير الإنجليزية.
- عدم التطابق بين "التخطيط" و"المعنى": غالباً ما يحافظ الذكاء الاصطناعي على شكل مربع النص ونمط الخط بشكل مثالي، لكن الحروف نفسها تكون غير مفهومة، أو معكوسة، أو ناقصة علامات حيوية.
- أصعب اللغات: تعثر الذكاء الاصطناعي أكثر في العبرية والعربية (التي تُقرأ من اليمين إلى اليسار) واللغات ذات علامات النبرة المعقدة.
- أسهل اللغات: كان أداؤه أفضل في الهولندية والإسبانية، وهي لغات أقرب إلى الإنجليزية.

5. الخاتمة

تخلص الورقة البحثية إلى أنه بينما يتحسن محررو الصور بالذكاء الاصطناعي في "الرسم"، إلا أنهم لا يزالون يعانون مع "الكتابة" بلغات أخرى غير الإنجليزية. يمكنهم نسخ مظهر لافتة أجنبية بشكل مثالي، لكنهم غالباً ما يفشلون في ضبط الكلمات نفسها.

ويرى المؤلفون أنه لبناء أدوات مفيدة حقاً للعالم أجمع، نحتاج إلى التوقف عن اختبار الذكاء الاصطناعي باللغة الإنجليزية فقط، والبدء في قياس مدى قدرته على التعامل مع الخصائص الفريدة لكل نظام كتابة، بدءاً من اتجاه الحروف وصولاً إلى النقاط الصغيرة فوقها.

ملخص تقني: MULTITEXTEDIT

بيان المشكلة

لقد برز تحرير النص داخل الصور كقدرة حاسمة لإنشاء المحتوى المرئي، ومع ذلك تعاني معايير التقييم الحالية من قصورين أساسيين. أولاً، تتسم المعايوهات المرجعية الحالية بكونها متمحورة بشكل مفرط حول اللغة الإنجليزية، مما يؤدي إلى الفشل في معالجة الواقع متعدد اللغات لإنشاء المحتوى العالمي. ثانياً، غالباً ما تخلط بروتوكولات التقيادة الحالية بين المعقولية البصرية والصحة الدلالية؛ فقد يظهر ناتج النموذج متسقاً بصرياً مع الخلفية بينما يقوم بتقديم كلمات غير صحيحة، أو يفشل في اتباع التعليمات، أو يشوه الحروف الخاصة بنظام كتابة معين (مثل فقدان علامات التشكيل أو عكس اتجاه النص). وبناءً على ذلك، هناك نقص في الأساليب المنضبطة لقياس كيفية تدهور النماذج متعددة الوسائط المتطورة عبر اللغات وأنظمة الكتابة المختلفة.

المنهجية

بناء المعيار المرجعي (MULTITEXTEDIT)

يقدم المؤلفون MULTITEXTEDIT، وهو معيار مرجعي منضبط مصمم لعزل اللغة كمتغير أساسي في تحرير النص داخل الصور.

حجم مجموعة البيانات: يتكون المعيار المرجعي من 3,600 حالة مشتقة من 300 صورة أساسية.
التوسع متعدد اللغات: تم توسيع كل صورة أساسية لتشمل 12 لغة متنوعة نمطياً وهي: العربية، البنغالية، الصينية، الهولندية، الإنجليزية، العبرية، اليابانية، الكورية، الروسية، الإسبانية، الفيتنامية، واليوروبا.
المتغيرات المنضبطة: من خلال مشاركة نفس القاعدة البصرية، ونية التحرير، وقالب التعليمات عبر جميع متغيرات اللغة، يضمن المعيار المرجعي أن الاختلافات في الأداء تعزى إلى الخط واللغة المستهدفة بدلاً من التباينات البصرية المربكة.
النطاق: تغطي مجموعة البيانات 5 مجالات بصرية (الفن، الفعاليات، الموضة، الطعام، الاقتباسات) و7 عمليات تحرير (الاستبدال، الحذف، الإدراج، اللون، الخط، إعادة التمركز، تغيير الحجم).
الحقيقة الأرضية (Ground Truth): تتضمن كل حالة صورة مرجعية محررَة بشرياً وأقنعة مناطق دقيقة لكل من النص المصدر والنص المستهدف، والتي تم التحقق منها من خلال بروتوكول تعليق بشري ثلاثي المراحل يضم متحدثين أصليين.

إطار التقييم

يقترح البحث إطار تقييم ثنائي المسار لمعالجة قيود أساليب القياس أحادية المعيار:

المسار الدلالي (حكم LVM):
- يستخدم نموذج رؤية ولغة ضخم (LVM) لتسجيل خمسة أبعاد على مقياس من 0 إلى 5: اتباع التعليمات (IF)، دقة النص (TA)، الاتساق البصري (VC)، الحفاظ على التخطيط (LP)، وأمانة اللغة/الخط (LSF).
- مقياس LSF: مقياس مبتكر مصمم للكشف عن الأخطاء على مستوى الخط التي قد تغفل عنها مطابقة النصوص العامة (مثل فقدان علامات التشكيل في الفيتنامية، أو عكس اتجاه اليمين إلى اليسار في العربية/العبرية، أو خلط النصوص).
- بروتوكول مرحلتين: لضمان الدقة، يقوم نموذج LVM أولاً بتتبع جزء النص المستهدف المحرر من خلال مقارنة المصدر والمرجع وناتج النموذج، ثم يقوم بعد ذلك بتقييم LSF بناءً فقط على النص الذي تم تتبعه، متجاهلاً محتوى الصورة الآخر.
- التحقق: حقق نموذج LVM الحكم معامل "كوهين كابا" للأوزان التربيعية (Quadratic Weighted Cohen's $\kappa$ ) قدره 0.76 مقابل المعلقين من المتحدثين الأصليين، مما يؤكد موثوقيته.
مسار البكسل:
- يستخدم المقاييس القياسية (MSE, PSNR, SSIM, LPIPS) لقياس دقة الخلفية.
- يستخدم تصميماً مزدوج القناع (اتحاد أقنعة المصدر والهدف، مع التمدد) لعزل المناطق غير المحررة، مما يضمن أن درجات مستوى البكسل تعكس الحفاظ على محتوى الصورة الأصلي بدلاً من النص المحرر.

النتائج الرئيسية

قيم المؤلفون 12 نظاماً مفتوح المصدر ومملوكاً (بما في ذلك Step1X-Edit، وQwen-Image-Edit، وGPT-image-1.5، وNano Banana 2) على المعيار المرجعي.

التدهور عبر اللغات: أظهر كل نموذج تم تقييمه تدهوراً ملحوظاً في الأداء عند الانتقال من الإنجليزية إلى اللغات غير الإنجليزية.
- الشدة: كان التدهور أكثر حدة في العبرية ( $\Delta$ Sem = 0.856) والعربية ( $\Delta$ Sem = 0.780)، وأقل حدة في الهولندية ( $\Delta$ Sem = 0.181) والإسبانية ( $\Delta$ Sem = 0.184).
- تركيز الأخطاء: تركز انخفاض الأداء في دقة النص ( $\Delta$ TA = 0.630) وأمانة اللغة/الخط ( $\Delta$ LSF = 0.881). في المقابل، حافظت النماذج على أداء أعلى نسبياً في الأبعاد الهيكلية العامة مثل الحفاظ على التخطيط ( $\Delta$ LP = 0.180) والاتساق البصري.
عدم التطابق بين الدلالة والبكسل: لوحظت ظاهرة متكررة حيث حافظت النماذج على التخطيط العام ودقة الخلفية (درجات بكسل عالية) بينما فشلت في توليد نص صحيح لغوياً أو أمين للخط (درجات دلالية منخفضة).
أداء النماذج: حقق Nano Banana 2 أقوى أداء إجمالي، حيث تصدر في الدرجات الدلالية ومقاييس البكسل مع الحفاظ على أصغر فجوة بين الإنجليزية وغير الإنجليزية بين النماذج رفيعة المستوى. ومن بين النماذج مفتوحة المصدر، أظهر Qwen-Image-Edit-2511 وFireRed-Image-Edit-1.1 أقوى أداء دلالي.

الأهمية والادعاءات

يزعم البحث أن MULTITEXTEDIT يوفر أول آلية منضبطة لتحليل التدهور متعدد اللغات في تحرير النص داخل الصور بشكل منهجي. وتكمن أهميته في:

عزل متغيرات اللغة: من خلال التحكم في السياق البصري، يعزو المعيار انخفاض الأداء تحديداً إلى تعقيد الخط واللغة بدلاً من الغموض البصري.
الكشف عن أنماط الفشل الخفية: يكشف مقياس LSF عن الأخطاء الحرجة (مثل فقدان علامات التشكين أو عكس الاتجاه) التي تفشل معايير التعرف الضوئي على الحروف (OCR) أو مقاييس البكسل القياسية في اكتشافها.
تسليط الضوء على الفجوة بين الدلالة والبكسل: تُظهر النتائج أن الجودة البصرية العالية لا تضمن بالضرورة الصحة الدلالية، لا سيية بالنسبة للخطوط غير اللاتينية واللغات الحساسة لعلامات التشكيل.

يخلص المؤلفون إلى أن التقدم في هذا المجال يتطلب ليس فقط تحسين جودة التوليد، بل أيضاً نماذج واستراتيجيات تقييم أكثر وعياً باللغة تأخذ في الاعتبار تحديات الخطوط المحددة. وهم يضعون MULTITEXTEDIT كاختبار ضروري لتطوير أنظمة أكثر قوة وإنصافاً لتحرير النص داخل الصور.