Reading or Guessing? Visual Grounding Failures of Vision-Language Models for OCR in Ancient Greek Editions
تُثبت هذه الورقة أن نماذج الرؤية واللغة (VLMs) التي تقوم بالتعرف الضوئي على الحروف (OCR) للنصوص اليونانية القديمة غالباً ما تعتمد على الأوليات اللغوية لتوليد أخطاء فصيحة ولكنها غير مستندة إلى الرؤية، وهو نمط فشل يستمر حتى مع تدخلات وقت فك التشفير ويختلف اختلافاً جوهرياً عن أنماط الضجيج في أنظمة التعرف الضوئي التقليدية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول قراءة رسالة قديمة جداً، مكتوبة بخط اليد باللغة اليونانية القديمة. الحبر باهت، والحروف غريبة، والصفحة مغطاة بملاحظات فوضوية في الهوامش. لديك مساعدان ليقرآ لك الرسالة:
"الماسح التقليدي" (التعرف الضوئي التقليدي على الحروف - OCR): يشبه روبوتاً صارماً وحرفياً. ينظر إلى الحبر الموجود على الصفحة ويقول: "أرى شكلاً يشبه حرف 'A'، لذا سأكتب 'A'". إذا كان الحبر باهتاً جداً، فقد يكتب رمزاً عشوائياً أو خطأً مطبعياً. هو لا يخمن؛ بل يكتفي بما يراه فقط، حتى لو بدت النتيجة فوضوية.
"المساعد الذكي" (نموذج الرؤية واللغة - VLM): يشبه طالباً عبقرياً يتقن اليونانية القديمة تماماً، لكنه كسول قليلاً بشأن النظر بتمعن في الورقة. عندما يرى بقعة باهتة، يفكر: "همم، بناءً على الجملة حتى الآن، الكلمة التالية يجب أن تكون 'ملك'". لذا، يكتب "ملك"، حتى لو كان ما كُتب على الورقة يشبه كلمة "كلب".
هذه الورقة البحثية، بعنوان "القراءة أم التخمين؟ فشل الربط البصري لنماذج الرؤية واللغة في نسخ اليونانية القديمة"، تبحث فيما يحدث عندما يحاول هذان المساعدان قراءة نصوص يونانية قديمة صعبة ومنخفضة الموارد.
إليك ما وجده الباحثون، باستخدام تشبيهات بسيطة:
1. "الكذبة الفصيحة" مقابل "الحقيقة الفوضوية"
عندما يرتكب الماسح التقليدي خطأً، فإنه يظهر عادةً على شكل خطأ مطبعي أو تداخل حروف (مثل "kng"). ويكون من الواضح أن شيئاً ما قد سار بشكل خاطئ.
ومع ذلك، عندما يرتكب المساعد الذكي خطأً، فإنه غالباً ما يكتب كلمة يونانية قديمة حقيقية وفصيحة تماماً، لكنها ليست هي ما كُتب على الورقة.
- التشبيه: تخيل أن الذكاء الاصطناعي يقرأ وصفة طعام. إذا كانت قائمة المكونات مشوشة وتقول "دقيق"، ولكن الذكاء الاصطناعي يعرف أن هذه الوصفة تتطلب عادةً "سكراً"، فقد يكتب "سكر" بكل ثقة. للوهلة الأولى، تبدو الجملة مثالية، لكنها في الواقع كذبة. يعتمد الذكاء الاصطناعي على ذاكرته حول كيفية سير الوصفات عادةً (سياقه اللغوي المسبق) بدلاً من النظر بدقة إلى الورقة التي أمامه.
2. اختبار "الحبر السحري"
لإثبات ذلك، قام الباحثون بخدعة. أخذوا النص، وخلطوا الحروف داخل الكلمات (محولين الكلمات الحقيقية إلى لغو غير مفهوم)، ثم عرضوا هذا اللغو على المساعدين.
- الماسح التقليدي: نظر إلى اللغو وكتب اللغو كما هو. لقد ظل وفياً للأدلة البصرية، رغم أن النتيجة كانت هراءً.
- المساعد الذكي: نظر إلى اللغو، وارتبك، ثم "أصلحه". أعاد كتابة اللغو ليصبح كلمات يونانية حقيقية وفصيحة. لقد تجاهل الأدلة البصرية (الحروف المبعثرة) واعتمد كلياً على معرفته الداخلية باللغة.
3. ليس كل ذكاء اصطناعي "ذكياً" بنفس الطريقة
وجد الباحثون تحولاً مفاجئاً. لا تتصرف جميع المساعدين الأذكياء بنفس الطريقة.
- الذكاء الاصطناعي العام: هذه هي النماذج الكبيرة والمشهورة المستخدمة لمهام عديدة. حتى عندما أخطأت، كانت لا تزال "تنظر" إلى الصورة. كانت تحاول قراءة الحبر، لكن عقلها كان متلهفاً جداً لتخمين الكلمة الصحيحة.
- الذكاء الاصطناعي المتخصص: كان هناك نموذج واحد صُمم خصيصاً لقراءة المستندات (يسمى OlmOCR). وكان هذا النموذج هو الأسوأ في هذا الأمر. فعندما يرتكب خطأً، يبدو الأمر وكأنه لم ينظر إلى الصورة على الإطلاق. كان مجرد تخمين بناءً على ما يعتقد أن النص يجب أن يكون عليه. كان يشبه طالباً يغمض عينيه ويردد الكتاب المدرسي من ذاكرته، متجاهلاً ورقة الامتحان الفعلية.
4. هل يمكننا إصلاح الذكاء الاصطناعي؟
حاول الباحثون تجربة عدة "رقع" لإجبار الذكاء الاصطناعي على النظر إلى الصورة بدلاً من التخمين:
- "سياج المفردات": حاولوا إخبار الذكاء الاصطناعي: "يمكنك فقط كتابة الحروف اليونانية". النتيجة: جعل هذا الأمر أسوأ بكثير. ارتبك الذكاء الاصطناعي وبدأ يكتب لغواً لأنه لم يعد قادراً على استخدام حيله المعتادة.
- "اختبار التباين": حاولوا عرض الصورة والنسخة الباهتة منها في نفس الوقت لإجبار الذكاء الاصطناعي على التركيز على التفاصيل. النتيجة: ساعد هذا قليلاً لبعض النماذج، لكنه لم ينفع مع النموذج المتخصص.
- "تعديل ما بعد المباراة": تركوا الذكاء الاصطناعي يكتب إجابته أولاً، ثم جعلوا ذكاءً اصطناعياً ثانياً (محرر نصي فقط) يصلح الأخطاء. النتيجة: نجح هذا في تنظيف النص، لكنه لم يعالج المشكلة الجذرية. فالذكاء الاصطناعي الأول لا يزال يتجاهل الصورة؛ والثاني قام فقط بإصلاح الكذبة بعد أن قيلت.
الخلاصة الكبرى
الدرس الرئيسي هو أن مجرد كون إجابة الذكاء الاصطناعي تبدو مثالية وفصيحة، لا يعني أنه قرأ المستند بالفعل.
في عالم التاريخ القديم والوثائق النادرة، يعد هذا أمراً خطيراً. إذا استخدمت المكتبات الرقمية هذه النماذج لمسح الكتب اليونانية القديمة، فقد يقوم الذكاء الاصطناعي باستبدال كلمة نادرة وغامضة بكلمة أخرى شائعة و"منطقية" بصمت. والمؤرخ الذي يقرأ النسخة الرقمية لن يعرف أبداً أن التغيير قد حدث لأن الجملة ستظل تبدو سليمة لغوياً.
تخلص الورقة البحثية إلى أننا بحاجة إلى طرق جديدة لاختبار الذكاء الاصطناعي، ليس فقط من خلال التحقق مما إذا كانت النتيجة النهائية جيدة، بل من خلال التحقق مما إذا كان الذكاء الاصطناعي "مرتبطاً" فعلياً بالأدلة البصرية، أم أنه مجرد يخمن بناءً على ما يعتقد أنه يجب أن يكون موجوداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.