Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models
تقدم هذه الورقة معيار FaithC4 لتوضيح أن نماذج الرؤية واللغة غالباً ما تعيد كتابة النصوص غير المكتملة إلى أشكال تبدو منطقية بدلاً من نسخها بأمانة، مما يكشف عن أنماط تدهور متميزة عبر أنواع النماذج ويحدد تمثيلات طبقات وكلمات محددة تحفز سلوك إعادة الكتابة هذا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيفية قراءة ملاحظة مكتوبة بخط اليد من جدتك. تتوقع من الروبوت أن يعمل كآلة تصوير ضوئية فائقة الدقة، تلتقط كل تعرج، وكل بقعة، وكل كلمة مكتوبة بشكل خاطئ تمامًا كما تظهر. هذا هو عمل التعرف الضوئي على الحروف (OCR)، وهي تقنية موجودة منذ عقود لتحويل صور النصوص إلى كلمات رقمية. ولكن مؤخرًا، وصل نوع جديد من الروبوتات: نموذج الرؤية واللغة (VLM). فكر في هذه النماذج كأنها روبوتات لا تكتفي فقط بـ "رؤية" الحروف، بل "تفكر" أيضًا فيما يجب أن يعنيه الجملة، حيث تجمع بين كاميرا وعقل ذكي جدًا تدرب على كامل شبكة الإنترنت.
السؤال الكبير هو: عندما ترى هذه الروبوتات الذكية كلمة فوضوية، هل تنسخها بأمانة، أم تحاول "إصلاحها"؟ الأمر يشبه إلى حد ما تأثير "القدرة على قراءة الكلمات المبعثرة" (typoglycemia) الذي يختبره البشر، حيث يمكننا قراءة جملة حتى لو كانت الحروف الوسطى للكلمات مبعثرة، لأن عقولنا تخمن الكلمة المقصودة. وبينما يكون هذا مفيدًا للبشر، إلا أنه قد يكون كارثيًا لروبوت إذا كنت بحاجة إلى نسخة حرفية مثالية لعقد قانوني أو رسالة تاريخية. فإذا قرر الروبوت "تصحيح" خطأ مطبعي كان في الأصل جزءًا من الوثيقة، فقد يكون قد أعاد كتابة التاريخ بدلاً من تسجيله. يبحث هذا البحث فيما إذا كانت هذه الروبوتات الذكية الجديدة هي نساخون أمناء أم محررون مفرطو الحماس.
هل تقرأ نماذج الرؤية واللغة (VLMs) أم تعيد الكتابة؟
في هذه الدراسة، وضع باحثون من أمازون (Amazon) هدفًا لاختبار عادة محددة لهذه النماذج (VLMs): عندما يرى النموذج كلمة تبدو غريبة بعض الشيء، هل يقرؤها تمامًا كما هي، أم يعيد كتابتها سرًا لتصبح شيئًا أكثر منطقية؟
ولمعرفة ذلك، أنشأ الفريق ساحة لعب خاصة تسمى FaithC4. تخيل أنهم أخذوا آلاف الصفحات النظيفة والعادية من النصوص باللغات الإنجليزية والصينية والكورية. ثم، لعبوا لعبة "الهاتف المكسور" (telephone) مع الكلمات قبل تحويلها إلى صور. لقد أخذوا 8% من الكلمات المؤهلة وأفسدوها بثلاث طرق إبداعية:
- البعثرة (Scramble): قاموا بخلط الحروف الداخلية (مثل تحويل "standard" إلى "sdanartd").
- العشوائية (Random): استبدلوا الحروف بأخرى عشوائية تمامًا (مثل "xkpmewqi").
- البصرية (Visual): استبدلوا الحروف بأخرى تشبهها تمامًا في الشكل (مثل تحويل حرف 'a' إلى 'c' أو 'o' إلى '0').
بعد ذلك، عرضوا هذه الصور "المعطوبة" على 15 نظامًا مختلفًا. وقد انقسمت هذه الأنظمة إلى ثلاث مجموعات:
- الحرس القديم (The Old Guard): أدوات OCR التقليدية (مثل Tesseract) التي تنظر فقط إلى البكسلات وتقول "هذا يبدو مثل حرف 'a'".
- المتخصصون (The Specialists): نماذج (VLMs) مدربة خصيصًا لقراءة المستندات.
- العامّون (The Generalists): نماذج (VLMs) القوية والكبيرة (مثل Qwen وGPT-4V وGemini) التي تجيد كل شيء من الرياضيات إلى الشعر.
النتائج: الروبوتات "الذكية" ذكية أكثر من اللازم
كانت النتائج مفاجئة ومقلقة بعض الشيء لأي شخص يحتاج إلى نسخ مثالية. وجد الباحثون أنه كلما كان الروبوت "أذكى"، زاد احتمال قيامه بإعادة كتابة النص.
- الحرس القديم (OCR التقليدي): كانوا الأكثر أمانة. عندما تم العبث بالنص، لم يغيروا إجابتهم إلا نادرًا. ارتفع معدل الخطأ لديهم بأقل من 0.6 نقطة مئوية. لقد رأوا الفوضى ونسخوا الفوضى ببساطة.
- المتخصصون: كانوا أفضل قليلاً من "العامّين" لكنهم لا يزالون يجرون بعض التغييرات. ارتفعت أخطاؤهم بنسبة تتراوح بين 0.2 إلى 2 نقطة مئوية.
- العامّون: كانوا الأسوأ في الأمانة. عندما تم بعثرة النص أو تعديله بصريًا، قفزت معدلات الخطأ لديهم بنسبة تصل إلى 4.5 نقطة مئوية.
لماذا؟ لأن هذه النماذج العامة القوية بارعة جدًا في التنبؤ بما يجب أن تبدو عليه الجملة، لذا فهي غالبًا ما تتجاهل ما هو مكتوب بالفعل. إذا رأوا "prbolem"، فإنهم يخرجون بكلمة "problem" بكل ثقة، حتى لو كانت الصورة توضح بوضوح أنها "prbolem". الأمر يشبه طالبًا يعرف الإجابة على مسألة رياضية جيدًا لدرجة أنه يتجاهل الخطأ الذي رسمه المعلم على السبورة ويكتب الإجابة الصحيحة فقط.
الآلية الخفية: متى تحدث إعادة الكتابة؟
لفهم سبب حدوث ذلك، نظر الباحثون داخل "عقل" أحد هذه النماذج، وهو Qwen3-VL-4B، طبقة تلو الأخرى. أرادوا معرفة ما إذا كان الروبوت "أعمى" عن الخطأ أم أنه اختار تجاهله فحسب.
اكتشفوا قاعدة رائعة: الروبوت يعيد كتابة الكلمة فقط عندما "يعتقد" أن الكلمة لا تزال مألوفة.
- إذا ظل التمثيل الداخلي للكلمة المبعثرة قريبًا جدًا من الكلمة الأصلية (مثل صورة ضبابية لا تزال تبدو كقطة)، يقول الروبوت: "أوه، هذه بالتأكيد 'قطة'!" ويعيد كتابتها.
- لكن إذا كانت البعثرة سيئة لدرجة أن التمثيل الداخلي ابتعد كثيرًا عن الأصل (الصورة أصبحت مجرد بقعة)، يتوقف الروبوت عن التخمين ويبدأ أخيرًا في قراءة ما يراه.
وهذا يفسر لماذا يهم طول الكلمة كثيرًا. الكلمات القصيرة (4 إلى 6 أحرف) يتم إعادة كتابتها بنسبة تصل إلى 10% لأن من السهل على الروبوت تخمين الأصل. ولكن بمجرد أن تصل الكلمة إلى 8 أحرف أو أكثر، تنخفض إعادة الكتابة إلى 0%. فالبعثرة تكون أكبر من أن يستطيع "عقل التخمين" لدى الروبوت استعادة الأصل، فيستسلم وينسخ النص بأمانة.
تأثير الدومينو (التأثير المتتابع)
هذا هو الجزء الأكثر إثارة للدهشة: إفساد بضع كلمات لا يؤثر فقط على تلك الكلمات المحددة. وجد الباحثون أن إفساد 5% فقط من الكلمات في مستند ما تسبب في ارتفاع الأخطاء في الكلمات "المثالية وغير الملموسة" بمقدار 5 إلى 10 أضعاف بالنسبة للنماذج العامة.
الأمر يشبه أن الروبوت يصاب بالارتباك بسبب خطأ مطبعي واحد، مما يجعله يسيء قراءة الفقرة بأكملها المحيطة به. لم تكن أنظمة OCR التقليدية تعاني من هذه المشكلة؛ فقد ظلت هادئة ودقيقة حتى وهي محاطة بالفوضى.
ماذا يعني هذا؟
خلصت الورقة البحثية إلى أنه بينما تعد نماذج الذكاء الاصطناعي الجديدة والمبهرة هذه مذهلة في فهم المستندات والإجابة على الأسئلة، إلا أنها ليست موثوقة للمهام التي تتطلب نسخة حرفية ومثالية من النص. إذا كنت تقوم برقمنة مخطوطة تاريخية، أو مراجعة عقد قانوني، أو تحليل سجلات طبية حيث كل خطأ مطبعي له أهمية، فيجب عليك التمسك بـ OCR التقليدي أو الأدوات المتخصصة. فنماذج (VLMs) العامة متحمسة جدًا لـ "المساعدة" عبر إصلاح الأشياء التي لا ينبغي إصلاحها.
يقترح الباحثون ضرورة توخي الحذر عند استخدام هذه النماذج. فمجرد قدرة النموذج على قراءة مستند لا يعني أنه سيقرؤه بأمانة. في الوقت الحالي، إذا كنت تريد الحقيقة تمامًا كما كُتبت، فإن الروبوتات القديمة هي لا تزال النسّاخ الأكثر صدقًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.