💬 NLP

VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration

تقدم الورقة البحثية VisTIRA، وهو إطار عمل استدلالي متكامل الأدوات يعالج فجوة الأداء بين الاستدلال الرياضي القائم على النصوص والمنظم على الصور في النماذج اللغوية البصرية، وذلك من خلال تفكيك المشكلات البصرية إلى مسوغات باللغة الطبيعية وخطوات برمجية بلغة بايثون قابلة للتنفيذ، مدعومة بمجموعة بيانات اصطناعية ومسار تدريب جديد.

المؤلفون الأصليون: Saeed Khaki, Ashudeep Singh, Nima Safaei, Kamal Ginotra

نُشر 2026-03-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Saeed Khaki, Ashudeep Singh, Nima Safaei, Kamal Ginotra

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طالب عبقري بارع في حل المسائل الرياضية عندما تُكتب كنص عادي على شاشة الكمبيوتر. يمكنك قراءة الأرقام، وفهم الكلمات، ومعالجة المعادلات بدقة مثالية.

لكن الآن، تخيل أن شخصاً ما سلمك صورة لواجب منزلي رياضيات مكتوب بخط اليد. فجأة، بدأت ترتكب أخطاءً. لقد أخطأت في قراءة رقم "3" متعرج واعتبرته "8"، أو خلطت بين علامة الجمع وعلامة الضرب، أو تهت في التنسيق الفوضوي للصفحة. على الرغم من أن "الرياضيات" هي نفسها، إلا أن "طريقة" تقديمها (الصورة) تسببت في إرباكك.

هذه هي المشكلة التي تحاول ورقة VisTIRA حلها. الأمر يتعلق بسد الفجوة بين كيفية تعامل الذكاء الاصطناعي مع النصوص وكيفية تعامله مع صور الرياضيات.

إليك تفصيل حلهم، باستخدام بعض التشبيهات من الحياة اليومية:

1. المشكلة: فجوة "الصورة مقابل النص"

نماذج الذكاء الاصطناعي الحالية (نماذج اللغة والرؤية - Vision-Language Models) تشبه الطلاب الذين يجيدون قراءة الكتاب المدرسي لكنهم سيئون جداً في قراءة سبورة بيضاء فوضوية.

وضع النص: يقرأ الذكاء الاصطناعي "x تربيع زائد 5 يساوي 10". سهل.
وضع الصورة: يرى الذكاء الاصطناعي صورة لـ "x² + 5 = 10" مكتوبة بخط اليد. قد يعتقد أن الرقم "2" هو حرف "z"، أو قد يغفل عن كون الرقم "5" هو في الواقع حرف "S" بسبب مسح ضوئي سيء.
النتيجة: يحصل الذكاء الاصطناعي على إجابة خاطئة، ليس لأنه لا يستطيع القيام بالرياضيات، بل لأنه لا يستطيع قراءة الصورة بوض_وضوح.

2. الحل: VisTIRA (الطالب الذي "يتحقق باستخدام الآلة الحاسبة")

ابتكر المؤلفون إطار عمل جديداً يسمى VisTIRA. فكر في VisTIRA ليس كطالب يحاول حفظ الإجابة، بل كطالب لديه قاعدة صارمة: "لن أثق أبداً في عقلي للقيام بالعمليات الحسابية الثقيلة؛ سأستخدم الآلة الحاسبة."

إليك كيف يعمل VisTIRA، خطوة بخ خطوة:

النظر والتفكير: ينظر الذكاء الاصطناعي إلى صورة المسألة الرياضية. ويقول: "حسناً، أعتقد أن هذه مسألة هندسة تتعلق بمثلث".
كتابة الوصفة: بدلاً من محاولة حلها في ذهنه، يكتب مجموعة من التعليمات (كود برمجي بلغة Python) لحلها. "أولاً، احسب مساحة القاعدة. ثم، اضربها في الارتفاع".
تشغيل الآلة الحاسبة: يرسل تلك التعليمات إلى برنامج كمبيوتر خارجي (آلة حاسبة) للقيام بالعمليات الحسابية فعلياً.
التحقق من النتيجة: يقوم الكمبيوتر بإعطاء الإجابة. يتحقق الذكاء الاصطناعي مما إذا كانت تلك الإجابة منطقية.
التكرار: إذا بدت الإجابة غريبة، يعود إلى الخطوة رقم 2، ويقوم بتعديل تعليماته، ثم يحاول مرة أخرى.

التشبيه: تخيل أنك تحاول التنقل في مدينة.

الذكاء الاصطناعي القديم: يحاول حفظ الخريطة والقيادة بدون نظام تحديد مواقع (GPS). إذا كانت الخريطة ضبابية (الصورة)، فسيضيع الطريق.
VisTIRA: ينظر إلى الخريطة الضبابية، ويكتب تعليمات المنعطفات خطوة بخطوة، ثم يستخدم نظام تحديد المواقع (الكود) لقيادة السيارة. حتى لو كانت الخريطة فوضوية، فإن نظام تحديد المواقع يضمن وصول السيارة إلى وجهتها الصحيحة.

3. التدريب: تعليم الذكاء الاصطناعي "كيف يؤدي الواجب المنزلي"

لتعليم VisTIRA كيفية القيام بذلك، لم يكتفِ الباحثون بإظهار الإجابات له فحسب، بل أنشأوا مكتبة ضخمة من "حلول الواجبات المنزلية" (تسمى SnapAsk).

أخذوا صوراً حقيقية لواجبات منزلية في الرياضيات.
استخدموا ذكاءً اصطناعياً فائق الذكاء ("المعلم") لحلها عن طريق كتابة طريقة التفكير و الكود البرمجي لحلها.
قاموا بتصفية أي حلول لم تتطابق فيها "طريقة التفكير" مع "نتيجة الكود".
استخدموا هذه البيانات عالية الجودة لتدريب نماذج الذكاء الاصطناعي الأصغر، وتعليمها دائماً أن تتحقق من عملها باستخدام الكود.

4. "النظارات السحرية" (OCR)

اختبر الباحثون أيضاً خدعة تسمى OCR (التعرف الضوئي على الحروف).

الفكرة: قبل أن يحاول الذكاء الاصطناعي حل الصورة، يستخدم أداة خاصة لـ "قراءة" النص الموجود في الصورة وتحويله إلى نص عادي أولاً.
النتيجة: هذا يعمل مثل إعطاء الذكاء الاصطناعي نظارات سحرية تجعل الكتابة اليدوية الضبابية واضحة تماماً.
العيب: هذا يعمل بشكل رائع مع نماذج الذكاء الاصطناعي الأصغر والأقل قوة (فهي تحتاج إلى النظارات). ولكن بالنسبة لنماذج الذكاء الاصطناعي العملاقة وفائقة الذكاء، فإن النظارات أحياناً تضيف فقط ضوضاء أو ارتباكاً، لأن تلك العمالقة جيدة بالفعل في قراءة النصوص الضبابية بمفردها.

5. الاكتشاف الكبير

وجد الباحثون شيئين رئيسيين:

الفجوة حقيقية: الذكاء الاصطناعي أسوأ بكثير في الرياضيات عندما تكون في شكل صورة مقارداً عندما تكون نصاً.
الحل: أفضل طريقة لإصلاح ذلك ليست فقط بجعل الذكاء الاصطناعي "أذكى"، بل بتعليمه أن يبطئ، ويكتب خطته، ويستخدم أداة (الكود) للتحقق من الرياضيات.

الملخص

VisTIRA يشبه تعليم الطالب التوقف عن التخمين والبدء في استخدام الآلة الحاسبة. من خلال إجبار الذكاء الاصطناعي على تفكيك صورة مسألة فوضوية إلى خطوات واضحة، ثم استخدام الكود لحل الأرقام، فإنه يتوقف عن ارتكاب أخطاء القراءة السخيفة ويبدأ في الحصول على الإجابات الصحيحة، حتى عندما تبدو الرياضيات كصورة فوضوية على ورقة.

لقلقوا أيضاً بنشر مجموعة بيانات جديدة ضخمة من المسائل الرياضية المحولة إلى صور لتمكين الباحثين الآخرين من اختبار أنظمة "النظارات السحرية" و"التحقق من الآلة الحاسبة" الخاصة بهم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "VisTIRA: سد الفجوة بين النمط النصي والنمط الصوري في الاستدلال الرياضي البصري عبر التكامل الهيكلي للأدوات."

1. بيان المشكلة: الفجوة بين النمطين النصي والصوري

تحدد الورقة بحثاً تباعداً حرجاً في الأداء لدى نماذج الرؤية واللغة (VLMs): فهي تسجل أداءً أقل بكثير في مهام الاستدلال الرياضي عندما تُقدم المسائل في شكل صور مقارنة بتقديمها كـ نص مجرد.

الظاهرة: تُظهر حتى النماذج المتطورة "فجوة نمطية" (modality gap)، حيث تنخفض الدقة عندما تكون المسألة الرياضية منسقة بصرياً (تحتوي على صيغ كثيفة، معادلات متعددة الأسطر، رسوم بيانية، وسياق مختلط من الرموز والنصوص) مقابل تقديمها كنص.
الأسباب الجذرية: تنشأ هذه الفجوة من تراكم الإخفاقات في:
1. التحليل البصري (Visual Parsing): سوء تفسير الهياكل على مستوى التنسيق (مثل: خطوط الأساس للكسور، حدود التكامل، الأسس، والأقواس المجزأة).
2. الاستدلال الرمزي (Symbolic Reasoning): الأخطاء في قراءة النص الذي تم تحليله تتسبب في تسلسل من الأخطاء في العمليات الجبرية.
قصور النهج الحالية: تعتمد نماذج VLMs الحالية غالباً على تحفيز "سلسلة الأفكام" (Chain-of-Thought - CoT) لكنها تفتقر إلى التكامل الهيكلي للأدوات. علاوة على ذلك، نادراً ما توفر مجموعات البيانات الحالية مسارات قابلة للتنفيذ خطوة بخطوة مقترنة بالصور، مما يحد من القدرة على تدريب النماذج على التحقق من استدلالها الخاص.

2. المنهجية

يقترح المؤلفون إطار عمل VisTIRA (وكيل الاستدلال المتكامل للرؤية والأدوات)، وهو مصمم لسد هذه الفجوة من خلال الاستدلال الهيكلي واستخدام الأدوات.

أ. إطار عمل VisTIRA

يقوم VisTIRA بتحويل مسألة رياضية بصرية إلى حلقة تكرارية من المبررات باللغة الطبيعية وكود بايثون القابل للتنفيذ.

العملية:
1. يتلقى النموذج صورة $I$ .
2. يقوم بتوليد خطوة استدلال ( $\rho_i$ ) وقطعة كود بايثون مقابلة ( $A_i$ ).
3. يتم تنفيذ الكود خارجياً (باستخدام أدوات مثل SymPy/Python)، مما ينتج مخرجاً ( $O_i$ ).
4. يتم تغذية المخرج مرة أخرى في النموذج لإعلام خطوة الاستدلال التالية.
5. تستمر الحلقة حتى يتم وضع الإجابة النهائية داخل إطار ( $\boxed{\text{answer}}$ ).
الهدف: هذا التصميم "مغلق الحلقة" يؤجل العمليات الحسابية الدقيقة إلى محرك رمزي، مما يقلل من الهلوسة والأخطاء المتراكمة الشائعة في الاستدلال القائم على النص فقط.

ب. بناء البيانات والإشراف

لبناء وتدريب VisTIRA، أنشأ المؤلفون مجموعتي بيانات رئيسيتين:

SnapAsk (بيانات من العالم الحقيقي): مجموعة بيانات مملوكة تحتوي على حوالي 303 ألف صورة من مسائل الواجبات المنزلية الواقعية.
- التوليد: يقوم نموذج "معلم" (Teacher VLM) (مثل GPT-4o/GPT-5) بتوليد مسارات متكاملة مع الأدوات (مبرر $\leftarrow$ كود $\leftarrow$ تنفيذ $\leftarrow$ مخرج).
- التصفية: يتم الاحتفاظ بالمسارات فقط إذا تطابق استدلال CoT الخاص بالنموذج مع الإجابة النهائية التي أنتجها تنفيذ الكود (مرشح الاتساق). نتج عن ذلك حوالي 148 ألف عينة تدريب عالية الجودة.
NuminaMath (اختبار مضبوط): مسار لتحويل مجموعات بيانات CoT النصية الموجودة (NuminaMath) إلى صور منسقة بصرياً باستخدام رندرة LaTeX.
- ينشئ هذا مجموعات بيانات نص-صورة مزدوجة، مما يسمح بتقييم مضبوط للفجوة النمطية.
- أصدر المؤلفون 360 ألف صورة نظيفة و 360 ألف صورة مشوشة (تم تطبيق تدهور عشوائي عليها) مُرندرة.

ج. تحليل الربط بـ OCR

تبحث الورقة في الربط بـ OCR (التعرف الضوئي على الحروف) كاستراتيجية تكميلية.

الطريقة: استخراج النصوص من الصور الرياضية باستخدام نموذج OCR متطور (DeepSeek-OCR) وتغذيته جنباً إلى جنب مع الصورة.
الفرضية: يمكن لاستخراج النصوص الصريح أن يعوض عن ضعف المشفرات البصرية في النماذج الأصغر.

3. المساهمات الرئيسية

إطار عمل VisTIRA: وكيل استدلال متكامل الأدوات وتكراري، يقوم بتفكيك المسائل الرياضية البصرية إلى حلقات (مبرر-كود-تنفيذ).
الإشراف على المسارات واسع النطاق: إنشاء مستودع موثق يضم حوالي 148 ألف مسار متكامل مع الأدوات من صور واقعية (SnapAsk) للضبط الدقيق الخاضع للإشراف (SFT).
قياس الفجوة النمطية:
- مسار يعتمد على LaTeX لتحويل المسائل الرياضية النصية إلى صور.
- إصدار 360 ألف صورة نظيفة و 360 ألف صورة مشوشة من NuminaMath.
- مجموعة اختبار معيارية مكونة من 5 آلاف اختبار مع نسخ DeepSeek-OCR.
التحليل التشخيصي لـ OCR: دراسة تفصيلية تظهر أن الربط بـ OCR يساعد بشكل كبير النماذج الصغيرة، لكنه يقدم عوائد متناقصة أو فائضة للنماذج الأكبر.

4. النتائج التجريبية

أُجريت التجارب على Qwen2.5-VL-7B (نموذج صغير) و GPT-5 (نموذج كبير) باستخدام مجموعات بيانات SnapAsk و NuminaMath المُمرندرة.

أ. فعالية الاستدلال المتكامل مع الأدوات

تحسن الأداء: أدى الضبط الدقيق (Fine-tuning) على مسارات VisTIRA إلى تحسين الأداء بشكل كبير مقارنة بالنماذج المرجعية المعتمدة على التعليمات فقط.
- SnapAsk (واقعي): تحسن Qwen2.5-VL-7B من 32.53% (الأساسي) إلى 37.96% (VisTIRA).
- NuminaMath (مُرندر): تحسن من 58.77% إلى 60.97%.
دراسة الاستبعاد (Ablation): لم يوفر الـ SFT المعتمد على "CoT فقط" (بدون تنفيذ الكود) مكاسب تذكر (+1.65% في SnapAsk)، مما يؤكد أن الإشراف المتكامل مع الأدوات (التداخل بين الكود والتنفيذ) هو المحرك الرئيسي للتحسن، وليس مجرد التكيف مع المجال.

ب. قياس الفجوة النمطية

النص مقابل الصورة: أدت كلا النماذج أداءً أفضل في النص مقارنة بالصور.
- Qwen2.5-VL-7B: النص (64.19%) مقابل الصورة (58.77%) $\leftarrow$ فجوة 5.42%.
- GPT-5: النص (79.94%) مقابل الصورة (73.94%) $\leftarrow$ فجوة 6.00%.
الارتباط بالحجم: ترتبط الفجوة عكسياً مع حجم النموذج؛ فالنماذج الأصغر تعاني أكثر من أخطاء التحليل البصري.

ج. تأثير الربط بـ OCR

النماذج الصغيرة (Qwen2.5): قدم الربط بـ OCR مكاسب جوهرية.
- صورة + OCR: 63.89% (مقابل 58.77% للصورة فقط).
- الاستنتاج: يساعد OCR النماذج الصغيرة على التغلب على ضعف الإدراك البصي للرموز الكثيفة.
النماذج الكبيرة (GPT-5): أظهر الربط بـ OCR مكاسب هامشية أو فائضاً في المعلومات.
- صورة + OCR: 76.37% (مقابل 73.94% للصورة فقط).
- الاستنتاج: النماذج الأقوى تقوم بالفعل بتحليل النصوص البصرية جيداً؛ لذا فإن إضافة نص OCR الخام قد يدخل ضجيجاً أو تكراراً.
تحليل الطول: المسائل التي ساعد فيها OCR بشكل كبير كانت تحتوي على نصوص أطول وأكثر تعقيداً، مما يؤكد أن النماذج الأصغر تعاني من صعوبة في التعامل مع الرموز الكثيفة في الصور وحدها.

د. المتانة (الصور المشوشة)

عند الاختبار على صور مُرندرة مشوشة (تحاكي الصور الواقعية التي بها ضبابية وضجيج وعيوب)، استمرت الفجوة النمطية أو اتسعت بالنسبة للنماذج الكبيرة، بينما ظلت النماذج الأصغر مستقرة (وصلت إلى "سقف التحليل البصري"). وهذا يؤكد أن الفجوة هيكلية وليست مجرد نتاج لجودة الصورة.

5. الأهمية والخاتمة

سد الفجوة: تثبت الورقة أن الاستدلال الهيكلي (VisTIRA) والربط التكميلي (OCR) هما استراتيجيتان فعالان للتخفيف من الفجوة النمطية بين النص والصورة.
الاستراتيجيات المتكاملة:
- تكامل الأدوات ضروري لرفع مستوى الأداء عبر جميع أحجام النماذج من خلال نقل عبء الحوسسة.
- الربط بـ OCR يعمل كإشارة تعويضية للنماذج الأصغر ذات المشفرات البصرية الأضعف، ولكنه أقل أهمية للنماذج الأكبر.
الأثر على المجتمع: من خلال إصدار مسارات SnapAsk ومجموعة بيانات NuminaMath المُمرندة (النظيفة والمشوشة)، يوفر المؤلفون للمجتمع الموارد اللازمة لمواصلة البحث في الاستدلال الرياضي البصري ومحاذاة الأنماط.
العمل المستقبلي: يقترح المؤلفون أن يركز البحث المستقبلي على آليات الدمج التكيفي (Adaptive Fusion) لاتخاذ قرار ديناميكي بشأن استخدام OCR بناءً على حجم النموذج وتعقيد المسألة، بدلاً من الدمج الثابت.

باختصار، يثبت VisTIRA أن تزويد نماذج VLMs بالقدرة على "التفكير والحساب" عبر أدوات خارجية، مدعومة بإشراف مسارات عالي الجودة، هو المسار الأكثر فعالية لحل المسائل الرياضية البصرية المعقدة.