💬 NLP

Chartographer: Counterfactual Chart Generation for Evaluating Vision-Language Models

تقدم هذه الورقة "Chartographer"، وهو إطار عمل يقوم بتوليد مخططات مضادة للواقع عبر هندستها عكسياً إلى كود قابل للتنفيذ لتقييم قدرات الاستدلال البصري لنماذج اللغة والرؤية بدقة، مما يكشف أن العديد من النماذج تفشل في التعميم عندما يتم تغيير بيانات المخطط الأساسية رغم إجابتها على الأسئلة الأصلية بشكل صحيح.

المؤلفون الأصليون: Yifan Jiang, Dae Yon Hwang, Jesse C. Cresswell, Freda Shi

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yifan Jiang, Dae Yon Hwang, Jesse C. Cresswell, Freda Shi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تخضع لاختبار لترى ما إذا كنت تفهم الخريطة حقاً، أم أنك مجرد صادفت رؤية الإجابة نفسها من خريطة سابقة.

هذه الورقة البحثية، بعنوان "CHARTOGRAPHER"، تقدم طريقة جديدة لاختبار نماذج الذكاء الاصطناعي (تحديداً نماذج الرؤية واللغة - Vision-Language Models) لمعرفة ما إذا كانت "تفكر" حقاً في المخططات البيانية أم أنها مجرد "تحفظها".

إليك تفصيل فكرتهم، باستخدام تشبيهات بسيطة:

المشكلة: فخ "الحفظ التلقائي"

حالياً، عندما نختبر الذكاء الاصطناعي على المخططات البيانية، نعرض عليه صورة رسم بياني ونطرح سؤالاً (على سبيل المثال: "أي يوم شهد أعلى مبيعات؟"). يعطي الذكاء الاصطناعي إجابة. وإذا كانت الإجابة صحيحة، نفترض أنه فهم المخطط.

لكن المؤلفين يجادلون بأن هذا يشبه طالباً حفظ نموذج الإجابة لمسألة رياضية معينة. إذا قام المعلم بتغيير الأرقام في المسألة مع الإبقاء على السؤال كما هو، فإن الطالب الذي حفظ الإجابة فقط سيخطئ في الحل. أما الطالب الذي يفهم حقاً كيفية إجراء العملية الحسابية، فسيقوم بتعديل حسابه ويصل إلى الإجابة الصحيية الجديدة.

وتزعم الورقة أن العديد من نماذج الذكاء الاصطناعي الحالية تتصرف مثل ذلك الطالب الذي يحفظ الإجابات. فقد تكون "تغش" باستخدام طرق مختصرة أو عبر تذكر المخطط من بيانات التدريب الخاصة بها، بدلاً من قراءة الأدلة البصرية فعلياً.

الحل: "مُعيد مزج المخططات" (CHARTOGRAPHER)

لإصلاح ذلك، بنى الباحثون أداة تسمى CHARTOGRAPHER. فكر في هذه الأداة كـ "مُعيد مزج للمخططات" أو "آلة نسخ سحرية".

إليك كيف تعمل العملية، خطوة بخطوة:

الهندسة العكسية (المخطط الهندسي):
تأخذ الأداة صورة مخطط حقيقي وتحاول معرفة "الكود" أو "المخطط الهندسي" الذي أنشأه. الأمر يشبه النظر إلى كعكة جاهزة ومحاولة كتابة الوصفة الدقيقة وإعدادات الفرن المستخدمة لخبزها.
سيناريو "ماذا لو" (الواقعات المضادة):
بمجرد حصول الأداة على الوصفة، فهي لا تكتفي بخبز نفس الكعكة مرة أخرى. بل تغير المكونات قليلاً. ربما تستبدل الفانيليا بالشوكولاتة، أو تغير وقت الخبز.

في مصطلحات الورقة البحثية: هي تغير البيانات الأساسية في المخطط (على سبيل المثال، تجعل مبيعات يوم الجمعة أعلى من يوم الثلاثاء) مع الحفاظ على نمط المخطط والسؤال نفسه.

الإجابة الجديدة:
بسبب تغير البيانات، يجب أن تتغير الإجابة الصحيحة أيضاً. إذا أصبح يوم الجمعة هو الأعلى مبيعات، فيجب أن تكون الإجابة "الجمعة"، وليس "الثلاثاء".
الاختبار:
يُعرض على الذكاء الاصطنا-ي المخطط الأصلي ويحصل على الإجابة الصحيحة. ثم يُعرض عليه المخطط المعدل (الواقع المضاد) ويُسأل نفس السؤال.

الهدف: هل سيقوم الذكاء الاصطناعي بتحديث إجابته لتتطابق مع الأدلة البصرية الجديدة؟
الفشل: إذا تمسك الذكاء الاصطناعي بالإجابة القديمة (لأنه حفظ المخطط الأول) أو أعطى إجابة جديدة خاطئة عشوائية، فقد فشل في الاختبار.

ما وجدوه

اختبر الباحثون ذلك على العديد من نماذج الذكاء الاصطناعي (سواء كانت "مملوكة" باهظة الثمن أو "مفتوحة المصدر" ومجانية) باستخدام ثلاث مجموعات مختلفة من بيانات المخططات.

"التنبؤ الراكد": حصلت العديد من النماذج على المخطط الأصلي بشكل صحيح، ولكن عندما تغيرت البيانات، ظلت متمسكة بالإجابة القديمة. الأمر يشبه نظام GPS يستمر في إخبارك بالانعطاف يساراً حتى بعد إغلاق الطريق وتغيير مساره.
"التحديث المشوش": قامت بعض النماذج بتغيير إجابتها، لكنها كانت مجرد تخمين عشوائي لا يزال خاطئاً. لقد عرفوا أن الإجابة يجب أن تتغير، لكنهم لم يستطيعوا معرفة كيفية إجراء الحساب الجديد.
"الاستنتاج الحقيقي": نجحت قلة من النماذج فقط في النظر إلى البيانات الجديدة، وإعادة الحساب، وإعطاء الإجابة الجديدة الصحيحة.

الخلاصة الكبرى

تخلص الورقة إلى أن الدرجات العالية في اختبارات المخططات القياسية قد تكون مضللة. مجرد حصول الذكاء الاصطناعي على إجابة صحيحة مرة واحدة لا يعني أنه يفهم كيفية قراءة المخطط.

من خلال استخدام "مُعيد مزج المخططات" الخاص بهم لإنشاء سيناريوهات "ماذا لو" هذه، وجدوا أن العديد من النماذج تفشل في التعميم. فهي تعتمد على الحقائق المحفوظة أو الطرق المختصرة بدلاً من التفكير والاستنتاج من خلال الأدلة البصرية حقاً.

باخت-صار: CHARTOGRAPHER هي أداة تغير الأرقام في المخطط لترى ما إذا كان الذكاء الاصطناعي يقوم بالعمليات الحسابية فعلياً، أم أنه مجرد يردد نصاً تعلمه عن ظهر قلب. والنتائج تظهر أن العديد من أنظمة الذكاء الاصطناعي لا تزال مجرد أدوات تردد النصوص.

ملخص تقني: CHARTOGRAPHER

بيان المشكلة

تعتمد معايير قياس أداء نماذج الإجابة على الأسئلة المتعلقة بالرسوم البيانية (Chart QA) الحالية بشكل أساسي على تقييم نماذج الرؤية واللغة (VLMs) باستخدام ثلاثيات ثابتة (رسم بياني-سؤال-إجابة). وبينما تهدف هذه المعايير إلى قياس الاستدلال البصري، إلا أنها غالباً ما تفشل في التمييز بين الاستدلال الحقيقي وسلوكيات "الاختصار". فقد تصل النماذج إلى إجابات صحيحة من خلال استغلال الانتظامات في صياغة الأسئلة، أو الاعتماد على المعرفة البارامترية المكتسبة أثناء التدريب المسبق، أو التعرف على قوالب الرسوم البيانية المألوفة، بدلاً من إجراء المنطق البصري الضروري. وبناءً على ذلك، يظل من غير الواضح ما إذا كان نجاح نموذج الرؤية واللغة في رسم بياني معين يمكن أن يعمم عندما تتغير البيانات البصرية الأساسية (المحتوى). إن المعايير الحالية لا تختبر بشكل كافٍ ما إذا كان بإمكان النموذج إعادة ربط استدلاله بالبيانات المعدلة مع الحفاظ على نفس هيكل المهمة.

المنهجية: إطار عمل CHARTOGRAPHER

لمعالجة ذلك، قدم المؤلفون CHARTOGRAPHER، وهو إطار عمل مصمم لإنشاء عائلات أسئلة-رسوم بيانية تخيلية (Counterfactual). الهدف الجوهري هو الفصل بين القدرة على الاستدلال البصري والاعتماد على الاختصارات من خلال تغيير البيانات الأساسية مع إبقاء مهمة الرسم البياني والسؤال ثابتة. يتكون مسار العمل من أربع مراحل رئيسية:

إعادة بناء الرسم البياني إلى كود (Chart-to-Code Reconstruction):
- يقوم النظام بالهندسة العكسية لرسم بياني من مصدر أصلي إلى كود برمجي قابل للتنفيذ (مثل Python/Matplotlib) وبيانات دلالية (JSON).
- يتم استخدام حلقة تحسين ذاتي (Self-refinement loop) حيث يقوم نموذج الرؤية واللغة بتشخيص التباينات بين الرسم البياني الأصلي والنسخة المعاد إنتاجها بشكل تكراري، وتحديث الكود والبيانات حتى يتم قبول إعادة البناء.
- يتم تطبيق التحقق من قبل البشر (Human-in-the-loop validation) في الحالات الغامضة (مثل القيم غير المقروءة أو الترميزات المعقدة) لضمان أن الرسم البياني المعاد بناؤه يحافظ على الأدلة البصرية ذات الصلة بالمهمة.
توليد البيانات التخيلية (Counterfactual Data Generation):
- بمجرد قبول إعادة البناء، يقوم مولد بيانات محكوم بالبذور (Seed-controlled) بإنشاء عشرة متغيرات تخيلية.
- تحافظ هذه المتغيرات على مخطط الرسم البياني (Schema)، وقيود الصيرورة (Rendering constraints)، والافتراضات النطاقية، ولكنها تغير قيم البيانات الأساسية، أو التصنيفات، أو المسارات بطرق ذات معنى.
إعادة توليد الأسئلة والأجوبة (QA Regeneration):
- لضمان دقة الملصقات (Labels)، يقوم إطار العمل بتوليد منطق إجابة على الأسئلة قابل للتنفيذ.
- يتم الاحتفاظ بالسؤال الأصلي إذا كان صالحاً؛ وإلا فإنه يُعاد صياغته بشكل طفيف للحفاظ على التماسك.
- تُحسب الإجابات برمجياً من كائن البيانات الأساسي بدلاً من التدوين اليدوي، مما يضمن اشتقاق الحقيقة الأرضية (Ground Truth) مباشرة من الدليل البصري.
مقاييس التقييم (Evaluation Metrics):
يقيم إطار العمل النماذج عبر أربعة أبعاد:
- الدقة الأصلية (Original Accuracy - OA): الأداء على توزيع المعيار الأساسي.
- دقة إعادة البناء (Reconstruction Accuracy - RA): الأداء على إعادة البناء الأساسي (البيانات غير المعدلة) للتحقق من دقة المهمة.
- دقة المتغير (Variant Accuracy - VA): متوسط الأداء على المتغيرات التخيلية ذات البيانات المتغيرة.
- التغير النسبي للمتغير (Relative Variant Change - RVC): يقيس الحساسية لتغيرات البيانات ( $100 \cdot (VA - OA) / OA$ ).
- دقة المتغير الشرطية (Conditional Variant Accuracy - CVA): يقيس القدرة على التعميم تحديداً في العائلات التي أجاب فيها النموذج على الرسم البياني الأصلي بشكل صحيح. هذا يعزل ما إذا كان النجاح في الأصل يترجم إلى نجاح في المتغير.
- نتائج التحديث (Update Outcomes): بالنسبة للنماذج التي نجحت في الأصل، تُصنف الإخفاقات في المتغيرات إلى: تحديثات صحيحة (Correct Updates - CU)، أو تنبؤات راكدة (Stale Predictions - SP) (تكرار الإجابة الأصلية الخاطئة)، أو تحديثات ضوضائية (Noisy Updates - NU) (تغيير الإجابة مع البقاء على الخطأ).

المساهمات الرئيسية

مسار تحويل الرسم البياني إلى كود: طريقة لتحويل أمثلة الأسئلة والأجوبة في الرسوم البيانية الفردية إلى عائلات تخيلية عبر إعادة البناء التكراري، والتحقق البشري، وإعادة توليد الأسئلة والأجوبة القابلة للتنفيذ.
إطار عمل تقييم تخيلي: نموذج تقييم جديد يتجاوز أداء الرسم البياني الواحد ليقيس دقة إعادة البناء، وحساسية المتغير، والتعميم التخيلي.
أدلة تجريبية على فجوات التعميم: يكشف تطبيق هذا الإطار على مجموعات البيانات الحالية (ChartQA, CharXiv, ChartMuseum) أن الأداء العالي على الرسوم البيانية الأصلية غالباً ما يفشل في التعميم عندما تتغير الأدلة البصرية.

النتائج

قيم المؤلفون نماذج الرؤية واللغة المملوكة (مثل Claude, Gemini, سلسلة GPT-4/5) والمفتوحة المصدر (مثل Gemma, InternVL, LLaVA, Qwen) عبر ثلاثة مجموعات بيانات.

دقة إعادة البناء: حافظت عمليات إعادة البناء الأساسية عموماً على الأداء أو حسنته قليلاً (RA $\ge$ OA)، مما يشير إلى أن الرسوم البيانية عالية الدقة والمولدة بالكود تحافظ على المهمة جيداً وقد تقلل من الضوضاء الموجودة في الصور المستخرجة من المصادر.
الحساسية لتغيرات البيانات:
- ChartQA: أظهرت قدرة عالية على التعميم مع انخفاض طفيف في RVC، مما يشير إلى أن العديد من عائلات الرسوم البيانية التقليدية تنتقل بشكل جيد.
- CharXiv: أظهرت نتائج مختلطة؛ فبينما كان متوسط RVC قريباً من الصفر، كان CVA أقل بكثير من 1.0، مما يشير إلى أن النماذج التي حلت الرسم الأصلي غالباً ما فشلت عند تغير البيانات.
- ChartMuseum: أظهرت الفشل الأكثر وضوحاً، مع انخفاضات ذات دلالة إحصائية في VA (RVC سالب) وCVA منخفض.
أنماط الفشل:
- التنبؤات الراكدة (SP): كررت النماذج كثيراً إجابتها الأصلية الصحيحة حتى عندما تغيرت البيانات، مما يشير إلى الاعتماد على الحفظ أو المعرفة البارامترية بدلاً من إعادة الربط البصري.
- التحديثات الضوضائية (NU): غيرت النماذج غالباً إجابتها استجابة للرسم الجديد ولكنها فشلت في حساب القيمة الجديدة الصحيحة، مما يشير إلى نقص في الاستدلال المرتبط بالدليل.
- الاعتماد على نوع الاستدلال: كان التعميم أضعف في الأسئلة التي تتطلب استدلالاً بصرياً محضاً أو تركيبياً (دمج البصري والنصي). كان الأداء أعلى في الأسئلة التي يمكن حلها عبر النص وحده أو مزيج البصري/النصي، مما يشير إلى اعتماد النماذج على الإشارات النصية كعكازات.
مقارنة النماذج: أظهرت النماذج المملوكة عموماً CVA أعلى ومعدلات أقل من التحديثات الراكدة/الضوضائية مقارنة بالنماذج مفتوحة المصدر، رغم أن كلتا المجموعتين أظهرتا إخفاقات كبيرة في التعميم على مجموعات البيانات الأصعب.

الأهمية والادعاءات

يزعم البحث أن CHARTOGRAPHER يكشف عن نمط فشل حرج في نماذج الرؤية واللغة الحالية: عدم القدرة على تعميم الاستدلال البصري عندما تتغير البيانات الأساسية، حتى بعد النجاح في حل المهمة الأصلية.

الفصل بين الاستدلال والحفظ: يوضح إطار العمل أن درجات المعايير العالية في مجموعات البيانات القياسية (مثل CharXiv وChartMuseum) قد تخلط بين الاستدلال البصري الحقيقي وحفظ أزواج (الرسم البياني-السؤال) المحددة أو الاعتماد على المعرفة البارامترية.
أداة تشخيصية: من خلال تصنيف الإخفاقات إلى تنبؤات راكدة وتحديثات ضوضائية، يوفر إطار العمل تشخيصاً دقيقاً لكيفية فشل النماذج، مما يسلط الضوء على الاختناقات مثل تتبع المسارات، والمقارنات المكانية، وتحديد العتبات القيمية.
القيود: يشير المؤلفون إلى أن المعيار محدود بالرسوم البيانية التي يمكن استرداد بياناتها وتشفيراتها بشكل موثوق لتوليد الكود. وبالتالي، فهو يعزل الحساسية لتغير الأدلة البصرية، لكنه لا يختبر المتانة تجاه التغير في نوع الرسم البياني، أو أسلوب السؤال، أو التصميم البصري.

باختصار، يجادل CHARTOGRAPHER بأن الاستدلال البصري الحقيقي يتطلب من النماذج أن تظل مرتبطة بالأدلة البصرية بغض النظر عن تغيرات البيانات، وهي قدرة تفتقر إليها نماذج الرؤية واللغة المتطورة حالياً بشكل متكرر.