ChartAnno: Evaluating MLLMs for Chart Annotation Generation

تخيل أنك قبطان سفينة فضائية، وقد رسم حاسوبك للتو خريطة جميلة ومعقدة للنجوم. الخريطة مثالية، لكنها صامتة؛ فهي تُظهر النجوم، لكنها لا تخبرك لماذا هي موجودة هناك، أو أي منها هو الأكثر خطورة، أو أين يختبئ الكنز. لجعل الخريطة مفيدة، تحتاج إلى إضافة ملاحظات، وأسهم، وتسميات توضيحية—وهذا ما يسمى تعليق المخططات (chart annotation). إنه فن تحويل صورة خام إلى قصة يمكن لأي شخص فهمها.

في عالم الذكاء الاصطناعي، هناك روبوتات فائقة الذكاء تسمى نماذج اللغات الكبيرة متعددة الوسائط (MLLMs). فكر فيها على أنها روبوتات يمكنها قراءة النصوص، والنظر إلى الصور، وكتابة أكواد الكمبيوتر في آن واحد. لقد علمنا هذه الروبوتات بالفعل كيفية فهم المخططات وحتى رسم مخططات جديدة من الصفر. ولكن هناك فجوة صعبة: هل تستطيع هذه الروبوتات النظر إلى مخطط موجود وإضافة الملاحظات الصحيحة لشرحه؟ الأمر لا يقتصر فقط على رسم خط؛ بل يتعلق بمعرفة ما يعنيه ذلك الخط، ثم كتابة الكود لوضع تسمية توضيحية في مكانها الصحيح تماماً. هذا هو التحدي الذي يتصدى له هذا البحث: تعليم الذكاء الاصطناٍ أن يكون مرشداً سياحياً مفيداً للبيانات، بدلاً من مجرد صانع خرائط.

هنا يبرز CHARTANNO، وهو "أرض تدريب" جديدة أنشأها الباحثون لاختبار مدى جودة هذه الروبوتات في هذه الوظيفة المحددة. فقد بنى الباحثون مكتبة ضخمة تضم 1,200 مخطط من العالم الحقيقي—تتراوح بين الرسوم البيانية الإخبارية والأوراق العلمية—وقرنوا كل منها بمجموعة من التعليمات. لم يكتفوا بإعطاء الروبوتات نوعاً واحداً من التعليمات؛ بل اختبروهن بثلاثة مستويات من التفصيل، مثل لعبة فيديو تزداد صعوبة مع التقدم:

1. مستوى "الهدف الغامض": يُقال للروبوت: "سلط الضوء على أهم اتجاه". وعليه أن يخمن ما يعنيه ذلك وكيف يظهره.
2. مستوى "خطة العمل": يُقال له: "ارسم مربعاً أرجوانياً حول الأعوام من 1890 إلى 1900 وضع تسمية في المنتصف". هو يعرف ما يجب فعله، لكن عليه معرفة الألوان والأحجام الدقيقة.
3. مستوى "المخطط التنفيذي": يُعطى وصفة: "ارسم مربعاً أرجوانياً من x=0 إلى x=10 بدرجة معينة من اللون الأرجواني وضع النص عند الإحداثيات (4, 15)".

بعد ذلك، طلب الباحثون من 10 نماذج مختلفة من الذكاء الاصطناعي (بعضها من صنع شركات تقنية كبرى، والبعض الآخر مفتوح المصدر) كتابة كود الكمبيوتر الذي سيضيف هذه التعليقات التوضيحية. وتحققوا مما إذا كان الكود يعمل بالفعل، وما إذا كان المخطط يبدو صحيحاً، وما إذا كان المعنى واضحاً، وما إذا كان التصميم جميلاً.

إليكم ما وجدوه، وهي نتائج متباينة نوعاً ما. أولاً، نماذج الشركات الكبرى (مثل تلك التي تنتجها جوجل وOpenAI) لا تزال هي البطلة، فهي تؤدي بشكل عام أفضل مهمة في فهم "الأهداف الغامضة" وإنشاء تصاميم جميلة. ومع ذلك، فإن بعض النماذج مفتوحة المصدر تلحق بالركب بسرعة، حيث حقق نموذج يُدعى Kimi K2.5 أداءً يقارب أداء العمالقة المغلقين والمكلفين.

كشفت الدراسة أيضاً عن حقائق مفاجئة حول طريقة تفكير هذه الروبوتات. عندما كانت التعليمات محددة للغاية (مستوى "المخطط التنفيذي")، أدت الروبوتات مهمتها بشكل جيد. ولكن عندما كانت التعليمات غامضة (مستوى "الهدف الغامض")، كانت تتعثر غال، حيث واجهت صعوبة في تخمين ما هو الجزء الأكثر أهمية في المخطط بالفعل. الأمر يشبه إعطاء طاهٍ وصفة بقياسات دقيقة مقابل قول "اصنع شيئاً لذيذاً" فقط؛ فالروبوتات بارعة في اتباع الوصفات، لكنها لا تزال تتعلم كيف تكون طهاة مبدعين.

اكتشاف آخر مثير للاهتمام كان حول ما تحتاجه الروبوتات لرؤيته. قد تعتقد أن إظهار صورة المخطط للروبوت سيساعده كثيراً. لكن الباحثين وجدوا أن إعطاء الروبوت الكود الذي أنشأ المخطط كان أكثر أهمية بكثير. ساعدت الصورة قليلاً في جعل التعليقات التوضيحية تبدو جميلة، ولكن بدون الكود (الذي يحتوي على أرقام البيانات وهيكلها الفعلي)، تاهت الروبوتات. في الواقع، إذا عرضت عليهم الصورة فقط وأخفيت الكود، انهار أداؤهم. اتضح أن بالنسبة لروبوتات الذكاء الاصطنا هذه، معرفة الرياضيات وراء الصورة أكثر فائدة من مجرد النظر إلى الصورة نفسها.

أخيراً، لاحظ الباحثون أن المهمة تصبح أصعب مع زيادة تعقيد المخططات. إذا كان المخطط يحتوي على الكثير من نقاط البيانات أو يتطلب تغييراً طويلاً ومعقداً في الكود لإضافة التعليق، فحتى أذكى الروبوتات تبدأ في ارتكاب الأخطاء. قد تكتب كوداً لا يعمل، أو قد تضع تسمية توضيحية في مكان خاطئ.

باختصار، يوضح لنا CHARTANNO أنه بينما أصبح الذكاء الاصطناعي جيداً جداً في رسم وقراءة المخططات، فإن تعليمه كيفية شرحها عبر التعليقات التوضيحية لا يزال عملاً قيد التطوير. الروبوتات ممتازة في اتباع التعليمات الصارمة، لكنها لا تزال بحاجة إلى مساعدة لفهم "الصورة الكبيرة" من تلقاء نفسها. ويأمل الباحثون أن يساعد هذا الاختبار الجديد في بناء أدوات ذكاء اصطناعي أفضل يمكنها يوماً ما تحويل أي مخطط مربك إلى قصة واضية ومفيدة للجميع.