💬 NLP

EpiCurveBench: Evaluating VLMs on Epidemic Curve Digitization

تقدم هذه الورقة EpiCurveBench، وهو معيار مرجعي يتكون من 1,000 صورة لمنحنيات وبائية من العالم الحقيقي، وEpiCurveSimilarity (ECS)، وهو مقياس تقييم مبتكر يأخذ في الاعتبار البنية الزمنية والإزاحات المحلية، لإثبات أن نماذج الرؤية واللغة الحالية تعاني في رقمنة المنحنيات الوبائية وأن ECS يوفر تقييماً أكثر تمييزاً وذات صلة وبائية من مقاييس القيم المفتاحية الموجودة حالياً.

المؤلفون الأصليون: Thomas Berkane, Maimuna S. Majumder

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Thomas Berkane, Maimuna S. Majumder

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة من التقارير الصحية العامة القديمة والمغبرة. تحتوي هذه التقارير على رسوم بيانية ملونة (تسمى "المنحنيات الوبائية" أو epicurves) تُظهر عدد الأشخاص الذين مرضوا، أو دخلوا المستشفيات، أو توفوا خلال فترات تفشٍ مختلفة على مدار الـ 175 عاماً الماضية. ما المشكلة؟ هذه الرسوم هي مجرد صور. ولكي نتمكن من استخدام هذه البيانات للتنبؤ بالتفشيات المستقبلية، يحتاج الكمبيوتر إلى تحويلها إلى قوائم من الأرقوس المكتوبة، وليس مجرد أرقام مخبأة داخل صورة.

تقدم هذه الورقة البحثية طريقة جديدة لاختبار ما إذا كان الذكاء الاصطناعي (AI) قادراً على قراءة هذه الرسوم البيانية وتحويلها إلى قوائم أرقام بدقة. إليك التفاصيل بتبسيط شديد:

1. المشكلة: الذكاء الاصطناعي "أعمى" عن الزمن

في السابق، اختبر الباحثون قدرة الذكاء الاصطناعي على قراءة الرسوم البيانية باستخدام رسوم بيانية بسيطة ونظيفة تم إنشاؤها بواسطة الكمبيوتر. كان الذكاء الاصطناعي يؤدي بشكل رائع في تلك الاختبارات (مسجلاً أكثر من 89%). لكن تلك الاختبارات كانت تشبه اختبار القيادة على طريق سريع فارغ ومستقيم. أما رسوم الأوبئة في العالم الحقيقي، فهي تشبه القيادة في مدينة فوضوية وممطرة، حيث اللافتات ضبابية، والخطوط متداخلة، والنصوص متناهية الصغر.

الطريقة القدية لتقييم الذكاء الاصطناعي كانت تشبه معلمًا يصحح واجبات طلابه عبر النظر إلى الإجابات بترتيب عشوائي.

الخلل: إذا حصل الذكோ الاصطناعي على الأرقام الصحيحة ولكنه كتبها متأخرة بيوم واحد (إزاحة زمنية)، فإن نظام التصحيح القديم كان يعطيه صفراً. لقد عاملوا "الإجابة الصحيحة في اليوم الخطأ" بنفس معاملة "الإجابة الخاطئة تماماً". وكان هذا غير عادل، لأن معرفة "الاتجاه العام" (Trend) في الواقع غالباً ما يكون أهم من كونه مخطئاً في يوم واحد فقط.

2. الحل: اختبار جديد ومصحح جديد

ابتكر المؤلفون شيئين لإصلاح ذلك:

أ. الاختبار: EpiCurveBench
قاموا بجمع 1000 رسم بياني وبائي حقيقي من وكالات الصحة العامة حول العالم. هذه ليست صوراً نظيفة ومثالية، بل هي صور فوضوية:

بعضها ممسوح ضوئياً من ورق قديم وضبابي.
بعضها يحتوي على خطوط تتقاطع مع بعضها البعض.
بعضها يحتوي على نصوص مائلة أو صغيرة جداً.
بعضها يحتوي على مئات من نقاط البيانات (مثل غابة كثيفة من النقاط).
تغطي هذه الرسوم أمراضاً من عام 1849 إلى عام 2025.

ب. المصحح: EpiCurveSimilarity (ECS)
ابتكروا نظام تسجيل جديد يسمى ECS. فكر فيه كأنه مسطرة مطاطية بدلاً من المسطرة المعدنية الصلبة.

إذا حصل الذكاء الاصطناعي على شكل المنحنى بشكل صحيح ولكنه انزاح قليلاً في الوقت، فإن المسطرة المطاطية تتمدد لتتطابق معه وتعطيه درجة جزئية.
إذا فقد الذكاء الاصطناعي جزءاً من البيانات (مثل قطع نهاية الرسم البياني)، فإن المسطرة تنكمش وتخصم من الدرجة بقوة.
صُمم هذا المقياس ليهتم بـ "القصة" التي ترويها البيانات (الاتجاه العام)، وليس فقط بما إذا كان كل رقم في مكانه الصحيح تماماً.

3. النتائج: لا يزال أمام الذكاء الاصطنال طريق طويل

اختبر المؤلفون ستة نماذج مختلفة من الذكاء الاصطناعي (ثلاثة نماذج شهيرة "مغلقة"، ونموذج واحد مفتوح المصدر، ونموذجين متخصصين في قراءة الرسوم البيانية) على هذا الاختبار الجديد والصعب.

الدرجة: حتى أفضل نموذج ذكاء اصطناعي متاح حالياً سجل 52.3% فقط في هذا الاختبار الجديد. وهذا يعني أنه حتى أذكى ذكاء اصطناعي متاح حالياً لا يزال يرتكب أخطاءً جسيمة عند محاولة رقمنة بيانات الصحة العامة الواقعية.
المتخصص مقابل العام: النماذج المصممة خصيصاً للرسوم البيانية (مثل OneChart) كان أداؤها أسوأ من نماذج الذكاء الاصطناعي العامة؛ فقد ارتبكت بسبب الأنماط الفوضوية في العالم الحقيقي.
فخ "التفكير": لم يساعد دائماً توجيه الأمر للذكاء الاصطناعي بـ "التفكير بعمق أكبر" أو استخدام أداة حاسبة. في بعض الأحيان، جعل ذلك الذكاء الاصطناعي يقص الصورة بشكل خاطئ أو يصاب بالارتباك، مما أدى لخفض درجاته.

4. لماذا يهم هذا المصحح الجديد؟

أثبتت الورقة البحثية أن نظام التصحيح القديم (RMS) كان يخفي الحقيقة.

المصحح القديم: وضع جميع نماذج الذكاء الاصطناعي في غرفة ضيقة ومزدحمة حيث بدا الجميع متشابهين تقريباً (الدرجات ضمن نطاق 5 درجات فقط)، ولم يستطع التمييز بين من هو الأفضل فعلياً.
المصحح الجديد (ECS): نشر النماذج في حقل واسع (نطاق 25 درجة)، مما أظهر بوضوح أي النماذج كانت أفضل في فهم شكل و توقيت البيانات.

والأهم من ذلك، تحقق المؤلفون مما إذا كانت درجة ECS الأعلى تعني بالفعل نتائج أفضل في العمليات الحسابية الواقعية. ووجدوا أن الإجابة هي نعم، بالفعل.

إذا حصل الذكاء الاصطناعي على درجة ECS عالية، فإن إجمالي عدد الحالات التي حسبها يكون أقرب إلى الحقيقة.
كان أفضل في التنبؤ بـ متى حدثت ذروة التفشي.
كان أفضل في التنبؤ بـ سرعة انتشار المرض.

الخلاصة

لدينا كنز من بيانات الأمراض التاريخية المحبوسة داخل الصور. لدينا ذكاء اصطناعي يتحسن في قراءتها، لكنه ليس جاهزاً للاستخدام الفعلي بعد. لقد بنى المؤلفون اختباراً أصعب ونظام تصحيح أكثر عدلاً يوضح لنا بالضبط أين يفشل الذكاء الاصطناعي (مثل فقدان نقاط البيانات أو الخطأ الطفيف في الأرقام) حتى يتمكن المهندسون من إصلاح ذلك. وإلى أن يتمكن الذكاء الاصطناعي من الحصول على درجة أعلى في هذا الاختبار الجديد، لا يمكننا الوثوق به تماماً لفتح آفاق عقود من البيانات الصحية الحيوية.

ملخص تقني: EpiCurveBench و EpiCurveSimilarity

بيان المشكلة

تُستخدم نماذج الرؤية واللغة (VLMs) بشكل متزايد لاستخراج البيانات الرقمية المهيكلة من صور الرسوم البيانية. ومع ذلك، فإن أطر التقييم الحالية غير كافية للرسوم البيانية ذات السلاسل الزمنية الكثيفة في العالم الحقيقي، وتحديداً المنحنيات الوبائية ("epicurves"). تعتمد المعايير المرجعية الموجودة مثل ChartQA على رسوم إنفوجرافيك بسيطة واصطناعية حيث تجاوزت النماذج الرائدة بالفعل دقة 89%، مما يقلل من فرص التقدم المستقبلي. علاوة على ذلك، فإن المقاييس القياسية مثل تشابه الخرائط النسبية (RMS) وSCRM تعامل البيانات المستخرجة كأزواج مفتاح-قيمة غير مرتبة. يتجاهل هذا النهج الهيكل الزمني للسلاسل الزمنية ويفرض عقوبات كارثية على الإزاحات الزمنية الطفيفة أو عدم تطابق العناوين، مما يخلط بين عمليات الاستخراج الصحيحة في القيم ولكن المزاحة زمنياً، وبين العمليات الخاطئة تماماً. وبناءً على ذلك، يفتقر المجتمع إلى معيار اختبار إجهاد صارم لاستخراج السلاسل الزمنية الكثيفة، وإلى مقياس يعكس الفائدة النهائية للبيانات المستخرجة في التحليل الوبائي.

المنهجية

1. EpiCurveBench: معيار مرجعي من العالم الحقيقي

قدم المؤلفون EpiCurveBench، وهو مجموعة بيانات تضم 1,000 صورة لمنحنيات وبائية من العالم الحقيقي، مرخصة للاستخدام المفتوح، تغطي 14 مرضاً، و37 دولة، والأعوام من 1849 إلى 2025. تم تصميم مجموعة البيانات لتكون أكثر تحدياً بكثير من المعايير المرجعية الحالية، حيث تتميز بنقاط بيانات كثيفة (متوسط 156 نقطة لكل رسم، وتصل إلى 8,592 نقطة)، وسلاسل متداخلة أو متراكمة، ونصوص مائلة، ومسوحات منخفضة الدقة، وأعمدة رفيعة.

تتكون المجموعة المرجعية من مجموعتين:

المجموعة 1 (900 رسم): تم اختيارها من مصادر توفر حقائق جدولية قابلة للقراءة آلياً (مثل تقارير CDC). تمت مراجعة عينة عشوائية بنسبة 20% من قبل مدققين بشريين، مما أكد التطابق بنسبة 100% بين الصور والجداول المصدرية.
المجموعة 2 (100 رسم): تم ترميزها يدوياً باستخدام WebPlotDigitizer لضمان التنوع الأسلوبي واختبار التعميم حيث لا توجد بيانات جدولية. تم اختيار هذه المجموعة عبر بروتوكول ثلاثي المراحل يتضمن اختيار التباين البصري، وتجميع تضمينات DINOv2 لإزالة التكرار، والتحقق اليدوي.

2. EpiCurveSimilarity (ECS): مقياس مدرك للزمن

لمعالجة قيود مقاييس المفتاح-القيمة، اقترح المؤلفون EpiCurveSimilarity (ECS)، وهو مقياس تقييم يعتمد على مسافة التحرير مع العقوبة الحقيقية (ERP). يقوم ECS بمحاذاة السلاسل المتوقعة والحقيقية عبر البرمجة الديناميكية ويتضمن ثلاثة توسعات رئيسية:

مطابقة تشابه التسمية (Label-Similarity Matching): يستخدم تشابه ليفنشتاين المعياري (NLS) لمطابقة السلسلة بناءً على نص التسمية، مما يستوعب الرسوم البيانية متعددة السلاسل حيث قد يختلف الترتيب أو التسمية.
تطبيع محور Y لكل سلسلة: يتم تطبيع عقوبات الاستبدال بناءً على نطاق محور Y الخاص بكل سلسلة، مما يضمن قابلية المقارنة عبر المقاييس المختلفة.
عتبة التسامح وعقوبة الفجوة: يتسامح المقياس مع الإزاحات الزمنية المحلية والفجوات (الإدراج/الحذف) ولكنه يعاقب عليها بشكل متناسب. يتم تطبيق عقوبة فجوة ( $\lambda = 1$ ) للنقاط غير المتطابقة، ويتم قص تكاليف الاستبدال إذا تجاوزت عتبة ( $\theta = 0.01$ ) من نطاق محور Y.

الدرجة النهائية لـ ECS لكل سلسلة هي $1 - \frac{C(M, N)}{\text{#matches} + \text{#gaps}}$ ، حيث $C(M, N)$ هو تكلفة المحاذاة.

3. الإعداد التجريبي

قام المؤلفون بتقييم ست طرق على EpiCurveBench:

ثلاثة نماذج VLMs مغلقة رائدة: GPT-5.2، وClaude Opus 4.5، وGemini 2.5 Pro.
نموذج VLM مفتوح: Qwen3-VL-235B-A22B-Instruct.
نظامان متخصصان: OneChart وTinyChart.

تم اختبار النماذج تحت ثلاثة تكوينات: التفكير الأدنى، التفكير العالي، والتفكير العالي مع تنفيذ كود Python (لقص/تكبير الصور).

النتائج الرئيسية

أداء النماذج

حتى أقوى نموذج، Gemini 2.5 Pro (بجهد تفكير عالٍ)، حقق فقط 52.3% ECS على المجموعة المرجعية الكاملة. أدت الأنظمة المتخصصة في استخراج الرسوم البيانية أداءً ضعيفاً (OneChart: 9.4%، TinyChart: 11.4%)، ويرجع ذلك على الأرجح إلى انزياح التوزيع عن بيانات التدريب الاصطناعية وانخفاض قدرة النموذج. بين نماذج VLMs العامة، تصدر Gemini 2.5 Pro القائمة، يليه GPT-5.2 ثم Claude Opus 4.5، بينما حقق Qwen3-VL (مفتوح الأوزان) نسبة 27.5% عند الجهد العالي.

التمييز بين المقاييس

مقاييس المفتاح-القيمة (RMS/SCRM): ضغطت النماذج الأربعة العامة في نطاق ضيق يبلغ حوالي 5 نقاط (على سبيل المثال، انتشار RMS: 4.8 نقطة) وحددت خطأً Claude Opus 4.5 كأفضل أداء. فشلت هذه المقاييس في التمييز بين النماذج التي ارتكبت إزاحات زمنية وتلك التي ارتكبت أخطاء في القيم.
المقاييس الزمنية (ECS/DTW): وزعت النماذج الأربعة على نطاق 25 نقطة (انتشار ECS: 24.8 نقطة؛ انتشار DTK: 20.7 نقطة) وحددت بشكل صحيح Gemini 2.5 Pro كقائد.
ECS مقابل DTW: بينما ميز كلا المقياسين الزمنيّين بشكل جيد، إلا أن ECS ارتبط بقوة أكبر بـ 1.5 إلى 3.6 ضعفاً من DTW مع أربعة إحصائيات وبائية لاحقة: إجمالي الأعداد، توقيت الذروة، حجم الذروة، ودقة معدل النمو. ويُعزى ذلك إلى عقوبة الفجوة الصريحة في ECS، والتي تمنع التنبؤات المبتورة من الحصول على درجات عالية عبر التوافق الحر مع مجموعة فرعية من الحقيقة.

تحليل الخطأ

بالنسبة لنماذج VLMs العامة، كانت أكبر مصادر الخطأ هي عدم الدقة الرقمية (20-30% من الخسارة) والنقاط المفقودة. فشلت النماذج المتخصصة أساساً بسبب النقاط المفقودة (غالباً ما تستخرج عند دقة زمنية أخشن) وعدم تطابق تسميات السلاسل. أعطى استخدام الأدوات (تنفيذ الكود) نتائج غير متسقة، حيث أدى أحياناً إلى تدهور الأداء بسبب القص غير الدقيق لمناطق الرسم البياني.

الأهمية والادعاءات

يزعم البحث أن EpiCurveBench و EpiCurveSimilarity يعالجان الفجوات الحرجة في تقييم استخراج السلاسل الزمنية من نماذج VLMs:

اختبار إجهاد من العالم الحقيقي: يكشف المعيار المرجعي أن حتى النماذج الرائدة لا تزال بعيدة جداً عن جودة الاستخراج القابلة للاستخدام في الرسوم البيانية الصحية العامة، مما يسلط الضوء على الحاجة إلى تحسين المتانة في البيئات البصرية الكثيفة والمشوشة.
الارتباط بالنتائج النهائية: تم التحقق من صحة ECS كمقياس يرتبط بقوة مع دقة الإحصاءات الوبائية المستمدة. بخلاف المقاييس الخالية من الفجوات مثل DTW، يعاقب ECS على الاقتطاع والبيانات المفقودة، وهي إخفاقات حرجة في مراقبة تفشي الأمراض.
قابلية التطبيق العام: رغم تطويره لمنحنيات الوباء، فإن المعيار والمقياس قابلان للتطبيق على أي عملية استخراج رسوم بيانية للسلاسل الزمنية المهيكلة، مما يوفر إطار تقييم أكثر دقة من مقاربات المفتاح-القيمة الحالية.

يخلص المؤلفون إلى أن النماذج الحالية تتطلب تقدماً كبيراً لفتح عقود من بيانات تفشي الأمراض المحبوسة في الأشكال المنشورة، وأن التقدم المستقبلي يجب أن يعالج الدقة الرقمية في السلاسل الكثيفة والتعامل مع السلاسل الزمنية الطويلة والمبتورة.