DRAGON: A Benchmark for Evidence-Grounded Visual Reasoning over Diagrams
تقدم الورقة البحثية DRAGON، وهي مجموعة بيانات معيارية وإطار تقييم مصمم لتقييم قدرة نماذج الرؤية واللغة على ربط إجاباتها بأدلة بصرية محددة داخل المخططات، مما يعالج قصور الدقة العالية دون تبرير استدلالي موثوق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تخوض اختباراً يتطلب منك النظر إلى رسم بياني معقد — مثل خريطة، أو لوحة دارة كهربائية، أو مخطط أعمدة — ثم الإجابة على سؤال حوله.
في الماضي، إذا حصل برنامج كمبيوتر (ذكاء اصطناعي) على الإجابة الصحيحة، كنا نفترض أنه "فهم" الصورة. لكن هذا البحث الجديد، DRAGON، يجادل بأن الحصول على الإجابة الصحيحة ليس كافياً. قد يكون الذكاء الاصطناعي يغش؛ قد يكون يخمن الإجابة بناءً على الكلمات الموجودة في السؤال أو الأنماط في البيانات، دون النظر فعلياً إلى الأجزاء المحددة من الصورة التي تثبت صحة تلك الإجابة.
فكر في الأمر كطالب في اختبار رياضيات:
- الطريقة القديمة: إذا كتب الطالب "42" كإجابة، يضع له المعلم علامة صح. نحن لا نعرف ما إذا كان قد أجرى العمليات الحسابية أم أنه خمن فقط.
- طريقة DRAGON: يطالب المعلم الطالب بإظهار خطوات عمله. يجب على الطالب وضع دائرة حول الأرقاء المحددة التي استخدمها، ورسم أسهم إلى المعادلات، وتظليل الجزء من الرسم البياني الذي قاده إلى الرقم "42". إذا لم يستطع الإشارة إلى الدليل، فهو لم يحل المسألة حقاً، حتى لو كان الرقم النهائي صحيحاً.
ما هو DRAGON؟
DRAGON هو "اختبار" (معيار) جديد مصمم لكشف نماذج الذكاء الاصطناي التي تعتمد على التخمين. يطرح سؤالاً بسيطاً ولكنه صعب: "أرني بالضبط أين وجدت الإجابة في الصورة."
لاجتياز هذا الاختبار، يجب على الذكاء الاصطناعي رسم مربع حول الأدلة البصرية المحددة التي استخدمها. قد تكون هذه الأدلة:
- عموداً معيناً في مخطط.
- تسمية (Label) على خريطة.
- سلكاً في مخطط دارة كهربائية.
- وسيلة إيضاح (Legend) أو عنواناً.
كيف بنوا الاختبار
لم يكتفِ الباحثون بسؤال الذكاء الاصطناعي للتخمين؛ بل بنوا مكتبة ضخمة تضم أكثر من 11,000 سؤال من ستة أنواع مختلفة من الرسوم البيانية (مخططات، خرائط، دوائر كهربائية، إلخ).
لكل سؤال على حدة، قام بشر بدور "المصدقين على الحقيقة". نظروا إلى الرسم البياني والإجابة الصحيحة، ثم رسموا المربعات الدقيقة حول الأدلة البصرية اللازمة لإثبات تلك الإجابة.
- تشبيه: تخيل محققاً يحل جريمة. الموثقون البشر هم من يقولون: "الدليل ليس الغرفة بأكملها؛ الدليل هو هذا الأثر الطيني المحدد على الأرض". وعلى الذكاء الاصطناعي بعد ذلك أن يجد نفس هذا الأثر.
الطرق الثلاث التي سألوا بها الذكاء الاصطناعي
جرب الباحثون ثلاثة أنواع من "الأوامر" (Prompts) (طرق لطلب المهمة من الذكاء الاصطناعي) لمعرفة ما إذا كان بإمكانه تعلم كيفية إظهار خطوات عمله:
- EDGE (النهج المباشر): "إليك الصورة والإجابة. فقط ارسم المربعات حول الأدلة." (مثل طلب الإجابة مباشرة من الطالب).
- SAGE (نهج الخطوة بخطوة): "أولاً، أخبرني ما هي الأشياء التي تحتاج للنظر إليها (مثلاً: 'العمود الأحمر' و 'عام 2020'). ثم ارسم المربعات حولها." (مثل طلب من الطالب سرد خطواته قبل الحل).
- VERGE (نهج التصحيح الذاتي): "ارسم مربعاتك. الآن، انظر إلى رسمك مرة أخرى. هل فاتك شيء؟ هل المربع الخاص بك كبير جداً؟ قم بالإصلاح." (مثل طلب من الطالب مراجعة عمله).
ماذا وجدوا (النتائج)
كانت النتائج بمثابة جرس إنذار لمجتمع الذكاء الاصطناعي:
- الذكاء الاصطناعي جيد في التخمين، سيء في الإثبات: العديد من نماذج الذكاء الاصطناعي حصلت على الإجابة الصحيحة، ولكن عندما طُلب منها رسم المربعات، فشلت فشلاً ذريعاً. غالباً ما كانت تشير إلى الجزء الخاطئ من الصورة أو تغفل تفاصيل حاسمة.
- مشكلة "الصندوق الأسود": حتى أكثر نماذج الذكاء الاصطناعي ذكاءً (مثل Claude Opus أو Gemini) واجهت صعوبة في إظهار خطوات عملها. كان بإمكانها قول "الإجابة هي 50"، لكنها لم تستطع الإشارة ببراعة إلى الرقم "50" على المخطط.
- بعض النماذج أفضل من غيرها: النماذج "مغلقة المصدر" (النماذج الكبيرة والمكلفة من شركات مثل Anthropic و Google) كانت أفضل في العثور على الأدلة من النماذج مفتوحة المصدر، ولكن لا أحد منها كان مثالياً.
- الطلب بلطف يساعد قليلاً: استخدام أساليب الخطوة بخطوة (SAGE) أو التصحيح الذاتي (VERGE) ساعد الذكاء الاصطناعي في العثور على المواضع الصحيحة بشكل أكبر قليلاً، لكن ذلك لم يحل المشكلة الجوهرية. لا يزال الذكاء الاصطناً يغفل أجزاءً من الأدلة في كثير من الأحيان.
لماذا هذا مهم
يخلص البحث إلى أننا لا نستطيع الوثوق بالذكاء الاصطناعي في تحليل الرسوم البيانية لمجرد أنه يحصل على الإجابة الصحيحة. إذا تم استخدام الذكاء الاصطناعي لتحليل مخططات طبية، أو رسوم بيانية مالية، أو مخططات سلامة، فنحن بحاجة إلى معرفة لماذا اتخذ قراراً معيناً.
DRAGON هو أداة لإجبار الذكاء الاصطناعي على التوقف عن التخمين والبدء في "إظهار خطوات عمله". إنه معيار جديد لضمان أنه عندما يقول الذكاء الاصطناعي إنه يفهم صورة ما، فإنه يستطيع بالفعل الإشارة إلى الدليل.
القيود
يعترف المؤلفون بأن اختبارهم ليس مثالياً. هم يستخدمون مربعات مستطيلة بسيطة لتحديد الأدلة. هذا يعمل جيداً مع الأعمدة الكبيرة أو الكتل، لكن من الصعب استخدام مربع لتحديد سلك رفيع وملتف في دارة كهربائية أو سهم منحني على خريطة. أيضاً، في بعض الأحيان قد يختلف البشر حول أي جزء من الصورة هو "الأكثر أهمية" كدليل، مما يضيف قدراً من الذاتية إلى الاختبار.
باختاً: DRAGON هو كتاب قواعد جديد يقول: "لا تعطني الإجابة فحسب؛ بل أرني الدليل في الصورة". وفي الوقت الحالي، معظم طلاب الذكاء الاصطناعي يرسبون في هذا الاختبار.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.