Bar-JEPA: Extracting Values from Bar Chart with Joint-Embedding Predictive Architecture

تخيل أنك محقق يحاول حل لغز ما، لكن القرائن الوحيدة التي تملكها هي سلسلة من الرسومات الملونة. هذه الرسومات هي مخططات بيانية شريطية، من النوع الذي تراه في المقالات الإخبارية أو التقارب المدرسية، حيث تخبرك أطوال الأشرطة المختلفة قصة عن الأرقام. بالنسبة للبشر، قراءة هذه المخططات أمر سهل؛ فنحن فقط ننظر إلى ارتفاع الشريط ونخمن الرقم. ولكن بالنسبة للكمبيوتر، فإن المخطط ليس سوى صورة مكونة من بكسلات. هو لا يعرف أن مستطيلاً أزرق طويلاً يعني "500 دولار" أو أن علامة صغيرة على الجانب تعني "100". بالنسبة للآلة، البيانات مخفية داخل الفن.

هنا يأتي دور مجال يسمى "الرؤية الحاسوبية". إنه فرع من العلوم يعلم الحواسيب كيف "ترى" وتفهم الصور. عادةً، لتعليم الكمبيوتر قراءة مخطط، عليك أن تريه آلاف الأمثلة حيث كتب البشر الإجابات مسبقاً. هذا يشبه وجود معلم يجلس بجانب الكمبيوتر لساعات، مشيراً إلى كل شريط قائلاً: "هذا هو 50، وهذا هو 100". ولكن في العالم الحقيقي، العثور على آلاف المخططات مع إجابات مكتوبة بدقة هو أمر صعب وبطيء للغاية. إنه يشبه محاولة العثور على إبرة في كومة قش، باستثناء أن كومة القش مصنوعة من الورق والإبر مفقودة. تستكشف هذه الورقة البحثية طريقة ذكية جديدة لتعليم الحواسيب قراءة هذه المخططات دون الحاجة إلى معلم بشري يقوم بتصنيف كل مثال أولاً.

أراد الباحثون وراء هذه الدراسة، بونام بونام وفريقها من جامعة أولم في ألمانيا، حل مشكلة "إلغاء التنسيق البياني" (chart de-rendering). وهي طريقة فنية لقول "أخذ صورة لمخطط وتحويلها مرة أخرى إلى الأرقام الخام التي جاءت منها". لقد لاحظوا أنه بينما تتفوق الحواسيب في التعرف على القطط أو السيارات، فإنها تواجه صعوبة في الهندسة المحددة للمخططات، خاصة عندما تبدو المخططات بأحجام مختلفة أو بخلفيات فوضوية.

ولمعالجة ذلك، استخدموا نوعاً خاصاً من بنية الذكاء الاصطناعي يسمى JEPA (بنية التنبؤ بالتمثيل المشترك). فكر في JEPA ليس كطالب يحفظ الإجابات، بل كمستكشف فضولي يتعلم من خلال لعب لعبة التخمين. بدلاً من إخباره "هذا الشريط هو 50"، يُعرض على الذكاء الاصطناعي صورة لمخطط تم تغطية جزء كبير منه (قناع). وعليه أن يخمن كيف يبدو الجزء المخفي بناءً على الأجزاء المرئية. ومن خلال لعب هذه اللعبة مراراً وتكراراً مع ملايين المخططات، يتعلم الذكاء الاصطناعي "قواعد" كيفية عمل المخططات - كيف ترتبط الأشرطة بعلامات التدريج، وكيف تُرسم المحاور، وما هو شكل "الشريط" في معنى رياضي عميق. يسمى هذا "التعلم الخاضع للإشراف الذاتي" لأن الكمبيوتر يعلم نفسه باستخدام الأنماط التي يجدها في البيانات، بدلاً من الانتظار حتى يعطيه إنسان كتاباً مدرسياً.

بنى الفريق خط معالجة أطلقوا عليه اسم "Bar-JEPA". أولاً، قاموا بتدريب هذا المستكشف من الذكاء الاصطناعي على مكتبة ضخمة تضم 100,000 مخطط شريطي تم إنشاؤها حاسوبياً. لم يستخدموا مجرد صور قياسية؛ بل عدلوا الذكاء الاصطناعي للتعامل مع المخططات بجميع أشكالها وأحجامها المختلفة، حتى لا يرتبك إذا كان المخطط طويلاً ونحيفاً أو قصيراً وعريضاً. وبمجرد أن تعلم الذكاء الاصطناعي "لغة" المخططات، قاموا بإرفاق "مفكك تشفير" بسيط وخفيف الوزن به. مهمة هذا المفكك هي النظر في فهم الذكاء الاصطناعي وتحديد مكان الأشرطة والأرقام بدقة.

كانت النتائج واعدة للغاية. فعندما اختبروا نظامهم على مخططات من العالم الحقيقي (مثل تلك التي تجدها في الصحف)، كان الذكاء الاصطناعي الذي تعلم من خلال لعبة التخمين ذاتية الإشراف هذه أفضل بكثير في تحديد الأشرطة وقراءة الأرقام من الذكاء الاصطناعي القياسي الذي لم يتم تدريبه بهذه الطريقة. في الواقع، بدون هذا التدريب الخاص، كان الكمبيوتر تائهاً تماماً، وفشل في العثور على أي قيم على الإطلاق. ومع تدريب JEPA، استطاع استعادة البيانات بدقة أعلى بكثير. تشير الورقة إلى أن هذه الطريقة هي وسيلة قوية وفعالة لجعل الحواسيب تفهم المخططات، خاصة عندما لا تملك مجموعة كبيرة من البيانات المصنفة مسبقاً.

ومع ذلك، فإن المؤلفين حذرون من الادعاء بأن هذا هو الحل النهائي والمثالي. فقد اعترفوا بأن نظامهم لا يزال بسيطاً بعض الشيء؛ إذ يمكنه فقط قراءة المخططات الشريطية الرأسية ويعاني مع الأنواع الأكثر تعقيداً مثل الأشرطة المتراكمة أو المخططات ثلاثية الأبعاد. كما أنه ليس النظام الأفضل في العالم بعد، لكنه يثبت أن تعليم الكمبيوتر "تخمين" هيكل المخطط أولاً هو خدعة قوية. ويقترحون أنه في المستقبل، يمكن دمج هذا "المستكشف" الذكي من الذكاء الاصطناعي مع أدوات أكثر قوة، مثل نماذج اللغة الكبيرة، ليس فقط لقراءة الأرقام ولكن للإجابة على أسئلة حول البيانات، مثل "أي شريط هو الأكبر؟" أو "ما هو المجموع؟". أما الآن، فإن Bar-JEPA يوضح لنا أنه في بعض الأحيان، أفضل طريقة لتعليم الكمبيوتر كيف يرى هي تركه يكتشف اللغز بنفسه.