على مدى عقود، كان العالم يغرق في الورق والبكسلات. الإيصالات، والفواتير، والتقارير الممسوحة ضوئيًا، ولقطات الشاشة من جداول البيانات، تقبع في أرشيفاتنا الرقمية كصور مسطحة. بالنسبة للعين البشرية، هذه الصور مليئة بالمعنى: صفوف من الأرقام، وعناوين تجمع البيانات، وخلايا تمتد عبر الأعمدة لإظهار الإجمالي. لكن بالنسبة للكمبيوتر، فإن الصورة ليست سوى مجموعة من النقاط الملونة. إنه يرى شكل الجدول ولكنه لا يدرك المنطق بداخله. لا يمكنه معرفة أن الخلية المدمجة تنتمي إلى كل صف تحتها، أو أن علامة الدولار هي رمز لرقم وليس حرفًا. هذه الفجوة بين كيفية رؤيتنا للبيانات وكيفية قراءة الآلات لها كانت لفترة طويلة بمثابة عائق. يمكننا التقاط صورة لوثيقة، ولكن تحويل تلك الصورة إلى قاعدة بيانات عاملة — حيث يمكن لبرنامج أن يجمع التكاليف فعليًا أو يرتب التواريخ — كان يتطلب عادةً من الإنسان إعادة كتابة المعلومات يدويًا أو كتابة نصوص برمجية معقدة لتخمين الهيكل.

حاول الباحثون حل هذه المشكلة عن طريق تعليم الحواسيب التعرف على تخطيط الصفحة، وتحويل الصور إلى نص أو كود يشبه الجدول. ومع ذلك، غالبًا ما تنتج هذه الأساليب نسخة وفية للتصميم المرئي بدلاً من البيانات الأساسية. قد يحدد الكمبيوتر بشكل صحيح أن خلية ما تمتد عبر صفين، لكنه يفشل في فهم أن القيمة داخل تلك الخلية تنطبق على كلا الصفين في قاعدة البيانات. إنه يعامل الصورة كصورة يجب وصفها، وليس كمصدر للحقيقة يجب إعادة بنائه. الهدف من هذا العمل الجديد هو سد تلك الفجوة الأخيرة: أخذ صورة واحدة لوثيقة وإنتاج قاعدة بيانات كاملة الوظائف يمكن لبرنامج كمبيوتر قياسي استخدامها، والاستعلام عنها، وتحليلها فورًا، دون أي تدخل بشري.

اقترب الباحث وراء هذا المشروع، موسى بيكر، من المشكلة من خلال مطالبة الكمبيوتر بفعل شيء نادرًا ما يفعله: اتخاذ القرارات الصعبة بشأن هيكل البيانات نفسه. فبدلاً من مجرد نسخ ما يراه، يتم تدريب النظام على تقرير كيفية ارتباط الصفوف والأعمدة ببعضها البعض، وكيفية التعامل مع الخلايا المدمجة، وكيفية ربط الأجزاء المختلفة من المستند بنظام منطقي واحد. لقد بنوا نظامًا يسمى PIX2DB، والذي يرمز إلى "من صورة إلى قاعدة بيانات" (Picture to Database). جوهر هذا النظام هو نموذج لغوي بصري، وهو نوع من الذكاء الاصطناعي يمكنه النظر إلى صورة وفهم النص والهيكل بداخلها. قام الباحث بتدريب نسخة صغيرة نسبيًا من هذا النموذج، تحتوي على ملياري معلمة (parameter)، للنظر في صور الجداول والإيصالات وإخراج مجموعة محددة من التعليمات المعروفة باسم "تفريغ SQL" (SQL dump). وهذا التنسيق يخبر محرك قاعدة البيانات بالضبط بكيفية بناء الجداول، ونوع البيانات التي توضع في كل عمود، وكيف ترتبط الجداول ببعضها البعض.

لتعليم النموذج هذه المهارة، واجه الباحث عقبة كبيرة: كانوا بحاجة إلى أمثلة مثالية لما يجب أن تكون عليه المخرجات. لم يكن بإمكانهم الاعتماد على مجموعات البيانات الموجودة لأنها عادة ما تحتوي فقط على التخطيط المرئي، وليس هيكل قاعدة البيانات الصحيح. لذا، أنشأوا ميدان تدريب خاص بهم. أخذوا قواعد بيانات حقيقية، مثل تلك المستخدمة في المتاجر عبر الإنترنت أو قوائم العقارات، واستخدموا برنامج كمبيوتر لتمثيلها كصور. أنشأوا آلاف هذه الصور، مع تنويع درجة الصعوبة عبر إضافة خطوط وألوان مختلفة، وخلايا مدمجة، وحتى محاكاة عيوب التصوير الفوتوغرافي، مثل الضبابية الطفيفة أو الإضاءة غير المتساوية. كما قاموا بتحويل مجموعات البيانات العامة الموجودة للجداول والإيصالات إلى نفس التنسيق الصارم. تم فحص كل مثال قاموا بتوليده عبر تشغيل الكود الناتج للتأكد من أنه يعمل بالفعل. أعطت هذه العملية مكتبة ضخمة من الأزواج "المعيارية الذهبية": صورة من جانب وقاعدة بيانات مثالية وقابلة للتنفيذ من الجانب الآخر.

كانت نتائج هذا التدريب مفاجئة. فالنموذج الصغير، ذو الملياري معلمة، بعد تدريبه على هذه الستة وثلاثين ألف عينة، تفوق على نماذج أكبر بكثير تبلغ أربعة أضعاف حجمه. وعند اختباره على صور لجداول لم يسبق له رؤيتها، نجح النموذج الصغير في إعادة بناء هيكل قاعدة البيانات بدقة عالية. لقد حدد بشكل صحيح كيفية تقسيم الخلايا المدمجة إلى صفوف فردية، وكيفية تحويل رأس جدول مكون من مستويين إلى اسم عمود واحد، وكيفية ربط قائمة من العناصر برأس فاتورة رئيسي باستخدام "مفتاح خارجي" (foreign key)، وهو قاعدة تربط بين جدولين معًا. وفي الاختبارات التي تضمنت صورًا اصطناعية، حقق النموذج تطابقًا تامًا في هيكل الجدول في ستة وثمانين بالمائة من الحالات. والأكثر إثارة للإعجاب، أنه استعاد الروابط بين الجداول المختلفة بدقة شبه مثالية، حيث أصاب في تحديد المفاتيح الخارجية بنسبة تسعة وتسعين بالمائة.

اختبر الباحث أيضًا النظام على صور من العالم الحقيقي، مثل صور الإيصالات والمستندات المالية الممسوحة ضوئيًا. هنا، استمر النموذج في الأداء بقوة، حيث حدد البيانات بشكل صحيح في ستة وتسعين بالمائة من الخلايا للجداول المالية واستعاد ثلاثة وتسعين بالمائة من البيانات من صور الإيصالات. أثبت النظام كفاءة خاصة في التعامل مع الواقع الفوضوي للمستندات، مثل تكرار قيمة من خلية مدمجة في كل صف تغطيه، وهي مهمة أربكت النماذج الأكبر والأدوات الحالية. ومع ذلك، كشفت الدراسة أيضًا عن حد واضح. فعندما اختبر الفريق النموذج على مجموعة بيانات من الجداول المختلفة تمامًا عما رآه أثناء التدريب، انخفض أداؤه. عانى النموذج في قراءة النص في هذه الصور الجديدة وغير المألوفة، وغالبًا ما أخطأ في قراءة الأرقام أو الحروف. وهذا يشير إلى أنه بينما أتقن النموذج منطق كيفية هيكلة البيانات، إلا أنه كان لا يزال يعتمد على بيانات التدريب لتعلم كيفية قراءة النص نفسه.

كان أحد النتائج الرئيسية للبحث هو أهمية بيانات التدريب نفسها. أجرى الباحث تجربة حيث قام بتدريب نسخة من النموذج باستخدام الصور الاصطناعية التي أنشأها فقط، دون أي صور من العالم الحقيقي. هذه النسخة عملت بشكل مثالي في الاختبارات الاصطناعية ولكنها فشلت فشلًا ذريعًا عند عرض صور حقيقية للمستندات. لم تتمكن من التعامل مع النصوص الفوضوية الموجودة في الصور الفوتوغرافية الفعلية. أثبت هذا أن البيانات الاصطناعية علمت النموذج قواعد اللعبة، لكن البيانات الحقيقية علمته كيفية قراءة اللاعبين. دمج النظام النهائي كليهما، مستخدمًا البيانات الاصطناعية لتعلم الهيكل والبيانات الحقيقية لتعلم النص.

أضاف الباحث أيضًا شبكة أمان لنظامه، وهي طبقة إصلاح حتمية تعمل كفحص نهائي قبل إنشاء قاعدة البيانات. إذا ارتكب النموذج خطأً صغيرًا، مثل نسيان وضع علامة اقتباس حول كلمة تحتوي على فاصلة، تقوم هذه الطبقة بإصلاح الخطأ تلقائيًا. ضمنت هذه الخطوة أن المخرجات لم تكن صحيحة نظريًا فحسب، بل كانت قابلة للتنفيذ فعليًا بواسطة برنامج قاعدة بيانات قياسي. بدون خطوة الإصلاح هذه، كانت العديد من المخرجات ستفشل في التشغيل. ومعها، أنتج النظام قواعد بيانات عاملة في كل الحالات تقريبًا، محولًا الصورة المرئية إلى أداة يمكن الاستعلام عنها، وفرزها، وتحليلها فورًا.

تخلص الدراسة إلى أن الطريق من الصورة إلى قاعدة بيانات عاملة لا يتعلق ببناء دماغ أكبر وأكثر قوة، بل بتعليم نموذج أصغر ومركز قواعد هيكل البيانات المحددة. وجد الباحث أن نموذجًا مدمجًا، تم تدريبه على أمثلة دقيقة ومدعوم بآلية إصلاح بسيطة، يمكنه التفوق على النماذج الأكبر والأكثر عمومية التي طُلب منها ببساطة تخمين الهيكل. وبينما لا يزال النظام يعاني في قراءة النصوص في الصور الفوتوغرافية الصعبة وغير المألوفة، فقد نجح في حل مشكلة تحويل التخطيط المرئي للمستند إلى قاعدة بيانات علاقية منطقية. وهذا يعني أنه لأول مرة، يمكن للكمبيوتر النظر إلى صورة إيصال أو مخطط وإنتاج قاعدة بيانات فورًا يمكن للإنسان استخدامها لطرح الأسئلة، أو إيجاد الإجماليات، أو تتبع الاتجاهات، مما يفتح بفعالية البيانات المحتجزة داخل الصورة.