MolTabReco: Table-Coordinate-Grounded Chemical Table Recognition with SMILES Recovery for Molecular-Structure Cells
يُعد MolTabReco إطار عمل متعدد المراحل يدمج بين تحديد إحداثيات الجداول، ونماذج الرؤية واللغة، والتعرف البصري على البنية الكيميائية لاستعادة البنى الجزيئية بدقة من جداول الأدبيات الكيميائية في شكل سلاسل SMILES المعيارية، متفوقاً بشكل كبير على الطرق الحالية التي تفشل في تحويل التصويرات الهيكلية إلى بيانات قابلة للحوسبة.
المؤلفون الأصليون:Wei Hu, Wei Liu, Yuanjie Xiang, Jiawei Huang, Mei Ouyang, Jiajun Tao, Yao Song
تخيل أنك محقق يحاول حل لغز، لكن الأدلة مبعثرة عبر مسرح جريمة فوضوي. بعض الأدلة مكتوبة على ملاحظات لاصقة، وبعضها مطبوع على جهاز كمبيوتر، وبعضها الآخر مخفي داخل خرائط مرسومة يدويًا ومعقدة. في عالم الكيمياء، كان العلماء يمتلكون منجمًا من المعلومات لعقود: آلاف الأوراق البحثية المليئة بالجداول. تسرد هذه الجداول التجارب، والأرقام، والأهم من ذلك، رسومات الجزيئات — تلك اللبنات الصغيرة للحياة والدواء. لفترة طويلة، استطاعت أجهزة الكمبيوتر قراءة الكلمات المطبوعة والأرقام بسهولة، ولكن عندما كانت تواجه رسمًا لجزيء، كانت تصطدم بحائط مسدود. كانت ترى خطًا متعرجًا وتقول: "أنا أرى صورة"، لكنها لم تكن تستطيع إخبارك ما هو هذا الجزيء أو كيف تستخدمه في برنامج حاسوبي. كان الأمر يشبه امتلاك مكتبة حيث الكتب مكتوبة بلغة لا يستطيع أمين المكتبة التحدث بها.
لإصلاح ذلك، يستخدم العلماء رمزًا خاصًا يسمى SMILES. يمكنك التفكير في SMILES ككلمة مرور سرية أو رمز شريطي فريد لكل جزيء. إذا كنت تملك رمز SMILES، يمكن للكمبيوتر أن يفهم فورًا شكل الجزيء، ويتنبأ بكيفية سلوكه، ويبحث عن جزيئات مشابهة له. التحدي كان دائمًا أن رسومات الجزيئات هذه في الجداول كانت فوضوية. غالبًا ما تكون صغيرة جدًا، ومحشورة بجانب النصوص، أو مشطوبة بخطوط الجدول، أو مرسومة بدقة منخفضة. برامج الكمبيوتر العامة التي تقرأ النصوص (مثل التعرف الضوئي على الحروف OCR) ترتبك أمامها، وحتى الذكاء الاصطناعي المتقدم الذي يفهم الصور غالبًا ما يخمن أو يتركها فارغة. السؤال الكبير كان: هل يمكننا بناء نظام لا يكتفي فقط بإيجاد هذه الرسومات الصغيرة في جدول فوضوي، بل يترجمها أيضًا إلى رمز SMILES المثالي والقابل للاستخدام، مع معرفة موقعها بالضبط في أي صف وعمود؟
هنا يظهر MolTabReco، وهو محقق رقمي جديد ابتكره باحثون في جامعة هونان للطب الصيني. يمكنك التفكير في MolTabReco كفريق متخصص ومنظم للغاية يعمل معًا لتنظيف مكتبة فوضوية. بدلًا من محاولة قراءة الصفحة بأكملها دفعة واحدة، يقوم هذا النظام بتفكيك المهمة إلى عملية ذكية متعددة الخطوات. أولاً، يعمل ككشاف حاد البصر، حيث يجد الحدود الدقيقة للجدول في الصفحة ويتجاهل العناوين أو الحواشي التي قد تسبب الارتباك. بعد ذلك، يستخدم ذكاءً اصطناعيًا قويًا (يسمى نموذج الرؤية واللغة VLM) لرسم خريطة شبكة الجدول، وتحديد مكان الصفوف والأعمدة، تمامًا مثل رسم شبكة على خريطة.
ولكن هنا يصبح MolTabReco ذكيًا حقًا. فهو يعلم أن ليس كل خلية في الجدول متشابهة. فبعض الخلايا تحتوي على نصوص بسيطة مثل "درجة الحرارة: 50 درجة مئوية"، بينما تحتوي خلايا أخرى على رسومات الجزيئات الصعبة تلك. يمتلك النظام "شرطي مرور" خاصًا ينظر إلى كل خلية ويسأل: "هل هذا رسم أم مجرد كلمات؟" إذا كانت مجرد كلمات، يستخدم النظام قارئ نصوص موثوقًا لنسخها. أما إذا رصد شرطي المرور رسمًا لجزيء، فإنه يرسل تلك الخلية المحددة عبر مسار مختلف ومتخصص للغاية. هذا المسار مصمم للتعامل مع فوضى الرسم: حيث يقوم بعمل زووم (تكبير)، وتنظيف الصورة، وإزالة خطوط الجدول المشتتة، ثم يستخدم خبير جزيئات ذكاء اصطناعي لفك تشفير الخطوط المتعرجة إلى كلمة مرور SMILES السرية.
النتائج التي حققها هذا الأسلوب الجديد واعدة للغاية، رغم أن الباحثين حذرون من وصفه بحل مثالي بعد. فعندما اختبروا MolTab reco على مجموعة بيانات من الجداول الكيميائية الحقيقية، وجدوا أن الطرق السابقة (النموذج المرجعي VLM) كانت عديمة الفائدة تقريبًا فيما يتعلق برسومات الجزيئات، حيث كانت تصيب بنسبة 8% فقط، وغالبًا ما كانت تخمن أو تتركها فارغة. في المقابل، تمكن MolTabReco من تحويل الرسومات إلى رموز SMILES بشكل صحيح بنسبة 44% تقريبًا. وإذا نظروا فقط إلى الجداول التي كانت الشبكة فيها متوافقة تمامًا، فقد ارتفعت نسبة النجاح هذه إلى ما يقرب من 55%. ورغم أنه ليس مثاليًا بنسبة 100%، إلا أن هذه قفزة هائلة للأمام. هذا يعني أنه لأول لأول مرة، يمكن للكمبيوتر أن يأخذ صفحة فوضوية من البيانات الكيميائية ويحول رسومات الجزيئات المخفية إلى قائمة قابلة للاستخدام من الرموز، مع ربط كل منها بموقعها الدقيق في الجدول.
اختبر الباحثون أيضًا ما إذا كان بإمكانهم استخدام روبوت دردشة ذكي للغاية (Chatbot) لـ "إصلاح" أي أخطاء يرتكبها النظام. ووجدوا أن السماح لروبوت الدردشة بإعادة كتابة الجدول بأكمله كان أمرًا خطيرًا؛ فقد كان يغير الأرقام الصحيحة إلى أرقام خاطئة أو يبتدع حقائق تبدو جيدة ولكنها غير صحيحة علميًا. بدلًا من ذلك، قرروا استخدام روبوت الدردشة فقط كمحرر حذر للأجزاء الأكثر إرباكًا، حيث يتحقق من عمله مقابل قواعد صارمة قبل قبول أي تغييرات. يضمن هذا النهج أن تكون البيانات النهائية موثوقة. في النهاية، لا يكتفي MolTabReco بقراءة الجدول فحسب؛ بل يفهم الفرق بين الكلمة والجزيء، محولًا صورة ثابتة لورقة كيميائية إلى قاعدة بيانات ديناميكية وقابلة للبحث من أسرار الجزيئات.
ملخص تقني: MolTabReco
بيان المشكلة تُعد جداول الأدبيات الكيميائية مصدراً حيوياً لاستخراج المعرفة الكيميائية المهيكلة، حيث تحتوي على محتوى متباين يشمل النصوص، والقيم العددية، والحواشي، ورسومات الهياكل الجزيئية ثنائية الأبعاد. وبينما حققت تقنيات التعرف الضوئي على الحروف (OCR)، والتعرف العام على الجداول، ونماذج الرؤية واللغة (VLMs) تقدماً في استعادة تخطيطات الجداول والنصوص العادية، إلا أنها تفشل بشكل كبير في التعامل مع خلايا الهياكل الجزيئية. عادةً ما تعيد هذه النماذج نصوصاً مؤقتة (placeholders)، أو سلاسل فارغة، أو أوصافاً دلالية ضعيفة للرسومات الهيكلية، مما يؤدي إلى الفشل في توليد تمثيلات SMILES قابلة للحوسبة. علاوة على ذلك، فإن نماذج التعرف الضوئي على الهياكل الكيميائية (OCSR) المستقلة، رغم قدرتها على تحويل الصور إلى صيغ SMILES، لا يمكنها تحديد إحداثيات الصف والعمود المحددة للجزيء ضمن تخطيط جدول معقد. هذا الانفصال يمنع تحويل الرسومات الهيكلية القائمة على الجداول إلى بيانات قابلة للحوسبة مرتبطة بسياقها التجريبي.
المنهجية: إطار عمل MolTabReco يقترح المؤلفون MolTabReco، وهو إطار عمل متعدد المراحل ومربوط بإحداثيات الجدول، مصمم لاستعادة الخلايا المتباينة في الجداول الكيميائية، وتحديداً تحويل رسومات الهياكل الجزيئية إلى صيغ SMILES قياسية مرتبطة بمواقع صفوف وأعمدة دقيقة. يسير سير العمل كما يلي:
تحديد الموقع الإحداثي للجدول:
كشف المنطقة: يقوم نموذج يعتمد على (Table Transformer) بتحديد منطقة الجدول الرئيسية في صورة الصفحة الكاملة لاستبعاد العناصر المتداخلة مثل العناوين، والمخططات التفاعلية، والحواشي.
تحليل الشبكة: يتنبأ نموذج الرؤية واللغة (VLM) بالشبكة المنطقية للصفوف والأعمدة والمحتوى النصي الأولي. يتم دمج هذا الهيكل المنطقي مع نموذج التعرف على هيكل الجدول (Table Transformer) الذي تم ضبطه بدقة لتوليد صناديق إحاطة (bounding boxes) على مستوى البكسل للصفوف والأعمدة.
توليد الخلايا: يقوم النظام بتقاطع صناديق الصفوف والأعمدة المتوقعة لإنشاء صناديق إحاطة الخلايا، مع الالتزام بعدد الصفوف/الأعمدة الذي تنبأ به نموذج (VLM) لضمان الاتساق المكاني.
تمييز الخلايا المتباينة:
يقوم مصنف ثنائي (EfficientNet-B0 مدرب باستخدام Class-Balanced Focal Loss) بالتمييز بين "خلايا الهياكل" (التي تحتوي على رسومات جزيئية) و"الخلايا غير الهيكلية" (النصوص، الأرقام، المحتوى المختلط). يعد هذا التوجيه أمراً حاسماً لأنه يحدد مسار المعالجة اللاحقة.
فروع استعادة المحتوى:
الخلايا غير الهيكلية: تُتبع استراتيجية دمج "تفضل الـ VLM أولاً" (VLM-first) محافظة. يتم الحفاظ على مخرجات النص الخاصة بـ (VLM) ما لم تكن فارغة أو غير صالحة، وفي هذه الحالة يعمل (TrOCR) كخيار احتياطي. هذا يقلل من خطر إدخال أخطاء في النصوص المستقرة لـ (VLM).
خلايا الهياكل (فرع OCSR-SMILES): تخضع الخلايا التي تم تحديد احتواء هياكل على معالجة خاصة:
المعالجة المسبقة: توسيع منطقة القص، وتحسين الصورة، وتقسيم المقدمة (U-Net) للتخفيف من تداخل خطوط الجدول واقتطاع الحواف.
التعرف: يُستخدم (MolScribe) كمُعرف أساسي لتوليد مرشحات SMILES.
اختيار الاتساق: في الإعدادات التشخيصية، تتم مقارنة المرشحات من (MolNexTR) و(MolGrapher) باستخدام تشابه (Tanimoto) لاختيار صيغة SMILES الأكثر اتساقاً كيميائياً، رغم أن النظام الرئيسي يعتمد على (MolScribe).
المعالجة اللاحقة والتكامل مع النماذج اللغوية الكبيرة (LLM):
يقيد الإطار استخدام النماذج اللغوية الكبيرة (LLMs) في وضع "المراجعة المقيدة". يتم استدعاء (LLMs) فقط للخلايا ذات الثقة المنخفضة، أو التجاوزات في التنسيق، أو النزاعات بين المصادر المتعددة. ومن الأهمية بمكان أن اقتراحات (LLM) لا تُطبق بحرية؛ بل يجب أن تجتاز فحوصات قائمة على القواعد لضمان دقة الأرقام، واتساق الوحدات، وصحة التنسيق الكيميائي قبل قبولها.
المساهمات الرئيسية
إطار استعادة الخلايا المتباينة: يوسع (MolTabReco) نطاق التعرف على الجداول الكيميائية ليتجاوز التخطيط والنص عبر استعادة خلايا الهياكل الجزيئية كصيغ SMILES قياسية تحت قيود إحداثيات الجدول الصريحة. يقوم بربط أنواع المحتوى المتباينة بمؤشرات صفوف وأعمدة محددة، مما يحافظ على الرابط بين الهياكل الجزيئية وظروفها التجريبية.
استعادة SMILES للهياكل الصغيرة: يقدم البحث مساراً متخصصاً لرسومات الهياكل الصغيرة والمليئة بالضجيج الموجودة في الجداول. من خلال الجمع بين توسيع منطقة القص، وتحسين الصورة، والتحقق القائم على (RDKit)، فإنه يحسن استقرار (OCSR) في سياقات الجداول حيث تفشل النماذج المستقلة غالباً.
استراتيجية "VLM-First" مع مراجعة LLM مقيدة: تؤسس الدراسة نهجاً يفضل (VLM) لهياكل الجداول والنصوص العادية، مع تحليل حدود الأمان للمساعدة التي تقدمها (LLMs). وتثبت أن التصحيح التوليدي الحر يؤدي إلى أخطاء "من صحيح إلى خاطئ" كبيرة في الجداول الكيميائية، وتدعو بدلاً من ذلك إلى مراجعة (LLM) قابلة للتتبع ومعتمدة على القواعد لحالات الحواف المحددة.
النتائج تم التقييم على مجموعة بيانات ChemTable (1,382 صفحة، 1,682 خلية هيكل على مستوى النظام ضمن شبكة تنبأ بها VLM مشترك):
استعادة SMILES: حقق (MolTabReco) نسبة 44.05% في التطابق التام القياسي (Canonical Exact Match - EM) على خلايا الهياكل، وهو تحسن كبير عن خط الأساس لـ (VLM) الذي بلغت نسبته 8.09% (والذي تألف في معظمه من نصوص مؤقتة أو مطابقات ضعيفة).
المجموعة الفرعية المتطابقة الأبعاد: في الصفحات التي تطابقت فيها أبعاد الصف والعمود مع الحقيقة الأرضية (ground truth)، ارتفعت نسبة (Canonical EM) إلى 54.79%، ووصلت نسبة (No-Stereochemistry EM) إلى 60.31%.
الصلاحية: أنتجت 94.48% من خلايا الهياكل في المجموعة المتطابقة الأبعاد صيغ SMILES صالحة وقابلة للتحليل. ومن بين التنبؤات القابلة للتحليل، كانت 65.8% تمتلك تشابه (Tanimoto) ≥ 0.9 مع الحقيقة الأرضية.
المقاييس العامة: نظراً لندرة خلايا الهياكل (حوالي 2% من إجمالي الخلايا)، أظهرت المقاييس العامة مكاسب متواضلة: زادت دقة القيمة الإجمالية من 82.53% إلى 83.29%، وزادت تشابه مسافة تحرير الشجرة (TEDS) من 0.8537 إلى 0.8595.
تحليل الخطأ: حددت الدراسة أن الأخطاء تنتشر عبر ثلاث عقبات مترابطة: عدم تطابق أبعاد الصف والعمود، والنتائج السلبية الكاذبة في تمييز خلايا الهياكل، وأخطاء التعرف في (OCSR). وقد وُجد أن النتائج السلبية الكاذبة في المصنف كانت ضارة بشكل خاص لأنها تتجاوز مسار استعادة SMILES تماماً.
الأهمية والادعاءات يزعم البحث أن (MolTabReco) يوفر مساراً قابلاً للتكرار لتحويل خلايا الهياكل الجزيئية التي قد تظل مجرد نصوص مؤقتة إلى بيانات كيميائية قابلة للحوسبة مرتبطة بسياق الصف والعمود الأصلي. ويؤكد المؤلفون أنه بينما تتفوق نماذج (VLMs) في هياكل الجداول والنصوص، إلا أنها تفتقر إلى القدرة المحددة على تحويل رسومات الهياكل إلى صيغ SMILES. وعلى العكس من ذلك، تفتقر نماذج (OCSR) المستقلة إلى نظام إحداثيات الجدول. يجسّر (MolTabReco) هذه الفجوة عبر دمج هذه القدرات تحت قيود الإحداثيات.
يشير المؤلفون بتواضع إلى أنه بينما يحسن الإطار بشكل كبير استعادة بيانات الهياكل القابلة للحوسبة، فإنه لا يحقق بعد بناء قواعد بيانات مؤتمت بالكامل لجميع السيناريوهات المعقدة. ويسلطون الضوء على أن النسبة الصغيرة من خلايا الهياكل في إجمالي مجموعات البيانات تجعل مقاييس الدقة العامة غير حساسة لهذه التحسينات، لكن استعادة هذه الخلايا تحديداً أمر حيوي للمهام اللاحقة مثل استرجاع الجزيئات، وتحليل التشابه، وتنظيم التفاعلات. كما تعمل الدراسة كتحذير من الاستخدام غير المنضبط للنماذج اللغوية الكبيرة (LLMs) التوليدية في تصحيح الجداول الكيميائية، داعية إلى استخدام قيود قابلة للتحقق وقائمة على القواعد.