Separating perception from reasoning in vision-language models: a model-free render ceiling for crystal structures
تقدم هذه الورقة "سقف الرندرة" (render ceiling)، وهو أسلوب تقييم غير معتمد على النماذج يستخدم الرندرة العكسية للكاميرا لهياكل بلورية معروفة للفصل بشكل حاسم بين أخطاء الإدراك البصري وإخفاقات الاستنتاج في النماذج اللغوية البصرية، مما يكشف أن العديد من النماذج تعاني من صعوبة في الاستخراج الهندسي بدلاً من الاستدلال المنطقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم علم المواد، يقضي الباحثون أيامهم في محاولة فهم كيفية ترتيب الذرات لتشكيل المواد الصلبة التي يتكون منها عالمنا. هذه الترتيبات، المعروفة باسم الهياكل البلورية، غالبًا ما تُصور كرسومات ثلاثية الأبعاد حيث تمثل الكرات الذرات وتمثل العصي الروابط التي تجمعها معًا. ولعقود من الزمن، اعتمد العلماء على هذه الصور للتواصل بشأن العلاقات المكانية المعقدة، ولكن هناك جيل جديد من الذكاء الاصطناعي يُطلب منه الآن قراءتها. صُممت نماذج الرؤية واللغة هذه للنظر إلى صورة والإجابة على أسئلة حولها، لتعمل كجسر بين ما يراه الكمبيوتر وما يفهمه الإنسان. والأمل هو أن تتمكن هذه الأنظمة في النهاية من المساعدة في تصميم مواد جديدة من خلال تفسير الأشكال العلمية تمامًا كما يفعل الباحث البشري. ومع ذلك، فإن مشكلة مستمرة جعلت من الصعب معرفة ما إذا كانت هذه الآلات تتعلم حقًا الرؤية أم أنها تكتفي بالتخمين بناءً على أنماط في النص. فعندما يخطئ النموذج في الإجابة، يكاد يكون من المستحيل معرفة ما إذا كان قد فشل لأنه لم يستطع تفسير الصورة بشكل صحيح، أو لأنه فشل في استخدام المنطق لحل اللغز. وبدون وسيلة للفصل بين هاتين المهارتين، لا يمكن للمجتمع العلمي معرفة أين يركز جهوده لتحسين هذه الأدوات.
لقد قدم فريق من الباحثين الآن طريقة جديدة لقياس هذه النماذج تتجاوز الحاجة إلى التخمين تمامًا. فبدلاً من الاعتماد على برنامج كمبيوتر آخر ليعمل كحكم، ابتكروا نظامًا يعتمد على القواعد الرياضية الدقيقة المستخدمة في رسم الصور في المقام الأول. لقد بدأوا بمجموعة معروفة من الهياكل البلورية، التي كانت فيها المواقع الذرية محددة بدقة، واستخدموا إعداد كاميرا قياسي لتوليد آلاف الصور. ولأنهم كانوا يعرفون بالضبط كيف تم وضع الكاميرا وما هو الشيء الأصلي، استطاعوا عكس العملية رياضيًا. ومن خلال عكس زوايا الكاميرا وإعادة حساب مواقع الذرات من وجهات النظر المختلفة، تمكنوا من استعادة الهيكل الأصلي بدقة تامة. خلقت هذه العملية "سقفًا" من الدقة المثالية، وهو معيار يمثل أقصى قدر ممكن من المعلومات المتاحة في الصور. فإذا كانت الصور نفسها تحتوي على الإجابة، فإن هذه الطريقة تثبت ذلك. وإذا فشل نموذج ما في إيجاد الإجابة، فلا بد أن الفشل يعود للنموذج وليس للصورة.
اختبر الباحثون هذه الطريقة على أكثر من ألفي هيكل بلوري، للتأكد من عدم ظهور أي ذرتين متداخلتين بطريقة قد تربك الحسابات. ووجدوا أنه بالنسبة لكل هيكل من هذه الهياكل، نجحت عملية العكس الرياضي بشكل مثالي، واستعادت الإجابة الصحيحة في كل مرة. وهذا يعني أن السقف كان صلبًا؛ فالصور حملت الحقيقة الكاملة. ثم طلبوا من أربعة عشر نموذجًا مختلفًا من نماذج الرؤية واللغة تحديد النظام البلوري لنفس هذه الصور. وكانت النتائج كاشفة. فبينما كان أداء النماذج أفضل عندما زُودت بالإحداثيات الذرية الدقيقة كنص، إلا أنها لا تزال بعيدة جدًا عن الدرجة المثالية، حتى مع تلك المساعدة الإضافية. وبالنسبة لمعظم النماذج، لم يكن الفارق بين أدائها والسقف المثالي ناتجًا عن عدم القدرة على رؤية الصورة، بل إن غالبية أخطائها حدثت بعد أن يفترض بها فهم الصورة، أي خلال مرحلة الاستنتاج. وقد أظهرت الدراسة أنه بالنسبة لثلاثة عشر نموذجًا من أصل أربعة عشر، كانت الصعوبة تكمن في منطقها، وليس في رؤيتها.
ولإثبات أن الصور نفسها قابلة للقراءة، درب الباحثون نظام رؤية حاسوبي بسيطًا لا يمتلك أي قدرات لغوية على الإطلاق. نظر هذا النظام فقط إلى بكسلات الصور، دون أي نص أو معرفة كيميائية. ومن المثير للدهشة أن هذا النظام البسيط سجل درجات أعلى من كل نموذج رؤية ولغة تم اختباره، حيث حدد الهياكل البلورية بشكل صحيح في ما يقرب من تسعين بالمائة من الحالات. تشير هذه النتيجة إلى أن الصور ليست معقدة للغاية بحيث يصعب على الآلة قراءتها؛ بل إن النماذج المعقدة هي التي تعاني في معالجة المعلومات التي تراها. كما كشفت الدراسة عن خلل خفي في كيفية عمل هذه الأنظمة. فعندما طُلب منها استخراج إحداثيات الذرات من الصور، أنتج نموذج قوي قوائم من الأرقام بدت منسقة تمامًا ولكنها كانت خاطئة تمامًا، ولا تتطابق مع أي من الذرات الفعلية في الصورة. وفي اختبار قياسي، كان من الممكن إلقاء اللوم على ضعف الاستنتاج في هذا النوع من الأخطاء، لكن هذه الطريقة الجديدة أظهرت أنه كان في الواقع فشلًا في رؤية الصورة نفسها. لقد كان النموذج يختلق بيانات، ويخلق واقعًا زائفًا يبدو صحيحًا في الظاهر ولكنه فارغ من الداخل.
إن تداعيات هذا العمل تمتد إلى ما هو أبعد من مجرد تقييم درجات الاختبار. فقد أوضح الباحثون أن الطريقة التي توضع بها الكاميرات حول الجسم تهم أكثر من عدد الكاميرات المستخدمة. ووجدوا أن ترتيبًا محددًا من خمس وجهات كان كافيًا لإزالة أي غموض، بينما تركت وجهات النظر الأقل مجالًا للخطأ. وهذا يوفر قاعدة واضية للعلماء الذين ينشئون المعايير المرجعية: جودة الرؤية أهم من كميتها. والأهم من ذلك، تقدم الدراسة أداة جديدة لمراجعة الذكاء الاصطناعي في سير العمل العلمي. وفي المستقبل، مع استخدام هذه النماذج لتصميم مواد جديدة، يمكن لهذه الطريقة أن تعمل كفحص لضمان أن الخطوات المتوسطة لاستنتاجها تعتمد على بيانات حقيقية وليس على أرقام مختلقة. ومن خلال الفصل بين ما يراه الجهاز وكيف يفكر، قدم الباحثون وسيلة لبناء أدوات أكثر موثوقية للعلم، مما يضمن أنه عندما يدعي نموذج ما فهم بلورة ما، فإنه يراها بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.