Chemical Chain-of-Thought Functions as a Hallucination-Prone Molecular Scratchpad
تكشف هذه الدراسة أن الاستدلال الكيميائي عبر "سلسلة الأفكر" في النماذج اللغوية يعمل كمسودة جزيئية عرضة للهلوسة، حيث تشيع فيها الادعاءات الهيكلية المختلقة ومع ذلك تظل ذات حمولة سببية لتوليد الإجابات الصحيحة، مما يستلزم إشرافاً على مستوى العملية بدلاً من مجرد تقييم الإجابة النهائية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الواسع للذكاء الاصطناعي، تعلم جيل جديد من النماذج كيف تفكر قبل أن تتحدث. فبدلاً من القفز مباشرة إلى الإجابة، يتم تدريب هذه الأنظمة على كتابة عملية استنتاج خطوة بخطوة، تماماً مثل طالب يحل مسألة رياضية على ورقة مسودة. وقد أصبح هذا الأسلوب، المعروف باسم "سلسلة التفكير" (chain-of-thought reasoning)، طريقة معيارية لمساعدة الحواسيب على حل الألغاز المعقدة. وفي مجال الكيمياء، حيث تمثل الجزيئات اللبنات الأساسية للحياة والطب، تبدو هذه القدرة واعدة بشكل خاص. ويأمل العلماء أنه إذا استطاع الحاسوب شرح منطقه في تصميم دواء جديد أو تحديد بنية كيميائية، فيمكن للخبراء البشريين التحقق من ذلك المنطق بحثاً عن الأخطاء. وكان الافتراض السائد هو أنه إذا كانت الإجابة النهائية صحيحة، فلا بد أن يكون الاستنتاج المستخدم للوصول إليها موثوقاً أيضاً.
ومع ذلك، فإن دراسة حديثة تتحدى هذا الافتراض المريح. فقد بحث باحثون من مؤسسات تشمل الجامعة الوطنية في سنغافورة وجامعة هونغ كونغ المتعددة التكنولوجية فيما إذا كانت نماذج الذكاء الاصطناعي هذه تستنتج حقاً عبر المسائل الكيميائية أم أنها تقوم ببساطة بتأليف أشياء أثناء العملية. وقد ركزوا على نوع محدد من الأخطاء يسمى "الهلوسة"، حيث يدعي النموذج بثقة حقيقة ليست صحيحة ببساطة. وفي سياق الكيمياء، قد يبدو هذا في شكل ادعاء النموذج بأن جزيئاً ما يحتوي على مجموعة كيميائية معينة، مثل حمض الكربوكسيل، في حين أن هذه المجموعة غائبة فعلياً عن البنية. ولأن البنى الكيميائية دقيقة ويمكن التحقق منها مقابل قاعدة بيانات معروفة، فإن هذا المجال يوفر فرصة نادرة لاختبار ما إذا كان تفسير الذكاء الاصطناعي يتطابق مع الواقع. أراد الباحثون معرفة: عندما يحصل النموذج على الإجابة الصحيحة، هل يكون ذلك لأنه فهم الكيمياء، أم أنه مجرد خمن الشكل الصحيح بينما اخترع قصة وهمية لتبرير ذلك؟
ولإيجاد الإجابة، حلل الفريق أربع عائلات مختلفة من نماذج الاستنتاج عبر اثني عشر مهمة كيميائية مختلفة، تتراوح بين وصف الجزيئات وتصميم جزيئات جديدة. وقد بنوا نظاماً لقراءة الاستنتاج المكتوب للنماذج والتحقق من كل ادعاء كيميائي مقابل البنى الجزيئية الفعلية المعنية. وما اكتشفوه كان مذهلاً؛ فقد كانت الهلوسة منتشرة على نطاق واسع. في حالات عديدة، أنتجت النماذج البنية الكيميائية الصحيحة تماماً ولكنها تضمنت تفاصيل كيميائية مختلقة في شرحها المكتوب. على سبيل المثال، في مهمة تتعلق بتوليد جزيئات من أوصاف نصية، كانت حوالي 13 بالمائة من الاستجابات من أحد النماذج الرائدة صحيحة تماماً في مخرجاتها النهائية، ومع ذلك احتوى النص الاستنتاجي المصاحب لها على ادعاء كيميائي واحد على الأقل مختلق. ووجدت الدراسة أن وجود هذه الأكاذيب لم يكن له أي صلة تقريباً بما إذا كانت الإجابة النهائية صحيحة أم خاطئة. فقد يمكن للنموذج أن يكون دقيقاً تماماً في نتيجته بينما استنتاجه مليء بالأباطيل، أو قد يكون خاطئاً في نتيجته بينما يكون استنتاجه سليماً.
يشير هذا الانفصال إلى أن الاستنتاج المكتوب ليس دائماً سجلاً أميناً لكيفية وصول النموذج إلى استنتاجه. ولفهم سبب حدوث ذلك، أجرى الباحثون سلسلة من التجارب حيث قاموا بتغيير مخرجات النماذج عمداً. لقد استبدلوا النص الاستنتاجي المكتوب بأسماء مجموعات كيميائية غير صحيحة. ومن المثير للدهشة أن تغيير هذه الادعاءات اللفظية لم يؤثر كثيراً على الإجابة النهائية التي أنتجها النموذج. بدا أن النموذج يتجاهل شرحه المكتوب عندما يحين وقت توليد البنية النهائية. ومع ذلك، عندما قاموا بتغيير المدخلات الأصلية أو الرسوم التخطيطية الهيكلية الداخلية التي كتبها النموذج، تغيرت الإجابة النهائية بشكل كبير. وكشف هذا أن النماذج لم تكن تعتمد على نثره الخاص لحل المشكلة، بل كانت تستخدم مساحة الاستنتاج كنوع من "المسودة الجزيئية".
وجد الباحثون أن النماذج كانت تكتب أجزاءً من البنى الكيميائية، غالباً بتنسيق يسمى "SMILES"، وهي طريقة لتمثيل الجزيئات كسلاسل نصية. عملت هذه الأجزاء كملحوظات وسيطة استخدمها النموذج لبناء الإجابة النهائية. وبينما كانت الجمل المقروءة التي تصف الكيمياء غير موثوقة وغالباً ما تكون عرضة للتلفيق، كانت هذه المسودات الهيكلية هي التي تحمل الثقل الحقيقي للحوسبة. وقد استخدمت النماذج المختلفة هذه المسودة بطرق مختلفة؛ فبعضها اعتمد بشدة على هذه الأجزاء الهيكلية النصية، بينما بدا أن البعض الآخر يركز أكثر على الإشارات الكيميائية الأوسع مثل شكل الجزيء أو موقع أجزاء معينة. وأظهرت الدراسة أن التفسير المقروء غالباً ما يكون مجرد "تبرير لاحق" (post-hoc rationalization) — أي قصة تُروى بعد وقوع الحدث — بينما العمل الفعلي يحدث في هذه المسودات الهيكلية الخفية.
إن تداعيات هذه النتائج كبيرة بالنسبة لكيفية ثقتنا واستخدامنا للذكاء الاصطناعي في العلوم. فإذا استطاع نموذج إنتاج مرشح دواء صحيح بينما يكذب بشأن المجموعات الكيميائية التي استخدمها، فإن الاعتماد فقط على الإجابة النهائية يعد أمراً محفوفاً بالمخاطر. فقد يضلل الكيميائي البشري الذي يقرأ الشرح، بافتراض أن النموذج فهم الكيمياء بينما لم يفعل ذلك. وقد أثبت الباحثون أنه من الممكن تدريب النماذج لتكون أكثر صدقاً. فمن خلال إنشاء طريقة تدريب جديدة تكافئ النموذج فقط عندما لا يحتوي استنتاجه على ادعاءات مختلقة، أنتجوا نسخة من النموذج ترتكب أخطاء أقل بكثير في تفسيراتها دون فقدان قدرتها على حل المسائل. وقد قللت هذه الطريقة الجديدة، التي أطلقوا عليها اسم "Chem-R-Faithful"، من معدل الادعاءات المختلقة بشكل كبير مع الحفاظ على أداء عالٍ في المهام.
في نهاية المطاف، يكشف هذا العمل أن "سلسلة التفكير" في الكيمياء ليست تفسيراً مثالياً ولا منتجاً ثانوياً عديم الفائدة؛ بل هي مساحة عمل معقدة وعرضة للهلوسة حيث يصيغ النموذج مسودته للحل. النص المقروء غالباً ما يكون غير موثوق، لكن الملاحظات الهيكلية المخفية داخل ذلك النص هي الضرورية للحصول على الإجابة الصحيحة. وهذا يعني أنه لكي نثق حقاً في الذكاء الاصطناعي في العلوم، لا يمكننا مجرد النظر إلى النتيجة النهائية أو القصة المكتوبة، بل يجب علينا تطوير طرق جديدة للتحقق من العملية نفسها، من خلال فحص المسودات الهيكلية والمنطق الكامن وراء الكواليس. ومع ازدياد استخدام هذه الأدوات في اكتشاف الأدوية وتصميم الجزيئات، سيكون من الضروري فهم أن مسار الاستنتاج هو مسودة عمل وليس تقريراً نهائياً، وذلك لضمان السلامة والدقة في كيمياء المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.