ملخص تقني: LLM-AutoSciLab

بيان المشكلة

الاكتشاف العلمي هو في جوهره عملية مغلقة الحلقة حيث توجه الفرضيات عملية الحصول على البيانات، وتعمل الملاحظات على صقل فضاء الفرضيات. ومع ذلك، فإن النهج الحالية غالبًا ما تختزل هذه العملية إلى تعلم تحت إشراف على مجموعات بيانات ثابتة وساكنة. تخلق هذه الصيغة الساكنة عنق زجاجة في قابلية التحديد (identifiability bottleneck): حيث يمكن لفرضيات متنافسة متعددة أن تتناسب مع البيانات المرصودة المحدودة بشكل جيد محليًا، لكنها تفشل في التعميم، مما يجعل من المستحيل استعادة القانون الحقيقي الكامن. علاوة على ذلك، بينما تتيح المختبرات ذاتية القيادة وأنظمة التعلم النشط تجارب تكيفية، فإنها تركز عادةً على تحسين الأداء التنبئي أو تقليل عدم اليقين بدلاً من تحديد الآليات (mechanism identification). وبناءً على ذلك، فإنها تواجه صعوبة في حل النزاعات بين الفرضيات المتنافسة تحت ميزانيات تجريبية مقيدة.

المنهجية: LLM-AutoSciLab

يقترح المؤلفون LLM-AutoSciLab، وهو إطار عمل مغلق الحلقة ينقل التركيز من الاستدلال الساكن إلى الحصول التكيفي على البيانات. ينمذج النظام الاكتشاف العلمي كعملية تكرارية من توليد الفرضيات، واختيار التجارب المشروطة بالفرضيات، وصقل الآليات.

الخوارزمية الأساسية

يعمل إطار العمل كخوارটিزم تكرارية على مجموعة فرضيات $H_t$ يتم صيانتها ديناميكيًا:

1. توليد الفرضيات: للتخفيف من حدة الاعتماد على المسار والانهيار المبكر، يقوم النظام بفصل الاستكشاف عن التركيب. يقوم نموذج لغوي كبير أصغر ($\pi_{small}$) بتوليد فرضيات متنوعة مشروطة بالحالة الراهنة (الملاحظات والذاكرة). ثم يقوم نموذج لغوي كبير ($\pi_{large}$) بتركيب هذه الفرضيات في مقترح مهيكل يحتوي على فرضية رئيسية، وفرضيات بديلة، ومناطق بحث تشخيصية $R_t$.
2. اختيار التجارب المشروط بالفرضيات: تُحكم سياسة الاستحواذ من خلال الاختلاف (disagreement) بين الفرضيات داخل مناطق البحث.
   • وضع فك الالتباس (Disambiguation Mode): إذا كانت درجة الثقة الحالية $c_t$ أقل من عتبة $\tau_{conf}$، يختار النظام تجارب في المناطق التي تقدم فيها الآليات المرشحة تنبؤات متباعدة إلى أقصى حد. وهذا يعظم القدرة على التمييز بين القوانين المتنافسة.
   • وضع الصقل (Refinement Mode): إذا كانت الثقة عالية، ينتقل النظام إلى اختيار التجارب التي تحسن الملاءمة أو تحديد المعلمات لعائلة الآلية المدعومة.
3. تحسين الفرضية وتغذية الثقة الراجعة: يتم دمج الملاحظات الجديدة لإعادة ضبط الفرضيات المرشحة. تطبق بوابة الثقة (confidence gate) إعادة أخذ العينات عبر Bootstrap لتقييم استقرار الآليات عبر مجموعات البيانات المختلفة. يتم الاحتفاظ بالآليات المتسقة بثقة أعلى، بينما يتم تصفية الآليات غير المستقرة. تقوم حلقة التغذية الراجعة هذه بتحديث الذاكرة للدورات اللاحقة.

التنفيذ

• النماذج الأساسية: يستخدم الاستدلال الرئيسي نموذج GPT-4o-mini، بينما تُستخدم نماذج Qwen/Qwen2.5-7B-Instruct للتمثيل الجماعي التكيفي (توليد فرضيات متنوعة).
• الصقل: لاكتشاف المعادلات، يستخدم النظام PySR للتحليل الرمزي (symbolic regression) والملاءمة العددية المباشرة. لاكتشاف الرسوم البيانية، يستخدم خوارزمية BFGS.
• بدون ضبط دقيق (No Fine-tuning): تعمل جميع النماذج في وضع الاستدلال دون الحاجة إلى ضبط دقيق خاص بالمهمة.

المساهمات الرئيسية

1. إطار عمل LLM-AutoSciLab

يقدم البحث إطار عمل مغلق الحلقة يربط بين توليد الفرضيات الموجه بواسطة LLM وتصميم التجارب المشروط بالفرضيات. بخلاف الطرق السابقة التي تعامل النماذج اللغوية الكبيرة كتحسينات لاحقة أو مولدات سلبية، يستخدم LLM-AutoSciLab الفرضيات كأجسام على مستوى الآلية لتوجيه اختيار التجارب عبر الإنترنت بنشاط، مما يغلق الحلقة بين التوليد، والاستحواذ، والصقل.

2. مجموعة اختبار ActiveSciBench

لتقييم الاكتشاف الديناميكي مغلق الحلقة، قدم المؤلفون مجموعة اختبار ActiveSciBench، وهي تتكون من مجموعتي بيانات تنمذج الاكتشاف كعملية مقيدة بالميزانية تتطلب اختيار المتغيرات المشتركة واستعادة الآلية:

• ActiveSciBench-Chem: 57 مهمة تتعلق بحركية الإنزيمات حيث يجب على المتعلم استعادة القوانين الرمزية لمعدلات التفاعل من واجهة بيوكيميائية ذات 7 أبعاد، وتحديد المتغيرات ذات الصلة والآليات الحركية الخفية (مثل: ميكايليس-مينتن، والتنظيم الخيفي).
• ActiveSciBench-GRN: 45 مهمة تتعلق بشبكات التنظيم الجيني حيث يجب على المتعلم استعادة الرسوم البيانية السببية الموجهة والموقعة من تجارب الاستجابة للاضطراب، والتمييز بين التنشيط والتثبيط.

تختلف هذه الاختبارات عن الاختبارات الحالية (مثل NewtonBench، واختبارات القوانين الساكنة) من خلال اشتراط الاستحواذ النشط تحت ميزانية ثابتة، ووجود متغيرات ذات صلة خفية، واستعادة كل من الآليات ذات البنية المعادلية والرسوم البيانية.

3. استراتيجية الاستحواذ المشروط بالفرضية

يقترح البحث استراتيجية استحواذ تختار التجارب لـ تعظيم الاختلاف بين الآليات المرشحة الصريحة. يعطي هذا النهج الأولوية لفك التباس الآلية على حساب مجرد تقليل عدم اليقين التنبئي، مما يسمح باستعادة القوانين الحقيقية الكامنة تحت ميزانيات مقيدة.

النتائج التجريبية

قيم المؤلفون LLM-AutoSciLab عبر NewtonBench وActiveSciBench-Chem وActiveSciBench-GRN، وقارنوه بـ PySR (التحليل الرمزي)، والتحسين البايزي (Bayesian optimization)، والتصميم التجريبي البايزي، والأسالسة المعتمدة على LLM فقط.

• NewtonBench (استعادة القانون الرمزي): حقق LLM-AutoSciLab دقة رمزية بلغت 67.6% ودقة تامة بلغت 81.5%، متفوقًا بشكل كبير على أفضل خط أساس (التحسين البايزي الذي حقق دقة رمزية بنسبة 24.54%). يسلط هذا الض Die الضوء على قدرة الطريقة على استعادة الأشكال الهيكلية وليس فقط الملاءمة العددية.
• ActiveSciBench-Chem (حركية الإنزيمات): حققت الطريقة دقة رمزية بلغت 35.1% ودقة تامة بلغت 50.9%. في المق المقابل، حققت خطوط الأساس المعتمدة على LLM فقط أو المساعدة بالكود دقة رمزية بنسبة 0.00%، حيث كانت تلجأ غالبًا إلى قوالب الكتب المدرسية العامة بدلاً من تحديد المتغيرات الحركية المحددة.
• ActiveSciBench-GRN (اكتشاف الرسوم البيانية): حقق LLM-AutoSciLab استعادة دقيقة للرسم البياني بنسبة 31.1% ودقة في الإشارة بنسبة 98.15%، متفوقًا على طرق استدلال الرسوم البيانية غير النشطة (مثل GIES التي حققت دقة تامة بنسبة 6.67%) والأسالسة النشطة.
• كفاءة العينات: وُجد أن التجارب الموجهة بالفرضيات أكثر كفاءة في العينات بمقدار 2 إلى 5 أضعاف مقارنة بأقوى المنافسين. على سبيل المثال، في ActiveSciBench-GRN، احتاجت خطوط الأساس إلى 3.9 إلى 4.6 ضعف عدد الاستعلامات لمطابقة أداء LLM-AutoSciLab ضمن الميزانية المحددة.

الأهمية والادعاءات

يزعم البحث أن LLM-AutoSciLab يثبت أن مواءمة عملية الاستحواذ على البيانات مع تمييز الفرضيات بدلاً من الدقة التنبئية يحسن كلاً من كفاءة وموثوقية الاكتشاف العلمي. ومن خلال التعامل مع الاكتشاف كعملية نشطة مقيدة بالميزانية، يتغلب إطار العمل على اختناقات قابلية التحديد التي تفرضها مجموعات البيانات الساكنة.

يؤكد المؤلفون أن نهجهم ينقل هدف الاستحواذ على البيانات من تقليل عدم اليقين التنبئي إلى حل الغموض الهيكلي بين التفسيرات الآلية المتنافسة. وهذا يسمح باستعادة القوانين الحاكمة الحقيقية والهياكل السببية حتى عندما تكون المتغيرات ذات الصلة غير معروفة والميزانيات التجريبية محدودة.

القيود: يشير المؤلفون إلى أن التنفيذ الحالي يستخدم "أوراكل" (oracles) قائمة على المحاكاة، مما يعني أن ضجيج المختبر الفيزيائي، والإخفاقات، والتكاليف التشغيلية ليست مدمجة بالكامل. كما يعتمد الأداء على جودة الفرضيات المولدة بواسطة LLM ومدى تغطية أدوات الصقل الخلفية. يستهدف إطار العمل حاليًا الاكتشاف القائم على المحاكاة بدلاً من النشر المباشر في المختبرات.