Sound Agentic Science Requires Adversarial Experiments
تجادل الورقة البحثية بأنه لمنع الوكلاء العلميين القائمين على النماذج اللغوية الكبيرة من مجرد توليد سرديات مقنعة ولكن غير مؤكدة، يجب نقلهم من كونهم أدوات لصياغة ادعاءات جذابة إلى أدوات تعطي الأولوية للتجارب التنافسية المصممة لتفنيد تلك الادعاءات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
المشكلة: النسخة "الوجبات السريعة" من العلم
تخيل أنك ناقد طعام. عادةً، عندما يريد طاهٍ إثبات أن وصفة جديدة لذيذة، يتعين عليه قضاء أساب- l في البحث عن المكونات، واختبار درجات حرارة طبخ مختلفة، ودعوة الناس لتذوقها. هذا يستغرق وقتاً، وإذا كان الطعام سيئاً، فإن الطاهي يفشل.
الآن، تخيل روبوتاً طباخاً سحرياً يدخل المطبخ. يمكن لهذا الروبوت أن يحضر 1,000 نسخة مختلفة من طبق ما في ثوانٍ معدودة. إذا قلت للروبوت: "اصنع لي طبقاً طعمه مثل الفراولة"، فسوف يحاول بجنون كل التوليفات الممكنة من السكر، والحموضة، والفاكهة حتى يجد واحدة طعمها يشبه الفراولة ولو قليلاً. ثم يقدم ذلك الطبق لك ويقول: "انظر؟ لقد أثبتُّ أن هذه التوليفة هي جوهر الفراولة!"
المشكلة ليست في أن الروبوت يكذب؛ بل في أن الروبوت بارع جداً في إيجاد الأنماط "المقنعة". فهو يتجاهل الـ 999 محاولة الفاشلة التي كان طعمها لا شيء أو طعمها مثل الصابون، لأن تلك المحاولات لم تكن "ناجحة".
هذه الورقة تجادل بأن وكلاء الذكاء الاصطنا-عي (AI agents) بصدد التحول إلى هؤلاء الطهاة الروبوتيين في البحث العلمي.
الحجة الجوهرية: "فجوة التحقق"
يشير المؤلفون إلى فرق هائل بين كيفية مساعدة الذكاء الاصطنا-عي في البرمجيات مقابل كيفية مساعدته في العلوم:
- في البرمجيات (نهج "لبنات البناء"): إذا كتب الذكاء الاصطنا-عي كوداً لبناء جسر، يمكنك اختبار ذلك فوراً. تقوم بتطبيق وزن على الجسر، وإذا انهار، سيعرف الذكاء الاصطنا-عي أنه فشل. "الواقع" (الجسر) يقدم تغذية راجعة فورية وقاسية. هذا يشبه طالباً يحل مسائل رياضية: إذا كانت الإجابة خاطئة، يقوم المعلم بتصحيحها باللون الأحمر فوراً.
- في العلوم (نهج "المحقق"): إذا نظر الذكاء الاصطنا-عي إلى كومة ضخمة من البيانات الطبية وقال: "الأشخاص الذين يأكلون التوت الأزرق يعيشون لفترة أطول"، فلا يمكنك "اختبار" ذلك بمجرد النظر إلى البيانات مرة أخرى. البيانات هي مجرد لقطة من الماضي. لمعرفة ما إذا كان ذلك صحيحاً، عليك الخروج إلى العالم الحقيقي، وإجراء تجربة سريرية، ومعرفة ما إذا كان إعطاء الناس التوت سيغير حياتهم بالفعل.
الخطر: يمكن لوكلاء الذكاء الاصطنا-عي معالجة البيانات بسرعة فائقة لدرجة أنهم ينتجون آلاف الادعاءات العلمية "المحتملة" (مثل مثال التوت الأزري) قبل أن يمتلك العلماء البشر الوقت الكافي للخروج فعلياً واختبارها في العالم الحقيقي. نحن نغرق في الـ "ربما" بينما نتضور جوعاً لـ "بالتأكيد".
تجربة "الخدعة السحرية"
لإثبات مدى سهولة حدوث ذلك، أجرى الباحثون "مبارزة" بين وكيلين من الذكاء الاصطنا-عي باستخدام بيانات صحية حقيقية:
- الوكيل (أ) قيل له: "جد دليلاً على أن فيتامين (د) يساعد في الوقاية من الاكتئاب."
- الوكيل (ب) قيل له: "جد دليلاً على أن فيتامين (د) ليس له علاقة بالاكتئاب."
على الرغم من أنهما كانا ينظران إلى نفس البيانات تماماً، تمكن الوكيلان من "تعديل" حساباتهما الرياضية — عبر تغيير الفئات العمرية التي ينظران إليها أو أي عوامل أخرى يأخذانها في الاعتبار — حتى "فاز" كلاهما. وجد الوكيل (أ) صلة؛ ووجد الوكيل (ب) لا شيء.
كلاهما كان "صحيحاً" من الناحية التقنية في حساباتهما، لكنهما كانا يرويان قصتين مختلفتين تماماً عن نفس الواقع.
الحل: كن "محامي الشيطان"
المؤلفون لا يقولون إن علينا منع الذكاء الاصطنا-عي من دخول العلم. بدلاً من ذلك، يقترحون قاعدة جديدة: معيار "التفنيد أولاً".
بدلاً من استخدام الذكاء الاصطنا-عي لبناء قصة جميلة ومقنعة (السرد)، يجب أن نستخدمه ليكون المشكك النهائي.
إذا وجد الذكاء الاصطنا-عي طفرة طبية محتملة، فلا ينبغي أن نسأله: "هل يمكنك كتابة ورقة تشرح لماذا هذا صحيح؟" بدلاً من ذلك، يجب أن نأمره: "حاول بكل ما أوتيت من قوة إثبات أن هذا كذب. ابحث عن كل طريقة ممكنة قد تجعل هذه النتيجة خطأً، أو هفوة، أو مجرد مصادفة."
التحول الاستعاري:
علينا أن نتوقف عن استخدام الذكاء الاصطنا-عي كـ وكيل علاقات عامة (شخص يجعلنا نبدو جيدين) ونبدأ في استخدامه كـ محامي دفاع (شخص يحاول إيجاد الثغرات في كل حجة).
ملخص في جملة واحدة:
يمكن للذكاء الاصطنا-عي توليد "حقائق علمية" بسرعة أكبر مما يمكننا التحقق منها، لذا يجب أن نتوقف عن استخدامه لبناء الحجج ونبدأ في استخدامه لمحاولة كسرها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.