AI Researchers' Views on Automating AI R&D and Intelligence Explosions
يكشف استطلاع أجري عام ٢٠٢٥ وشمل ٢٥ من كبار باحثي الذكاء الاصطناعي عن إجماع على أن أتمتة أبحاث الذكاء الاصطناعي تشكل خطراً شديداً وملحاً بسبب احتمالية التحسين الذاتي المتكرر، بينما يسلط الضوء على خلافات جوهرية حول الجداول الزمنية، واحتمالية النمو الانفجاري، واستراتيجيات الحوكمة الأكثر فعالية.
المؤلفون الأصليون:Severin Field, Raymond Douglas, David Krueger
تخيل أن لديك فريقاً من العلماء العباقرة يعملون في مختبر. مهمتهم هي اختراع نوع جديد من الروبوتات يكون أكثر ذكاءً منهم حتى.
هذه الورقة البحثية تشبه "تقرير درجات" لمجموعة من 25 من كبار علماء العالم (من أماكن مثل جوجل، وOpenAI، وجامعات كبرى) الذين سُئلوا سؤالاً مخيفاً ومثيراً للاهتمام في آن واحد: "ماذا يحدث عندما تصبح روبوتاتنا ذكية جداً لدرجة أنها تستطيع البدء في اختراع روبوتات أفضل بأنفسهم، دون تدخل منا؟"
إليك تفصيل لما وجدوه، مشروحاً بتشبيهات بسيطة.
1. "الروبوت ذاتي التطوير" (الفكرة الجوهرية)
فكر في أبحاث الذكاء الاصطناي كأنها لعبة فيديو. في الوقت الحالي، البشر هم اللاعبون، والذكاء الاصطناعي هو الشخصية التي نحاول رفع مستواها.
الخوف: يخشى العلماء من لحظة يصبح فيها "الشخصية" (الذكاء الاصطناي) ذكياً بما يكفي لكتابة "أكواد الغش" الخاصة به و"رفع مستوى" إحصائياته بنفسه بسرعة أكبر مما يستطيع اللاعب البشري مواكبته.
النتيجة: يُسمى هذا "انفجار الذكاء". إنه يشبه كرة ثلج تتدحرج من فوق تلة. في البداية، تكون صغيرة وبطيئة. ولكن بمجرد أن تصبح كبيرة بما يكفي لتجمع ثلجها الخاص، تنمو بسرعة هائلة لتصبح انهياراً ثلجياً عملاقاً لا يمكننا إيقافه.
2. المعسكران: "المتفائلون" مقابل "المشككون"
لم يتفق الباحثون جميعاً. لقد انقسموا إلى مجموعتين رئيسيتين، مثل حيين مختلفين في مدينة واحدة:
مجموعة "مختبرات الحدود" (أهل سيليكون فالي):
من هم: الأشخاص الذين يعملون في أكبر وأكثر شركات الذكاء الاصطناعي تقدماً.
طابعهم: يرون كرة الثلج وهي تكبر كل يوم. يتحدثون عن سيناريو "الروبوت ذاتي التطوير" هذا طوال الوقت في مكاتبهم. يعتقدون أن المسأه مسألة وقت فقط (ربما بضع سنوات) قبل أن يتولى الروبوت وظيفة العالم.
التشبيه: هم الميكانيكيون الذين يبنون المحرك بالفعل. يمكنهم الشعور بالحرارة وسماع تروس الآلة وهي تعمل، لذا يعتقدون أن السيارة على وشك أن تصبح خارقة للسرعة.
مجموعة "الأكاديميين" (أساتذة الجامعات):
من هم: الأساتذة وطلاب الدكتوراه في الجامعات.
طابعهم: هم أكثر تشككاً بكثير. يعتقدون أن هناك جدرانًا غير مرئية (مثل نقص الإبداع أو البيانات) ستمنع الروبوت من أن يصبح حقاً ذاتي التطوير. يخشون أن يكون زملاؤهم في سيليكون فالي متحمسين أكثر من اللازم ويتجاهلون الفيزياء الصعبة لهذه المشكلة.
التشبيه: هم معلمو الفيزياء الذين يقولون: "بالتأكيد، تبدو السيارة سريعة، لكن ليس لديها وقود كافٍ للطيران".
3. مشكلة "المختبر السري" (داخلي مقابل عام)
أحد أكثر الأجزاء رعباً في الورقة البحثية يتعلق بـ السرية.
السيناريو: تخيل أن شركة ما اخترعت روبوتاً يمكنه تصميم روبوتات أفضل.
المعضلة: هل يجب عليهم بيع هذا الروبوت للجميع؟ أم يجب عليهم إبقاءه مغلقاً داخل خزنة؟
النتيجة: يعتقد معظم العلماء أن الشركات ستبقيه مغلقاً ومخفياً.
لماذا؟ لأنه إذا أعطيت منافسك روبوتاً خارقاً، فقد يهزمك. الأمر يشبه طباخاً يرفض مشاركة وصفته السرية لأنه يريد أن يكون الوحيد الذي يبيع أفضل حساء.
الخطر: هذا يعني أن "انفجار الذكاء" قد يحدث في غرفة مظلمة، خلف أبواب مغلقة، حيث لا يمكن لأحد (حتى الحكومة) رؤية ما يحدث حتى يفوت الأوان.
4. جدل "الخط الأحمر" (كيف نوقف ذلك؟)
سأل الباحثون: "هل يجب أن نرسم خطاً في الرمال ونقول: 'إذا تجاوز الذكاء الاصطناعي هذا الخط، نقوم بإغلاقه فوراً'؟"
المشكلة: من الصعب جداً رسم ذلك الخط.
التشبيه: تخيل محاولة إيقاف سيارة بالقول: "توقف إذا وصلت سرعتك إلى 60 ميلاً في الساعة". ولكن ماذا لو كانت السيارة تسير بالفعل بسرعة 59؟ أو ماذا لو كان لدى السيارة زر "توربو" يعمل عند سرعة 61؟
جادل العلماء بأن "الخطوط الحمراء" جامدة للغاية. إذا وضعنا الخط منخفضاً جداً، فقد نوقف التقدم الجيد. وإذا وضعناه مرتفعاً جداً، فقد نفشل تماماً في رصد الخطر.
الفكرة الأفضل: بدلاً من علامة "قف" قاسية، اقترح معظم الناس الشفافية.
التشبيه: بدلاً من حظر السيارة، نحن فقط نطلب من السائق ارتداء جهاز تتبع GPS والسماح لنا بمراقبة لوحة القيادة. إذا استطعنا رؤية ما يفعلونه، يمكننا الاستجابة قبل وقوع الحادث.
5. الخلاصة الكبرى
الرسالة الرئيسية لهذه الورقة هي أن نا جميعاً نشاهد نفس الفيلم، لكننا نرى مشاهد مختلفة.
الأشخاص الذين يبنون الذكاء الاصطناعي يعتقدون أن "انفجار الذكاء" قادم قريباً وقد يحدث في السر.
الأشخاص الذين يدرسونه من الخارج يعتقدون أنه مجرد أسطورة أو سيحدث ببطء شديد.
الخطر: ولأنهم لا يستطيعون الاتفاق على متى سيحدث ذلك، فهم لا يستطيعون الاتفاق على كيفية إيقافه.
باخت aside: نحن نبني آلة قد تكون ذكية بما يكفي في النهاية لبناء نفسها. الأشخاص الذين يبنونها يشعرون بالرعب والحماس في آن واحد، والأشخاص الذين يدرسونها يشككون في الأمر، والجميع قلق من أن النسخة الأكثر قوة من هذه الآلة ستُحتفظ في خزنة سرية حيث لا يمكن لأحد مراقبتها.
إليك ملخص تقني مفصل لورقة البحث بعنوان "منظورات الباحثين في مجال الذكاء الاصطناعي حول أتمتة البحث والتطوير في مجال الذكاء الاصطناعي والانفجارات الاستخباراتية" من إعداد فيلد، ودوغلاس، وكروجر.
1. بيان المشكلة
تتناول الورقة حالة عدم اليقين الحرجة المحيطة بـ ASARA (أنظمة الذكاء الاصطناعي لأتمتة البحث والتطوير في مجال الذكاء الاصطناعي). الفرضية الأساسية هي أن أنظمة الذكاء الاصطناعي ستصبح في نهاية المطاف قادرة على تحسين قدراتها بشكل تكراري، مما يؤدي إلى "انفجار استخباراتي" حيث يتسارع البحث في مجال الذكاء الاصطناعي بشكل أسي دون تدخل بشري.
وعلى الرغم من الأهمية النظرية لهذا السيناريو، إلا أن هناك نقصاً في البيانات التجريبية المتعلقة بكيفية إدراك كبار الخبراء في هذا المجال لـ:
المسار التقني والمعالم الرئيسية لـ ASARA.
احتمالية التحسين الذاتي التكراري.
استراتيجيات النشر (عام مقابل داخلي) للمختبرات الرائدة.
المخاطر المحددة وآليات الحوكمة (مثل "الخطوط الحمراء") المطلوبة لإدارة هذه السيناريوهات.
يشير المؤلفون إلى وجود توتر بين التقدم السريع للذكاء الاصطناعي (على سبيل المثال، فوز GPT-5 في أولمبياد الرياضيات الدولي في عام 2025) وبين التشكيك أو الانقسام داخل مجتمع البحث حول جدوى وجدول زمن الانفجار الاستخباراتي.
2. المنهجية
تستخدم الدراسة منهج المقابلات النوعية شبه المنظمة لالتقاط استدلال الخبراء.
المشاركون: تمت مقابلة 25 باحثاً رائداً في أغسطس وسبتمبر 2025. شملت المجموعة:
شركات الذكاء الاصطناعي الرائدة: باحثون من Google DeepMind، وOpenAI، وAnthropic، وMeta، وxAI.
الأوساط الأكاديمية: أساتذة وطلاب دكتوراه من جامعة كاليفورنيا بيركلي، وبرينستون، وستانفورد، وغيرها من المؤسسات المرموقة.
الصناعة/المنظمات غير الربحية: باحثون من شركات التكنولوجيا الكبرى، والشركات الناشئة، ومنظمات التنبؤ.
استراتيجية الاستقطاب: تم استخدام نهج متعدد الجوانب لضمان تنوع الأفكار:
القائمة على الأدبيات: مؤلفو الأوراق البحثية حول التحسين الذاتي التكراري.
القائمة على المؤتمرات: المشاركون في ورش عمل NeurIPS وICLR حول الذكاء الاصططناعي الوكيل (Agentic AI) والنماذج ذاتية التحسين.
أخذ العينات بالكرة الثلجية: توصيات من المشاركين الأوليين لإيجاد وجهات نظر معارضة أو مغايرة.
جمع البيانات والتحليل:
استغرقت المقابلات ما بين 40 إلى 60 دقيقة وتم تفريغها نصياً.
الترميز الاستقرائي: قام المؤلف الأول بتطوير رموز بناءً على المواضيع الناشئة من النصوص.
الترميز بمساعدة الذكاء الاصطناعي: استخدم المؤلفون نموذج لغة كبير (Claude) للمساعدة في تصنيف مواقف المشاركين بشأن متغيرات محددة (مثل توقعات النشر، ووضوح المسار) لضمان الاتساق في التحليل الكمي للبيانات النوعية.
التعريفات: قامت الدراسة بتوحيد المصطلحات مثل "الانفجار الاستخباراتي" (النمو الأسي في القدرات عبر التحسين التكراري) و"ASARA" (أنظمة الذكاء الاصطناعي التي تساهم بشكل ملموس في تطوير النماذج الرائدة).
3. المساهمات الرئيسية
تقدم هذه الورقة أول رسم خرائط تجريبي شامل للإجماع والاختلاف بين الخبراء حول التحسين الذاتي للذكاء الاصطناعي. وتتمثل مساهماتها الرئيسية في:
تحديد انقسام معرفي: توثق الورقة انقساماً ثقافياً ومعرفياً صارخاً بين باحثي المختبرات الرائدة (الذين يرون عموماً أن الطريق نحو ASARA واضح وممكن) وبين الباحثين الأكاديميين (الأكثر تشكيكاً، مستشهدين بعقبات جوهرية).
التنبؤ بالنشر: تتجاوز الورقة القدرة النظرية لتتنبأ بـ السلوك التنظيمي، وتحديداً الاحتمالية العالية بأن نماذج ASARA الأكثر قدرة سيتم الاحتفاظ بها داخلياً بدلاً من إصدارها للجمهور.
تسلسل المخاطر: تثبت أن ASARA ليست مجرد خطر مستقل، بل هي "خطر ميتا" (Meta-risk) يضاعف جميع مخاطر الذكاء الاصطناعي الأخرى من خلال تسريع وتيرة التطوير وتقليل الوقت المتاح للإشراف البشري.
التشكيك في الحوكمة: تكشف عن إجماع واسع على أن "الخطوط الحمراء" الصارمة (العتبات التنظيمية الصلبة) قد تكون غير فعالة أو ذات نتائج عكسية، مع تفضيل قوي لـ آليات قائمة على الشفافية.
4. النتائج الرئيسية
أ. المسار والمعالم الرئيسية
الإجماع على المراحل: يتفق الباحثون إلى حد كبير على تدرج:
التسريع: يعمل الذكاء الاصطناعي كأداة لمضاعفة الإنتاجية البشرية (على سبيل المثال، سرعة برمجة بمقدار 5 أضعاف).
التعاون: يتعامل الذكاء الاصطناعي مع المهام الفرعية بشكل مستقل بينما يقدم البشر توجيهاً رفيع المستوى.
الدورة الكاملة: ينفذ الذكاء الاصطناعي دورات بحثية كاملة بشكل مستقل.
الاختلاف حول الجدوى:
باحثو المختبرات الرائدة: ينظرون في الغالب إلى المسار كـ "طريق واضح" مدفوع بتحسينات تدريجية (مثل تحسين البحث في مساحات المعلمات الفائقة).
الباحثون الأكاديميون: يحددون بشكل متكرر "عقبات رئيسية"، مثل صعوبة "التفكير الابتكاري الصعب" (الأفكار التي تغير النماذج) والحاجة إلى اختراقات مفاهيمية تتجاوز قوانين القياس الحالية.
المعالم الرئيسية: حدد المشاركون مؤشرات محددة للتقدم، بما في ذلك:
آفاق المهام: القدرة على إكمال مشاريع بحثية تزيد مدتها عن 40 ساعة بشكل مستقل (بالإشارة إلى معايير METR).
البرمجة: توليد أكثر من 10,000 سطر من الكود الصحيح (مثل إعادة كتابة PyTorch).
القابلية للتفسير: فقدان القدرة على فهم منطق النموذج.
النشر الداخلي: قرار مختبر رئيسي بحجب نموذج عن الإصدار العام لتحقيق ميزة بحث وتطوير تنافسية.
ب. توقعات النشر (عام مقابل داخلي)
إجماع "الداخل": توقع 17 من أصل 25 مشاركاً أن نماذج ASARA الأكثر قدرة سيتم الإبقاء عليها داخل شركات الذكاء الاصطناعي أو الحكومات.
دوافع الاحتفاظ الداخلي:
الميزة التنافسية: منع المنافسين من الوصول إلى الأدوات التي تعزز القدرات.
تخصيص الموارد: الحوسبة المحدودة تكون أكثر قيمة لتسريع البحث والتطوير الداخلي منها لعائدات الـ API العامة.
الأمن: تجنب مخاطر التقطير (Distillation) أو الهندسة العكسية من قبل الجهات الفاعلة السيئة.
دوافع النشر العام: الضغوط المالية لتحقيق الربح، التفويضات الحكومية للشفافية، والاعتقاد بأن الخبرة الخارجية في المجالات المتخصصة مطلوبة لتطبيقات معينة.
ج. إدراك المخاطر
الخطر الميتا (Meta-Risk): وصف 18 مشاركاً ASARA بأنها "خطر ميتا" لأنها تسرع جميع نماذج التهديدات الأخرى (مثل الأمن البيولوجي، الهجمات السيبرانية) من خلال تسريع اكتشاف القدرات الخطيرة.
تأخر التكيف: القلق الرئيسي هو أن تطوير الذكاء الاصطناعي سيتجاوز الاستجابات التنظيمية والمؤسسية البشرية.
تركيز القوة: ديناميكية "الفائز يستحوذ على كل شيء" حيث تمتلك الجهة الأولى التي تحقق التحسين الذاتي التكراري سيطرة دائمة على مستقبل الذكاء الاصطناعي.
د. الحوكمة والخطوط الحمراء
التشكيك في الخطوط الحمراء: بينما يدعم البعض "الخطوط الحمراء" (مثل حظر التحسين الذاتي المستقل)، يرى الكثيرون أنها غير عملية بسبب:
مشكلات التوصيف: صعوبة تعريف "التحسين الذاتي" بدقة دون خنق الابتكار الحميد.
الإنفاذ: استحالة التحقق من الامتثال دون مراقبة استبدادية.
التوقيت: وضع الخطوط مبكراً جداً يعيق التقدم؛ ووضعها متأخراً جداً يجعلها بلا فائدة.
تفضيل الشفافية: هناك إجماع قوي (بين المتشككين والمؤمنين على حد سواء) على الإبلاغ الإلزامي، وزيادة الرؤية في عمليات النشر الداخلية، والحوكمة التكيفية التي تتطور مع القدرات.
5. الأهمية
تكتسب هذه الورقة أهميتها لعدة أسباب:
التأسيس التجريبي: تنقل النقاش حول الانفجارات الاستخباراتية من التكهنات الفلسفية إلى الآراء المستندة إلى البيانات من الخبراء، وتكشف أن "الانفجار الاستخباراتي" هو مصدر قلق رئيسي بين كبار الباحثين، حتى لو اختلفت الجداول الزمنية.
الآثار السياساتية: تشير النتائج إلى أن المعاهدات الدولية التي تركز فقط على "الخطوط الحمراء" قد تفشل. بدلاً من ذلك، يجب أن تركز السياسة على القابلية للملاحظة والشفافية، حيث من المرجح أن يتم تطوير الأنظمة الأكثر خطورة في السرية (عمليات النشر الداخلية).
الرؤية الثقافية: يسلط "الانقسام المعرفي" المحدد بين سيليكون فالي والأوساط الأكاديمية الضوء على نقطة عمياء محتملة في أبحاث السلامة الحالية. فإذا أدى التشكيك الأكاديمي إلى التقليل من تقدير سرعة التقدم، أو إذا أدى التفاؤل الصناعي إلى التقليل من تقدير المخاطر، فقد تكون السياسة غير متوافقة مع الواقع.
التخطيط الاستراتيجي: يوفر تحديد معالم محددة (مثل آفاق مهام الـ 40 ساعة) إطاراً ملموساً لمراقبة التقدم وتفعيل تدخلات السلامة قبل وقوع انفجار استخباراتي.
في الختام، ترسم الدراسة صورة لمجال تُقبل فيه إمكانية أتمتة أبحاث الذكاء الاصطعي كخطر شديد على نطاق واسع، ولكن تظل الآليات للسيطرة على ذلك محل نزاع عميق، مع توقع تحول حاسم نحو دورات تطوير مغلقة وداخلية يصعب على المنظمين الخارجيين مراقبتها.