An Omitted Mode Is a Rare Rule: The Sampling-Verification Danger Law in Continuous Code World Models

في عالم الذكاء الاصطناعي المعاصر، تتمثل إحدى الاستراتيجيات الشائعة لتعليم الآلات كيفية التحكم في الأنظمة الفيزيائية — مثل الروبوتات أو السيارات ذاتية القيادة — في جعل الآلة تبني أولاً خريطة ذهنية لكيفية عمل العالم. هذه الخريطة، التي تُسمى غالًا "نموذج العالم"، تتنبأ بما سيحدث لاحقًا إذا تم اتخاذ إجراء معين. وبمجرد امتلاك الآلة لهذه الخريطة، تستخدم خوارزمية تخطيط لمحاكاة آلاف الاحتمالات المستقبلية، بحثًا عن تسلسل الإجراءات الذي يؤدي إلى أفضل نتيجة. وكان الافتراض السائد لفترة طويلة هو أنه إذا كانت هذه الخريطة الذهنية دقيقة بما يكفي بناءً على البيانات التي رأتْها، فسيكون من الآمن استخدامها للتخطيط. فإذا تنبأت الخريطة بالمستقبل بشكل صحيح في ألف تجربة اختبار، يُفترض أنها دليل موثوق.

ومع ذلك، فإن دراسة جديدة تتحدى هذا الافتراض من خلال النظر فيما يحدث عندما يحتوي العالم على أحداث نادرة ومفاجئة لم تواجهها الآلة من قبل أثناء تدريبها. تخيل سيارة تعلمت القيادة على طريق ممهد ولكنها لم ترَ جدارًا قط. إذا كان الجدار نادرًا لدرجة أن السيارة لم تصطدم به أبدًا أثناء تدريبها، فقد تتجاهل الخريطة الذهنية للآلة وجود الجدار ببساطة، مفترضة أن الطريق مستمر إلى الأبد. والخطر يكمن في أنه عندما تحاول الآلة أخيرًا القيادة في العالم الحقيقي، فقد تخطط لمسار يتجه مباشرة نحو ذلك الجدار غير المرئي، معتقدة أنها تستطيع المرور عبره. والسؤال الذي طرحه الباحثون هو ما إذا كان فحص سلامة قياسي، والذي يختبر خريطة الآلة مقابل عينات عشوائية من العالم، يمكنه رصد هذا النوع من العمى قبل أن يتسبب في حادث.

قام الباحثون بإعداد سلسلة من التجارب المنضبطة للإجابة على هذا السؤال، باستخدام محاكاة فيزيائية بسيطة مثل عربة تتحرك على مسار أو بندول يتأرجح. وفي هذه المحاكاة، أدخلوا "قاعدة نادرة": وهي توقف قسري، مثل جدار أو أرضية، يؤدي فورًا إلى إيقاف حركة الجسم إذا لمسه. ثم طلبوا من نموذج لغوي كبير كتابة الكود الخاص بالخريطة الذهنية للآلة، لكنهم أخفوا وجود هذا الجدار عمدًا عن بيانات تدريب النموذج. لم يُعرض على النموذج سوى حركات عشوائية للعربة أو البندول حدثت بالصدفة بعيدًا عن الجدار. ولأن الجدار كان نادرًا، فإن النموذج غالبًا لم يره أبدًا أثناء تدريبه.

كانت النتائج صارخة. فعندما اختبر الباحثون النماذج باستخدام فحص سلامة قياسي — عبر تشغيل النموذج من خلال آلاف السيناريوهات العشوائية لمعرفة ما إذا كان يتطابق مع الفيزياء الحقيقية — نجحت النماذج في كثير من الأحيان. وقد تم قبولها كأنها "صحيحة" لأن الجدار لم يتم تفعيله في آلاف الاختبارات العشوائية. ومع ذلك، عندما سُلمت هذه النماذج "المحققة" إلى مخطط للتحكم في النظام، كان المخطط يوجه العربة أو البندول بثقة مباشرة نحو الجدار المخفي. فالنموذج، الذي ليس لديه مفهوم عن الجدار، كان يتنبأ بمرور الجسم عبره مباشرة. والمخطط، واثقًا من هذا التنبؤ الخاطئ، كان يقود الجسم نحو الجدار، حيث يعلق هناك. ومن ثم لن تتمكن الآلة من الوصول إلى هدفها، مما يؤدي إلى فقدان كل نجاحها المحتمل تقريبًا. وجدت الدراسة أن هذا الفشل لم يكن خطأ في الحساب، بل كان فجوة جوهرية في المعرفة: لقد كان النموذج أعمى عن قاعدة موجودة بالفعل ولكن لم يتم أخذ عينة منها.

اكتشف الباحثون أن احتمالية وقوع هذه الكارثة تتبع نمطًا رياضيًا دقيقًا يعتمد على الندرة. فإذا كان الحدث الخطير يحدث مرة واحدة من بين مائة تجربة عشوائية، وكان فحص السلامة يجري مائة تجربة فقط، فهناك فرصة كبيرة أن يخطئ الفحص في رصد الحدث تمامًا. وإذا أجرى الفحص ألف تجربة، فإن فرصة الخطأ تنخفض، لكنها لا تصل أبدًا إلى الصفر. أثبتت الدراسة أنه طالما أن بيانات التدريب لا تتضمن الحدث النادر، فلا يمكن لأي قدر من التخطيط الذكي أو تحسين النموذج أن يكتشفه. يظل النموذج أعمى، وفحص السلامة، بطبيعته القائمة على أخذ العينات العشوائية، لا يمكنه ضمان العثور على بقعة العمى هذه.

استكشفت الدراسة أيضًا ما إذا كان بإمكان الآلة تعلم القاعدة إذا عُرض عليها الجدار أثناء التدريب. في المهام البسيطة أحادية البعد، مثل عربة تتحرك في خط مستقيم، كانت الإجابة إيجابية بشكل مفاجئ. فعندما عُرض على النموذج حتى بضع أمثلة لاصطدام العربة بالجدار، تمكن النموذج اللغوي من كتابة الكเสีย (الكود) الدقيق لإيقاف العربة، مما أدى فعليًا إلى "إصلاح" خريطته الذهنية. لقد تعلم القاعدة بشكل مثالي. ومع ذلك، انتقل الباحثون بعد ذلك إلى بيئات أكثر تعقيدًا، ثنائية الأبعاد، حيث كان الجدار عبارة عن رقعة دائرية على سطح مسطح. في هذه الحالات، حتى عندما عُرض على النموذج اصطدام الجدار بالرقعة، فشل في استنتاج الشكل والموقع الصحيحين للحدود. وبدلاً من تعلم القاعدة الدائرية، ابتكر النموذج أشكالًا غير صحيحة، مثل خط مستقيم أو مربع، أو قام ببساطة بتجميد الجسم في مكانه دون فهم السبب. لم يستطع النموذج التعميم من الأمثلة القليلة التي رآها إلى الشكل الكامل للعائق.

يسلط هذا الاكتشاف الضوء على قصور حرج في كيفية تعلم هذه الأنظمة. أظهرت الدراسة أنه بينما يمكن للآلة أن تكون ممتازة في ترجمة قاعدة يتم إخبارها بها صراحة أو عرضها عليها في سياق بسيط، إلا أنها تكافح لاستنتاج شكل وموقع قاعدة معقدة من أدلة متفرقة. إن قدرة الآلة على "إصلاح" نفسها تعتمد بشدة على هندسة المشكلة. في الحالات البسيطة، ينجح الأمر؛ أما في الحالات المعقدة ثنائية الأبعاد، فإنه يفشل. اختبر الباحثون طرقًا مختلفة لمساعدة النموذج، مثل إعطائه المزيد من الأمثلة، أو تغيير الطريقة التي يُطلب بها منه التفكير، أو تقديم تلميحات حول شكل العائق. ولم يفلح أي من هذه التدخلات. فقد فشل النموذج باستمرار في استنتاج القاعدة الصحيحة للرقعة ثنائية الأبعاد، وغالبًا ما استبدلها بشكل أبسط وغير صحيح.

إن تداعيات هذا العمل كبيرة لكل من يعتمد على الذكاء الاصطناعي للتحكم في الأنظمة الفيزيائية. فهي تشير إلى أن فحوصات السلامة القائمة على أخذ العينات العشوائية غير كافية لرصد حالات الفشل النادرة ولكن الكارثية. يمكن للنموذج أن يجتاز كل اختبار يُقدم له ومع ذلك يكون خاطئًا بشكل خطير بشأن حدث معين نادر. تثبت الدراسة أنه إذا كان الحدث الخطير نادرًا بما يكفي ليتم تفويته بواسطة عملية أخذ العينات، فسيظل النموذج أعمى، وسيقوم المخطط باستغلال هذا العمى، مما يؤدي إلى الفشل. الطريقة الوحيدة لضمان السلامة هي ضمان أن تغطي بيانات التدريب حدود هذه الأحداث النادرة، أو استخدام نوع آخر من التحقق لا يعتمد على الصدفة العشوائية. وتخلص الدراسة إلى أنه بينما يمكن للذكاء الاصطناعي أن يكون بارعًا للغاية في التعلم من البيانات، فإنه لا يمكنه تعلم ما لم يره قط، وفي العالم الفيزيائي، ما لم يره يمكن أن يكون بالضبط هو ما يسبب أكبر قدر من الضرر.