Prior laundering: learned priors with inherited, undetectable overconfidence

لغز الخريطة غير المرئية

تخيل أنك محقق تحاول حل جريمة، لكن ليس لديك سوى صورة ضبابية وغير مكتملة لمسرح الجريمة. أنت تعرف قوانين الفيزياء (كيف ينحني الضوء، كيف ينتقل الصوت)، لكن الصورة تفتقر إلى أجزاء ضخمة من المعلومات. لملء هذه الفجوات، تحتاج إلى "أولوية" (prior)—وهي مجموعة من التخمينات المدروسة حول كيف تبدو الأجزاء المفقودة عادةً. في عالم العلوم، يُسمى هذا المشكلة العكسية (inverse problem): العمل بشكل عكسي من نتيجة فوضوية لمعرفة السبب الأصلي.

لعقود من الزمن، استخدم العلماء قواعد يدوية لهذه التخمينات، مثل "افترض أن الصورة ناعمة" أو "افترض أن الجسم بسيط". ولكن مؤخرًا، بدأوا في استخدام الذكاء الاصطناعي لتعلم هذه القواعد. ينظر الذكاء الاصطناعي إلى آلاف الحلول الماضية ويتعلم كيف يبدو الشكل "المعقول"، مما يخلق ما يسمى الأولوية التوليدية (generative prior). هذه أداة قوية، لكن لها عيب: لتدريب الذكاء الاصطناعي، تحتاج إلى معرفة الإجابة الحقيقية ("الحقيقة الأرضية" أو ground truth). في مجالات مثل علم الزلازل (النظر داخل الأرض) أو التصوير الطبي (النظر داخل جسم الإنسان)، لا تتوفر الإجابة الحقيقية تقريبًا. لا يمكنك رؤية طبقات الصخور الدقيقة تحت الأرض أو الأنسجة السليمة الدقيقة داخل المريض دون جراحة غازية.

إذًا، ماذا يفعل العلماء؟ إنهم يغشون قليلًا، أو هكذا يعتقدون. يأخذون التخمينات القديمة التي وضعتها الطرق السابقة، ويعاملونها كما لو كانت هي الحقيقة، ثم يدربون ذكاءهم الاصطناعي الجديد عليها. تطلق هذه الورقة البحثية على هذه العملية اسم "غسيل الأولوية" (prior laundering). الأمر يشبه أخذ رسم تخطيطي رسمه فنان سابق، وغسله في آلة ليجعله يبدو كصورة فوتوغرافية، ثم الادعاء بأن هذه الصورة الجديدة مبنية على بيانات حقيقية. السؤال الكبير هو: هل تنجح هذه الحيلة، أم أنها تخفي سرًا خطيرًا؟

دورة الغسيل: كيف يصبح الذكاء الاصطناعي "النظيف" متسخًا

تبحث هذه الورقة البحثية، بعنوان "غسيل الأولوية: أولويات متعلمة بـ ثقة مفرطة موروثة وغير قابلة للكشف"، في ماهية حدوثه بالضبط عندما تدرب ذكاءً اصطناعيًا قويًا على هذه "إعادة البناء الموروثة" بدلاً من الحقائق الفعلية. اكتشف المؤلفان، علي صياح كوهي وسينا ألموهامد، ظاهرة مقلقة: الذكاء الاصطناعي لا يتعلم من البيانات فحسب؛ بل يرث أيضًا النقاط العمياء والثقة الزائفة للطريقة القديمة التي تدرب عليها.

إليك جوهر المشكلة، مشروحة من خلال تشبيه بسيط:

تخيل أنك تحاول تخمين محتويات صندوق مغلق. يمكنك هز الصندوق وتسمع بعض الخشخشة (هذه هي القياسات).

1. الاتجاهات الواضحة: إذا كان هناك عملة معدنية فضفاضة داخل الصندوق، يمكنك سماعها بوضوح. البيانات تخبرك بمكان العملة بدقة.
2. الاتجاهات العمياء: لكن الصندوق يحتوي أيضًا على كتلة ثقيلة وصامتة من الرصاص لا تصدر أي صوت خشخشة على الإطلاق. مهما هززت الصندوق بقوة، فإن البيانات لن تخبرك بأي شيء عن كتلة الرصاص.

في العالم المثالي، عندما تكون البيانات صامتة، يجب أن تقول: "ليس لدي أدنى فكرة عن شكل كتلة الرصاص؛ يمكن أن تكون أي شيء". ولكن هنا يحدث "الغسيل".

لقد درب العلماء ذكاءهم الاصطناعي على أرشيف من التخمينات القديمة. في تلك التخمينات القديمة، استخدم الأشخاص الذين صنعوها قاعدة (منظم - regularizer) تفترض أن كتلة الرصاص الصامتة كانت دائمًا عبارة عن مكعب أملس تمامًا. ولأن البيانات لم تكن تستطيع دحض هذا الافتراض (بما أن الرصاص كان صامتًا)، أظهرت التخمينات القديمة دائمًا مكعبًا أملسًا.

عندما تم تدريب الذكاء الاصطناعي الجديد على هذه التخمينات القديمة، تعلم درسًا محددًا للغاية: "عندما تكون البيانات صامتة، فإن الإجابة هي مكعب أملس". لم يتعلم الذكاء الاصطناعي هذا من هز الصندوق (البيانات)؛ بل تعلمه من الرسم القديم (الأرشيف).

الوهم الخطير لليقين

تجد الورقة أن هذا يؤدي إلى ثقة مفرطة غير قابلة للكشف.

عندما يتم نشر الذكاء الاصطناعي لحل مشكلة جديدة، فإنه ينظر إلى الأجزاء الصامتة من البيانات ويبلغ بثقة: "أنا متأكد بنسبة 99% أن كتلة الرصاص هي مكعب أملس!" إنه يرسم دائرة ضيقة جدًا حول تخمينه. في الإحصاء، يسمى هذا الفترة الموثوقة (credible interval). إذا كانت الفترة ضيقة جدًا، فإن الذكاء الاصطناعي يكون "مفرط الثقة".

الجزء المخيف هو أنه لا يمكن لأحد أن يعرف أن الذكاء الاصطناعي يكذب.

• فحص البيانات يفشل: إذا فحصت إجابة الذكاء الاصطناعي مقابل الصندوق المهتز، فستنجح. تخمين الذكاء الاصطناعي يتناسب تمامًا مع الصوت لأن الصوت لا يهتم بكتلة الرصاص.
• الفحص الذاتي يفشل: غالبًا ما يستخدم العلماء اختبارًا يسمى المعايرة القائمة على المحاكاة (simulation-based calibration) لمعرفة ما إذا كان ذكاؤهم الاصطناعي صادقًا. يسألون الذكاء الاصطناعي للتخمين، ثم يتحققون مما إذا كانت الحقيقة تقع داخل دائرة الثقة الخاصة بالذكاء الاصطناعي. ولكن نظرًا لأن الذكاء الاصطناعي قد تدرّب على قاعدة "المكعب الأملس" القديمة، فإنه يتوافق تمامًا مع تدريبه. إنه يجتاز الاختبار في كل مرة، رغم أنه مخطئ بثقة بشأن الأجزاء الصامتة.

تثبت الورقة رياضيًا أنه في هذه "الاتجاهات العمياء"، يكون عدم اليقين لدى الذكاء الاصطناعي متجمدًا. إنه تمامًا مثل القاعدة اليدوية القديمة التي تدرب عليها. إذا كانت القاعدة القديمة ضيقة جدًا (مفرطة الثقة)، فإن الذكاء الاصطناعي الجديد سيكون ضيقًا أيضًا. وإذا كانت القاعدة القديمة خاطئة، فإن الذكاء الاصطناعي الجديد سيكون خاطئًا. لا يمكن للبيانات إصلاح ذلك لأن البيانات لم "ترَ" تلك الأجزاء في المقام الأول.

فخ "الأفضل الوحيد"

يزداد الوضع سوءًا مع ممارسة شائعة تسمى التنسيق للأفضل الوحيد (single-best curation). غالبًا، لا تخزن الأرشيفات مجموعة من الاحتمالات (سحابة من التخمينات)؛ بل تخزن فقط تخمينًا واحدًا "أفضل" (تقدير الحد الأقصى للمرجحية - MAP).

تظهر الورقة أنه إذا دربت ذكاءً اصطناعيًا على هذه الصور الوحيدة التي تبدو مثالية، فإن ثقة الذكاء الاصطناعي في النقاط العمياء تنهار لتصل إلى عرض صفر. يصبح متأكدًا تمامًا. يقول: "أنا متأكد بنسبة 100% أن كتلة الرصاص هي مكعب أملس".
في الواقع، يمكن أن تكون كتلة الرصاص كرة، أو هرمًا، أو صخرة مسننة. ولكن نظرًا لأن الأرشيف لم يعرض سوى مكعب، فإن الذكاء الاصطناعي يعتقد أن المكعب هو الاحتمال الوحيد. توضح الورقة أن هذا يؤدي إلى تغطية صفرية: إذا أجريت اختبارًا، فإن الإجابة الحقيقية لن تقع تقريبًا داخل دائرة الثقة الضيقة للذكاء الاصطناعي.

ما أظهرته التجارب

لإثبات أن هذا لم يكن مجرد رياضيات على الورق، أجرى المؤلفون عمليات محاكاة على سيناريوهين من العالم الحقيقي:

1. التصوير الزلزالي: النظر داخل طبقات الصخور تحت الأرض. قاموا بتدريب ذكاء اصطناعي على صور "مهاجرة" قديمة. النتيجة؟ كان الذكاء الاصطناعي واثقًا للغاية بشأن الأجزاء العميقة والمظلمة من الصورة حيث تكون الإضاءة (البيانات) ضعيفة. لقد رسم نطاقات ضيقة جدًا من عدم اليقين أصغر بكثير مما ينبغي. "الحقيقة" (التي صمموها للاختبار) سقطت غالبًا خارج هذه النطاقات.
2. تدفق المياه الجوفية: رسم خرائط للمياه تحت الأرض. استخدموا نوعًا مختلفًا من الذكاء الاصطناعي (normalizing flow) مدربًا على خرائط "أفضل تخمين" قديمة. مرة أخرى، كان الذكاء الاصطناعي مفرط الثقة في النقاط العمياء، حيث أبلغ عن عدم يقين صفري في الأماكن التي كان ينبغي أن يكون فيها عدم يقين هائل.

في كلتا الحالتين، كان الذكاء الاصطناعي المدرب على "الحقيقة" (مجموعة التحكم) أكثر صدقًا بكثير. فقد اعترف عندما لا يعرف، مظهرًا نطاقات واسعة وضبابية من عدم اليقين. أما الذكاء الاصطناعي "المغسول"، فقد بدا أكثر حدة وثقة، لكنه كان هلوسة من اليقين.

الخلاصة: لا تثق في الصورة الأكثر نظافة

تخلص الورقة إلى أن غسيل الأولوية يخلق خللًا هيكليًا غير مرئي للفحوصات القياسية. الذكاء الاصطناعي يرث "الإيمان الأعمى" للطريقة القديمة.

يقترح المؤلفون حلاً عمليًا بسيطًا: أبلغ عما تراه البيانات بالفعل.
قبل الوثوق في عدم يقين الذكاء الاصطناعي، يجب على العلماء حساب الأجزاء التي يمكن للبيانات بالفعل تحديدها (الفضاء الجزئي المحلول - resolved subspace) والأجزاء العمياء. يجب عليهم الإبلاغ عن الثقة للأجزاء العمياء على أنها "موروثة من خط المعالجة" وليس "مدعومة بالبيانات".

إذا كنت تنظر إلى خريطة لما تحت الأرض أو مسح طبي لمريض، وقال الذكاء الاصطناعي: "أنا متأكد بنسبة 100% من هذا الركن المظلم والضبابي"، فيجب أن تشك في الأمر. هذه الثقة لم تأتِ من البيانات؛ بل جاءت من عملية الغسيل. كانت البيانات صامتة، والذكاء الاصطناعي قام فقط بتكرار التخمين القديم بطلاء جديد لامع.

لا تقول الورقة إن علينا التوقف عن استخدام الذكاء الاصطناعي. بل تقول إن علينا التوقف عن التظاهر بأن التدريب على التخمينات القديمة يجعل الذكاء الاصطناعي "مدفوعًا بالبيانات" في تلك الزوايا الصامتة. للبيانات حد، وعندما تتوقف البيانات عن الكلام، فإن ثقة الذكاء الاصطناعي ليست سوى شبح من الماضي.