ملخص تقني: بصمة العراف: أخطاء التنبؤ المترابطة للذكاء الاصطناعي وحدود انتقال التحيز

بيان المشكلة

تعتمد "حكمة الحشود" على الاستقلال الإحصائي للأخطاء الفردية؛ فعندما يخطئ المتنبئون في اتجاهات متباينة، فإن أخطاءهم تلغي بعضها البعض عند التجميع. ومع ذلك، فإن الاعتماد الواسع النطاق لنماذج اللغات الكبيرة (LLMs) لدعم اتخاذ القرار يستحدث خطراً يتمثل في أحادية الثقافة المعرفية (epistemic monoculture). فإذا استشار المتنبئون البشريون مجموعة صغيرة من نماذج الذكاء الاصطناعي التي تشترك في أنماط فشل نظامية ومترابطة، فإن تنوع "الحشد" ينهار. تبحث هذه الورقة في ثلاثة شروط ضرورية لحدوث الضرر الناجم عن هذه الأحادية:

1. يجب أن تظهر نماذج اللغات الكبيرة تحيزات تنبؤية نظامية.
2. يجب أن تكون هذه التحيزات مترابطة للغاية بين النماذج المختلفة (حتى تلك التابعة لمؤسسات مختلفة).
3. يجب على صانعي القرار البشريين استيعاب هذه التحيزات ونشرها في تنبؤاتهم الخاصة.

المنهجية

تستخدم الدراسة بيانات من Metaculus، وهي منصة تنبؤ عبر الإنترنت ذات أسئلة ثنائية محسومة وحقيقة أرضية يمكن التحقق منها. ينقسم البحث إلى ثلاث دراسات:

• الدراسة 1 (خريطة تحيز نماذج اللغات الكبيرة): قام المؤلفون باستجواب ثلاثة نماذج لغات كبيرة رئيسية (GPT-4o من OpenAI، وClaude Sonnet من Anthropic، وGemini 1.5 Pro من Google) حول 568 سؤالاً ثنائياً تم حسمها. قاموا بحساب الأخطاء الموقعة ($e = p - o$) وقياس ارتباطات الخطأ الزوجية بين النماذج. ولمعالجة احتمال تسرب بيانات التدريب (حيث قد تعرف النماذج الإجابات من بيانات تدريبها)، طبقوا آلية كشف التسرب وحللوا مجموعة فرعية "نظيفة" مكونة من 414 سؤالاً.
• الدراسة 2 (التحول الزمني): باستخدام تصميم "داخل السؤال"، تتبع المؤلفون تحولات تنبؤ المجتمع عبر الحد الفاصل لإطلاق ChatGPT (نوفمبر 2022). حللوا 179 سؤالاً كانت مفتوحة قبل وهذا التاريخ وبعده. قاموا بعمل انحدار لتحول تنبؤ المجتمع ($\Delta$) مقابل "سحب الحل" (التحرك نحو الحقيقة الأرضية) و"سحب نموذج اللغة الكبيرة" (الاتجاه الذي يسحب إليه النموذج التنبؤ). وتحكموا في عملية التحديث العقلاني لعزل تأثير نموذج اللغة الكبيرة بشكل محدد.
• الدراسة 3 (بصمة التحيز): صنف المؤلفون الأسئلة إلى خمس مجموعات موضوعية (التكنولوجيا، الجيوسياسة، الاقتصاد، الصحة، العلوم/البيئة). وقارنوا أنماط التحيز على مستوى الفئة لنماذج اللغات الكبيرة مقابل تحيزات المجتمع البشري في فترات ما قبل وما بعد ChatGPT. كما حسبوا الارتباط بين "بصمة" نموذج اللغة الكبيرة (متجه التحيزات عبر الفئات) ومتجه التحيز البشري لكل فترة لتحديد ما إذا كانت التحيزات البشرية تتقارب نحو نمط الذكاء الاصطني.

النتائج الرئيسية

1. ارتباط خطأ مرتفع بين النماذج (الشرط 1 و2)

النتيجة الأساسية هي أن النماذج المختلفة تعمل كعراف واحد مع وجود ضجيج، بدلاً من كونها مصادر مستقلة.

• الارتباط: بلغ متوسط ارتباط الخطأ الزوجي بين GPT-4o وClaude وGemini قيمة $r = 0.77$ ($p < 0.001$) على كامل مجموعة البيانات و $r = 0.78$ على المجموعة النظيفة.
• الاستنتاج: هذا الارتباط أعلى بـ 3 إلى 5 مرات من الارتباطات النموذجية بين المتنبئين البشر ($r \approx 0.1–0.3$). ويحسب المؤلفون أن مجموعة مكونة من ثلاثة نماذج كهذه تعادل فعلياً 1.3 من المتنبئين المستقلين فقط، مما يوفر مكاسب تنوع ضئيلة مقارنة باستشارة نموذج واحد.
• اتجاه التحيز: أظهرت جميع النماذج الثلاثة تحيزاً اتجاهياً إيجابياً (المبالغة في تقدير نتائج "نعم") وثقة مفرطة في الاحتمالات المتوسطة.

2. غياب انتقال قابل للكشف إلى المتنبئين النخبة (الشرط 3)

وجدت الدراسة 2 عدم وجود دليل ذي دلالة إحصائية على أن تحيزات نماذج اللغات الكبيرة قد انتقلت إلى تنبؤات مجتمع Metaculus بما يتجاوز التحديث العقلاني.

• تحليل الانحدار: بينما كان الارتباط الخام بين تحولات المجتمع واتجاه سحب نموذج اللغة الكبيرة إيجابياً ($r = 0.20, p = 0.007$)، إلا أن هذا كان مفسراً بالكامل بتحرك المجتمع نحو الحقيقة الأرضية (سحب الحل، $\beta_1 = 0.061, p < 0.001$).
• تأثير نموذج اللغة الكبيرة: لم يكن معامل تأثير نموذج اللغة الكبيرة المحدد ($\beta_2$) ذا دلالة إحصائية ($\beta = 0.023, p = 0.36$).
• تنبيه: يشير المؤلفون إلى انخفاض القوة الإحصائية (23%) في اكتشاف التأثيرات الصغيرة، ويقرون بأن متنبئي Metacux هم فئة نخبوية عالية المعايرة، مما يمثل "أفضل سيناريو" للاستقلالية.

3. انقلاب فرضية البصمة (الشرط 3)

على عكس الفرضية القائلة بأن الذكاء الاصطناعي سيطبع تحيزات جديدة على البشر، وجدت الدراسة 3 أن التحيزات البشرية كانت تتطابق بالفعل مع تحيزات نماذج اللغات الكبيرة قبل توفر ChatGPT على نطاق واسع.

• ما قبل ChatGPT: كان الارتباط بين بصمة تحيز نموذج اللغة الكبيرة والتحيز البشري قوياً ($r = 0.87$).
• ما بعد ChatGPT: ضعف الارتباط ليصل إلى $r = -0.28$.
• التفسير: لم تقدم نماذج اللغات الكبيرة تحيزات جديدة، بل ورثت التحيزات البشرية الموجودة بالفعل في بيانات تدريبها. وقد يشير ضعف الارتباط بعد ChatGPT إلى "تأثير الوعي"، حيث قام المتنبئون الخبراء (خاصة في مجال التكنولوجيا) بالتعرف على الثقة المفرطة للذكاء الاصطناعي والتصحيح ضدها.

الأهمية والادعاءات

تخلص الورقة إلى أن أحادية الثقافة المعرفية "مبنية ولكن لم يتم تفعيلها بعد".

• بنية الفشل: النتيجة الأكثر قوة هي أن منظومة الذكاء الاصطناعي تفتقر إلى التنوع على مستوى النماذج. إن استشارة عدة نماذج لغات كبيرة رئيسية لا توفر أي استقلالية إضافية تقريباً مقارنة باستشارة نموذج واحد، حيث تشترك جميعها في نفس أنماط الفشل.
• التحيزات كمرآة وليست كمصدر: يجادل المؤلفون بأن نماذج اللغات الكبيرة تعمل كمرايا للتحيز. فهي تعكس وتثبت التحيزات الموجودة بالفعل في المنظومة المعلوماتية البشرية (الإعلام، الخطاب العام) بدلاً من حقن أخطاء غريبة.
• خطر التضخيم: لا يكمكم الخطر في إدخال الذكاء الاصطناعي لأخطاء جديدة، بل في توفير تأكيد سلطوي للتحيزات البشرية الموجودة. فعندما يستشير المتنبئ البشري نموذج لغة كبيراً يشارك في تحيزه، تضيع "الآلية التصحيحية" المتمثلة في مواجهة وجهة نظر مخالفة. وهذا يخلق "قفل التحيز" (bias lock) الذي يشبه هيكلياً، ولكنه أقوى من، غرف الصدى في وسائل التواصل الاجتماعي بسبب الموضوعية المتصورة للذكاء الاصطناعي.
• الوضع الحالي: في المنصات النخبوية مثل Metaculus، لا يزال المتنبئون البشريون أكثر دقة واستقلالية من نماذج الذكاء الاصطناعي. ومع ذلك، مع دمج أدوات الذكاء الاصطناعي في سير العمل للفئات الأقل خبرة، يزداد خطر الفشل المترابط واسع النطاق.

تؤكد الورقة أنه بينما لا يمكن رصد انتقال التحيز إلى المتنبئين النخبة بعد، فإن الشروط المسبقة للمخاطر النظامية قائمة: النماذج تشترك في نفس التحيزات، ويتم التعامل معها بشكل متزايد كمصادر موثوقة.