💬 NLP

Large Language Models are Algorithmically Blind

تكشف هذه الورقة أنه على الرغم من معرفتها الواسعة، تعاني النماذج اللغوية الكبيرة من "العمى الخوارزمي"، حيث تفشل بشكل منهجي في التنبؤ بدقة أو الاستنتاج حول العمليات الحسابية والأداء الخوارزمي، وغالبًا ما يكون أداؤها ليس أفضل من التخمين العشوائي بسبب فجوة جوهرية بين معرفتها التقريرية وقدراتها على الاستدلال الإجرائي.

المؤلفون الأصليون: Sohan Venkatesh, Ashish Mahendran Kurapath, Tejas Melkote

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sohan Venkatesh, Ashish Mahendran Kurapath, Tejas Melkote

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح ورقة "النماذج اللغوية الكبيرة عمياء خوارزميًا"، مترجمة إلى لغة بسيطة مع تشبيهات إبداعية.

الفكرة الكبرى: "العالِم بكل شيء" الذي لا يجيد الحساب

تخيل أن لديك صديقًا قرأ كل كتاب في المكتبة. يمكنه أن يخبرك عن تاريخ الإمبراطورية الرومانية، وحبكة كل فيلم صُنع على الإطلاق، وتعريف "الخوارزمية الحاسوبية". إنه واسع المعرفة بشكل مذهل.

الآن، تخيل أنك سألت هذا الصديق: "إذا استخدمت أداة معينة لإصلاح سيارة معطلة محددة، فكم من الوقت سيستغرق ذلك، وما مدى احتمالية نجاح الأمر؟"

تتوقع منه أن يعطيك تخمينًا ذكيًا ومثقفًا بناءً على نوع السيارة ومواصفات الأداة. وبدلاً من ذلك، يعطيك إجابة غير دقيقة تمامًا. قد يقول لك: "سيستغرق الأمر ما بين دقيقتين و200 عام، وسيعمل بالتأكيد بشكل مثالي"، رغم أن الأداة معروفة بفشلها في إصلاح تلك السيارة تحديدًا بنسبة 90% من المرات.

تجادل هذه الورقة بأن النماذج اللغوية الكبيرة (LLMs) تشبه تمامًا ذلك الصديق. لقد قرأت عن الخوارزميات، لكنها لا تستطيع فعليًا التنبؤ بمدى جودة أداء خوارزمية ما على مشكلة جديدة. ويسمي المؤلفون هذا "العمى الخوارزمي".

التجربة: اختبار "الاكتشاف السببي"

لإثبات ذلك، وضع الباحثون اختبارًا صارمًا باستخدام مجال يُسمى "الاكتشاف السببي" (معرفة علاقات السبب والنتيجة في البيانات، مثل: "هل التدخين يسبب السرطان؟").

فكر في هذا الأمر كأنه مسابقة طبخ:

المكونات: 13 مجموعة بيانات مختلفة (بعضها مشهور، وبعضها مُبتكر).
الأدوات: 4 طرق طبخ مختلفة (خوارزميات) لإيجاد الوصفة.
الحكام: قام الباحثون بتشغيل كل أداة 100 مرة على كل مجموعة بيانات للحصول على الحقيقة الفعلية (الحقيقة الأرضية). كانوا يعرفون بالضبط مدى جودة عمل كل أداة.

بعد ذلك، طلبوا من 8 نماذج ذكاء اصطناعي رائدة (مثل النسخ الأكثر ذكاءً من ChatGPT وClaude، إلخ) أن تنظر إلى المكونات والأداة، وأن تخمن النتائج قبل إجراء الاختبار. طلبوا من الذكاء الاصطناعي إعطاء نطاق: "أعتقد أن معدل النجاح سيكون بين X% وY%".

النتائج: كارثة حقيقية

كانت النتائج صادمة. إليك ما حدث:

فشل "الـ 15% السحرية":
لو كنت تخمن رقمًا عشوائيًا تمامًا، فستكون محقًا في حوالي 36% من الحالات (لأن النطاقات التي قدمها الذكاء الاصطناعي كانت ضخمة جدًا). لكن نماذج الذكاء الاصطناعي كانت محقة بنسبة 15.9% فقط من الوقت.
- تشبيه: تخيل خبير أرصاد جوية يقول: "هناك احتمال 50% لهطول الأمطار ما بين الساعة 1 صباحًا و11 مساءً". حتى مع وجود هذه النافذة الزمنية الضخمة، فإنه يخطئ بنسبة 84% من المرات.
أسوأ من التخمين العشوائي:
سبعة من أصل ثمانية نماذج ذكاء اصطناعي كان أداؤها أسوأ مما لو كنت قد أغمضت عينيك واخترت رقمًا عشوائيًا. لم تكن سيئة فحسب؛ بل كانت مخطئة بثقة.
فخ "الثقة":
قدمت نماذج الذكاء الاصطناعي نطاقات واسعة جدًا (على سبيل المثال: "معدل النجاح: من 0% إلى 100%"). قد تعتقد: "أوه، إنهم يتواضعون ويغطون جميع الاحتمالات!".
- التحول المفاجئ: حتى مع هذه النطاقات الضخمة والحذرة للغاية، كانت النتيجة الفعلية تقع خارج توقعاتهم في معظم الأوقات. كانوا مثل لاعب دارتس يرمي السهام وهو معصوب العينين، لكن الهدف كان يتحرك، وقد أخطأ الهدف حتى عندما رمى السهم من مسافة بعيدة.

لماذا فشلوا؟ (فخ "الحفظ")

تعمق الباحثون لمعرفة لماذا فشل الذكاء الاصطناعي. وجدوا أن الذكاء الاصطناعي لم يكن "يفكر" أو "يستنتج" حقًا. بل كان يحفظ.

تشبيه "الطالب المشهور":
تخيل طالبًا حفظ نموذج الإجابات لمجموعة محددة من الامتحانات التجريبية (مجموعات بيانات "المعيار المرجعي"). إذا سألته عن تلك الامتحانات المحددة، فسيجيب عن بعضها بشكل صحيح لأنه يتذكر الإجابات.
لكن إذا أعطيته امتحانًا جديدًا بنفس القواعد ولكن بأرقام مختلفة (مجموعات البيانات "الاصطناعية")، فسيصاب بالذعر. ليس لديه أدنى فكرة عن كيفية حل المشكلة؛ هو يعرف فقط إجابات الأسئلة القديمة.
الدليل:
- عندما تم اختبار الذكاء الاصطناعي على مجموعات بيانات مشهورة ومعروفة، كان أداؤه أفضل قليلاً (لأنه "قرأ" عنها في بيانات تدريبه).
- عندما تم اختباره على بيانات جديدة ومبتكرة، انهار أداؤه تمامًا.
- اتفقت نماذج الذكاء الاصطناعي مع بعضها البعض في الاختبارات الشهيرة (لأنها حفظت نفس الإجابات)، لكنها اختلفت تمامًا في الاختبارات الجديدة (لأنها كانت مجرد تخمينات).

الخلاصة: لا تثق في الذكاء الاصطناعي لاختيار أدواتك

تخلص الورقة إلى أنه لا يمكنك استخدام نماذج الذكاء الاصطناعي الحالية لاختيار أفضل خوارزمية لمهمة ما.

إذا كنت عالم بيانات يحاول تحديد الأداة الأنسب لمشروع جديد، فإن سؤال الذكاء الاصطناعي "أي خوارزمية ستعمل بشكل أفضل؟" يشبه سؤال شخص قرأ كل كتيبات السيارات لتخمين سرعة سيارة معينة في مضمار محدد دون أن يرى السيارة أو المضمار أبدًا. قد يسرد المواصفات، لكنه لا يستطيع التنبؤ بالنتيجة.

الخلاصة المستفادة:
النماذج اللغوية الكبيرة رائعة في وصف ماهية الخوارزميات (المعرفة التقريرية)، لكنها "عمياء" تجاه كيفية سلوك تلك الخوارزميات في العالم الحقيقي (التنبؤ الإجرائي). وحتى يتغير هذا، لا يمكننا الاعتماد عليها لاتخاذ قرارات حاسمة بشأن أي الأدوات الحسابية يجب استخدامها. لا يزال يتعين علينا إجراء الاختبارات بأنفسنا.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "النماذج اللغوية الكبيرة تعاني من العمى الخوارزمي" (Large Language Models are Algorithmically Blind) للباحثين فينكاتيش، كوراباث، وميلكوتي.

1. بيان المشكلة

تبحث الورقة في فجوة حرجة في قدرات النماذج اللغوية الكبيرة (LLMs): قدرتها على الاستدلال حول العمليات الحسابية والتنبؤ بالأداء الخوارزمي. وبينما تمتلك هذه النماذج معرفة إعلانية واسعة، إلا أنه من غير الواضح ما إذا كانت قادرة على تقديم تنبؤات كمية مُعايرة (calibrated quantitative predictions) حول مدى جودة أداء خوارزمية معينة على حالة مشكلة محددة.

يجادل المؤلفون بأن الممارسين غالباً ما يعتمدون على النماذج اللغوية الكبيرة للاختيار "بصفر محاولة" (zero-shot) للخوارزميات أو لتقدير عدم اليقين. ومع ذلك، إذا كانت هذه النماذج تكتفي بمجرد مطابقة الأنماط للنصوص التي تدربت عليها بدلاً من إجراء استدلال مبدئي، فإن توصياتها قد تكون مضللة بشكل خطير. وتعرف الورقة نمط الفشل هذا بـ "العمى الخوارزمي": وهو العجز عن تكوين توقعات مُعايرة لأداء الخوارزمية بناءً على بنية المشكلة والوصف الخوارزمي فقط.

2. المنهجية

استخدمت الدراسة الاكتشاف السببي (Causal Discovery) كبيئة اختبار صارمة لأنها توفر خوارما خوارزميات متنوعة، ومقاييس موحدة، وحقيقة أرضية واضحة، ومجموعات بيانات مرجعية بارزة من المرجح أن تكون موجودة في مجموعات البيانات التي تدربت عليها النماذج اللغوية الكبيرة.

الإعداد التجريبي

النماذج: تم تقييم ثمانية نماذج رائدة (مثل Claude-Opus-4.6، وGPT-5.2، وDeepSeek-V3.2، وLLaMA-3.3، إلخ).
الخوارزميات: تم اختبار أربع خوارزميات مختلفة للاكتشاف السببي:
- PC و FCI: طرق قائمة على القيود.
- LiNGAM: نموذج سببي وظيفي (خطي غير غاوسي).
- NOTEARS: نهج التحسين المستمر.
مجموعات البيانات:
- 13 مجموعة بيانات: 9 مجموعات مرجعية قياسية من مستودع bnlearn (مثل Sachs، وAsia، وAlarm) و4 مجموعات بيانات اصطناعية تم إنشاؤها من رسوم بيانية موجهة لا حلقية (DAGs) عشوائية مع عدد متغير من العقد (من 12 إلى 60 عقدة).
توليد الحقيقة الأرضية:
- لكل حالة من حالات الـ 52 التجريبية (13 مجموعة بيانات $\times$ 4 خوارزميات)، تم تنفيذ كل خوارزمية 100 مرة باستخدام إعادة أخذ العينات بطريقة البوتستراب (bootstrap resampling).
- نتج عن ذلك 5,200 عملية تنفيذ إجمالية لحساب المتوسطات التجريبية وفترات الثقة بنسبة 95% لأربعة مقاييس: الدقة (Precision)، والاستدعاء (Recall)، وF1، ومسافة هامينج الهيكلية (SHD).
بروتوكول تقييم النماذج اللغوية الكبيرة:
- تم توجيه النماذج اللغوية الكبيرة عبر "برومبت" (Prompt) يتضمن خصائص مجموعة البيانات وافتراضات الخوارزمية للتنبؤ بـ نطاقات (فترات) للمقاييس الأربعة.
- تم استخدام ثلاث صيغ مختلفة من التوجيه (Prompting) لاختبار المتانة.
- المقياس: تم تعريف التغطية المُعايرة (Calibrated Coverage) كنسبة الحالات التي احتوى فيها النطاق الذي تنبأ به النموذج على المتوسط الخوارزمي الحقيقي. يجب أن يحقق النموذج المُعاير جيداً تغطية تطابق ثقته المعلنة (على سبيل المثال، تغطية 95% لفترة ثقة 95%).

الخطوط المرجعية (Baselines)

الخط المرجعي العشوائي: فترات عشوائية منتظمة ضمن نطاقات المقاييس الصالحة.
الخط المرجعي الاستدلالي (Heuristic): نطاقات متحفظة بناءً على إحصائيات الأدبيات السابقة.

3. المساهمات الرئيسية

بيئة اختبار صارمة: إنشاء بيئة مبدئية لتقييم الاستدلال الخوارزمي للنماذج اللغوية الكبيرة، متجاوزة مطابقة الأنماطة السطحية.
دراسة معايرة واسعة النطاق: إجراء أول درسة بهذا الحجم، تشمل 8 نماذج، 13 مجموعة بيانات، 4 خوارزميات، و5,200 تنفيذ للحقيقة الأرضية.
تعريف "العمى الخوارزمي": صياغة نمط الفشل المحدد حيث تمتلك النماذج اللغوية الكبيرة معرفة إعلانية ولكنها تفشل في ترجمتها إلى تنبؤات إجرائية مُعايرة.
أدلة على الحفظ (Memorization): تقديم أدلة سلوكية (عبر تدهور البيانات الاصطناعية والاتفاق بين النماذج) تشير إلى أن النجاح الهامشي للنماذج اللغوية الكبيرة مدفوع بحفظ المعالم (benchmarks) بدلاً من التعميم.

4. النتائج الرئيسية

الفشل المنهجي (العمى الخوارزمي)

تغطية منخفضة: عبر جميع المقارنات الـ 1,664، حققت النماذج الرائدة متوسط تغطية مُعايرة قدره 15.9% فقط. وهذا يعني أن المتوسط الخوارزمي الحقيقي وقع خارج النطاق الذي تنبأ به النموذج في 84.1% من الحالات.
أسوأ من العشوائي: أدى سبعة من ثمانية نماذج إلى أداء أقل من الخط المرجعي العشوائي (36.5%). حتى أفضل النماذج أداءً (Claude) حقق 39.4% فقط، وهو تحسن طفيف لا يمكن تمييزه إحصائياً عن الصدفة من الناحية العملية.
الإفراط في الثقة وعدم المعايرة: أنتجت النماذج اللغوية الكبيرة نطاقات تنبؤ أوسع بـ 8 إلى 27 مرة من فترات الثقة الحقيقية بنسبة 95%، ومع ذلك فشلت هذه النطاقات الواسعة في احتواء المتوسط الحقيقي. يشير هذا إلى وجود معتقدات غير مُعايرة بدلاً من كونها تحفظية.

الحفظ مقابل الاستدلال

حدد المؤلفون ثلاث إشارات تشير إلى أن أداء النماذج اللتمحور حول الحفظ بدلاً من الاستدلال:

الانفصال بين الخوارزمية والمقياس: تباين الأداء بشكل كبير بناءً على زوج (الخوارزمية-المقياس) المحدد. على سبيل المثال، أظهرت NOTEARS تغطية عالية لـ SHD (41.3%) بينما أظهرت PC تغطية تقترب من الصفر (0.0%)، رغم عدم وجود سبب خوارزمي متأصل لمثل هذا التفاوت في الصعوبة. يشير هذا إلى استرجاع أوراق بحثية محددة تذكر قيم SHD لخوارزمية NOTEARS.
التدهور بين المعالم المرجعية والبيانات الاصطناعية:
- كانت التغطية في مجموعات البيانات المرجعية (17.7%) أعلى بكثير منها في مجموعات البيانات الاصطناعية (11.7%).
- الانهيار الرتيب: في مجموعات البيانات الاصطناعية، انخفضت التغطية بشكل رتيب مع زيادة حجم الشبكة (من 20.3% عند 12 عقدة إلى 6.2% عند 60 عقدة).
- شذوذ LiNGAM: أظهرت خوارزمية LiNGAM، التي تمتلك أكبر قدر من الأدبيات المرجعية، انخفاضاً بنسبة 23.2% في التغطية على البيانات الاصطناعية، بينما أظهرت الخوارزميات الأحدث مثل NOTEARS استقراراً. هذا الارتباط العكسي مع "الصعوبة الخوارزمية" والارتباط المباشر مع "كثافة بيانات التدريب" يؤكد عملية الحفظ.
الاتفاق بين النماذج: اتفقت النماذج على تنبؤات متشابهة للمعالم المرجعية المعروفة (مسافة زوجية منخفضة) لكنها تباعدت بشدة في البيانات الاصطناعية (مسافة زوجية عالية). يشير هذا إلى أنها تسترجع بيانات تدريب مشتركة للمعالم المرجعية ولكنها تخمن بشكل مستقل عندما تغيب تلك البيانات.

حساسية التوجيه (Prompt Sensitivity)

كانت النتائج قوية تجاه تغيرات التوجيه. أشار معامل الاختلاف (CV%) العالي في التنبؤات عبر صيغ التوجيه المختلفة إلى عدم استقرار جوهري في "معتقدات" النماذج حول أداء الخوارزميات، وليس نقصاً في القدرة يمكن استحضاره بتوجيه أفضل.

5. الأهمية والآثار المترتبة

النتيجة السلبية للاختيار بـ "صفر محاولة": تخلص الورقة إلى أنه لا ينبغي استخدام النماذج اللغوية الكبيرة كمقدرات أداء بـ "صفر محاولة" لاختيار الخوارزميات في الاكتشاف السببي. تنبؤاتها تفتقر إلى الصلاحية المُعايرة المطلوبة لاتخاذ القرار.
الفجوة بين المعرفة الإعلانية والإجرائية: تسلط الدراسة الضوء على انفصال جوهري: يمكن للنماذج اللغوية الكبيرة وصف الافتراضات الخوارزمية بشكل صحيح (معرفة إعلانية) ولكن لا يمكنها تطبيقها للتنبؤ بالنتائج التجريبية (استدلال إجرائي).
محدودية RAG: يجادل المؤلفون بأن التدخلات القياسية مثل التوليد المعزز بالاسترجاع (RAG) قد تعالج الفجوات المعرفية، لكنها لا تستطيع حل غياب "نموذج الأداء" المهيكل الذي يربط الافتراضات الخوارزمية بخصائص مجموعة البيانات.
الاتجاهات المستقبلية: تقترح الورقة أن العمل المستقبلي يجب أن يستكشف النماذج اللغوية الكبيرة كمستخرجات للميزات (feature extractors) للمقدرات الإحصائية المتعلمة بدلاً من كونها متنبئات مباشرة، وتدعو إلى وضع معايير من قبل الخبراء البشر لتحديد ما إذا كان هذا قصوراً جوهرياً في المهمة أم فشلاً خاصاً بالنماذج اللغوية الكبيرة.

باختصار، تقدم الورقة دليلاً تجريبياً قوياً على أن النماذج اللغوية الكبيرة الرائدة الحالية تعاني من العمي الخوارزمي، حيث تفشل في تعميم الاستدلال الخوارزمي خارج حدود الإحصائيات المحددة التي حفظتها من مجموعات بيانات التدريب الخاصة بها.