Sense and Sensitivity: Examining the Influence of Semantic Recall on Long Context Code Reasoning
تكشف هذه الورقة أنه بينما تبرع النماذج اللغوية الكبيرة في الاسترجاع اللفظي الحرفي في سياقات الأكواد الطويلة، فإن قدرتها على فهم الدلالات التشغيلية تتدهور بشدة عندما يكون الكود ذو الصلة متمركزاً في المنتصف، مما يشير إلى أن المعايولات المرجعية الحالية تعتمد إلى حد كبير على اختصارات مطابقة الأنماط بدلاً من الاستدلال الدلالي الحقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة تحتوي على ملايين الكتب (قاعدة بيانات برمجية هائلة). سألت أمين مكتبة فائق الذكاء (نموذج لغوي كبير، أو LLM) ليجد لك صفحة محددة في أحد هذه الكتب ويخبرك بما سيحدث إذا قرأتها.
هذه الورقة البحثية تطرح سؤالاً بالغ الأهمية: هل يقوم أمين المكتبة فعلياً بـ "قراءة" وفهم القصة، أم أنه يكتفي فقط بحفظ عنوان الكتاب وتخمين النهاية بناءً على الأنماط التي رآها من قبل؟
اكتشف الباحثون أنه بينما يتميز هؤلاء "الأمناء الآليون" بقدرة مذهلة على إيجاد الصفحة الصحيحة، إلا أنهم غالباً ما يفشلون في فهم ما هو مكتوب فيها بالفعل عندما يكون الكتاب طويلاً جداً.
إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:
1. نوعا "الذاكرة"
يميز المؤلفون بين طريقتين يمكن للذكاء الاصطناعي من خلالهما "تذكر" الكود البرمجي:
الاستدعاء اللفظي (آلة التصوير): وهي القدرة على إيجاد نص معين ونسخه حرفياً.
- التشبيه: تخيل أنك طلبت من أمين المكتبة العثة فقرة محددة حول "كيفية خبز كعكة". سيشير أمين المكتبة فوراً إلى الصفحة المحددة ويردد المكونات بدقة مثالية. لم يكن بحاجة لفهم عملية الخبز؛ كل ما احتاج إليه هو إيجاد الكلمات.
- النتيجة: الذكاء الاصطناعي مثالي في هذا الأمر. بغض النظر عن مكان الفقرة في المكتبة (في البداية، المنتصف، أو النهاية)، يمكن للذكاء الاصطناعي العثور عليها ونسخها بلا أخطاء.
الاستدعاء الدلالي (الطاهي): وهو القدرة على فهم ما يفعله الكود فعلياً عند تشغيله.
- التشبيه: الآن، تسأل أمين المكتبة: "إذا استخدمت هذه المكونات، هل ستتحرق الكعكة؟". للإجابة على هذا، يجب على أمين المكتبة أن يفهم الوصفة حقاً، وليس مجرد قراءة الكلمات. يحتاج إلى محاكاة عملية الخبز في ذهنه.
- النتيجة: هنا ينهار الذكاء الاصطناعي. عندما تكون الوصفة مخفية في منتصف مكتبة ضخمة، ينسى الذكاء الاصطناعي كيفية الخبز. يبدأ في التخمين أو الهلوسة، رغم أنه لا يزال قادراً على إيجاد الصفحة إذا طُلب منه نسخها.
2. مشكلة "الضياع في المنتصف"
وجد الباحثون ظاهرة غريبة أطلقوا عليها تأثير "الضياع في المنتصف" (Lost in the Middle).
- الإعداد: أعطوا الذكاء الاصطناعي قصة طويلة تحتوي على تعليمات محددة مخبأة في مكان ما بداخلها.
- النتيجة:
- إذا كانت التعليمات في بداية القصة أو في نهايتها، فقد فهمها الذكاء الاصطناعي تماماً.
- إذا كانت التعليمات في المنتصف تماماً، انخفض فهم الذكاء الاصطناعي بشكل كبير.
- التشبيه: تخيل قراءة رواية طويلة. إذا كانت نقطة التحول في الحبكة في الصفحة الأولى أو الصفحة 300، ستتذكرها. ولكن إذا كانت في الصفحة 150، يبدو أن عقلك "يتوقف عن التركيز"، وتنسى التفاصيل، رغم أنك قرأت الكتاب بالكامل.
3. فخ "الاختصار" (لماذا فشلت الاختبارات القديمة)
تشرح الورقة لماذا لم تكتشف الاختبارات السابقة هذه المشكلة.
الاختبار القديم (CRUXEval): تخيل اختباراً يتعين على الذكاء الاصطناعي فيه تخمين مخرجات خوارزمية فرز قياسية (مثل تنظيم مجموعة من أوراق اللعب).
- الثغرة: لم يكن الذكاء الاصطناعي بحاجة لقراءة الكود المحدد المقدم له. لقد تعرّف فقط على النمط: "أوه، هذه خوارزمية فرز!" وقال: "النتيجة ستكون أوراقاً مرتبة". لقد اتخذ اختصاراً باستخدام ذاكرة التدريب المسبق لديه.
- الحساسية: كان هذا الاختبار يتمتع بـ حساسية منخفضة. فقد سمح للذكاء الاصطناعي بـ "الغش" عبر التخمين بناءً على الأنماط بدلاً من قراءة الكود المحدد.
الاختبار الجديد (SemTrace): أنشأ الباحثون اختباراً جديداً "غير قابل للغش".
- الإعداد: أعطوا الذكاء الاصطناعي دالة تقوم بعمليات حسابية عشوائية وغير متوقعة (مثلاً: "خذ الرقم 81، اطرح منه 43، ثم أضف 88، ثم اطرح 74...").
- الفخ: لا يوجد نمط يمكن حفظه هنا. يجب على الذكاء الاصطناعي قراءة أسطر الكود المحددة المقدمة للحصول على الإجابة.
- النتيجة: عندما استخدموا هذا الاختبار، انهارت قدرة الذكاء الاصطناعي في "المنتصف". انخفضت الدقة بنسبة 92%. لم يستطع الذكاء الاصطناعي إجراء الحسابات إذا كانت التعليمات مدفونة في منتصف النص.
4. تجربة "الواقع المضاد" (Counterfactual)
لإثبات أن الذكاء الاصطناعي كان يغش، قام الباحثون بلعبة "حذف الأسطر".
- أخذوا قطعة من الكود وحذفوا 50% من أسطرها.
- الفهم الحقيقي: إذا حذفت نصف التعليمات لوصفة ما، ستفسد الكعكة. الطاهي الحقيقي (أو مفسر لغة بايثون) سيفشل فوراً.
- رد فعل الذكاء الاصطناعي: حتى مع فقدان نصف الكود، ظل الذكاء الاصطناعي يحصل على الإجابة الصحيحة في حوالي 60% من المرات!
- الاستنتاج: أثبت هذا أن الذكاء الاصطناعي لم يكن يقرأ الكود فعلياً؛ بل كان يخمن بناءً على فكرة ما يبدو عليه الكود عادةً.
5. مفاجأة GPT-4.1
بدت إحدى النماذج، وهي GPT-4.1، وكأنها تتفوق في الاختبار الجديد "غير القابل للغش". بحث الباحثون بعمق ووجدوا خدعة:
- كان الاختبار يستخدم عمليات حسابية بسيطة مكونة من رقمين (مثل 15 + 23).
- كان GPT-4.1 قد حفظ الكثير من الرياضيات من تدريبه، لذا لم يكن بحاجة لقراءة الكود؛ بل كان يعرف الإجابة لـ "15 + 23" من الذاكرة.
- عندما جعل الباحثون الرياضيات أصعب (باستخدام أرقام مكونة من 6 خانات)، فشل GPT-4.1 فجأة في المنتصف من النص، تماماً مثل بقية النماذج.
الخلاصة الكبرى
نماذج الذكاء الاصطناعي الحالية مذهلة في إيجاد المعلومات (الاستدعاء اللفظي) ولكنها ضعيفة بشكل مفاجئ في فهم التعليمات المعقدة المدفونة في أعماق المستندات الطويلة (الاستدعاء الدلالي).
إذا قمت بتشغيل هذه الأنظمة في العالم الحقيقي لإصلاح الأخطاء البرمجية أو تحليل قواعد بيانات برمجية ضخمة، فقد تنظر هذه الأنظمة إلى منتصف الملف وتغفل عن تفاصيل حاسمة، معتقدة أنها تفهم الكود بينما هي في الواقع تقوم بمجرد التخمين. نحن بحاجة إلى اختبارات أفضل تجبرهم على "القراءة" و"التفكير" فعلياً، بدلاً من السماح لهم باتخاذ طرق مختصرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.