💬 NLP

Language Models Struggle to Use Representations Learned In-Context

على الرغم من الأدلة التي تشير إلى أن النماذج اللغوية الكبيرة يمكنها ترميز تمثيلات دلالية جديدة من المعلومات الواردة في السياق، إلا أن هذه الدراسة تكشف أن كلاً من النماذج مفتوحة الأوزان والنماذج المتطورة مغلقة المصدر تواجه صعوبة في الاستفادة بفعالية من هذه التمثيلات المتعلمة لتكييف سلوكها مع المهام اللاحقة.

المؤلفون الأصليون: Michael A. Lepori, Tal Linzen, Ann Yuan, Katja Filippova

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Michael A. Lepori, Tal Linzen, Ann Yuan, Katja Filippova

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "نماذج اللغة تعاني في استخدام التمثيلات التي تتعلمها داخل السياق" (Language Models Struggle to Use Representations Learned In-Context)، باستخدام لغة بسيطة وتشبيهات.

الصورة الكبيرة: "الطالب الذكي" الذي لا يستطيع تدوين الملاحظات

تخيل طالباً عبقرياً (الذكاء الاصطناعي) يجلس في فصل دراسي. يكتب المعلم قاعدة معقدة ومبتكرة على السبورة باستخدام رموز غريبة (مثل أن كلمة "حبر" تعني "مدينة" وكلمة "لعبة" تعني "هواء"). ينظر الطالب إلى السبورة، ويدرسها، ويبدو أنه استوعب النمط تماماً.

أراد باحثو هذه الورقة معرفة: إذا كان الطالب يفهم النمط أثناء النظر إلى السبورة، فهل يمكنه فعلياً استخدام هذا الفهم لحل مشكلة جديدة لاحقاً، بمجرد مسح السبورة؟

الإجابة المختصرة هي: لا، ليس تماماً. فرغم أن الطالب يبدو وكأنه "فهم الأمر" في تلك اللحظة، إلا أنه يعاني في تطبيق ذلك الفهم عندما يُطلب منه القيام بشيء جديد بناءً عليه.

التجربة: ثلاثة اختبارات مختلفة

أجرى الباحثون ثلاثة اختبارات رئيسية لمعرفة مدى قدرة نماذج الذكاء الاصطناعي على تعلم واستخدام هذه القواعد الجديدة والمبتكرة.

1. اختبار "ممر الذاكرة" (التنبؤ بالرمز التالي)

الإعداد: تخيل لعبة حيث تسير عبر مدينة سرية مكونة من كلمات عشوائية. أنت تسير من "لعبة" إلى "حبر" إلى "مدينة". يرى الذكاء الاصطناعي هذا المسار.
التحول:

السيناريو (أ): يرى الذكاء الاصطناعي المسار مكتوباً في استجابته الخاصة (كما لو كان يكتب مذكراته). يمكنه التنبؤ بالكلمة التالية بسهولة.
السيناريو (ب): يكتب المعلم (المستخدم) المسار، ثم يطلب من الذكاء الاصطناعي التنبؤ بالكلمة التالية بعد فترة توقف.
النتيجة: في السيناريو (ب)، يتعثر الذكاء الاصطناعي. الأمر يشبه أن الطالب درس الخريطة، ولكن عندما طُلب منه رسم الشارع التالي على ورقة بيضاء، نسي وجود الخريطة تماماً. لقد تعلم الذكاء الاصطناعي النمط، لكنه لم يستطع "استحضاره" من ذاكرته لاستخدامه.

2. اختبار "مغير الشكل" (نمذجة العالم التكيفية)

الإعداد: يُعرض على الذكاء الاصطناعي مسار عشوائي عبر شبكة (مثل لوحة شطرنج 4×4) مكونة من كلمات عشوائية. بعد ذلك، يعطي المعلم أمثلة قليلة على قاعدة جديدة، مثل "تحرك خطوتين إلى اليمين". يجب على الذكاء الاصطناعي تطبيق هذه القاعدة على كلمة جديدة.
النتيجة: فشل الذكاء الاصطناعي فشلاً ذريعاً.

لماذا؟ تحقق الباحثون من "دماغ" الذكاء الاصطناعي (عملياته الحسابية الداخلية) ووجدوا أنه قد تعلم بالفعل شكل الشبكة. لقد عرف الخريطة.
المشكلة: رغم أن الخريطة كانت مخزنة في دماغه، إلا أن الذكاء الاصطناعي لم يستطع استخدام تلك الخريطة لحل اللغز. الأمر يشبه امتلاك جهاز GPS مثالي في جيبك ولكنك غير قادر على قراءة الاتجاهات عندما تحتاج للالتفاف. كانت المعرفة "خاملة"؛ كانت موجودة، لكنها كانت عديمة الفائدة للمهمة المطلوبة.

3. اختبار "المفكر الخارق" (نماذج الاستدلال)

الإعداد: حاول الباحثون إجراء الاختبارات نفسها على أحدث وأقوى نماذج الذكاء الاصطناعي ("نماذج الاستدلال"). هذه النماذج مدربة على "التفكير بصوت عالٍ" عبر كتابة سلاسل طويلة من الاستدلال قبل إعطاء الإجابة.
النتيجة: أدت هذه النماذج الفائقة أداءً أفضل، لكنها لم تكن مثالية بعد.

كانت بارعة في الخطوط البسيطة أحادية الأبعاد (مثل طريق مستقيم).
انهارت تماماً عند مواجهة شبكات ثنائية الأبعاد (مثل كتلة سكنية في مدينة).
حتى عندما "فكروا بصوت عالٍ"، عانوا في تحويل الخريطة الداخلية التي تعلموها إلى أداة قابلة للاستخدام. كان بإمكانهم وصف الخريطة إذا طُلب منهم ذلك، لكن لم يكن بإمكانهم التنقل بواسطتها بشكل موثوق.

الاكتشاف الجوهري: "المعرفة الخاملة"

النتيجة الرئيسية للورقة هي مفهوم أطلق عليه المؤلفون اسم "التمثيلات الخاملة" (Inert Representations).

فكر في الأمر كالتالي:

الترميز (Encoding): الذكاء الاصطناعي يشبه الإسفنجة. عندما تسكب الماء (معلومات جديدة) عليها، فإنها تمتصها فوراً. إنها تحتفظ بالماء.
النشر (Deploying): ولكن عندما تضغط على الإسفنجة لإخراج الماء لسقي نبات (حل مهمة جديدة)، لا يخرج الماء.

تثبت الورقة أنه مجرد قدرة الذكاء الاصطناعي على "ترميز" (تخزين) نمط جديد في دماغه أثناء المحادثة، لا يعني بالضرورة أنه يستطيع "نشر" (استخدام) ذلك النمط لحل مشكلة لاحقاً. المعرفة محبوسة.

ماذا عن نماذج الذكاء الاصطناي "المفكرة"؟

أمل الباحثون أن تقوم أحدث النماذج، التي "تفكر بصوت عالٍ" (تكتب سلاسل استدلال طويلة)، بحل هذه المشكلة. رب ديهم إذا تحدثوا عن المشكلة، يمكنهم فتح المعرفة المحبوسة؟

تقول الورقة: جزئياً، نعم، ولكن ليس تماماً.
هذه النماذج المتقدمة أفضل قليلاً في استخدام المعلومات، لكنها لا تزال تفشل بشكل كبير عندما تصبح المهمة معقدة (مثل التحرك في بُعدين). لا تزال تكافح لتحويل "التعلم داخل السياق" إلى أداة مرنة.

الخاتمة

تخلص الورقة إلى أنه بينما تتحسن نماذج الذكاء الاصطناعي في التعرف على الأنماط في اللحظة الراهنة، إلا أنها ليست بعد "وكلاء قابلين للتكيف". فهي لا تستطيع تعلم قاعدة جديدة من محادثة ثم استخدام تلك القاعدة فوراً لحل مشكلة مختلفة بشكل موثوق.

لبناء ذكاء اصطناعي قابل للتكيف حقاً، نحتاج إلى اكتشاف كيفية جعل عملية "الضغط" هذه تعمل — كيف نجعل المعرفة التي يتعلمها الذكاء الاصطنا_ي في اللحظة الحالية مفيدة حقاً للمهام التي يواجهها لاحقاً.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نماذج اللغة تعاني في استخدام التمثيلات التي تتعلمها داخل السياق" (Language Models Struggle to Use Representations Learned In-Context).

1. بيان المشكلة

بينما أظهرت نماذج اللغة الكبيرة (LMs) قدرات مثيرة للإعجاب في التنبؤ بالرمز التالي (next-token prediction) والاستدلال المعقد، لا تزال هناك فجوة حرجة في قدرتها على العمل كوكلاء اصطناعيين قابلين للتكيف حقاً. وتحديداً، تبحث الورقة فيما إذا كانت نماذج اللغة قادرة على النشر المرن (flexibly deploy) لتمثيلات غنية وهيكلية للبيانات يتم تعلمها بالكامل داخل السياق (أي دون تحديث المعلمات/الأوزان).

لقد أثبتت الأعمال السابقة (Park et al., 2025a) أن نماذج اللغة يمكنها ترميز دلالات جديدة في حالاتها الخفية الكامنة (latent hidden states) عند تعرضها لسياق محدد (مثل تعلم طوبولوجيا مسار عشوائي). ومع ذلك، فمن غير الواضح ما إذا كانت هذه التمثيلات خاملة (قابلة لفك التشفير ولكن غير مستخدمة) أم قابلة للنشر المرن (تقود الاستجابات للمهام الجديدة بشكل سببي). السؤال الجوهري هو: هل يمكن لنموذج لغة أن يتعلم بنية ما داخل السياق ثم يستخدم تلك البنية بنشاط لحل مهمة مختلفة تتطلب نفس البنية؟

2. المنهجية

صمم المؤلفون سلسلة من التجارب باستخدام مهام اصطناعية للفصل بين الترميز (تعلم التمثيل) والنشر (استخدام التمثيل).

أ. المهمة الأساسية: تتبع الرسم البياني وتعلم التمثيل داخل السياق (ICRL)

الإعداد: تُعرض على النماذج سلسلة من الرموز التعسفية الناتجة عن مسار عشوائي فوق فضاء حالة كامن (تشمل الطوبولوجيا خطوطاً أحادية الأبعاد (1D) وشبكات ثنائية الأبعاد (2D) مكونة من 16 أو 25 حالة).
المقياس: يستخدم المؤلفون طاقة ديريكليه (Dirichlet Energy - DE) وارتباط المسافة (Distance Correlation - DC) لقياس ما إذا كانت التمثيلات في الطبقة الخفية للنموذج قد أعادت تنظيم نفسها لتعكس الطوبولوجيا الهندسية لفضاء الحالة.
الهدف: التأكد من أن النموذج نجح في تعلم الطوبولوجيا في فضاءه الكامن.

ب. التجربة 1: التنبؤ بالرمز التالي مع وجود تأخير

الهدف: اختبار ما إذا كان يمكن استخدام الطوبولوجيا المتعلمة للتنبؤ بالرمز التالي بعد فترة تأخير.
الشروط:
1. مسبقة التعبئة (Prefilled): يتم تقديم تسلسل المسار العشوائي كجزء من استجابة النموذج الخاصة (نشر فوري).
2. التعليمات (Instruction): يتم تقديم التسلسل في مطالبة المستخدم (prompt)، مما يتطلب من النموذج توليد رمز [ANSWER] ثم التنبؤ بالكلمة التالية بعد فجوة زمنية (نشر متأخر).
الفرضية: إذا كانت التمثيلات مرنة، فيجب أن يكون الأداء متشابهاً في كلا الشرطين. أما إذا كانت خاملة، فسوف ينخفض الأداء بشكل كبير في حالة "التعليمات".

ج. التجربة 2: نمذجة العالم التكيفية (AWM)

الهدف: مهمة مبتكرة صُممت لإجبار النموذج على استخدام الطوبولوجيا المتعلمة لاستنتاج قاعدة تحويل.
الإعداد:
1. المرحلة 1: يلاحظ النموذج مساراً عشوائياً (تعلم الطوبولوجيا).
2. المرحلة 2: تحدد أمثلة قليلة (few-shot) قاعدة تربط الحالات (على سبيل المثال، $s_{i,j} \to s_{i+2,j}$ ).
3. المرحلة 3: يجب على النموذج تطبيق هذه القاعدة على حالة لم تُذكر من قبل.
التحديد: بما أن الرموز تعسفية، يجب على النموذج الاعتماد على الطوبولوجيا المتعلمة داخل السياق لحل عملية الربط.
الاختلافات: تم الاختبار باستخدام قواعد "خطوة واحدة" (القاعدة لوحظت في المسار) وقواعد "خطوتين/ثلاث خطوات" (القاعدة لم تُلاحظ).

د. التجربة 3: نماذج الاستدلال الرائدة (Frontier Reasoning Models)

الموضوعات: نماذج الحالة الراهنة (Gemini-2.5 Pro/Flash, GPT-5) التي تستخدم سلسلة الأفك "Chain-of-Thought (CoT)".
الهدف: تحديد ما إذا كانت سلاسل الاستدلال الخارجية (externalized reasoning chains) يمكنها تعويض التمثيلات الخفية الخاملة.
التحليل: تم الاختبار على مهمة AWM ومهمة "وصف البنية" (طلب وصف طوبولوجيا التعلم لفظياً).

3. المساهمات الرئيسية

تقديم نمذجة العالم التكيفية (AWM): معيار جديد مصمم خصيصاً لفحص النشر المرن للدلالات داخل السياق.
الفصل بين الترميز والنشر: توفر الدراسة دليلاً تجريبياً على أن تعلم التمثيل الناجح داخل السياق (الترميز) لا يضمن القدرة على استخدام تلك التمثيلات للمهام اللاحقة (النشر).
تحليل نماذج الاستدلال: أول تقييم منهجي لما إذا كانت نماذج الاستدلال الرائدة تتغلب على مشكلة "التمثيل الخامل" التي تعاني منها النماذج مفتوحة الأوزان القياسية.

4. النتائج الرئيسية

أ. النماذج مفتوحة الأوزان (Gemma, OLMo)

نجاح الترميز: تعلمت النماذج الطوبولوجيا بنجاح في تمثيلاتها الكامنة (تحسنت مقاييس DE و DC مع طول السياق) في كل من حالتي "مسبقة التعبئة" و"التعليمات".
فشل النشر:
- التنبؤ بالرمز التالي: أدت النماذج أداءً جيداً في حالة "مسبقة التبئة" لكنها واجهت صعوبة كبيرة في حالة "التعليمات" (النشر المتأخر)، رغم تماثل التمثيلات الكامنة.
- مهمة AWM: فشلت النماذج في حل مهمة AWM عندما طُلب منها استنتاج الطوبولوجيا داخل السياق؛ حيث كان الدقة قريبة من مستوى الأساس (baseline).
- نتيجة حاسمة: عندما تم توفير الطوبولوجيا بشكل صريح في المطالبة (تجاوز الحاجة لتعلمها داخل السياق)، قفزت الدقة إلى أكثر من 75%. وهذا يثبت أن الفشل لم يكن في استقراء القواعد، بل في نشر التمثيل المتعلم داخل السياق.
- تدهور التمثيل: أظهرت التمثيلات الخفية للرموز في أمثلة المرحلة القليلة (مرحلة AWM) دقة أقل تجاه الطوبولوجيا مقارلة بمرحلة المسار العشوائي، مما يشير إلى أن البنية المتعلمة لم تُنقل بمرونة.

ب. نماذج الاستدلال الرائدة (Gemini, GPT-5)

تحسن جزئي: تفوقت نماذج الاستدلال على النماذج مفتوحة الأوزان، خاصة في الطوبولوجيا أحادية الأبعاد (1D).
قيود مستمرة: انهار الأداء في الطوبولوجيا ثنائية الأبعاد (2D - الشبكة).
الآلية: عند سؤالها عن وصف الطوبोलॉजी المتعلمة صراحة، حققت هذه النماذج دقة "جيدة ولكن ليست مثالية". وهذا يشير إلى أنه بينما تسمح سلاسل CoT ببعض النشر المرن للدلالات، إلا أن العملية غير كاملة ولا تتغلب تماماً على خمول التمثيلات الخفية الأساسية.

5. الأهمية والآثار المترتبة

مشكلة "التمثيل الخامل": تتحدى الورقة الافتراض بأن التعلم داخل السياق يخلق "نموذج عالم" يعمل بكامل طاقته. فهي تشير إلى أن نماذج اللغة غالباً ما تقوم بترميز الهياكل المعتمدة على السياق بطريقة تكون خاملة؛ أي أنها موجودة في الفضاء الكامن ولكن لا يمكن الوصول إليها سببياً لتوجيه السلوك في سياقات جديدة.
القيود على البنى الحالية: حتى أكثر نماذج الاستدلال تقدماً (CoT) تخفف من هذه المشكلة جزئياً فقط. وهذا يعني أن بنى "Transformer" الحالية، حتى مع توسيع نطاق الاستدلال، قد تفتقر إلى الآليات المطلوبة لإنشاء وكلاء قابلين للتكيف حقاً يمكنهم بناء ونشر نماذج عالم داخلية على الطاير.
الاتجاهات المستقبلية: يقترح المؤلفون أن تحقيق النشر المرن قد يتطلب:
- نظم تدريب مستهدفة.
- تدخلات ميكانيكية لجعل الدلالات داخل السياق متاحة لطبقات النموذج المبكرة.
- تغييرات هيكلية تدعم الربط الديناميكي بين التمثلات المتعلمة والاستدلال اللاحق.

باختصار، تثبت الورقة أنه بينما تبرع نماذج اللغة في تسجيل معلومات جديدة في نافذة السياق الخاصة بها، فإنها تعاني حالياً في العمل بناءً على تلك المعلومات عندما يتطلب الأمر تطبيقاً سببياً مرناً للبنية المتعلمة في مهمة جديدة.