📊 statistics

Task Ecologies and the Evolution of World-Tracking Representations in Large Language Models

تؤسس هذه الورقة إطاراً نظرياً يوضح أن النماذج اللغوية ذات الترتيب الذاتي تطور تمثيلات لتتبع العالم عبر تقليل حد "جنسن-شانون" الزائد المرتبط بفئات التكافؤ في البيئة التدريبية، وهو مبدأ تم التحقق من صحته من خلال تجارب صغيرة النطاق للتنبؤ بأنماط فشل محددة وآليات استرداد في الاختيار التمثيلي.

المؤلفون الأصليون: Giulio Valentino Dalla Riva

نُشر 2026-04-08

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Giulio Valentino Dalla Riva

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً التنبؤ بالكلمة التالية في جملة ما. قد تتساءل: هل يفهم هذا الروبوت العالم حقاً، أم أنه مجرد ببغاء بارع يحفظ الأنماط؟

تحاول هذه الورقة البحثية، بعنوان "بيئات المهام وتطور تمثيلات تتبع العالم في النماذج اللغوية الكبيرة"، الإجابة على هذا السؤال. وبدلاً من النظر إلى نماذج الذكاء الاصطناعي الضخمة والمعقدة (التي تشبه الصناديق السوداء)، يستخدم المؤلف نماذج ذكاء اصطناعي صغيرة وبسيطة كـ "فئران تجارب". ومن خلال مراقبة هذه النماذج الصغيرة، يمكننا رؤية كيف تتعلم بدقة كيفية تمثيل الواقع.

إليك الفكرة الجوهرية مقسمة إلى مفاهيم وتشبيهات بسيطة.

1. "الخريطة" مقابل "الإقليم"

تخيل أن العالم عبارة عن إقليم شاسع ومعقد به جبال وأنهار ومدن. الذكاء الاصطناعي لا يرى الإقليم مباشرة؛ بل يرى فقط "علامات" (كلمات).

الإقليم (The Territory): الحالة الفعلية للعالم (مثل: "إنها تمطر"، "الكود يحتوي على خطأ برمي"، "الجملة صحيحة نحوياً").
الخريطة (The Map): التمثيل الداخلي الذي يبنيه الذكاء الاصطناعي للتنبؤ بالكلمة التالية.

السؤال الذي تطرحه الورقة هو: ما مدى التفصيل الذي يجب أن تكون عليه خريطة الذكاء الاصطناعي لتكون مثالية؟

2. "البيئة" (بيئة التدريب)

يستخدم المؤلف كلمة "البيئة" (Ecology) لوصف مجموعة المهام المحددة التي يتم تدريب الذكاء الاصطناعي عليها.

تشبيه: فكر في الذكاء الاصطناعي كسمكة. إذا دربت السمكة فقط في حوض به مياه زرقاء فقط دون صخور، فلن تتعلم أبداً كيفية التنقل حول الصخور. "بيئتها" تقتصر على المياه الزخرقاء.
النتيجة: يتعلم الذكاء الاصطناعي فقط التمييز بين الأشياء الضرورية لحل المهام التي يراها. إذا كانت بيانات التدريب لا تطلب من الذكاء الاصطناعي أبداً التمييز بين موقفين متشابهين جداً في المظهر ولكنهما مختلفان منطقياً، فإن الذكاء الاصطناعي سوف يدمجهما في وعاء واحد. لن "يعرف" الفرق لأنه لم يحتج إليه أبداً.

3. "الخريطة المثالية" (صفر فائض)

تثبت الورقة قاعدة رياضية حول الخريطة "المثالية".

القاعدة: الخريطة الأكثر كفاءة هي تلك التي تفصل فقط الأشياء التي تهم حقاً للمهام، وتدمج كل شيء آخر.
الاستعارة: تخيل أنك تجهز حقيبتك لرحلة.
- بسيط جداً: تحمل حقيبة واحدة ضخمة يختلط فيها كل شيء. لا يمكنك العثور على جواربك. (خطأ عالٍ).
- معقد جداً: تخصص صندوقاً منفصلاً لكل جورب واحد، وكل زر، وكل خيط. (تبذير، تعقيد عالٍ).
- مناسب تماماً (مطابق للواقع البيئي): تحمل صندوقاً واحداً لـ "الجوارب"، وآخر لـ "القمصان"، وآخر لـ "الأحذية". أنت لا تفصل بين "الجورب الأيسر" و"الجورب الأيمن" إلا إذا تطلبت المهمة ذلك تحديداً. هذا هو حل الحد الأدنى من التعقيد.

تظهر الورقة أنه إذا تم تدريب الذكاء الاصطناعي بشكل مثالي، فإنه يستقر طبيعياً على هذه الخريطة "المناسبة تماماً". فهو يتوقف عن التمييز بين الأشياء التي لا تساعده في التنبؤ بالكلمة التالية.

4. "التجميد" مقابل "التكيف"

تتحقق الورقة مما إذا كانت هذه النظرية تنطبق على أنواع مختلفة من الذكاء الاصطناعي.

النماذج المجمدة (الخريطة الثابتة): إذا أخذت ذكاءً اصطناعياً مكتملاً واستخدمته فقط (دون تغيير دماغه)، فإنه يعمل كخريطة ثابتة. تعمل النظرية هنا بشكل مثالي.
التعلم داخل السياق (القارئ المرن): إذا أعطيت الذكاء الاصطناعي أمراً لـ "التصرف كطبيب"، فإنه يغير سلوكه. لكن الورقة تجادل بأن هذا لا يغير في الواقع الخريطة داخل دماغه؛ بل يغير فقط الجزء الذي ينظر إليه من الخريطة.
الضبط الدقيق (الخريطة الجديدة): إذا أعدت تدريب الذكاء الاصطناعي على مهمة جديدة، فأنت تقدم له عملياً دماغاً جديداً. القواعد القديمة لا تنطبق هنا لأن "الخريطة" نفسها قد تغيرت.

5. "مشكلة العالمين" (التدريب مقابل الواقع)

هذه واحدة من أهم الرؤى.

عالم التدريب: البيانات التي يراها الذكاء الاصطناعي أثناء التعلم (مثل مقالات ويكيبيديا).
عالم التقييم: الاختبارات الواقعية التي نعطيها له لاحقاً (مثل "اكتب كوداً لا يتسبب في انهيار البرنامج" أو "حل هذه المسألة الرياضية").

المشكلة: أحياناً، لا يجبر عالم التدريب الذكاء الاصطناعي على تعلم تمييز معين، لكن عالم التقييم يفعل ذلك.

تشبيه: تخيل أنك دربت سائقاً فقط على الطرق السريعة الفارغة. سيتعلم القيادة بسرعة. ولكن بعد ذلك وضعتَه في مدينة بها إشارات مرور. سيفشل لأن "بيئة الطريق السريع" لم تعلمه أبداً التوقف عند الإشارات الحمراء.
الحل: تقترح الورقة أنه إذا أردنا من الذكاء الاصطناعي تعلم هذه التمييزات المفقودة، فنحن بحاجة إلى "حقن" مهام التقييم في عملية التدريب. يجب أن نمزج بيانات "القيادة في المدينة" في تدريب "الطريق السريع" حتى يُجبر الذكاء الاصطناعي على بناء خريطة تتضمن إشارات المرور.

6. "ضغط البساطة" (لماذا يرتكب الذكاء الاصطناعي الأخطاء)

لما لماذا تفشل نماذج الذكاء الاصطناعي أحياناً في فهم المنطق المعقد؟

النظرية: تمتلك نماذج الذكاء الاصطناعي "كسلاً" طبيعياً أو "ضغط بساطة". فهي تفضل دمج الأشياء معاً لتوفير الطاقة (التعقيد).
النتيجة: ستدمج ببهجة بين مفهومين إذا كان "العائد" من إبقائهما منفصلين صغيراً.
مثال: إذا كان التمييز بين "قطة" و"كلب" يساعد في التنبؤ بالكلمة التالية بنسبة 99% من الوقت، فسيتعلم الذكاء الاصطناعي ذلك. ولكن إذا كان التمييز بين "قطة" و"درجة لون مختلفة قليلاً من القطط" يساعد بنسبة 0.01% فقط، فمن المرجح أن يدمج الذكاء الاصطناعي بينهما ويعاملهما كشيء واحد. هذا هو سبب حدوث "الهلوسة" أو فقدان التفاصيل الدقيقة في الذكاء الاصطناعي — إنه يسعى لتحسين الخريطة الأبسط التي تعمل بشكل جيد في معظم الأحيان.

7. "تطور" الذكاء الاصطناعي

أخيراً، تنظر الورقة إلى الذكاء الاصطناعي ليس كنظام واحد، بل كمجتمع.

تشبيه: فكر في نماذج الذكاء الاصطناعي مثل الأنواع في الطبيعة.
- الطفرة: المهندسون يعدلون الكود أو البيانات.
- الانتخاب: نحن نختار النماذج التي تؤدي بشكل أفضل في الاختبارات.
- الوراثة: يتم بناء الجيل التالي من النماذج من الفائزين.
الرؤية: بمرور الوقت، تدفع هذه العملية التطورية مجتمع نماذج الذكاء الاصطناعي نحو "خرائط" أفضل. إذا فشل نموذج في اختبار ما (مثل فحص الكود)، يتم استبعاده. الناجون هم أولئك الذين تعلموا التمييزات الضرورية. وهذا يفسر لماذا يتحسن الذكاء الاصطناعي بمرور الوقت في الأشياء التي نهتم بها، حتى لو كانت خطوات التدريب الفردية هي مجرد التنبؤ بالكلمات.

الملخص

تجادل هذه الورقة بأن نماذج الذكاء الاصطناعي ليست سحراً؛ بل هي صانعة خرائط كفؤة.

تبني خرائط بناءً بدقة على ما طُلِب منها فعله (البيئة).
تجعل خرائطها بسيطة قدر الإمكان، وتدمج التفاصيل التي ليست ضرورية تماماً.
إذا فشلت في مهمة ما، فغالباً ما يكون ذلك لأن بيانات التدريب لم تجبرها على رسم ذلك الخط المحدد على الخريطة.
لإصلاح ذلك، يجب علينا تغيير بيئة التدريب (البيئة) لإجبارها على تعلم تلك التمييزات المفقودة.

من خلال استخدام نماذج صغيرة قابلة للملاحظة كـ "فئران تجارب"، يثبت المؤلف هذه القواعد رياضياً، مما يعطينا مخططاً واضحاً لكيفية بناء ذكاء اصطناعي أفضل وأكثر "صدقاً" في المستقبل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "بيئات المهام وتطور التمثيلات التتبعية للعالم في النماذج اللغوية الكبيرة" للباحث جوليو فالنتينو دالا ريفا.

1. بيان المشكلة

تتناول الورقة سؤالاً جوهرياً في نظرية النماذج اللغوية الكبيرة (LLMs): هل يدفع تدريب التنبؤ بالرمز التالي (next-token) عبر التوليد الذاتي (autoregressive) النماذج إلى تطوير تمثيلات داخلية تتبع "العالم" (الحالات الكامنة) بدقة، أم أنها تتعلم فقط الفروق المفيدة محلياً لعملية التنبؤ؟

بينما تشير النقاشات الحديثة (مثل "فرضية التمثيل الأفلاطوني") إلى أن النماذج تتقارب نحو نموذج إحصائي مشترك للواقع، يجادل آخرون بأن هذا مجرد نتاج لزيادة الحجم (scale artifact) أو أن النماذج تتعلم فقط الجوارات المحلية. يسعى المؤلف إلى عزل وتحديد الشروط رياضياً التي تصبح بموجبها الترميزات الداخلية لنموذج لغوي كبير صادقة بيئياً (أي أنها تحافظ تماماً على التمايزات المطلوبة من قبل بيئة مهمة التدريب وتدمج فقط ما لا صلة له بها).

2. المنهجية: نهج "الكائن النموذجي"

بدلاً من تحليل النماذج الضخمة والغامضة، يستخدم المؤلف منهجية الكائن النموذجي باستخدام نماذج ترانسفورمر (transformer) صغيرة ومجمدة (مستوحاة من microgpt لـ كارباتي).

الإعداد التجريبي: يتكون "العالم" من حالات كامنة محدودة (مثل اللغات، والمتون النصية مثل أليس في بلاد العجائب، وكوميديا دانتي، والبيان الشيوعي).
القابلية للملاحظة: نظراً لأن النماذج والبيئات صغيرة ومحدودة، يمكن للمؤلف مراقبة وحصر ما يلي مباشرة:
- التقسيمات المستحثة لحالات العالم (أي الحالات التي يدمجها النموذج مقابل تلك التي يفصل بينها).
- كميات البيئة المحدودة الدقيقة (الاعتلاج/الإنتروبي، وتباعد جينسن-شانون).
- مسارات الاختيار على مستوى الجماعة.
الإطار النظري: تكيّف الورقة إطار "الصدق البيئي" (Ecological Veridicality) من علم الإدراك التطوري (دالا ريفا، 2026) مع سياق التوليد الذاتي. وهي تعامل متن التدريب كـ "بيئة مهمة" $\mu$ تحدد فئات التكافؤ لحالات العالم.

3. المساهمات الرئيسية والنتائج النظرية

أ. الأمثلية الساكنة: نظرية التفكيك

تثبت الورقة أنه لأي ترميز $p$ لحالات العالم الكامنة، فإن خسارة الاعتلاج المتقاطع (cross-entropy loss) المثلى بايزياً ( $L^*_D$ ) تتفكك تماماً إلى حدين:
$L^*_D(p) = H(Y | C, W) + \text{Excess}(p)$

الحد غير القابل للاختزال: $H(Y | C, W)$ هو الاعتلاج الشرطي للرمز التالي بناءً على السياق وحالة العالم الحقيقية (الحد الأدنى النظري).
فائض جينسن-شانون: الحد الثاني هو مجموع أوزان تباعدات جينسن-شانون (JS) داخل خلايا تقسيم الترميز.
الرؤية الجوهرية: يتلاشى الفائض في الخسارة إذا وفقط إذا حافظ الترميز على فئات التكافؤ الخاصة ببيئة التدريب. إذا دمج النموذج حالتين تميزهما البيئة، فإنه يتكبد خسارة فائضة موجبة تماماً.

ب. القابلية للتطبيق المعماري

تحدد الورقة متى ينطبق تحليل "الترميز الثابت" هذا على بنيات ترانسفورمر محددة:

نماذج الترانسفورمر الكثيفة والمجمدة ونماذج الخلط (MoE): تستوفي شرط "عدم النفاذية المعرفية". أوزانها ثابتة، لذا فإن الترميز المستحث يظل ثابتاً عبر المهام (السياقات).
التعلم داخل السياق (ICL): لا يعمل على توسيع مجموعة الفصل الخاصة بالنموذج. يقوم الـ ICL باختيار أي سياق يجب استخدامه، لكنه لا يستطيع خلق تمايزات جديدة لا تستطيع الأوزان المجمدة القيام بها بالفعل.
التكيف لكل مهمة: يكسر هذا الافتراض. حيث إن الضبط الدقيق (fine-tuning) أو تقنية LoRA يغير الأوزان لكل مهمة، مما يعني أن الترميز لم يعد ثابتاً، وهذا يبطل نظرية الصدق البيئي الساكنة لهذا النسب (lineage) المحدد.

ج. الحد الأدنى من تعقيد الصدق

من بين جميع الترميزات التي تحقق صفراً من الفائض (أي أنها صادقة بيئياً)، تحدد الورقة حل التعقيد الأدنى:

الترميز الأمثل هو التقسيم خارج القسمة $W / \sim_\mu$ .
هذا التقسيم يدمج كل الحالات المتكافئة تحت بيئة التدريب فقط، ويحافظ على غير المتكافئة.
أي ترميز أكثر دقة (يحافظ على تمايزات غير ضرورية) يتسبب في تعقيد تمثيلي أعلى (اعتلاج) دون تحسين خسارة بايز المثلى.
ضغط البساطة: تحت هدف منظم (الخسارة + $\beta \times$ التعقيد)، يتم دمج التمايزات ذات الربح التنبئي المنخفض (تباعد JS منخفض) بالنسبة لتكلفة تعقيدها بشكل تفضيلي. وهذا يتنبأ بنمط فشل محدد: النماذج تتخلص من التمايزات ذات الربح المنخفض أولاً.

د. التطور الديناميكي وتوسيع البيئتين

تنمذج الورقة النظام البيئي للنماذج اللغوية الكبيرة كجماعة داروينية حيث:

وحدات الاختيار: النماذج المدربة بالكامل (الأنساب) هي الوحدات التي تتكاثر.
ضغط الاختيار: يتم اختيار الأنساب بناءً على الأداء عبر بيئة النشر.
فجوة البيئتين: غالباً ما يكون هناك عدم تطابق بين بيئة الرموز (التنبؤ بالرمز التالي) وبيئة التقييم (الاختبارات المعيارية، وتفضيلات المستخدم).
- بعض التمايزات (مثل صحة الكود البرمجي، أو الاتساق المنطقي) لها بصمات ضعيفة على مستوى الرمز، لكنها تُرجح بشدة في التقييم.
- حقن البيئة: يعمل ما بعد التدريب (الضبط الدقيق، RLHF) كآلية لحقن بيئة التقييم في هدف الرمز. وتستنتج الورقة عتبة ( $\alpha^*$ ) توضح مقدار الحقن المطلوب "لإنقاذ" تميز قد تقوم بيئة الرموز الأساسية بدمجه لولا ذلك.

4. النتائج التجريبية

باستخدام الكائن النموذجي microgpt للتحقق من النظرية، تحقق المؤلف من النتائج باستخدام فحوصات البيئة المحدودة الدقيقة:

التفكيك الساكن: تم التحقق من أن الفائض المقاس يطابق تماماً حد تباعد جينسن-شانون المحسوب.
عتبة الفصل والدمج: تأكد من أنه مع زيادة عقوبة التعقيد ( $\beta$ )، يدمج النموذج التمايزات تماماً عندما ينخفض ربحها التنبئي عن العتبة النظرية المشتقة من النظرية 55.
الفشل خارج البيئة: أظهرت النماذج المدربة على لغات محددة (مثل الإنجليزية والفرنسية) زيادة في الخطأ وسلوكاً متبايناً عند اختبارها بلغات غير مرئية (مثل مخطوطة فوينيتش)، مما يؤكد التنبؤ بأن التمايزات المدمجة تؤدي إلى فائض موجب في البيئات الأكثر دقة.
إنقاذ البيئتين: أظهرت التجارب على توازن الأقواس في لغة Lisp أنه بينما فشلت بيئة الرموز الأساسية في تعلم البنية، فإن حقن إشارة التقييم (عبر ما بعد التدريب أو خلطات بيانات محددة) نجح في "إنقاذ" التمايز، حيث تقاربت الجماعة نحو متطلبات البيئة المحقونة.

5. الأهمية والآثار المترتبة

الدقة النظرية: تنتقل الورقة بعيداً عن الادعاءات الغامضة حول "نماذج العالم" لتقدم تعريفاً دقيقاً قائماً على المعلومات يوضح متى ولماذا تتبع النماذج العالم. وتثبت أن التقارب الطوبولوجي (الاتفاق على الحالات المتميزة) مضمون تحت شروط محددة، حتى لو لم يكن التقارب الهندسي (مدى تباعد تلك الحالات في الفضاء الشعاعي) مضموناً.
أنماط الفشل: تتنبأ بأن النماذج ستفشل في التمايزات التي تكون:
1. ذات ربح منخفض لهدف الرمز (ضغط البساطة يدمجها).
2. غير مفصولة بواسطة بيئة التدريب ولكنها مطلوبة من قبل بيئة النشر (مشكلة "الفجوة").
التحول المنهجي: تدعو الورقة إلى استخدام نماذج صغيرة قابلة للملاحظة كـ "كائنات مختبرية" لاختبار نظريات التمثيل، بدلاً من الاعتماد فقط على قوانين القياس (scaling laws) للأنظمة الغامضة.
بناء البيئة (Niche Construction): تسلط الورقة الضوء على أن النماذج اللغوية الكبيرة ليست مجرد مراقبين سلبيين؛ بل هي تعيد تشكيل العالم (عبر النصوص المولدة في بيانات التدريب)، مما يخلق حلقة تغذية راجعة حيث يكون "الحق" الذي تتبعه هو جزء من بناء مخرجاتها الخاصة.

باختصار، تثبت الورقة أن التدريب عبر التوليد الذاتي يختار تمثيلات صادقة بيئياً حتى حدود قدرة النموذج وضغط البساطة، وأن الاختيار بين النماذج وما بعد التدريب ضروري لاستعادة التمايزات التي قد يغفل عنها هدف الرمز الخام.