🤖 machine learning

Identifiability and Order-Dimension Limits of In-Context Learning on Partial Orders

تضع هذه الورقة إطاراً نظرياً للتعلم في السياق على الترتيبات الجزئية يحدد القابلية للتعريف المنطقي من خلال ثلاثية الإكمال الدقيق، ويصنف رقم التدريس في العالم المفتوح باعتباره مجموع تكاليف مجموعة الغطاء ومجموعة الحاصرة، ويثبت أن أجهزة فك التشفير ذات الإحداثي $s$ يمكنها تمثيل المجموعات الجزئية المرتبة بدقة إذا وفقط إذا كان بُعدها لا يتجاوز $s$ .

المؤلفون الأصليون: Faizanuddin Ansari, Debanjan Dutta, Swagatam Das

نُشر 2026-08-17

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Faizanuddin Ansari, Debanjan Dutta, Swagatam Das

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

معضلة المحقق: عندما لا تكفي الأدلة

تخيل أنك محقق تحاول حل لغز، ولكن بدلاً من مسرح جريمة، أنت تنظر إلى مجموعة من الأدلة حول كيفية ارتباط الأشياء ببعضها البعض. في عالم الذكاء الاصطناعي، توجد قوة خارقة تسمى "التعلم في السياق" (in-context learning). الأمر يشبه إعطاء حاسوب ذكي بضعة أمثلة لقاعدة ما في نص الدردشة، ومن دون تغيير دماغه (إعداداته الداخلية)، يكتشف كيفية اتباع تلك القاعدة للأسئلة الجديدة. عادةً، نفكر في هذا كتعلم أنماط رياضية أو لغوية بسيطة. ولكن ماذا يحدث عندما تكون القاعدة متعلقة بـ "الترتيب"؟ ماذا لو كانت الأدلة تخبرك أن (أ) أكبر من (ب)، و(ب) أكبر من (ج)، لكنها لا تقول شيئاً عن (أ) و(ج)؟ أو والأسوأ من ذلك، ماذا لو كانت الأدلة تخبرك أن (أ) ليس أصغر من (ب)، لكنها لا تخبرك ما إذا كانا متساويين أو إذا كان (أ) في الواقع أكبر؟

يغوص هذا البحث في ذلك الركن الشائك من المنطق المسمى "الترتيب الجزئي" (partial orders). فكر في الترتيب الجزئي كشجرة عائلة فوضوية حيث يكون بعض الأبناء بوضوح أكبر سناً من غيرهم، ولكن بعض الأبناء "غير قابل للمقارنة" — لا يمكنك تحديد من هو الأكبر لأنهم على فروع مختلفة. السؤال الكبير الذي يطرحه المؤلفون هو: كم عدد الأدلة التي يحتاجها الحاسوب فعلياً لمعرفة شجرة العائلة بأكملها؟ والأهم من ذلك، متى يكون من المستحيل على الحاسوب معرفة الإجابة، مهما بلغت درجة ذكائه؟ هذا الأمر مهم لأنه إذا لم نفهم حدود هذه الأدلة، فقد نبني أنظمة ذكاء اصطناعي تخمن الخطأ بثقة، أو قد نضيع الوقت في إعطائها الكثير من الأمثلة بينما يكفي القليل منها.

قصة الورقة البحثية: رسم خرائط المجهول

قرر مؤلفو هذه الورقة، فايزان الدين أنصاري، وديبانجان دوتّا، وسواغاتام داس، التعامل مع عملية تعلم الذكاء الاصطناعي كلعبة ألغاز منطقية. لم يكتفوا بإجراء تجارب لمعرفة ما إذا كان الذكاء الاصطناعي سيصيب الإجابة أم لا؛ بل بنوا خريطة رياضية لإثبات متى يكون اللغز قابلاً للحل ومتى يكون طريقاً مسدوداً.

النتائج الثلاثة للدليل
أولاً، تناولوا السؤال التالي: "إذا أعطيتك قائمة من أدلة 'أ أكبر من ب' و'ب ليس أكبر من ج'، هل يمكنك إخباري ما إذا كان أ أكبر من ج؟"
لقد أثبتوا أنه لأي مجموعة محدودة من العناصر، هناك ثلاث إجابات ممكنة فقط، ويمكن للحاسوب معرفة أي واحدة منها بدقة:

صحيح حتمي (Forced True): الأدلة مترابطة منطقياً بقوة بحيث يجب أن يكون (أ) أكبر من (ج).
خاطئ حتمي (Forced False): الأدلة تخلق تناقضاً إذا افترضنا أن (أ) أكبر من (ج) (مثل مفارقة السفر عبر الزمن)، لذا لا يمكن أن يكون (أ) أكبر من (ج).
غامض حقاً (Genuinely Ambiguous): الأدلة ببساطة لا تقدم معلومات كافية. قد يكون (أ) أكبر، أو أصغر، أو مساوياً، وكل هذه السيناريوهات تتوافق تماماً مع الأدلة.

لقد أظهروا أنه إذا كان الذكاء الاصطناعي في "عالم مفتوح" (حيث قد تكون الأشياء غير المذكورة صحيحة)، فإنه يصطدم بمنطقة "الغموض" هذه بشكل أكبر مما لو افترض أن الأدلة هي صورة كاملة. في الواقع، أجروا محاكاة ضخمة على جميع ألغاز العناصر الأربعة الممكنة (هناك 219 لغزاً) ووجدوا أنه حتى لو أظهرت للذكاء الاصطناعي 11 دليلاً من أصل 12 دليلاً ممكناً، فإن ما يقرب من 45% من الأسئلة المتبقية لا تزال غامضة حقاً. الذكاء الاصطناعي ليس "غبياً"؛ المعلومات هي المفقودة فحسب.

تكلفة تعليم اللغز
بعد ذلك، سأل المؤلفون: "كم عدد الأدلة التي نحتاجها لتعليم الذكاء الاصطناعي علاقة محددة؟"
اكتشفوا أن الإجابة تعتمد على شكل العلاقة.

إذا كانت العناصر في خط مستقيم (مثل تسلسل القيادة)، فأنت تحتاج فقط إلى إظهار الروابط المباشرة بين الجيران.
إذا كانت العناصر غير مرتبطة ببعضها (مثل مجموعة من الغرباء الذين لا يعرف بعضهم بعضاً)، فإن التكلفة تكون هائلة. لتعليم الذكاء الاصطناعي أن لا أحد مرتبط بـ أحد، عليك أن تخبره صراحة بأن كل زوج من العناصر غير مرتبط ببعضه.
لقد أثبتوا حداً صارماً: بالنسبة لمجموعة مكونة من $n$ من العناصر، فإن السيناريو الأسوأ (الـ "antichain") يتطلب بالضبط $n(n-1)$ من الأدلة. هذا هو الحد الأقصى من الجهد المطلوب لتعليم أي علاقة. كما حددوا تكلفة "العائق" (blocker cost) المحددة: وهي الأدلة الإضافية المطلوبة لأننا في "عالم مفتوح" حيث لا يمكننا افتراض أن الصمت يعني "لا".

الخريطة مقابل البوصلة
أخيراً، نظروا في كيفية تمثيل الذكاء الاصطناعي لهذه العلاقات داخل "دماغه". وسألوا: "هل يمكن للذكاء الاصطناعي حل هذا باستخدام مجموعة بسيطة من الإحداثيات؟"
تخيل محاولة وصف جسم ثلاثي الأبعاد باستخدام خريطة ثنائية الأبعاد فقط. إذا كان الجسم معقداً للغاية، ستفشل الخريطة. أثبت المؤلفون أن "تعقيد" العلاقة يُقاس بشيء يسمى "أبعاد الترتيب" (order dimension).

إذا كانت العلاقة بسيطة (مثل خط مستقيم)، فلها بُعد واحد.
إذا كانت شبكة معقدة (مثل lattice Boolean)، فقد تحتاج إلى 5 أو 10 أبعاد أو أكثر لوصفها بدقة.
وضعوا حداً صارماً: إذا كانت العلاقة تحتاج إلى أبعاد أكثر مما يمتلكه "مفكك إحداثيات" الذكاء الاصطناعي، فلا يمكن للذكاء الاصطناعي تعلمها بدقة، مهما قدمت له من أدلة. إنها ليست مشكلة تدريب؛ بل هي مشكلة هندسية.

ماذا يعني هذا؟
لا تدعي هذه الورقة بناء ذكاء اصطناعي أفضل. بدلاً من ذلك، فهي ترسم سياجاً حول ما هو ممكن منطقياً. إنها تخبرنا أن فشل الذكاء الاصطناعي في الإجابة على سؤال ما ليس بالضرورة "خطأً برمجياً" (bug) — بل هو ميزة في المنطق نفسه. إذا كانت الأدلة غامضة، فلا يمكن لأي قدر من "التفكير" حلها. وإذا كانت العلاقة معقدة للغاية بالنسبة للخريطة الداخلية للذكاء الاصطناعي، فلن يساعد أي عدد من الأمثلة. ومن خلال فصل هذه الحدود، يأمل المؤلفون في مساعدة المصممين على بناء اختبارات أفضل للذكاء الاصطناعي، لضمان عدم لوم النموذج على ألغاز مستحيلة الحل رياضياً.

ملخص تقني: قابلية التحديد وحدود الأبعاد والترتيب في التعلم داخل السياق على الترتيبات الجزئية

1. بيان المشكلة

تتناول الورقة الحدود النظرية للتعلم داخل السياق (In-Context Learning - ICL) عند تطبيقه على المهام العلاقاتية المعرفة بواسطة الترتيبات الجزئية (posets)، بدلاً من الدوال ذات القيمة الواحدة. بينما تفترض نظريات التعلم داخل السياق الحالية غالباً أن المطالبات (prompts) يتم أخذ عينات منها من دوال مجهولة، فإن الاستدلال العلاقاتي يتضمن التعدي (transitivity)، وعدم التماثل (antisymmetry)، وعدم القابلية للمقارنة (incomparability). قد لا يحدد المطالب المحدود منطقياً نتيجة مقارنة مستعلم عنها (مثل: هل $a \preceq b$ ) بسبب:

نقص الأدلة مقابل عدم القابلية للمقارنة: التمييز بين نقص المعلومات وبين التأكيد على عدم وجود علاقة.
التعقيد الهيكلي: احتمال الحاجة إلى إحداثيات ترتيب متعددة مستقلة أو سلاسل انتقالية طويلة لحل استعلام ما.
الغموض الدلالي: التمييز بين دلالات العالم المفتوح (العلاقات غير المذكورة قد تكون قائمة) ودلالات العالم المغلق (المخطط الهاسي المعروض يُعتبر كاملاً).

الهدف الجوهري هو صياغة ما يحدده المطالب العلاقاتي منطقياً، وقياس عدد الملصقات (labels) المطلوبة لتعليم ترتيب جزئي محدود، وتحديد القدرة الدقيقة لفئات فك التشفير الإحداثي الصورية لتمثيل هذه الهياكل.

2. المنهجية والنموذج الصوري

يطور المؤلفون إطار عمل يعتمد على دلالات فضاء النسخة (version-space semantics) فوق كون نهائي معروف وثابت $U$ .

تمثيل المطالب (Prompt Representation): يُعرف المطالب كمجموعة نماذج موسومة $D = (D^+, D^-)$ ، حيث تحتوي $D^+$ على تأكيدات إيجابية ( $x \preceq y$ ) وتحتوي $D^-$ على تأكيدات سلبية ( $x \not\preceq y$ ).
فضاء النسخة ( $V_B(D)$ ): مجموعة كافة الترتيبات الجزئية المتسقة مع النظرية الخلفية $B$ (مثل بديهيات الترتيب الجزئي) والنماذج $D$ .
قابلية التحديد (Identifiability): يكون الاستعلام $q=(a,b)$ محدداً إذا اتفقت جميع الترتيبات الجزئية في فضاء النسخة على القيمة الحقيقية لـ $a \preceq b$ .
فئة فك التشفير (Decoder Class): تحلل الورقة فك تشفير الإحداثي الرتيب المعتمد على المطالب، والذي يربط المطالب بـ $s$ من دالات الإحداثي $\phi_1, \dots, \phi_s$ بحيث يكون $x \preceq y$ إذا وفقط إذا كان $\phi_i(x) \le \phi_i(y)$ لجميع قيم $i$ .

3. المساهمات والنتائج الرئيسية

أ. التحديد المنطقي: ثلاثية العالم المفتوح
بالنسبة للمطالبات ذات العالم المفتوح المحدودة التي تحتوي على نماذج إيجابية وسلبية، تثبت الورقة ثلاثية إتمام دقيقة (المبرهنة 3). بالنظر إلى الإغلاق التعدي الانعكاسي $R$ لـ $D^+$ ، يقع الاستعلام $(a,b)$ في واحدة من ثلاث فئات بالضبط:

مفروض الصحة (Forced True): $a R b$ . العلاقة مستنتجة عن طريق التعدي.
مفروض الخطأ (Forced False): $a \not R b$ وَ (إما $b R a$ ) أو أن الإغلاق التعددي لإضافة $(a,b)$ من شأنه أن ينتهك نموذجاً سلبياً في $D^-$ .
غامض حقاً (Genuinely Ambiguous): لا يتحقق أي من الشرطين. يظل الاستعلام غير محدد لأن كلا الإتمامين (الصحيح والخاطئ) موجودان ضمن فضاء النسخة.

النتيجة: يوفر هذا مصنفاً خالياً من النموذج لنتائج الاستعلام. حتى مع ملاحظة 11 من أصل 12 ملصقاً ممكناً في ترتيب جزئي مكون من 4 عناصر، تظل نسبة كبيرة من الاستعلامات (حوالي 45%) غامضة تحت دلالات العالم المفتوح.

ب. تعقيد تعليم المطالب
تحدد الورقة رقم تعليم العالم المفتوح $\tau_{ow}(P)$ ، وهو الحد الأدنى من الملصقات المطلوبة لتحديد ترتيب جزئي مستهدف $P$ بشكل فريد.

التوصيف الدقيق (المبرهنة 6): $\tau_{ow}(P) = |Cov(P)| + \beta(P)$ ، حيث $|Cov(P)| $هو عدد علاقات الغطاء الصارمة و$ \beta(P)$ هو حجم أصغر مجموعة ضرب (blocker-set hitting set). مجموعة الضرب للزوج غير القابل للمقارنة $(a,b)$ تتكون من الأزواج التي من شأنها فرض انتهاك تعددي إذا أضيفت العلاقة $a \preceq b$ .
القيم القصوى: القيمة القصوى لرقم التعليم لكون مكون من $n$ عناصر هي $n(n-1)$ ، والتي تتحقق بشكل فريد في المجموعة غير المرتبة (antichain) (حيث لا توجد عناصر قابلة للمقارنة). في المقابل، يتطلب السلسلة (chain) $n-1$ فقط من الملصقات.
ثمن دلالات العالم المفتوح: الفرق بين تكاليف تعليم العالم المفتوح والعالم المغلق هو بالضبط $\beta(P)$ ، مما يعزل تكلفة التعامل مع عدم الاكتمال.

ج. التعقيد الهيكلي وحدود التمثيل
تفصل الورقة الصعوبة الهيكلية إلى محاور مستقلة: الارتفاع، العرض، بُعد الترتيب، وأطوال الشهادات.

حد فك التشفير الإحداثي (النتيجة 12): يوجد فك تشفير إحداثي $s$ دقيق لعائلة مهام إذا وفقط إذا كان بُعد الترتيب (بعد دوشنيك-ميلر) لكل ترتيب جزئي مستهدف لا يتجاوز $s$ .
الاستلزام: بينما يعد العرض $\le s$ شرطاً كافياً ليكون البعد $\le s$ ، إلا أنه ليس شرطاً ضرورياً. البعد العالي (مثل شبكات بول أو شبكات القواسم) يحد بشكل صارم من القدرة التمثيلية لفك التشفير الإحداثي الرتيب، بغض النظر عن طول المطالب.
الشهادات (Certificates): تميز الورقة بين الشهادات الإيجابية (أقصر مسارات هاسي، الطول $\lambda^+$ ) والشهادات السلبية (المجموعات المغلقة أمامياً التي تستبعد الهدف، الحجم $\nu^-$ ). قد يتطلب عدم الوصول السلبي كشف منطقة واسعة يمكن الوصول إليها، على عكس الوصول الإيجابي الذي قد يكون موضعياً.

4. الأهمية والادعاءات

تدعي الورقة أنها توفر إطاراً موحداً يفصل بين أربعة مصادر مختلفة للفشل في التعلم داخل السياق العلاقاتي:

عدم قابلية التحديد: حد معلوماتي حيث يسمح المطالب منطقياً بإجابات متعددة (محكوم بالمبرهنة 3).
ميزانية المطالب: تكلفة تعليم هيكل معين (محكوم بالمبرهنة 6).
تعقيد الشهادة: صعوبة إثبات علاقة عبر مسارات موضعية أو وصول عالمي (محكوم بالخاصية 13 واللمة 14).
قدرة التمثيل: عدم قدرة فئات فك التشفير (مثل الخرائط الإحداثية الرتيبة) على تمثيل الهياكل عالية الأبعاد (محكوم بالنتيجة 12).

الأهمية لتصميم الاختبارات المعيارية (Benchmarks):
يجادل المؤلفون بأن الاختبارات المعيارية الحالية غالباً ما تخلط بين هذه العوامل. ويقترحون أن:

يجب أن توضح الاختبارات المعيارية صراحةً الكون (universe) والنظرية الخلفية (مثل الرموز المجردة مقابل المعرفة العددية المدربة مسبقاً).
يجب أن تكون كلمة "غير معروف" مخرجاً صالحاً للمطالبات ذات العالم المفتوح، حيث تظل العديد من الاستعلامات غامضة منطقياً حتى مع تغطية عالية للملصقات.
التمييز بين العالم المفتوح (مخطط هاسي غير مكتمل) والعالم المغلق (مخطط هاسي مكتمل) أمر بالغ الأهمية، حيث يؤديان إلى تكاليف تعليم ومعايير تحديد مختلفة.

لا تدعي الورقة حل مشكلة تعبير المحولات (transformers) العامة أو تقديم خوارزميات تدريب. بدلاً من ذلك، هي تضع الحدود الدنيا المنطقية وحدود التمثيل الدقيقة للترتيبات الجزئية المحدودة، مما يوضح ما يمكن لمطالب محدود أن يستلزمه وما لا يمكنه استلزامه بغض النظر عن بنية النموذج الأساسي.