💬 NLP

Cell-Based Representation of Relational Binding in Language Models

تُثبت هذه الورقة أن النماذج اللغوية الكبيرة ترمز لربط العلاقات على مستوى الخطاب من خلال فضاء فرعي منخفض الأبعاد، شبيه بالشبكة يُسمى "التمثيل الربطي القائم على الخلايا"، حيث يمكن فك تشفير أزواج (الكيان-العلاقة) خطياً وتعتبر ضرورية سببياً للاستدلال العلاقاتي الدقيق.

المؤلفون الأصليون: Qin Dai, Benjamin Heinzerling, Kentaro Inui

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qin Dai, Benjamin Heinzerling, Kentaro Inui

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث بعنوان "التمثيل القائم على الخلايا للربط العلاقاتي في النماذج اللغوية" باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: كيف يتذكر الذكاء الاصطناوي "مَن فعل ماذا"

تخيل أنك تقرأ قصة عن سوق مزدحم.

الجملة 1: "صُنعت طاولة حمراء في أستراليا وصُممت في إيطاليا."
الجملة 2: "صُنعت فرشاة زرقاء في الصين وصُممت في فرنسا."

إذا سألتك: "أين صُممت الفرشاة؟" ستعرف فوراً أن الإجابة هي فرنسا. لم تختلط عليك الأمور فتقول "إيطاليا" (لأنها تخص الطاولة) أو "الصين" (لأنها المكان الذي صُنعت فيه الفرشاة).

لقد قام عقلك بعملية "ربط" ذهنية؛ حيث ربطت الطاولة بـ إيطاليا، والفرشاة بـ فرنسا، وحافظت على هذه الروابط منفصلة حتى مع اختلاطها في النص.

السؤال: كيف تقوم النماذج اللغوية الكبيرة (LLMs) -مثل تلك التي تشغل هذه الدردشة- بالقيام بنفس الشيء؟ هل هي مجرد حفظ للأنماط، أم أنها تمتلك "نظام أرشفة" داخلياً محدداً لهذه الروابط؟

الإجية: اكتشفت هذه الورقة أن النماذج اللغوية تستخدم نظام أرشفة ذكي يشبه الشبكة يسمى التمثيل القائم على الخلايا (Cell-Based Binding Representation - CBR).

التشبيه: الفندق اللانهائي مع خريطة شبكية

تخيل أن عقل الذكاء الاصطناعي ليس كومة فوضوية من الملاحظات، بل هو فندق ضخم وغير مرئي.

1. الشبكة (الفضاء الجزئي)

داخل هذا الفندق، يوجد طابق خاص مخصص للعلاقات. هذا الطابق ليس ممرًا عشوائيًا؛ بل هو شبكة مثالية (مثل جدول البيانات أو لوحة الشطرنج).

الصفوف تمثل الكيانات (الـ "مَن"): الصف 1 هو الطاولة، الصف 2 هو الفرشاة، الصف 3 هو الكرسي، إلخ.
الأعمدة تمثل العلاقات (الـ "ماذا"): العمود 1 هو "صُنع في"، العمود 2 هو "صُمم في"، العمود 3 هو "صُدّر إلى"، إلخ.

حيث يتقاطع صف وعمود، تحصل على خلية (Cell).

الخلية (الصف 1، العمود 2) = (الطاولة + صُممت في).
الخلية (الصف 2، العمود 2) = (الفرشاة + صُممت في).

2. نظام الأرشفة (المؤشرات)

عندما يقرأ الذكاء الاصطناعي جملة "صُممت الطاولة في إيطاليا"، فإنه لا يخزن كلمة "إيطاليا" فحسب، بل يحسب رقمين:

مؤشر الكيان: "هذا هو الكائن الأول الذي تحدثنا عنه."
مؤشر العلاقة: "هذا هو النوع الثاني من العلاقات التي نستخدمها."

بعد ذلك، يضع الذكاء الاصطناعي كلمة "إيطاليا" في الخلية المحددة عند تقاطع الصف 1 والعمود 2.

3. الاسترجاع (إيجاد الإجابة)

عندما تسأل: "أين صُممت الفرشاة؟"، يقوم الذكاء الاصطناعي بعملية بحث سريعة:

يحدد "الفرشاة" كـ كيان 2.
يحدد "صُممت" كـ علاقة 2.
يقفز مباشرة إلى الخلية (2, 2) في شبكته الداخلية.
يستخرج الإجابة المخزنة هناك: فرنسا.

لماذا يعد هذا الاكتشاف أمراً هاماً؟

قبل هذه الورقة، كان العلماء يعتقدون أن الذكاء الاصطناعي قد يستخدم حيلًا إحصائية معقدة أو فوضوية لتذكر هذه الحقائق. أثبتت هذه الورقة أن الذكاء الاصطناعي يستخدم في الواقع خريطة هندسية منظمة.

إليك النتائج الرئيسية مشروحة ببساطة:

إنها شبكة وليست فوضى: إذا نظرت إلى الرياضيات الداخلية للذكاء الاصطناعي (التنشيطات)، فإن نقاط البيانات لـ "الطاولة-صُنعت-في" و"الفرشاة-صُنعت-في" تصطف تماماً في نمط شبكي. الأمر يشبه رؤية خريطة مدينة حيث لكل منزل عنوان دقيق.
يمكنك "اختراق" الشبكة: أثبت الباحثون ذلك من خلال "ترقيع" (patching) عقل الذكاء الاصطناعي. لقد أخذوا الإشارة الداخلية لـ "الطاولة" ونقلوا مكانها في الشبكة إلى مكان "الفرشاة".
- النتيجة: نسي الذكاء الاصطناعي الطاولة وبدأ يتحدث عن الفرشاة! وهذا يثبت أن الشبكة هي سبب ذاكرة الذكاء الاصطناعي، وليست مجرد عرض جانبي.
تعمل في كل مكان: اختبروا هذا على أنواع مختلفة من القصص (عن المدن، الوظائف، الأشياء) وعلى نماذج ذكاء اصطناعي مختلفة. ظهر نمط الشبكة في كل مرة. يبدو أن هذا أسلوب أساسي تنظم به هذه النماذج المعلومات.
ليست مجرد مستوى سطحي: حتى لو قاموا ببعثرة ترتيب الجمل أو تغيير الكلمات، ظل الذكاء الاصطناعي يجد "الخلية" الصحيحة لتخزين المعلومات. إنه يفهم بنية القصة، وليس فقط الكلمات.

لحظة الإدراك (Aha! Moment)

فكر في الأمر كالتالي:

النظرة القديمة: الذكاء الاصطناعي مثل الببغاء الذي يكرر الأنماط. إذا قلت "طاولة... أستراليا"، فإنه يتوقع "أستراليا" تالياً.
النظرة الجديدة (هذه الورقة): الذكاء الاصطناعي مثل أمين مكتبة لديه فهرس بطاقات منظم للغاية. هو يعرف بالضبط أي بطاقة (خلية) تحمل حقيقة "الطاولة -> أستراليا" وأي بطاقة تحمل "الفرشاة -> فرنسا". يمكنه تبديل البطاقات، وإيجادها فوراً، وحتى إصلاحها إذا اختلطت ببعضها.

لماذا يجب أن تهتم؟

ذكاء اصطناعي أفضل: إذا عرفنا بدقة كيف يخزن الذكاء الاصطناعي الحقائق، يمكننا تعليمه ليكون أقل ارتباكاً وأكثر دقة.
إصلاح الهلوسة: إذا اخترع الذكاء الاصطناعي حقيقة ما، فقد نتمكن من "دفع" الشبكة للعودة إلى مكانها الصحيح لتصحيح الخطأ.
فهم العقل: يمنحنا هذا لمحة نادرة داخل "الصندوق الأسود" للذكاء الاصطناعي، حيث يظهر أن حتى التفكير المعقد يمكن تفكيكه إلى هندسة بسيطة ومنظمة.

باختختصار: الذكاء الاصطناعي لا "يعرف" الأشياء فحسب؛ بل لديه خزانة ملفات شبكية محددة في عقله ينظم فيها بانتظام "مَن" متصل بـ "ماذا"، وهذه الورقة وجدت المفاتيح لتلك الخزانة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التمثيل القائم على الخلايا للربط العلاقاتي في النماذج اللغوية الكبيرة".

1. بيان المشكلة

يتطلب فهم الخطاب تتبع الكيانات والعلاقات التي تربط بينها عبر جمل متعددة. وبينما تؤدي النماذج اللغوية الكبيرة (LLMs) أداءً جيدًا في مهام الاستدلال العلاقاتي، إلا أن الآلية الداخلية التي تقوم من خلالها بـ "ربط" الكيانات والعلاقات والسمات لا تزال غير واضنة.

الفجوة في الأدبيات: ركزت الأبحاث السابقة حول الربط العلاقاتي في النماذج اللغوية الكبيرة بشكل كبير على السياقات القصيرة التي تتضمن أزواجًا بسيطة من (كيان-سمة) أو تتبع حالة بسيطة. غالبًا ما تفشل هذه الدراسات في معالجة البنى العلاقاتية على مستوى الخطاب التي تمتد عبر جمل متعددة، وتتضمن كيانات متعددة، وتتطلب الحفاظ على روابط معقدة ومتعددة الأبعاد (أي أي سمة تنتمي لأي كيان تحت أي علاقة محددة).
السؤال الجوهري: كيف تقوم النماذج اللغوية الكبيرة بتشفير واسترجاع الروابط العلاقاتية داخل فضاء فرعي منخفض الأبعاد وقابل للتفسير ضمن فضاء التنشيط الخاص بها، لا سيما عند التعامل مع سرديات معقدة متعددة الجمل؟

2. المنهجية

يقترح المؤلفون إطار عمل يسمى التمثيل القائم على الخلايا (CBR) ويستخدمون مزيجًا من الاختبار الخطي (linear probing)، والتدخل السببي (causal intervention)، وترقيع التنشيط (activation patching) للتحقق من صحته.

أ. بناء البيانات: مخطط العلاقات المفهرس (IRS)

لدراسة الربط على مستوى الخطاب، قام المؤلفون ببناء مجموعات بيانات محكومة ومتعددة الجمل عبر خمسة مجالات (دول، مدن، وظائف، أشياء، علاقات).

التوسيم (Annotation): بدلاً من استخدام محمولات اللغة الطبيعية (مثل "صُنعت في")، قدموا مخطط علاقات مفهرس (IRS) مجرد من المعاني اللغوية.
البنية: يتم توسيم كل رمز سمة (attribute token) بزوج محدد من المؤشرات: $(e_i, r_i)$ ، حيث $e_i$ هو مؤشر الكيان (ترتيب التقديم) و $r_i$ هو مؤشر العلاقة (ترتيب تقديم نوع العلاقة).
الهدف: يخلق هذا "حقيقة أرضية" (ground truth) حيث تُربط السمات بـ "خلايا" محددة من $(e_i, r_i)$ .

ب. تحديد الفضاء الفرعي لـ CBR

الاختبار الخطي (Linear Probing): استخدم المؤلفون انحدار المربعات الجزئية الصغرى (PLS) لرسم خريطة لتنشيطات النموذج (تحديدًا من الطبقات الوسطى، مثل الطبقة 15) إلى مؤشرات الحقيقة الأرضية $(e_i, r_i)$ .
الفرضية: إذا كانت النماذج اللغوية الكبيرة تستخدم فضاءً فرعيًا خطيًا للربط، فإن إسقاطًا منخفض الأبعاد للتنشيطات يجب أن يفك تشفير هذه المؤشرات خطيًا.
التصور (Visualization): قاموا بإسقاط تنشيطات رموز السمات على أعلى مكونين من مكونات (PLS) لتصور هندسة الفضاء الفرعي.

ج. التدخلات السببية (ترقيع التنشيط)

لإثبات أن الفضاء الفرعي مسؤول سببيًا عن الربط (بدلاً من كونه مجرد ارتباط)، قاموا بإجراء تدخلات:

تحليل مشهد اللوجيت (Logit Landscape Analysis): قاموا بأخذ عينات من نقاط في فضاء CBR الفرعي وترقيع التنشيطات لتلك النقاط. لاحظوا أن السمات المتوقعة للنموذج تتغير بشكل منهجي مع تحرك التنشيط عبر "الخلايا" في الفضاء الشبكي.
الاضطراب (Perturbation): أضافوا ضوضاء على طول اتجاهات CBR مقابل الاتجاهات العشوائية. أدى اضطراب فضاء CBR إلى تدهور دقة التنبؤ بشكل كبير، بينما لم تؤدِ الاضطرابات العشوائية إلى ذلك.
التوجيه (Steering): قاموا بتوجيه التنشيطات صراحةً لتغيير المؤشرات (على سبيل المثال، تغيير $r_i$ من 1 إلى 2). نجح هذا في إجبار النموذج على التنبؤ بالسمات المرتبطة بمؤشر العلاقة الجديد، مما أكد إمكانية التحكم في هذه الآلية.

د. تحليل التعميم والاستقرار

النقل عبر السياقات (Cross-Context Transfer): اختبروا ما إذا كان مصفوفة الإسقاط التي تم تعلمها في سياق واحد يمكنها فك تشفير المؤشرات في سياق آخر. وجدوا أنه بينما يختلف الموقع المطلق للفضاء الفرعي باختلاف السياق، فإن متجه الترجمة ( $\Delta$ ) يمكنه محاذاة التنشيطات عبر السياقات، مما يتيح النقل عبر السياقات.
المتانة (Robustness): اختبروا الاستقرار تحت تأثير الاضطرابات السطحية (خلط ترتيب الجمل، حذف السمات) ووجدوا أن هندسة CBR والتنبؤ بالمؤشرات ظلا مستقرين.
الحساسية الدلالية: تحققوا من أن الفضاء الفرعي يلتقط التشابه الدلالي؛ حيث تتجمع السمات المرتبطة بعلاقات متشابهة دلاليًا معًا في فضاء CBR.

3. المساهمات الرئيسية

اكتشاف CBR: تحدد الورقة التمثيل القائم على الخلايا (CBR)، وهو فضاء فرعي خطي منخفض الأبعاد حيث تُنظم الروابط العلاقاتية في نمط شبكي. كل "خلية" تقابل زوجًا فريدًا من $(e_i, r_i)$ .
الفهرسة المجردة: تقديم مخطط العلاقات المفهرس (IRS) الذي يسمح بفحص منهجي لكيفية تجريد النماذج اللغوية الكبيرة لبنية الخطاب إلى مؤشرات منفصلة، بمعزل عن المحتوى اللغوي المحدد.
الدليل السببي: من خلال ترقيع التنشيط والتوجيه، يقدم المؤلفون دليلًا سببيًا على أن النماذج اللغوية الكبيرة تعتمد بنشاط على هذا الفضاء الفرعي لاسترجاع السمات المرتبطة. إن التلاعب بالفضاء الفرعي يغير تنبؤات النموذج مباشرة.
آلية عبر السياقات: يوضح اكتشاف أن تمثيلات CBR الخاصة بالسياق ترتبط بـ متجهات ترجمة كيفية تعميم النماذج لآليات الربط العلاقاتي عبر روايات مختلفة.
القدرة على التعميم: أظهرت الظاهرة متانة عبر عائلات نماذج مختلفة (Llama3-8B-Instruct, Qwen3-8B)، ومجالات، وأنماط خطاب متنوعة.

4. النتائج الرئيسية

قابلية فك التشفير الخطي: حققت نماذج PLS ملاءمة شبه مثالية ( $R^2 \approx 0.95$ ) في فك تشفير مؤشرات $(e_i, r_i)$ من التنشيطات باستخدام 2-5 مكونات فقط.
الهندسة الشبكية: كشفت التصورات عن بنية شبكية واضحة حيث يمثل أحد المحاور مؤشرات الكيانات والمحور الآخر مؤشرات العلاقات.
التأثير السببي:
- تسبب اضطراب فضاء CBR في انخفاض حاد في دقة التنبؤ بالسمات (على سبيل المثال، من ~0.9 إلى <0.2).
- نجح توجيه الفضاء الفرعي إلى مؤشر جديد $(e_i, r_i)$ في تغيير مخرجات النموذج إلى السمة المرتبطة بتلك الخلية الجديدة.
متجهات الترجمة: سمح تطبيق متجه ترجمة متعلم لمصفوفة إسقاط تم تدريبها في سياق واحد (مثل "الدول") بالتنبؤ بدقة بالمؤشرات في سياق آخر (مثل "المدن)، محققة $R^2 > 0.97$ بعد المحاذاة.
التطبيق الواقعي: تم تحديد إشارة CBR بنجاح في مجموعة بيانات استخراج العلاقات في العالم الحقيقي Re-DocRED، خاصة للعينات ذات التشابه السياقي العالي مع بيانات التدريب.

5. الأهمية

التفسير الآلي (Mechanistic Interpretability): يتجاوز هذا العمل مجرد أداء "الصندوق الأسود" ليكشف عن الآليات الهندسية والسببية المحددة التي تستخدمها النماذج اللغوية الكبيرة لفهم الخطاب. إنه يوسع فرضية التمثيل الخطي لتشمل البنى العلاقاتية المعقدة متعددة الكيانات.
المراقبة والتحكم: يوفر فضاء CBR طريقة مهيكلة لمراقبة حالات العالم الداخلية وتصحيح أخطاء الربط (على سبيل المثال، في سيناريوهات التحيز حيث قد يربط النموذج بشكل خاطئ "المدير التنفيذي" بـ "ذكر" بدلاً من "أنثى" الصحيحة سياقيًا).
التطبيقات اللاحقة: تشير النتائج إلى إمكانية تحسين مهام استخراج العلاقات (RE) واستخراج المعلومات من خلال الاستفادة من هذه التمثيلات الداخلية لتحقيق استدلال أكثر استقرارًا وقابلية للتفسير.
الرؤية النظرية: يتحدى هذا العمل الرؤية التي تعتبر الربط ظاهرة أحادية البعد أو موضعية بحتة، موضحًا أن النماذج اللغوية الكبيرة تبني حالة داخلية تركيبية شبكية لإدارة تعقيد الخطاب.

باختصار، تثبت الورقة أن النماذج اللغوية الكبيرة لا تكتفي بمجرد حفظ الارتباطات، بل تبني خريطة "خلوية" مهيكلة، منخفضة الأبعاد، ونشطة سببيًا لربط الكيانات والعلاقات، مما يمكنها من الاستدلال عبر خطابات معقدة متعددة الجمل.