Causality = Invariance: Function and Concept Vectors in LLMs
تُثبت هذه الورقة أنه بينما تمتلك النماذج اللغوية الكبيرة تمثيلات لمفاهيم مجردة (متجهات المفاهيم) التي تعمم عبر تنسيقات ولغات المدخلات، فإن متجهات الوظائف المستخدمة عادةً لتعزيز أداء التعلم في السياق هي محددة بتنسيق معين وتفتقر إلى هذا الثبات.
المؤلفون الأصليون:Gustaw Opiełka, Hannes Rosenbusch, Claire E. Stevenson
إليك شرح لورقة البحث "Causality ≠ Invariance: Function and Concept Vectors in LLMs" باستخدام لغة بسيطة وتشبيهات إبداعية.
السؤال الكبير: هل "تفكر" نماذج الذكاء الاصطناعي بشكل تجريدي؟
تخيل أنك تقوم بتعليم روبوت فهم مفهوم "الأضداد" (مثل حار مقابل بارد، أو كبير مقابل صغير).
يمكنك تعليمه بطرق مختلفة:
مفتوحة النهاية: "حار يقابل بارد، كما أن كبير يقابل..."
اختيار من متعدد: "حار يقابل بارد. كبير يقابل... (أ) صغير (ب) ذكي."
لغة مختلفة: "Chaud est à Froid comme Grand est à..." (بالفرنسية).
السؤال الكبير الذي تطرحه هذه الورقة هو: هل يمتلك الروبوت مفتاحاً واحداً تجريدياً واحداً لـ "الأضداد" في دماغه يعمل بغض النظر عن كيفية طرح السؤال؟ أم أنه يمتلك مفاتيح مختلفة لـ "أضداد مفتوحة النهاية"، و"أضداد الاختيار من متعدد"، و"أضداد باللغة الفرنسية"؟
الإجابة هي: إنه يمتلك كليهما، لكنهما جزءان مختلفان من الدماغ.
نوعا "المتجهات" (أدوات الروبوت)
اكتشف الباحثون أن النماذج اللغوية الكبيرة (LLMs) تستخدم نوعين متميزين من الأدوات الداخلية لحل هذه المهام. أطلقوا عليهما اسم متجهات الوظيفة (Function Vectors) ومتجهات المفهوم (Concept Vectors).
1. متجهات الوظيفة (FVs): "الميكانيكيون المتخصصون"
ماهيتها: هي الأجزاء من النموذج التي تجعل الروبوت يجيب بشكل صحيح فعلياً. إنها "العضلة" التي تدفع الأداء.
العائق: هي ليست تجريدية. إنها مثل ميكانيكي بارع جداً في إصلاح نوع معين من السيارات (مثل سيارة سيدان حمراء) ولكنه يرتبك إذا أحضرت له شاحنة زرقاء.
المشكلة: إذا استخرجت "متجه الوظيفة" لـ "الأضداد" من سؤال بالإنجليزية مفتوح النهاية، فإنه سيبدو مختلفاً تماماً (كأنه لغة أخرى) عن المتجه الذي تحصل عليه من سؤال بالفرنسية بنظام الاختيار من متعدد.
التشبيه: فكر في متجهات الوظيفة كأنها مفاتيح مصممة خصيصاً.
المفتاح (أ) يفتح باب "الإنجليزية مفتوحة النهاية".
المفتاح (ب) يفتح باب "الفرنسية اختيار من متعدد".
ورغم أن كلا المفتاحين يفتحان الباب المؤدي لغرفة "الأضداد"، إلا أنهما لا يتشابهان في شيء. إذا حاولت استخدام المفتاح (أ) في الباب الفرنسي، فلن يعمل بشكل جيد.
2. متجهات المفهوم (CVs): "الفلاسفة التجريديون"
ماهيتها: هي الأجزاء من النموذج التي تفهم الفكرة النقية لـ "الأضداد"، بغض النظر عما إذا كانت بالإنجليزية أو الفرنسية أو اختبار اختيار من متعدد.
العائق: هي ليست المحرك الرئيسي للإجابة. إنها مثل الفيلسوف الذي يفهم نظرية الأضداد تماماً، لكنه لا يعرف كيف يدير المفتاح لفتح الباب.
الميزة: هي ثابتة (Invariant). مفهوم "الأضداد" في الإنجليزية يبدو تماماً مثل مفهوم "الأضداد" في الفرنسية.
التشبيه: فكر في متجهات المفهوم كأنها مخطط هندسي عالمي (Blueprint).
سواء كنت تبني منزلاً في نيويورك أو طوكيو، فإن المخطط لـ "باب" هو نفسه. هو لا يهتم بلون الطلاء أو اللغة المكتوبة على اللافتة.
التجربة: توجيه الروبوت
لإثبات ذلك، حاول الباحثون "توجيه" الروبوت. تخيل أن الروبوت عالق في ممر، وأنت تريد دفعه نحو غرفة "الأضداد" بدلاً من غرفة "الترجمة".
استخدام متجهات الوظيفة (المفاتيح):
إذا استخدمت "مفتاح الإنجليزية مفتوحة النهاية" لتوجيه الروبوت، فإنه يعمل بشكل مذهل إذا كان الروبوت يواجه حالياً سؤالاً إنجليزياً مفتوح النهاية.
ولكن: إذا حاولت استخدام نفس المفتاح لتوجيه الروبوت عندما يواجه سؤالاً فرنسياً، فإنه يفشل. يصاب الروبوت بالارتباك وقد يبدأ بالتحدث بالفرنسية أو التعثر في تنسيق السؤال.
النتيجة: رائع للمواقف المحددة، سيء جداً للمواقف الجديدة.
استخدام متجهات المفهوم (المخطط الهندسي):
إذا استخدمت "المخطط العالمي" لتوجيه الروبوت، فإنه يعمل بشكل ثابت عبر جميع المواقف (الإنجليزية، الفرنسية، الاختيار من متعدد).
ولكن: الدفعة تكون أضعف. إنها لا تجبر الروبوت على الإجابة بقوة مثلما تفعل المفاتيح المتخصصة.
النتيجة: ليست أقوى دفعة، لكنها تعمل في كل مكان دون أن تسبب خللاً.
الخلاصة الرئيسية (بلغة بسيطة)
السببية لا تعني الثبات (Causality is not Invariance): مجرد كون جزء من الذكاء الاصطنا�ي يسبب الإجابة الصحيحة (متجه الوظيفة)، لا يعني أن هذا الجزء يمثل الفكرة التجريدية (متجه المفهوم). الذكاء الاصطناعي يستخدم جزءاً لـ "أداء" المهمة وجزءاً آخر لـ "فهم" المهمة.
"فخ التنسيق": الأجزاء من الذكاء الاصطناعي التي تنجز العمل فعلياً (متجهات الوظيفة) تتأثر بشدة بـ كيفية طرح السؤال. فهي تخلط بين "الفكرة" و"التنسيق".
مثال: متجه "الأضداد" لسؤال الاختيار من متعدد يتضمن بالخطأ شكل الأقواس (أ) (ب).
الفهم التجريدي موجود: الذكاء الاصطناي لديه بالفعل فهم تجريدي نقي للمفاهيم (متجهات المفهوم)، ولكن هذه المتجهات مخفية في جزء مختلف من الشبكة عن الأجزاء التي تولد النصوص فعلياً.
المقايضة:
هل تريد من الذكاء الاصطناي أن يؤدي بشكل مثالي في نوع معين من الاختبارات؟ استخدم متجهات الوظيفة.
هل تريد من الذكاء الاصطناي أن يعمم ويفهم الفكرة الجوهرية عبر لغات وتنسيقات مختلفة؟ استخدم متجهات المفهوم.
الاستعارة النهائية: الأوركسترا
تخيل أن الذكاء الاصطناي هو أوركسترا تعزف مقطوعة تسمى "الأضداد".
متجهات الوظيفة هي عازف الكمان الرئيسي. إنه صاخب، يقود اللحن، ويجعل المقطوعة تبدو رائعة. لكنه يعزف جيداً فقط إذا كانت النوتة الموسيقية مكتوبة بأسلوب محدد (مثل الموسيقى الكلاسيكية). إذا أعطيته نوتة "جاز"، فسيصاب بالارتباك.
متجهات المفهوم هي المايسترو (القائد). إنه يفهم روح المقطوعة تماماً، سواء كانت كلاسيكية، أو جاز، أو روك. هو يعرف تماماً معنى "الأضداد". ومع ذلك، هو لا يعزف آلة موسيقية، لذا لا يمكنه جعل الصوت عالياً مثل عازف الكمان.
توضح الورقة أنه لجعل الذكاء الاصطناي ذكياً ومرناً حقاً، نحتاج إلى إدراك أن المايسترو (المفهوم) وعازف الكمان (الوظيفة) هما شخصان مختلفان يقومان بوظيفتين مختلفتين، رغم أنهما في نفس الأوركسترا.
إليك ملخص تقني مفصل لورقة البحث "CAUSALITY = INVARIANCE: FUNCTION AND CONCEPT VECTORS IN LLMS" (المقبولة في ICLR 2026).
1. بيان المشكلة (Problem Statement)
تتناول الورقة سؤالاً جوهرياً في قابلية تفسير النماذج اللغوية الكبيرة (LLMs): هل تمثل النماذج اللغوية الكبيرة المفاهيم المجردة (مثل "التضاد"، "السببية") بطريقة ثابتة (invariant) تجاه تنسيقات المدخلات السطحية؟
السياق: تشير الأعمال السابقة حول متجهات الوظيفة (Function Vectors - FVs) إلى أن النماذج اللغوية الكبيرة تستخدم متجهات مدمجة (مجموع مخرجات رؤوس انتباه محددة) لدفع أداء التعلم داخل السياق (ICL) بشكل سببي. ويُفترض غالباً أن هذه المتجهات تشفر المهمة المجردة الأساسية بغض النظر عن كيفية تنسيق المطالبة (prompt).
الفجوة في الفرضية: يتحدى المؤلفون "فرضية الدائرة الواحدة" (single-circuit hypothesis)، التي تفترض أن التمثيلات الثابتة التنسيق هي المحركات الأساسية للتعلم داخل السياق (ICL). هم يبحثون فيما إذا كانت المكونات التي تسبب أداء المهمة هي نفسها التي تشفر المفاهيم المجردة الثابتة التنسيق.
السؤال الجوهري: هل الآليات التي تدفع أداء التعلم داخل السياق (السببية) تختلف عن الآليات التي تشفر الهياكل العلاقاتية المجردة (الثبات)؟
تنسيقات المدخلات: تم استخدام ثلاثة تنسيقات متميزة لنفس المفاهيم:
الإنجليزية المفتوحة (OE-EN)
الفرنسية/الإسبانية المفتوحة (OE-FR/ES)
الاختيار من متعدد (MC)
المهمة: تم إنشاء مطالبات مكونة من 5-shots (مفتوحة) و3-shots (اختيار من متعدد)، بإجمالي 1,050 مطالبة.
ب. بناء المتجهات (Vector Construction)
متجهات الوظيفة (FVs):
طريقة الاختيار:رقعة التنشيط (AP). يحسب المؤلفون متوسط التأثير غير المباشر (AIE) لرؤوس الانتباه. يقيس هذا التأثير السببي لرأس ما على المخرج الصحيح عندما يتم إفساد العلاقات المنهجية للمطالبة.
التعريف: تتشكل متجهات الوظيفة (FVs) عن طريق جمع تنشيطات أعلى K من الرؤوس التي تمتلك أعلى درجات AIE.
الهدف: تحديد الرؤوس التي تدفع سببياً أداء المهمة.
متجهات المفهوم (CVs):
طريقة الاختيار:تحليل التشابه التمثيلي (RSA).
الآلية: لكل رأس، يتم حساب مصفوفة تشابه تمثيلي (RSM) بناءً على تشابه جيب التمام لمخرجات الرأس عبر جميع المطالبات. تتم مقارنة ذلك مع مصفوفة تصميم ثنائية تكون مدخلاتها 1 إذا كانت المطالبتان تشتركان في نفس المفهوم (بغض النظر عن التنسيق) و0 خلاف ذلك.
الاختيار: يتم اختيار الرؤوس ذات أعلى ارتباط سبيرمان (درجة Concept-RSA).
التعريف: تتشكل متجهات المفهوم (CVs) عن طريق جمع تنشيطات أعلى K من الرؤوس ذات أعلى درجات Concept-RSA.
الهدف: تحديد الرؤوس التي تشفر مفاهيم مجردة ثابتة التنسيق.
ج. تجارب التوجيه (Steering Experiments)
يختبر المؤلفون فائدة هذه المتجهات من خلال "توجيه" النموذج. يقومون بحقن المتجهات في التدفق المتبقي (residual stream) لطبقات محددة أثناء الاستدلال على مهمة AmbiguousICL (حيث تحتوي المطالبة على إشارات متضاربة، مثل خلط مهمة التضاد مع مهمة الترجمة).
المقياس: التغير في الاحتمالية (ΔP) للرمز المستهدف.
الشروط: التوجيه داخل التوزيع (ID) (تنسيق الاستخراج يطابق تنسيق التطبيق) مقابل التوجيه خارج التوزيع (OOD) (تنسيقات/لغات متباينة).
3. المساهمات والنتائج الرئيسية (Key Contributions & Findings)
أ. متجهات الوظيفة (FVs) ليست ثابتة التنسيق تماماً
التعامد (Orthogonality): متجهات الوظيفة المستخرجة لنفس المفهوم من تنسيقات مختلفة (على سبيل المثال، المفتوحة مقابل الاختيار من متعدد) هي متعامدة تقرياً (تشابه جيب التمام ≈ 0).
الخلط (Mixing): تخلط متجهات الوظيفة بين المفهوم المجرد وتنسيق المدخلات. على سبيل المثال، متجه الوظي المستخرج من مطالبة فرنسية يدفع النموذج نحو الترجمات الفرنسية، ومتجه الاختيار من متعدد يدفع نحو رموز التنسيق (مثل أقواس الفتح).
التجميع (Clustering):lecting: تُظهر مصفوفات التشابه أن متجهات الوظيفة تتجمع أساساً حسب تنسيق المدخلات، وليس حسب المفهوم.
ب. اكتشاف متجهات المفهوم (CVs)
الثبات (Invariance): تنجح متجهات المفهوم في عزل التمثيلات المجردة. تُظهر مصفوفات التشابه أن متجهات المفهوم تتجمع حسب المفهوم عبر جميع التنسيقات واللغات.
التجريد العالي: تشفر متجهات المفهوم الهيكل العلاقاتي (مثل "التضاد") بينما تتخلص من التفاصيل السطحية (مثل "الإنجليزية" أو "الاختيار من متعدد"). وهي تعمل بمستوى تجريد أعلى من متجهات الوظيفة.
ج. التباين الميكانيكي (السببية = الثبات)
الرؤوس المنفصلة: رؤوس الانتباه المختارة لمتجهات الوظيفة (عبر AP) ومتجهات المفهوم (عبر RSA) هي رؤوس متميزة إلى حد كبير.
التداخل يقترب من الصفر للقيم الصغيرة لـ K (مثل أعلى 5 أو 10 رؤوس) ويظل منخفضاً حتى مع زيادة K.
رغم كونها متميزة، إلا أن كلا المجموعتين من الرؤوس تقع في طبقات متشابهة من الشبكة.
الدلالة: يشير هذا إلى وجود آليتين منفصلتين تعملان بالتوازي: واحدة لـ التنفيذ السببي (FVs) وأخرى لـ التمثيل المجرد (CVs).
د. مقايضات التوجيه (Steering Trade-offs)
داخل التوزيع (ID): تتفوق متجهات الوظيفة (FVs) على متجهات المفهوم (CVs). عندما يتطابق تنسيق الاستخراج مع تنسيق التطبيق، تحقق متجهات الوظيفة مكاسب أكبر في أداء المهمة.
خارج التوزيع (OOD): تتفوق متجهات المفهوم (CVs) بشكل ملحوظ في التعميم.
تتدهور متجهات الوظيفة بسرعة عند تطبيقها على تنسيقات مختلفة (على سبيل المثال، متجه الوظيفة المستخرج من الإنجليزية يفشل في المطالبات الفرنسية).
تحافظ متجهات المفهوم على تأثيرات توجيه متسقة عبر اللغات وأنواع الأسئلة، مع وجود "آثار تنسيق" أقل (أي أنها لا تطلق بالخطأ رموز الترجمة أو رموز الاختيار من متعدد).
قصور الصفر-shot (Zero-Shot Limitation): متجهات المفهوم غير فعالة في بدء مهمة من الصفر (توجيه صفر-shot) ولكنها فعالة جداً في تعديل إشارة مهمة موجودة بالفعل (مثل AmbiguousICL حيث يكون المفهوم موجوداً ولكن هناك مفاهيم منافسة).
4. الأهمية والآثار المترتبة (Significance and Implications)
تحسين نظرية متجهات الوظيفة: تصحح هذه الورقة الافتراض بأن متجهات الوظيفة هي الناقل الوحيد أو الأساسي لمعلومات المهمة المجردة. فهي تثبت أن متجهات الوظيفة مشروطة بالتنسيق (a(f,ϕ)) وليست ثابتة التنسيق (af).
فصل المهام (Separation of Concerns): تدعم النتائج نموذجاً يمتلك فيه النماذج اللغوية الكبيرة تمثيلات مفهومية مجردة (CVs) تختلف عن الدوائر السببية (FVs) التي تنفذ المهام. وهذا يتحدى الرؤية القائلة بأن التعلم داخل السياق (ICL) يعتمد على دائرة موحدة واحدة.
استراتيجية التوجيه:
استخدم متجهات الوظيفة (FVs) للتحكم الدقيق وعالي التأثير عندما يكون تنسيق المدخلات معروفاً ومتسقاً (داخل التوزيع).
استخدم متجهات المفهوم (CVs) للتحكم القوي والقابل للتعميم عبر التنسيقات واللغات المختلفة (خارج التوزيع)، أو لاستقصاء المعرفة المجردة.
النماذج النظرية: تشير النتائج إلى أن نموذج "استرجاع متجه وظيفة واحد" هو نموذج غير مكتمل. بدلاً من ذلك، من المرجح أن النموذج يتقارب نحو أحواض (basins) متعددة خاصة بكل تنسيق للتنفيذ، بينما يحافظ على فضاء فرعي منفصل لترميز المفهوم المجرد.
5. الخاتمة (Conclusion)
تثبت هذه الورقة أن السببية لا تساوي الثبات في النماذج اللغوية الكبيرة. بينما تحتوي النماذج اللغوية الكبيرة بالفعل على تمثيلات لمفاهيم مجردة (CVs)، إلا أن هذه التمثيلات تتحقق بواسطة رؤوس انتباه تختلف عن تلك التي تدفع أداء التعلم داخل السياق (FVs) بشكل سببي. متجهات الوظيفة قوية ولكنها هشة، حيث تخلط المفهوم مع التنسيق، بينما متجهات المفهوم قوية وثابتة ولكنها تتطلب وجود سياق المهمة مسبقاً لتتمكن من التأثير. هذا الفصل يوفر فهماً ميكانيكياً جديداً لكيفية تعميم النماذج اللغوية الكبيرة وكيف يمكن توجيهها.