🤖 AI

StructLens: A Structural Lens for Language Models via Maximum Spanning Trees

تقدم هذه الورقة StructLens، وهو إطار عمل مبتكر يستخدم أشجار الامتداد القصوى المستمدة من تمثيلات تدفق المتبقي لتحليل العلاقات الهيكلية العالمية بين الطبقات في النماذج اللغوية، مما يكشف عن أنماط تشابه متميزة تتفوق على المقاييس التقليدية في مهام مثل تقليم الطبقات.

المؤلفون الأصليون: Haruki Sakajo, Frederikus Hudi, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haruki Sakajo, Frederikus Hudi, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة ضخم (LLM) مثل Llama أو Qwen كأنه مصنع ضخم متعدد الطوابق. عندما تطرح سؤالاً على النموذج، تنتقل المعلومات (كلماتك) من الطابق الأرضي (المدخلات) صعوداً عبر 30 أو 40 طابقاً مختلفاً (طبقات) قبل أن يتم إنتاج الإجابة النهائية.

لفترة طويلة، كان الباحثون الذين يحاولون فهم كيفية عمل هذه المصانع ينظرون إلى العمال في طابق واحد. كانوا يسألون: "بماذا يفكر هذا العامل تحديداً؟" أو "كيف يتحدث هذا العامل مع الشخص الذي بجانبه؟"

المشكلة:
يجادل البحث بأن هذا النهج يغفل الصورة الكبيرة. إنه يشبه محاولة فهم سيمفونية من خلال الاستماع إلى عازف كمان واحد في كل مرة؛ فأنت تفقد كيفية عمل الأقسام المختلفة (الأوتار، النحاسيات، الإيقاع) معاً لخلق الموسيقى. الطرق الموجودة غالباً ما تقارن "العامل أ في الطابق 5" بـ "العامل أ في الطابق 6"، متجاهلة كيف يتم تنظيم "المجموعة بأكملها" في الطابق 5 مقارنة بـ "المجموعة بأكملها" في الطابق 6.

الحل: StructLens
يقدم المؤلفون StructLens، وهي أداة جديدة تعمل بمثابة "أشعة إكس هيكلية" لهذه المصانع الذكية. بدلاً من النظر فقط إلى العمال الأفراد، ينظر StructLens إلى العلاقات بين جميع الكلمات في الجملة أثناء مرورها بكل طبقة.

إليك كيف يعمل، باستخدام بعض التشبيهات الإبداعية:

1. "الشجرة الممتدة القصوى" (خريطة الشبكة الاجتماعية)

تخيل أنك دخلت غرفة مزدحمة حيث يتحدث الجميع.

الطريقة القديمة: أنت تقيس فقط مدى علو صوت الشخص (أ) مقارنة بالشخص (ب).
طريقة StructLens: ترسم خريطة تربط بين كل الأشخاص الذين يخوضون المحادثات الأكثر أهمية. تقوم بتوصيل الأشخاص الأكثر تشابهاً في أفكارهم، لتنشئ شجرة واحدة عملاقة تربط الجميع معاً.

في الذكاء الاصطناي، "الأشخاص" هم كلمات جملتك. يقوم StructLens بحساب مدى تشابه معنى كل كلمة مع كل كلمة أخرى في طبقة معينة. ثم يبني شجرة ممتدة قصوى (Maximum Spanning Tree - MST). فكر في هذا كـ "العمود الفقري" للمحادثة في تلك اللحظة المحددة. إنه يوضح أي الكلمات هي التي تمسك بالهيكل وتدعم تماسك البناء.

2. "جزر" التشابه

عندما استخدم الباحثون StructLens للنظر في الهيكل الداخلي للذكاء الاصطناعي، وجدوا شيئاً مفاجئاً.

الرؤية القديمة: توقعوا أن تكون الطبقات تطوراً تدريجياً وسلساً، مثل درج حيث كل درجة تختلف قليلاً عن التي تسبقها.
رؤية StructLens: وجدوا "جُزراً".

تخيل أن طوابق المصنع ليست سلماً سلساً، بل سلسلة من الجزر المتميزة المتصلة بجسور.

الجزيرة 1 (الطبقات المبكرة): الذكاء الاصطناعي يقوم فقط بتنظيم الكلمات الخام، مثل فرز قطع الليغو حسب اللون.
الجزيرة 2 (الطبقات الوسطى): يبدأ الذكاء الاصطناعي في بناء هياكل صغيرة، بتجميع الكلمات ذات الصلة معاً (مثل بناء جدار أو نافذة).
الجزيرة 3 (الطبقات المتأخرة): الذكما الاصطناعي الآن يقوم بتجميع القلعة النهائية، ويتخذ قرارات رفيعة المستوى.

كشف StructLens أن الطبقات داخل نفس "الجزيرة" متشابهة جداً مع بعضها البعض، لكنها مختلفة تماماً عن الجزيرة التالية. وهذا يساعد الباحثين على معرفة "أين" يغير الذكاء الاصطناعي أسلوب تفكيره بالضبط.

3. "مسافة تحرير الشجرة" (مقارنة المخططات الهندسية)

لقياس مدى اختلاف طابقين، لا يقارن StructLens الطوب فحسب؛ بل يقارن المخططات الهندسية (الأشجار).

إذا كان الطابق 10 والطابق 11 يمتلكان نفس هيكل الشجرة تقريباً، فهما "قريبان" (فائض عن الحاجة).
إذا كان الطابق 10 يمتلك شجرة تشبه شجرة العائلة، بينما الطابق 11 يمتلك شجرة تشبه الهيكل التنظيمي للشركات، فهما "بعيدان عن بعضهما" (يقومان بعمل مختلف).

يُسمى هذا "مسافة تحرير الشجرة" (Tree Edit Distance). إنه يشبه السؤال: "كم عدد عمليات القص واللصق التي ستكون مطلوبة لتحويل مخطط الطابق 10 إلى مخطط الطابق 11؟"

لماذا يهم هذا؟ (السحر العملي)

يظهر البحث أن هذه الرؤية الهيكلية ليست مجرد علم رائع فحسب؛ بل هي مفيدة لعملية التقليم (Pruning) (أي تقليص حجم النموذج).

الهدف: نماذج الذكاء الاصطناي ضخمة ومكلفة في التشغيل. نريد استئصال "الدهون" (الطبقات الزائدة) دون المساس بذكاء النموذج.
الخطأ: إذا استخدمت الطرق القديمة (مثل مجرد مقارنة مواقع الكلمات)، فقد تقطع طبقة تبدو مشابهة لجارتها ولكنها في الواقع تؤدي وظيفة فريدة وحاسمة للهيكل.
الإصلاح: باستخدام StructLens، وجد الباحثون أنه يمكنهم تحديد الطبقات الزائدة حقاً. ومن خلال قطع الطبقات بناءً على هيكل الأشجار بدلاً من مجرد البيانات الخام، تمكنوا من إزالة ما يصل إلى 10-25% من طبقات النموذج مع الحفاظ على ذكائه (أو حتى جعله أكثر ذكاءً!) في الإجابة على الأسئلة.

ملخص

StructLens يشبه منح الباحثين نظارات جديدة.

قبل: كانوا يرون ضباباً من الكلمات الفردية والطبقات.
الآن: هم يرون الهيكل العظمي لعملية التفكير في الذكاء الاصطناعي. يمكنهم رؤية "جزر" المعالجة، و"الجسور" بينها، ومعرفة أي أجزاء من المصنع تقوم بالعمل الشاق وأيها واقف بلا عمل.

هذا يساعدنا على بناء نماذج ذكاء اصطناعي أصغر، أسرع، وأكثر كفاءة من خلال فهم ليس فقط ماذا يعرف الذكاء الاصطناعي، بل كيف ينظم تلك المعرفة.

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان: "StructLens: عدسة هيكلية للنماذج اللغوية عبر الأشجار الممتدة القصوى".

1. بيان المشكلة

من المعروف أن النماذج اللغوية (LMs) تظهر خصائص هيكلية متأصلة تشبه اللغة البشرية (مثل النحو والتبعية). ومع ذلك، فإن طرق التفسير والتحليل الحالية تركز بشكل أساسي على العلاقات المحلية بين الرمز والرمز (token-to-token) ضمن طبقات أو وحدات محددة (مثل رؤوس الانتباه)، أو تعتمد على مقاييس عالمية لكنها غير مدركة للهيكل مثل تشابه جيب التمام (cosine similarity) بين التدفقات المتبقية (residual streams).

الفجوة: التحليل التقليدي بين الطبقات (على سبيل المثال، باستخدام تشابه جيب التمام) يقارن التمثيلات عند مواضع الرموز المتناظرة. يفشل هذا النهج في التقاط الأنماط الهيكلية الشاملة التي تتشكل داخل الطبقة، وتحديداً العلاقات البينية العالمية بين الرموز التي تحدد كيفية معالجة النموذج للمعلومات ككل.
الحاجة: هناك حاجة إلى إطار تحليلي يعامل الحالة الداخلية للنموذج اللغوي ليس فقط كسلسلة من المتجهات، بل كرسم بياني (graph) مهيكل، مما يسمح بقياس التشابه بين الطبقات بناءً على الطوبولوجيا الهيكلية بدلاً من مجرد التقارب المتجهي.

2. المنهجية: StructLens

يقترح المؤلفون إطار عمل StructLens، الذي يبني الأشجار الممتدة القصوى (Maximum Spanning Trees - MSTs) من التمثيلات الدلالية داخل التدفق المتبقي لنموذج المحول (Transformer) للكشف عن التطور الهيكلي الداخلي للنموذج.

أ. بناء الشجرة الممتدة القصوى (MST)

لأي تسلسل رموز مدخل $x$ بطول $n$ عند الطبقة $\ell$ :

بناء الرسم البياني: يتم إنشاء رسم بياني موجه كامل الاتصال $G$ حيث تمثل العقد الرموز (tokens).
أوزان الحواف: يتم تحديد وزن الحافة من الرمز $i$ $i$ إلى الرمز $j$ $j$ بناءً على التشابه الدلالي لتمثيلات التدفق المتبقي $h^{(\ell)}_i$ $h_{i}^{(ℓ)}$ و $h^{(\ell)}_j$ $h_{j}^{(ℓ)}$ .
- تقوم دالة التشابه $g(\cdot)$ بتحويل مسافة $L2$ إلى درجة تشابه: $g(h_i, h_j) = \frac{1}{1 + \|h_i - h_j\|}$ (لـ $i < j$ ).
- يضمن القيد $i < j$ بنية تتجه للأمام فقط، بما يتوافق مع الطبيعة ذاتية الانحدار (autoregressive) للنماذج اللغوية.
استخراج MST: يتم بناء شجرة ممتدة قصوى ذات جذر واحد باستخدام خوارزمية Chu-Liu/Edmonds (تنفيذ Tarjan) لإيجاد الشجرة التي تعظم مجموع أوزان الحواف. تمثل هذه الشجرة بنية التبعية المهيمنة للطبقة.

ب. مقاييس التشابه المدركة للهيكل

لمقارنة الطبقة $\ell_a$ بالطبقة $\ell_b$ ، يقدم StructLens ثلاثة مقاييس مدركة للهيكل، متجاوزة تشابه جيب التمام القياسي بين الرموز:

Cos-Struct: يقوم بتجميع التمثيلات بشكل تكراري من الأوراق إلى الجذر في الـ MST (عبر متوسط الأب والأبناء) ويحسب تشابه جيب التمام لمتجهات الجذر النهائية.
Tree-Edit: يستخدم مسافة تحرير الشجرة (Zhang & Shasha, 1989) لقياس الحد الأدنى من تكلفة العمليات (الإدراج، الحذف، إعادة التسمية) المطلوبة لتحويل MST طبقة ما إلى أخرى.
Edge-Edit: مقياس مبسط يحصي الفرق المتماثل بين مجموعات الحواف لشجرتي MST. يتجنب هذا المقياس التكلفة الحسابية العالية وعدم الاستقرار في حركات الأشجار الفرعية المتأصلة في "مسافة تحرير الشجرة" الكاملة، مما يوفر مقياساً أكثر استقراراً للتباعد الهيكلي.

3. المساهمات والنتائج الرئيسية

أ. اكتشاف "الجزر الهيكلية" (Structural Islands)

باستخدام Edge-Edit، اكتشف المؤلفون أن التشابه بين الطبقات لا يتلاشى خطياً. بدلاً من ذلك، تشكل الطبقات مجموعات متميزة أو "جزرًا" تتميز بتشابه هيكلي عالٍ.

الملاحظة: تشترك الطبقات داخل الجزيرة الواحدة في طوبولوجيا MST متشابهة، بينما تمثل الانتقالات بين الجزر تحولات هيكلية كبيرة.
الاتساق: هذه الجزر متسقة عبر عائلات نماذج مختلفة (Llama 3.1, Qwen 2.5) وأحجام مختلفة (7B, 70B)، مما يشير إلى وجود تنظيم هيكلي عالمي في النماذج اللغوية.

ب. التطور الهيكلي ومعالجة الرموز

الأشجار الفرعية المتصلة: يكشف تحليل MSTs أن النماذج في الطبقات الوسطى تميل إلى تجميع الرموز المتتالية في هياكل فرعية وثيقة (نسبة أشجار فرعية متصلة عالية). وفي الطبقات العليا، يتم تفكيك هذه الهياكل أو إعادة تنظيمها.
الفرضية: يشير هذا إلى أن النماذج تبني "كتلاً مدركة للموضع" (position-aware chunks) في الطبقات المتوسطة، ثم تعالجها بطريقة غير معتمدة على الموضع لاحقاً.
التعاون غير المتجاور: يظهر تحليل الأشجار الفرعية المتكررة أن أنماطاً هيكلية محددة (مثل تبعيات رموز معينة) يمكن أن تظهر مجدداً في طبقات غير متجاورة، مما يشير إلى أن التعاون الهيكلي يحدث عبر كامل عمق النموذج، وليس محلياً فقط.

ج. الارتباط بسلوك النموذج

تحليل Logit Lens: تتوافق حدود "الجزر" الهيكلية مع التحولات السلوكية الحرجة. على سبيل المثال، في Llama 3.1 8B، يتزامن الانتقال من الجزيرة الثانية إلى الثالثة (حوالي الطبقة 18) مع تحول النموذج من المعالجة العامة إلى اتباع التعليمات الصريحة (اختيار الخيارات A/B/C/D).
ديناميكيات التدريب: يظهر تحليل نقاط التفتيش (checkpoints) لمرحلة ما قبل التدريب (Olmo 2) أن هذه الجزر الهيكلية تظهر وتستقر خلال المراحل المتأخرة من التدريب المسبق، وهي ظاهرة لا تلتقطها منحنيات الخسارة (loss curves) أو مقاييس المحسن (optimizer) القياسية.

د. التطبيق العملي: تقليم الطبقات (Layer Pruning)

طبق المؤلفون مقاييس StructLens على تقليم الطبقات (إزالة الطبقات الزائدة).

أداء متفوق: تفوق التقليم بناءً على Tree-Edit و Edge-Edit (المقاييس الهيكلية) على التقليم بناءً على تشابه جيب التمام القياسي (CosBase).
النتائج: في اختبارات MMLU و CMMLU، حافظت المقاييس الهيكلية على دقة أعلى ودرجة غموض (perplexity) أقل عند إزالة حوالي 10-25% من الطبقات. على سبيل المثال، حقق التقليم باستخدام Tree-Edit على Qwen 2.5 7B دقة أعلى بكثير (67.5% مقابل 55.8% لـ CosBase) مع نفس نسبة التقليم.
الاستنتاج: الفائض الهيكلي يختلف عن الفائض المتجهي؛ فقد تبدو الطبقات متشابهة في الفضاء المتجهي ولكنها تؤدي أدواراً هيكلية مختلفة، والعكس صحيح.

4. الأهمية

منظور جديد للتفسير: ينقل StructLens نموذج التحليل من "ماذا" تمثل الطبقة (المحتوى المتجهي) إلى "كيف" تمثلها (الطوبولوجيا الهيكلية).
التحسين (Optimization): يوفر مقيساً أكثر فعالية لضغط النماذج (التقليم)، مما يشير إلى أن التحليل الهيكلي أمر بالغ الأهمية لفهم الفائض في النماذج.
رؤية نظرية: يوفر اكتشاف "الجزر" والارتباط بين التحولات الهيكلية ومراحل السلوك (مثل اتباع التعليمات) عدسة جديدة لفهم الآليات الداخلية لتدريب واستدلال المحولات (Transformers).
الهيكل الديناميكي: يؤكد أن النماذج اللغوية تستخدم عمليات هيكلية ديناميكية تصاعدية بدلاً من قواعد نحوية ثابتة ومحددة مسبقاً.

باختصار، يثبت Structless أن النماذج اللغوية تمتلك بنية داخلية غنية ومتطورة يمكن التقاطها عبر الأشجار الممتدة القصوى. يوفر هذا المنظور الهيكلي رؤى متفوقة لكل من فهم سلوك النموذج وتحسين بنية النموذج مقارنة بالتحليل التقليدي القائم على المتجهات.