💬 NLP

Tool-Call Dependency Structure is Linearly Decodable in LLM Agent Residual Streams

تُثبت هذه الورقة أن الرسم البياني للتبعية الموجهة لمسارات استدعاء الأدوات في وكلاء النماذج اللغوية الكبيرة قابل للفك الخطي من التدفقات المتبقية للنموذج، مما يكشف أن الشبكة تمثل بنشاط الطوبولوجيا التجريدية للتنفيذ بدلاً من مجرد تتبع الترتيب الموضعي أو قيم المعرفات.

المؤلفون الأصليون: Tianda Sun, Dimitar Kazakov

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tianda Sun, Dimitar Kazakov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

الفكرة الكبرى: قراءة "شبح" الخطة

تخيل نموذج لغة كبير (LLM) كمساعد ذكي جداً، ولكنه ينسى قليلاً. عندما تطلب من هذا المساعد القيام بمهمة معقدة — مثل "ابحث عن مستخدم، تحقق من طلبه، ثم استبدل المنتج" — فإنه لا يقوم بذلك في قفزة واحدة عملاقة، بل يتعين عليه اتخاذ عدة خطوات، واستدعاء أدوات مختلفة في الطريق.

تسأل الورقة سؤالاً بسيطاً: هل "يعرف" النموذج كيف ترتبط هذه الخطوات ببعضها البعض أثناء تفكيره؟

على وجه التحديد، إذا كانت الخطوة (أ) تعطي معلومات تحتاجها الخطوة (ب)، فهل "دماغ" النموذج الداخلي (الذي يسمى "المجرى المتبقي" أو residual stream) يحمل بالفعل خريطة توضح هذا الاتصال؟ أم أن النموذج مجرد يخمن الخطوة التالية بناءً على ما قاله للتو؟

وجد الباحثون أن نعم، النموذج يحمل هذه الخريطة بالفعل. لقد بنوا "مفكك شفرة" (decoder) صغيراً وبسيطاً يمكنه قراءة أفكار النموذج الداخلية وكشف رسم بياني خفي للتبعية (خريطة توضح مَن يحتاج ماذا من مَن) بدقة عالية.

التشبيه: مخطط موقع البناء

تخيل النموذج كموقع بناء.

الأدوات: يستخدم النموذج أدوات مثل "جلب المستخدم" أو "جلب الطلب".
المسار (Trajectory): تسلسل الإجراءات التي يتخذها النموذج.
الرسم البياني للتبعية (Dependency Graph): هذا هو المخطط الهندسي. وهو يقول: "لا يمكنك صب الخرسانة (الخطوة ب) حتى تحصل على إيصال تسليم الإسمنت (الخطوة أ)".

عادةً، نحن نرى المبنى المكتمل فقط (الإجابة النهائية). نحن لا نرى المخطط داخل رؤوس العمال. هذه الورقة تشبه ارتداء نظارات أشعة سينية خاصة تسمح لنا برؤية المخطط وهو يطفو داخل عقول العمال أثناء عملهم.

كيف فعلوا ذلك (مفكك الشفرة - The Decoder)

استخدم الباحثون نموذجاً يسمى Qwen3-32B. راقبوا قيامه بحل المشكلات وسجلوا "المجرى المتبقي" الداخلي (وهو تدفق مستمر من البيانات يمثل حالته الذهنية الحالية).

قاموا بتدريب أداة صغيرة وبسيطة جداً (مسبار/probe) للنظر في هذا المجرى والإجابة على سؤال ثنائي لأي خطوتين في العملية:

"هل مخرجات الخطوة (أ) تغذي مدخلات الخطوة (ب)؟"

النتائج:

إنه يعمل: استطاع المسبار التنبؤ بهذه الاتصالات بدقة تقارب 87%.
ليس خدعة: اختبروه مقابل التخمينات العشوائية والأنماط البسيطة (مثل "الخطوة 2 تتبع دائماً الخطوة 1"). حقق المسبار نتائج أفضل بكثير منهم، مما يثبت أنه كان يقرأ في الواقع منطق الاتصال، وليس مجرد ترتيب الأحداث.
إنه تجريدي: عندما قاموا بتغيير الأرقام المحددة في البيانات (على سبيل المثال، تغيير معرف المستخدم من "123" إلى "456") مع الحفاظ على الهيكل نفسه، ظل المسبار يعمل. هذا يعني أن النموذج يفهم العلاقة (أ تعتمد على ب)، وليس مجرد الكلمات المحددة.

"الشبح" في الآلة (الانتشار - Propagation)

أحد أروع الاكتشافات هو كيفية انتقال هذه المعلومات.

تخيل أنك تهمس بسر للعامل الأول (الخطوة أ). تُظهر الورقة أن هذا السر لا يختفي بمجرد انتهاء العامل من عمله، بل ينتقل عبر موقع البناء بأكم، ويظل عالقاً في "الهواء" (المجرى المتبقي) وصولاً إلى العامل الأخير (الخطوة ز).

لقد أثبتوا ذلك عن طريق "الترقيع" (patching) — أي استبدال الحالة الداخلية للعامل الأول بسيناريو مختلف. ورغم أن النموذج لم يغير سلوكه النهائي (لا يزال يبني نفس المنزل)، إلا أن "المخطط" داخل العمال اللاحقين تغير ليتناسب مع السيناريو الجديد. هذا يشير إلى أن النموذج يحمل الخطة الهيكلية للأمام بنشاط، وليس مجرد رد فعل للمدخلات المباشرة.

متى تختفي هذه الخريطة؟

اختبر الباحثون هذا على أنواع مختلفة من المهام لمعرفة ما إذا كانت الخريطة موجودة دائماً. وجدوا نمطاً:

السلاسل المعقدة (Multi-hop): إذا كانت المهمة تتطلب سلسلة طويلة من التبعيات (أ $\leftarrow$ ب $\leftarrow$ ج $\leftarrow$ د)، فإن الخريطة تكون واضحة جداً وسهلة القراءة.
القوائم البسيطة: إذا كانت المهمة مجرد قائمة من الخطوات المستقلة (أ، ثم ب، ثم ج، دون وجود روابط)، فإن الخريطة تتلاشى.
دليل "الترتيب": إذا كانت الخطوات بسيطة لدرجة أن معرفة الترتيب وحده يكفي لإخبارك بكل شيء (مثلاً: "أولاً افعل أ، ثم ب")، فإن النموذج لا يحتاج لبناء خريطة داخلية معقدة. الإشارة "الإضافية" تختفي لأن الموقع وحده يكفي.

ماذا يعني هذا (وماذا لا يعني)

ما يعنيه:
لقد وجدنا طريقة جديدة للنظر داخل الوكلاء الذكيين (AI agents). يمكننا أن نرى أنهم لا يخمنون الكلمة التالية بعمى؛ بل إنهم يحافظون على خريطة هيكلية مجردة لكيفية اعتماد أفعالهم على بعضها البعض. هذه الخريطة خطية (سهلة القراءة) وتنتقل عبر طبقات النموذج.

ما لا يعنيه (بناءً على هذه الورقة حصراً):

لا يعني أننا نستطيع الآن التحكم في النموذج بسهولة لاتخاذ قرارات أفضل (الورقة تقول صراحة إن الترقيع غير المخطط الداخلي ولكن لم يغير السلوك النهائي).
لا يعني أن هذا يعمل على كل نماذج الذكاء الاصطنا_عي أو كل النماذج الصغيرة (لقد اختبروا نماذج ضخمة محددة فقط).
لا يعني أننا نستطيع استخدام هذا لإصلاح "الهلوسة" أو جعل النموذج أكثر أماناً بعد؛ فهذا عمل مستقبلي.

الملخص

الورقة تشبه اكتشاف أن مساعد الساحر لا يحفظ النص فحسب، بل يحمل في ذهنه مخططاً منطقياً للخدعة بأكمله. من خلال استخدام مفكك شفرة بسيط، أثبت الباحثون أن هذه الخريطة موجودة، وتنتقل عبر دماغ النموذج، وهي ضرورية لحل المشكلات المعقدة متعددة الخطوات.

ملخص تقني: بنية تبعية استدعاء الأدوات قابلة لفك التشفير خطياً في التدفق المتبقي للنماذج اللغوية الكبيرة (LLM)

بيان المشكلة

بينما نجحت التفسيرية الآلية (Mechanistic Interpretability) في توصيف كيفية تمثيل النماذج اللغوية الكبيرة للهياكل الثابتة (مثل الأشجار النحوية، أو حالات لوحة اللعب، أو المعرفة الواقعية)، لا يزال من غير الواضح ما إذا كانت هياكل التنفيذ الديناميكية لـ الوكلاء مستخدمي الأدوات (Tool-using agents) مشفرة داخل الحالات الداخلية للنموذج. وتحديداً، عندما يقوم الوكيل بالتبديل بين التوليد واستدعاءات الدوال الخارجية، غالباً ما توفر مخرجات الأدوات السابقة وسائط (Arguments) لاستدعاءات لاحقة، مما يشكل رسماً بيانياً موجهاً غير حلقي (DAG) من التبعيات. ومن غير المعروف ما إذا كان رسم التبعية هذا أثناء وقت التشغيل ممثلاً بشكل صريح في "التدفق المتبقي" (Residual Stream) للوكيل، أو ما إذا كان هذا التمثيل سببياً، أو ما إذا كان خاصية عامة للوكلاء أم مقتصرة على معايير اختبار معينة.

المنهجية

يستقصي المؤلفون هذا السؤال باستخدام نهج الاستقصاء الهيكلي (Structural Probing) على نموذج Qwen3-32B (مع تكرار التجربة على Llama-3.3-70B) ضمن نطاق $\tau$ -bench retail.

بناء "الأوراكل" (Oracle Construction): بالنسبة للمسارات التي تحتوي على $\ge 2$ من استدعاءات الأدوات، يبني المؤلفون "أوراكل" لرسوم استدعاء الأدوات (DAG). يتم تعريف الحافة $i \to j$ إذا ظهر نص فرعي متصل، وحساس لحالة الأحرف، ومعياري للمساحات البيضاء (بطول $\ge 4$ ) من مخرجات الاستدعاء $i$ حرفياً في وسائط JSON المتسلسلة للاستدعاء $j$ . وهذا يحدد تسمية حافة ثنائية للمستقصي.
بنية المستقصي (Probe Architecture): تم تدريب مستقصي انحدار لوجستي منخفض السعة ومنظم بـ L2 للتنبؤ بوجود حافة $(i, j)$ بناءً على دمج ناقلات التدفق المتبقي من رموز الحدود النهائية للاستدعاءات $i$ و $j$ . يتم حساب متوسط الناقلات عبر مجموعة ثابتة من الطبقات $\{0, 14, 28, 41, 50, 57, 64\}$ .
بروتوكول التقييم:
- التحقق المتقاطع (Cross-Validation): يضمن التحقق المتقاطع من نوع (Leave-One-Group-Out - LOGO) لكل مسار عدم دخول أي رمز من مسار محجوب عن التدريب إلى مجموعة التدريب.
- ضوابط التحكم (Controls): تستخدم الدراسة مجموعة شاملة من ضوابب التحكم:
  - تحكم Hewitt–Liang العشوائي للعلامات: لتبديل تسميات الحواف لاستبعاد الحفظ الآلي.
  - خط الأساس الموضعي (Positional Baseline): يعتمد على 5 سمات ( $[i, j, j-i, n_{agent}, j/n_{agent}]$ ) للفصل بين التشفير الهيكلي وبين مجرد ترتيب الاستدعاء.
  - سقف الشكل السطحي (Surface-Form Ceiling): يعتمد على فك تشفير مبني على تداخل n-gram وأسماء الأدوات لضمان أن الإشارة ليست مجرد شكل نصي.
  - تحكم التهيئة العشوائية (Random-Init Control): استخدام نموذج مهيأ عشوائياً لعزل الإشارات المرتبطة بالتدريب.
- التفنيد المضاد (Counterfactuals): يقوم المؤلفون بإجراء إفساد القيمة (تبديل المعرفات في المخرجات) والاضطراب الهيكلي (إعادة كتابة المخرجات لتصبح نتائج فارغة) لاختبار ما إذا كان المستقصي يتتبع الطبوغرافيا المجردة أم قيم المعرفات المحددة.
- رقعة التنشيط (Activation Patching): لاختبار السببية، يقوم المؤلفون بعمل رقعة للتدفق المتبقي لاستدعاء مصدر باستخدام سمات من مسار "مانح"، ويقيسون التحول في قراءة المستقصي عند حد أخير لاحق وغير مصلح.

المساهمات والنتائج الرئيسية

1. قابلية فك التشفير الخطي لرسوم التبعية

رسم تبعية استدعاء الأدوات قابل لفك التشفير خطياً من التدفق المتبقي المجمد.

الأداء: يحقق المستقصي متعدد الطبقات درجة AUROC تبلغ 0.869 على الأزواج المحجوبة.
الأهمية: يتفوق هذا بشكل كبير على تحكم Hewitt–Liang العشوائي للعلامات (أقصى AUROC بلغ 0.565، $p < 10^{-4}$ ) وعلى الخط الموضعي الأساسي (AUROC 0.792). يساهم التدفق المتبقي بفجوة AUROC شرطية قدرها +0.0775 فوق الخط الموضعي الأساسي، مما يؤكد أن الإشارة ليست مجرد وسيط لترتيب الاستدعاء.
الظهور: تظهر الإشارة بحدة بحلول الطبقة 14 (~22% من العمق) وتصل إلى حالة التشبع حول الطبقة 41، مما يطابق أنماط الظهور الدلالي في منتصف المكدس.

2. حساسية الطبوغرافيا مقابل خصوصية القيمة

يتتبع المستقصي طبوغرافيا التبعية المجردة بدلاً من قيم المعرفات المحددة.

إفساد القيمة: تؤدي عملية تبديل قيم المعرفات في مخرجات الأدوات (مع بقاء الخطة ثابتة) إلى عدم حدوث أي تحول ذي دلالة إحصائية في بنية الـ DAG المفككة (Cohen's $d = 0.06$ ).
الاضطراب الهيكلي: تؤدي إعادة كتابة استجابة الأداة لتصبح نتيجة فارغة (مما يفرض تغييراً في الخطة) إلى تحول كبير في البنية المفككة (Cohen's $d = 0.87$ ).
التكرار: يظل هذا الفصل قائماً عبر النطاقات، بما في ذلك ComplexFuncBench، وتم تكراره باستخدام "أوراكل" مستقل يعتمد على تساوي القيم المحددة بالنوع (بدون مطابقة النصوص الفرعية)، مما يؤكد أن الإشارة ليست نتاجاً لنهج المطابقة النصية.

3. انتشار التمثيل

توفر "رقعة التنشيط" دليلاً على أن تمثيل التبعية ينتشر عبر الشبكة بدلاً من كونه مجرد قراءة سلبية.

عملية رقعة التدفق المتبقي لاستدعاء مصدر تؤدي إلى إزاحة تنبؤ المستقصي عند حد لاحق صارم وغير مصلح (على سبيل المثال، عند الطبقة 57).
من المهم ملاحظة أنه بينما تتحول التمثيلية، فإن اختيار الأداة الفعلي للوكيل لا يتغير (0% تحول في السلوك). يشير هذا إلى أن التمثيل ضروري للحالة الداخلية ولكنه ليس كافياً للتحكم السلوكي في هذا السياق.

4. العمومية عبر النطاقات والتعديل

تتعمم المساهمة غير الموضعية عبر الاختبارات التفاعلية متعددة الخطوات ولكنها تتضاءل حيث يكفي ترتيب الاستدعاء وحده.

التكرارات الإيجابية: الإشارة قوية في ToolHop (+0.161 مساهمة) وفي ComplexFuncBench (+0.060 مساهمة).
الحواف المتعدية (Transitive Edges): يفك المستقصي تشفير التبعيات المتعدية (متعددة الخطوات) بقوة أكبر حتى من الحواف المباشرة (AUROC 0.986)، حيث ترتفع إشارة التعدي بشكل أسرع في الطبقات المبكرة.
التضاؤل: تتلاشى المساهمة في TaskBench (تخطيط لمرة واحدة، مساهمة -0.02) وهي غير قابلة للاختبار في BFCL (استخدام أدوات مباشر فقط)، مما يدعم فرضية أن الإشارة توجد حيث يكون ترتيب الاستدعاء وسيطاً ضعيفاً.

الأهمية والادعاءات

يدعي المؤلفون أن هذا هو أول استقصاء هيكلي لرسم تبعية استدعاء الأدوات أثناء وقت التشغيل للوكيل اللغوي.

التمثيل مقابل التحكم: الادعاءات تتعلق حصراً بـ التمثيل. توضح الورقة أن رسم تبعية استدعاء الأدوات قابل للقراءة خطياً ومنتشر سببياً داخل التدفق المتبقي، لكنها تنص صراحة على أن رقعة التنشيط لا تؤدي حالياً إلى تحكم سلوكي (تظل اختيارات الأدوات للوكيل دون تغيير).
فئة هدف جديدة: تشير النتائج إلى أن هياكل تنفيذ التشغيل (رسوم DAG لاستدعاء الأدوات) تشكل فئة جديدة من أهداف التفسيرية الآلية، متميزة عن القرارات على مستوى الرمز (Token) أو آثار الاستدلال الثابتة.
التواضع في الطرح: يتسم المؤلفون بالتواضع بشأن نطاق الانتشار، مشيرين إلى أن التكرار السببي عبر النطاقات والتدخلات الكافية سلوكياً تظل أعمالاً مستقبلية. كما يقرون بأن تعريف التبعية يعتمد على إعادة استخدام القيم (مطابقة النصوص أو مطابقة المخطط)، مما يستبعد التبعيات التي تتم عبر التحكم في تدفق العمل (Control Flow) دون نقل القيم.

باختالام، تثبت الورقة أن الوكلاء اللغويين يشفرون الطبوغرافيا المجردة لرسوم تنفيذ استدعاء الأدوات في تدفقاتهم المتبقية، وهي تمثيل متميز عن الأولويات الموضعية، وقوي تجاه تغيرات القيم، وينتشر عبر طبقات الشبكة.