🤖 AI

$τ$ -Knowledge: Evaluating Conversational Agents over Unstructured Knowledge

تقدم هذه الورقة البحثية $\tau$ -Knowledge، وهو معيار مرجعي جديد يتميز بمجال $\tau$ -Banking لتقييم قدرة الوكلاء الحواريين على تنسيق استرجاع المعرفة غير المهيكلة مع استخدام الأدوات في سير عمل معقد وقائم على السياسات، مما يكشف أن حتى النماذج الرائدة تعاني من انخفاض معدلات النجاح والموثوقية في مثل هذه التفاعلات الواقعية طويلة الأمد.

المؤلفون الأصليون: Quan Shi, Alexandra Zytek, Pedram Razavi, Karthik Narasimhan, Victor Barres

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Quan Shi, Alexandra Zytek, Pedram Razavi, Karthik Narasimhan, Victor Barres

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك وظفت مساعداً شخصياً فائق الذكاء ومدرباً تدريباً عالياً لمساعدتك في إدارة حسابك البنكي. قلت له: "لقد فقدت محفظتي، يرجى تجميد بطاقاتي والتحقق من وجود أي عمليات احتيال".

في الماضي، كنا نختبر هؤلاء المساعدين عبر إعطائهم قائمة من الأدوات (مثل زر "تجميد البطاقة") وسؤالهم عن الضغط على الزر الصحيح. لكن في العالم الحقيقي، الأمور أكثر تعقيداً. مساعدك لا يحتاج فقط إلى زر؛ بل يحتاج إلى معرفة أين يوجد الزر، ومتى يضغط عليه، وما هي القواعد التي تنطبق قبل الضغط عليه. عليه أن يقرأ مكتبة ضخمة وفوضوية مكونة من 700 وثيقة مختلفة (سياسات، أسئلة شائعة، قواعد داخلية) أثناء التحدث إليك، وفي نفس الوقت يحاول حل مشكلتك.

تقدم هذه الورقة البحثية اختباراً جديداً يسمى τ-Knowledge (تاو-المعرفة) لمعرفة ما إذا كان بإمكان وكلاء الذكاء الاصطناعي التعامل فعلياً مع هذه الفوضى الواقعية.

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. المشكلة: "أمين المكتبة الأعمى"

تخيل أن وكيل الذكاء الاصطناعي الخاص بك هو أمين مكتبة تم توظيفه للعثور على كتاب معين في مكتبة تحتوي على 700 كتاب.

الاختبارات القديمة: كنا نعطي أمين المكتبة عنوان الكتاب ونسأله: "هل يمكنك العثود على هذا الكتاب؟" أو "هل يمكنك استعارة هذا الكتاب؟". كنا نختبر العثور على الكتاب واستعارته كمهام منفصلة.
العالم الحقيقي: في الواقع، أمين المكتبة لا يعرف عناوين الكتب. عليه أن يتجول في الممرات، ويقرأ عناوين 700 كتاب، ويكتشف أي منها يحتوي على القواعد المتعلقة بـ "المحافظ المفقودة"، ويقرأ التفاصيل الدقيقة، ثم يقرر ما إذا كان سيجمد بطاقتك أم يلغيها. إذا اختار الكتاب الخطأ، فقد يجمد البطاقة الخطأ أو يخالف قاعدة ما.

2. الاختبار الجديد: "τ-Banking"

قام الباحثون ببناء بنك وهمي يسمى τ-Banking.

المكتبة: تحتوي على 700 وثيقة حول بطاقات ائتمان وحسابات توفير وهمية وقواعد صارمة (مثلاً: "لا يمكنك إغلاق الحساب إذا كان هناك نزاع معلق").
الأدوات: يمتلك الوكيل أدوات لتغيير قاعدة البيانات فعلياً (مثل "تجميد البطاقة" أو "إغلاق الحساب")، ولكن هم لا يعرفون بوجود هذه الأدوات بعد. عليهم أولاً العثور على اسم الأداة داخل الوثائق.
العميل: محاكاة لبشر قد يكون غامضاً ("لقت أشياءي") أو يغير رأيه في منتصف المحادثة.

3. كيف يعمل الاختبار

يجب على وكيل الذكاء الاصطناعي أن يعمل كموظف خدمة عملاء حقيقي:

يستمع للمستخدم.
يبحث في المكتبة (باستخدام أدوات مثل محرك بحث أو مستعرض ملفات) للعثيد على السياسة المناسبة.
يقرأ السياسة لفهم القواعد.
يجد الأداة المحددة المطلوبة لحل المشكلة.
ينفذ الحل مع اتباع القواعد.

4. النتائج: "الوكلاء الأذكياء" لا يزالون عالقين

اختبر الباحثون أذكى نماذج الذكاء الاصطناي في العالم (مثل GPT-5.2 و Claude-4.5). كانت النتائج مفاجئة ومخيفة نوعاً ما:

معدل النجاح منخفض: حتى أفضل نماذج الذكاء الاصطناعي نجحت بنسبة 25% فقط في المحاولة الأولى. وهذا يعني أن 3 من كل 4 مرات، فشلوا في مساعدة العميل بشكل صحيح.
"الاختبار الذهبي": حاولوا إعطاء الذكاء الاصطناعي الوثائق الصحيحة تماماً فوراً (بإزالة جزء البحث). ومع ذلك، ارتفع معدل النجاح إلى حوالي 40% فقط.
- التشبيه: الأمر يشبه إعطاء طاهٍ الوصفة والمكونات الصحيحة تماماً، لكنه لا يزال يحرق الوجبة لأنه لا يفهم تعليمات الطبخ. المشكلة ليست فقط في العثور على المعلومات؛ بل في الاستنتاج المنطقي بها.
"فخ البحث": حاولت بعض نماذج الذكاء الاصطناعي البحث بشكل مفرط. فكانت تقرأ 20 وثيقة، ثم ترتبك، وتبحث مجدداً، وتضيع الوقت. بينما قامت نماذج أخرى بالتخمين دون قراءة ما يكفي.

5. لماذا يهم هذا؟

تجادل الورقة بأننا بحاجة للتوقف عن اختبار الذكاء الاصطناعي فقط بناءً على مدى جودة "البحث" لديهم أو مدى جودة "اتباع التعليمات". نحن بحاجة لاختبارهم على الكفاءة والموثوقية في بيئة واقعية فوضوية.

الكفاءة: إذا استغرق الذكاء الاصطناعي 10 دقائق لحل مشكلة كان ينبغي أن تستغرق دقيقتين، فسيشعر العميل بالإحباط.
الموثوقية: إذا قام الذكاء الاصطناعي بتجميد بطاقتك عندما لا ينبغي له ذلك، أو أغفل تنبيهاً بشأن عملية احتيال، فهذه كارثة.

الخلاصة الكبرى

فكر في وكلاء الذكاء الاصطناعي الحاليين كـ طلاب عباقرة لكنهم سيئون جداً في اتباع الخريطة. يمكنهم قراءة كتاب، ولكن إذا طلبت منهم التنقل في مدينة معقدة (قاعدة بيانات البنك) أثناء التحدث إلى سائح مرتبك (المستخدم)، فإنهم غالباً ما يضيعون الطريق، أو يركبون الحافلة الخطأ، أو ينسون قواعد المرور.

τ-Knowledge هو اختبار القيادة الجديد الذي يجبر هؤلاء الوكلاء على إثبات قدرتهم على قيادة السيارة فعلياً، وليس مجرد تسميع دليل السائق. تظهر النتائج أنه على الرغم من أن "الطلاب" أذكياء، إلا أن أمامهم طريقاً طويلاً قبل أن يمكن الوثوق بهم لقيادتنا بمفردهم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "τ-Knowledge: تقييم الوكلاء الحواريين عبر المعرفة غير المنظمة."

1. بيان المشكلة

يتم نشر الوكلاء الحواريين بشكل متزايد في المجالات كثيفة المعرفة (مثل التكنولوجيا المالية والرعاية الصحية) حيث يعتمد النجاح على استرجاع وتطبيق المعلومات من مجموعات بيانات ضخمة، مملوكة، وغير منظمة أثناء التفاعلات المباشرة. ومع ذلك، تعاني معايير التقييم الحالية من ثلاث فجوات حرجة:

عزل القدرات: تقيم معظم المعايير الاسترجاع (إيجاد المعلومات) واستخدام الأدوات (تنفيذ الإجراءات) بشكل مستقل، مما يفشل في اختبار قدرة الوكيل على التنسيق بينهما في آن واحد.
الافتقار إلى الواقعية: تفترض الأعمال السابقة غالبًا واجهات أدوات محددة بالكامل وبيئات ثابتة، متجاهلة العشوائية في التفاعلات الحية مع المستخدمين (الأهداف الغامضة، وتطور النوايا) والحاجة إلى اكتشاف الأدوات المخفية داخل الوثائق.
عدم كفاية عمق الاستدلال: تركز العديد من المعايير على الإجابة على الأسئلة القائمة على الحقائق بدلاً من الاستدلال طويل الأمد عبر سياسات معقدة ومترابطة وحالات قواعد بيانات ديناميكية.

تجادل الورقة بأن الوكلاء الحاليين يواجهون صعوبة في سد الفجوة بين استرجاع المعرفة غير المنظمة وتنفيذ تغييرات في الحالة متوافقة مع السياسات في سيناريوهات واقعية متعددة الخطوات.

2. المنهجية: معيار τ-Knowledge

قدم المؤلفون τ-Knowledge، وهو امتداد لمعيار τ-Bench الحالي، والذي يتميز بنطاق جديد يسمى τ-Banking.

أ. نطاق τ-Banking

السيناريو: يحاكي بيئة دعم العملاء في التكنولوجيا المالية حيث يجب على الوكيل مساعدة المستخدم في إدارة الحساب، حل النزاعات، وتقديم توصيات المنتجات.
قاعدة المعرفة (KB): مجموعة من 698 وثيقة باللغة الطبيعية (حوالي 194 ألف توكن) تغطي 21 فئة من المنتجات (الحسابات الجارية، الادخار، بطاقات الائتمان، إل، إلخ). تتضمن الوثائق مواصفات المنتجات، السياسات الإجرائية الداخلية، وتوثيق الأدوات.
الحالة الديناميكية: تحافظ البيئة على حالة عالمية مشتركة (قاعدة بيانات) تتبع الحسابات، المعاملات، والإحالات. لا يمكن للوكيل مراقبة هذه الحالة مباشرة؛ بل يجب عليه استنتاجها من خلال مخرجات الأدوات ورسائل المستخدم.
هيكل المهام: تتم صياغة المهام كعمليات قرار ماركوف جزئية الملاحظة والموزعة (Dec-POMDTs). يتطلب النجاح:
1. استرجاع الوثائق ذات الصلة من قاعدة المعرفة.
2. الاستدلال عبر السياسات (على سبيل المثال: "زيادات الحد الائتماني تُحظر إذا كانت هناك نزاعات معلقة").
3. اكتشاف وفتح الأدوات القابلة للاكتشاف (الأدوات غير المتاحة للوكيل في البداية؛ حيث تكون تواقيعها مخفية في قاعدة المعرفة).
4. تنفيذ تغييرات الحالة بوساطة الأدوات (مثل إغلاق حساب، أو تجميد بطاقة).

ب. خط إنتاج البناء

تم بناء المعيار باستخدام خط إنتاج متعدد المراحل وقابل للتوسع لضمان الاتساق الداخلي:

التوليد المهيكل: تقوم النماذج اللغوية الكبيرة (LLMs) بتوليد قاعدة بيانات مهيكلة للمنتجات، السياسات، والمتغيرات (نظام قيود).
التحويل غير المنظم: يتم تحويل البيانات المهيكلة إلى وثائق باللغة الطبيعية (الأسئلة الشائعة، مقالات السياسات) مع الحفاظ على الاتساق المنطقي.
إنشاء المهام: يتم إنشاء المهام بالتعاون مع مراجعة بشرية لمحاكاة سير العمل الواقعي (مثل طلب بطاقات بديلة، أو التعامل مع المحافظ المفقودة).
التحقق: يتم تدقيق المهام لضمان أنها قابلة للحل فقط عبر مجموعة الوثائق "الذهبية" (Gold) ولضمان عدم وجود طرق مختصرة.

ج. تكوينات التقييم

المعيار محايد تجاه طريقة الاسترجاع، حيث يختبر الوكلاء عبر استراتيجيات بحث متنوعة:

الاسترجاع الكثيف (Dense Retrieval): البحث الدلالي القائم على التضمين (باستخدام text-embedding-3-large و Qwen3-embedding-8b).
الاسترجاع المتناثر (Sparse Retrieval): البحث المعجمي باستخدام BM25.
البحث القائم على الطرفية (Terminal-Based Search): يتنقل الوكلاء في قاعدة المعرفة كأنها نظام ملفات باستخدام أوامر الشل (grep, cat, find)، مما يحاكي سير عمل تطوير الذكاء الاصطناعي الحديث المساعد.
المسترجع الذهبي (Golden Retriever): إعداد تحكمي حيث يتم تزويد الوكيل بالوثائق المطلوبة بدقة في السياق لعزل قدرات الاستدلال عن إخفاقات الاسترجاع.

د. المقاييس

$pass^k$ : احتمال إكمال المهمة بنجاح في جميع $k$ من التجارب المستقلة (لقياس الموثوقية).
مقاييس الكفاءة: مدة المهمة، تكلفة التوكن، عدد استدعاءات الأدوات، ومتوسط وقت الدور (Turn time).
استدعاء الوثائق (Document Recall): النسبة المئوية للوثائق "الذهبية" التي تظهر في سياق الوكيل خلال المسار.

3. النتائج الرئيسية

قيم المؤلفون النماذج الرائدة (GPT-5.2، Claude-4.5-Opus/Sonnet، Gemini-3-Pro/Flash) عبر تكوينات مختلفة.

أداء عام منخفض: حتى أفضل التكوينات (GPT-5.2 مع استدلال عالٍ وبحث طرفي) حققت فقط 25.52% $pass^1$ (النجاح في تجربة واحدة).
تدهور الموثوقية: ينخفض الأداء بشكل حاد مع تكرار التجارب. أفضل قيمة لـ $pass^4$ (النجاح في 4 تجارب متتالية) كانت 13.40% فقط، مما يشير إلى أن الوكلاء غير متسقين للغاية.
الاسترجاع ليس العائق الوحيد: في إعداد "المسترجع الذهبي" (حيث تمت إزالة الاسترجاع)، حقق أفضل نموذج (Claude-4.5-Opus) فقط 39.69% $pass^1$ . وهذا يثبت أن الوكلاء يعانون بشكل كبير من الاستدلال عبر السياسات المعقدة والاعتماد المتبادل بين الوثائق، وليس فقط العثور على المعلومات.
مقايضات استراتيجية البحث:
- البحث الطرفي (Terminal Search): أدت النماذج الحديثة عالية الاستدلال (GPT-5.2، Claude-4.5) أداءً أفضل في البحث القائم على الطرفية مقارنة بالاسترجاع الكثيف، ويرجع ذلك على الأرجح إلى قدرتها الأفضل على التعامل مع النصوص غير المنظمة. ومع ذلك، جاء ذلك بتكلفة عالية: استغرق الوكلاء في البحث الطرفي ~9 أضعاف الوقت واستخدموا ~2.3 ضعف عدد أوامر الشل مقارنة بوكلاء الاسترجاع الكثيف.
- الاسترجاع الكثيف: أسرع وأكثر كفاءة ولكن غالبًا ما يكون أقل فعالية في مهام الاستدلال متعددة الخطوات المعقدة في هذا النطاق المحدد.
الاختلاف بين النماذج:
- GPT-5.2 (استدلال عالٍ): أظهر أعلى موثوقية ( $pass^4$ ) ولكنه عانى من زمن انتقال عالٍ واستدعاءات أدوات مفرطة بسبب سلوكيات البحث "الهشة والقائمة على الافتراضات".
- Claude-4.5: حقق معدلات نجاح مماثلة لـ GPT-5.2 ولكن بكفاءة أعلى بكثير (توكن أقل، استدعاءات أدوات أقل، ومدة أقصر).

4. التحليل النوعي للفشل

تحدد الورقة أربعة أنماط رئيسية للفشل:

الاعتمادات المتبادلة المعقدة (~14.5%): يفشل الوكلاء في الاستدلال عبر عدة وثائق لإيجاد الحلول المثلى (مثل إعطاء الأولوية لتعزيز ترويجي صغير على معدل أساسي أعلى).
ترتيب المهام الفرعية الضمني (~5%): يفشل الوكلاء في احترام القيود الطوبولوجية المخفية (مثل محاولة زيادة الحد الائتماني بينما لا يزال هناك نزاع معلق، وهو ما تمنعه السياسة).
الثقة المفرطة في ادعاءات المستخدم (~4%): يقبل الوكلاء ادعاءات المستخدم (مثل "تمت الموافقة على نزاعي") دون التحقق منها مقابل حالة النظام.
عدم كفاءة البحث والافتراضات (~23%): يضع الوكلاء افتراضات غير مبررة حول طلبات المستخدم غير المحددة بدلاً من الاستيضاح أو البحث أكثر، مما يؤدي إلى مسارات خاطئة.

5. الأهمية والمساهمات

معيار تقييم واقعي: يوفر $\tau$ -Knowledge أول معيار يقيم بصرامة تكامل استرجاع المعرفة غير المنظمة، والاستدلال على السياسات، واستخدام الأدوات في بيئة ديناميكية تواجه المستخدمين.
تسليط الضوء على "فجوة الاستدلال": تظهر النتائج أن النماذج الرائدة الحالية ليست موثوقة بما يكفي بعد للنشر في المهام عالية المخاطر التي تواجه البشر حيث يكون الامتثال للسياسات أمرًا بالغ الأهمية. الفجوة بين الاسترجاع والاستدلال لا تزال تشكل عقبة رئيسية.
المقايضة بين الكفاءة والدقة: تكشف الدراسة عن توتر حرج في تصميم الوكلاء: الاستراتيجيات التي تحسن الدقة (مثل البحث الطرفي الحر) غالبًا ما تقلل الكفاءة بشكل كبير (زمن الانتقال والتكلفة)، وهو أمر حيء للنشر في العالم الحقيقي.
التوجه المستقبلي: تدعو الورقة إلى قياس تقدم الوكلاء ليس فقط من خلال نجاح المهمة النهائي، بل من خلال كفاءة الحل — أي القدرة على الوصول إلى نتائج صحيحة بأقل قدر من الوقت، واستدعاءات الأدوات، والتراجع في الحوار.

في الختام، يكشف $\tau$ -Knowledge عن قيود كبيرة في الأنظمة الوكيلة الحالية، موضحًا أنه بينما يمكنها استرجاع المعلومات، فإنها تفشل كثيرًا في دمج تلك المعلومات في إجراءات موثوقة ومتوافقة مع السياسات في البيئات المعقدة وغير المنظمة.