🤖 AI

Setoka: A Benchmark for Hierarchical User Understanding in Personalized Agents over Heterogeneous Data

تقدم هذه الورقة "سيتوكا" (Setoka)، وهو معيار مرجعي مبتكر يستند إلى علم النفس المعرفي والشخصي لتقييم قدرة الوكلاء المخصصين على إجراء فهم هرمي للمستخدم — من الذاكرة الدلالية والمنعكسة إلى أنماط السلوك والسمات الشخصية — عبر بيانات غير متجانسة، كاشفةً عن أن الأنظمة الحالية تعاني بشكل كبير في المهام التي تتطلب دمج وتجريد المعلومات طويلة الأمد المجزأة بما يتجاوز مجرد استرجاع الحقائق البسيطة.

المؤلفون الأصليون: Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou

نُشر 2026-07-30

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التعرف على صديق جديد. يمكنك ببساطة أن تسأله: "ما هو رقم هاتفك؟" أو "متى موعد اجتماعك؟" وتدوين الإجابة. هذا أمر سهل؛ فهو مجرد التقاط حقيقة. لكن الصداقة الحقيقية أعمق من ذلك. إنها تكمن في ملاحظة أن صديقك يضحك دائمًا على نفس النوع من النكات، أو أنه يبدو عكر المزاج عندما تمطر، أو أنه من نوع الأشخاص الذين يخططون لأسبوعهم بالكامل مسبقًا. هذه ليست حقائق يمكنك البحث عنها ببساطة؛ بل هي أنماط يتعين عليك تجميعها من خلال محادثات ورسائل ولحظات مختلفة عبر الزمن.

في عالم الذكاء الاصطناعي، نحن نبني "وكلاء" يعملون كمساعدين شخصيين. في الوقت الحالي، يحقق هؤلاء المساعدون الأذكياء نتائج جيدة جدًا في المهام السهلة: مثل تذكر رقم هاتفك أو العثور على موعد اجتماع في تقويمك. لكن العلماء قلقون من أن هؤلاء الوكلاء سيئون للغاية في الأمور "العميقة". فهم يواجهون صعوبة في فهم من أنت حقًا—عاداتك، وشخصيتك، وسلوكك على المدى الطويل. ولحل هذه المشكلة، يحتاج الباحثون إلى طريقة لاختبار ما إذا كان بإمكان الذكاء الاصطناعي "فهم" الإنسان حقًا، وليس مجرد قراءة ملف. وهنا يأتي دور دراسة جديدة، تحاول بناء اختبار أفضل لترى ما إذا كان بإمكان الذكاء الاصطناعي الانتقال من كونه مجرد مدون ملاحظات بسيط إلى رفيق ذي فهم حقيقي.

المشكلة: الذكاء الاصطناعي يعاني من "فقدان ذاكرة" تجاه "من أنت"

تخيل حياتك الرقمية كأنها علية ضخمة وفوضوية مليئة بصناديق مختلفة الأنواع. بعض الصناديق مكتوب عليها "رسائل"، وبعضها "مواعيد التقويم"، وأخرى "علاقات اجتماعية". في الوقت الحالي، معظم المساعدين الأذكياء يشبهون أمين مكتبة يمكنه فقط إخراج صندوق محدد عندما تطلبه. إذا سألت: "ما هو رقم هاتف أليس؟"، سيجد الذكاء الاصطناعي صندوق "جهات الاتصال" ويقرأ الرقم. سهلة للغاية.

ولكن ماذا لو سألت: "هل أنا شخص اجتماعي؟" أو "كم مرة أعتاد التسكع مع الأصدقاء في عطلات نهاية الأسبوع؟" لن يستطيع الذكاء الاصطناعي فتح صندوق واحد فقط. عليه أن ينظر إلى تقويمك ليرى الفعاليات الجماعية، ويفحص رسائلك ليرى مدى نشاطك في الدردشة، ويمسح علاقاتك الاجتماعية ليرى عدد أصدقائك. عليه أن يربط النقاط عبر أنواع مختلفة من البيانات ليفهم نمطًا ما. المشكلة هي أن أنظمة الذكاء الاصطناعي الحالية سيئة جدًا في هذا الأمر. فهي بارعة في إيجاد الحقائق، لكنها سيئة للغاية في فهم القصة الكامنة وراء تلك الحقائق.

دخول "ستوكا" (Setoka): الاختبار النهائي لـ "التعرف عليك"

لحل هذه المشكلة، ابتكر فريق من الباحثين معيارًا جديدًا يسمى Setoka. يمكنك التفكير في "ستوكا" كأنه مختبر محاكاة ضخم ومنظم للغاية. وبدلاً من استخدام بيانات أشخاص حقيقيين (ما قد يمثل كابوسًا للخصوصية)، قام الباحثون ببناء "مصنع علم نفس".

إليك كيف يعمل هذا المصنع:

المخطط التوجيهي: أولاً، يستخدمون علم النفس الحقيقي لإنشاء 10 شخصيات وهمية. هم لا يخمنون صفات هؤلاء الأشخاص فحسب، بل يستخدمون نموذجًا رياضيًا خاصًا للتأكد من أن الشخصيات منطقية. على سبيل المثال، إذا كان الشخص الوهمي "منفتحًا"، فإن الرياضيات تضمن أنه ليس "خجولًا" بشكل سري بطريقة نادرة الحدوث لدى البشر الحقيقيين.
السلوك: بعد ذلك، يترجمون هذه الشخصيات إلى عادات يومية. إذا كان الشخص "منفتحًا"، يقوم النظام بإنشاء جدول زمني واقعي حيث يتحدث مع الأصدقاء كل يومين، ويلعب ألعابًا جماعية يوميًا، ويشاهد مسلسلات كوميدية عدة مرات في الأسبوع.
البيانات الفوضوية: أخيرًا، يحولون تلك العادات إلى كومة ضخمة من الفوضى الرقمية. لقد أنشأوا آلاف الرسائل النصية الوهمية، ومدخلات التقويم، وسجلات الشبكة الاجتماعية التي تمتد لشهرين. هذه هي "البيانات غير المتجانسة"—وهي مزيج من أنواع ملفات مختلفة سيتعين على الذكاء الاصطناعي غربلتها.

بمج-بمج تشغيل المصنع، يطرحون على الذكاء الاصطناعي 1,426 سؤالًا حول هؤلاء الأشخاص الوهميين. تنقسم الأسئلة إلى أربعة مستويات من الصعوبة، مثل لعبة فيديو ذات معارك زعماء متزايدة القوة:

المستوى 1 (الذاكرة الدلالية): "ما هو رقم هاتف أليس؟" (مجرد إيجاد الحقيقة).
المستوى 2 (الذاكرة العرضية): "ماذا كان المستخدم يفعل في مساء يوم 20 أبريل؟" (الجمع بين مدخل التقويم، ورسالة نصية، وسجل موقع لإعادة بناء حدث محدد واحد).
المستوى 3 (نمط السلوك): "كم مرة في الأسبوع يتواصل المستخدم اجتماعيًا؟" (النظر في أسابيع من البيانات وعدّ الإجمالي).
المستوى 4 (سمة الشخصية): "ما مدى انفتاح المستخدم اجتماعيًا؟" (النظر في كل البيانات الاجتماعية، وعادات العمل، والأنشطة الترفيهية لتخمين سمة شخصية عميقة).

ماذا وجدوا: "الباحث عن الحقائق" مقابل "قارئ الأفكار"

اختبر الباحثون 3 أدمغة ذكاء اصطناعي (تتراوح من نموذج سحابي قوي إلى نموذج أصغر يمكن تشغيله على الهاتف) مقترنة بـ 5 أنظمة ذاكرة مختلفة (بعضها ينظم البيانات كرسم بياني، وبعضها كقائمة بسيطة).

كانت النتائج بمثابة جرس إنذار لعالم الذكاء الاصطناعي:

الأمور السهلة تم حلها: عندما كان السؤال يتعلق بمجرد إيجاد حقيقة (المستوى 1)، كان أداء الذكاء الاصطناعي رائعًا. في الواقع، لم يكن الذكاء الاصطناعي بحاجة أحيانًا إلى نظام ذاكرة خاص؛ بل كان بإمكانه ببساطة البحث في البيانات الخام مثل قاعدة البيانات.
المنطقة الوسطى صعبة: بمجرد أن اضطر الذكاء الاصطناعي إلى دمج بضع قطع من المعلومات لتذكر حدث معين (المستوى 2)، انخفضت الدرجات.
الأمور العميقة متعطلة: عندما كان على الذكاء الاصطناعي إيجاد أنماط أو تخمين سمات الشخصية (المستويان 3 و4)، انهار الأداء. حققت أفضل الأنظمة حوالي 24% فقط من أسئلة الشخصية بشكل صحيح.

تشير الدراسة إلى أن مجرد جعل الذكاء الاصطناعي "يتذكر" المزيد من الحقائق ليس كافيًا. الأنظمة الحالية تشبه الطلاب الذين يمكنهم حفظ الكتاب المدرسي تمامًا ولكنهم يفشلون في سؤال المقال لأنهم لا يستطيعون ربط الأفكار. وجد الباحثون أنه لكي يفهم الذكاء الاصطناعي مستخدمًا ما، فإنه يحتاج إلى ما هو أكثر من مجرد استرجاع البيانات؛ يحتاج إلى ربط المصادر المختلفة، وتجميعها عبر الزمن، والتعميم للعثور على السمات الخفية.

الخلاصة

تظهر لنا "ستوكا" أننا لا نزال بعيدين عن امتلاك ذكاء اصطناعي "يعرفنا" حقًا. وبينما يصبح المساعدون الرقميون أفضل في تذكر أرقام هواتفنا ومواعيد اجتماعاتنا، إلا أنهم لا يزالون يواجهون صعوبة في فهم عاداتنا وشخصياتنا. تشير الدراسة إلى أن الاختراق الكبير القادم لن يأتي من مجرد إعطاء الذكاء الاصطناعي ذاكرة أكبر، بل من تعليمه كيفية نسج القطع المبعثرة والفوضوية لحياتنا الرقمية في صورة متماسكة لمن نكون حقًا. وحتى ذلك الحين، قد يعرف أصدقاؤنا من الذكاء الاصطناعي ما فعلناه بالأمس، لكنهم لا يعرفون حقيقتنا بعد.

ملخص تقني: Setoka – معيار مرجعي للفهم الهرمي للمستخدم في الوكلاء المخصصين

1. بيان المشكلة

يتم نشر الوكلاء المخصصين القائمين على النماذج اللغوية الكبيرة (LLMs) بشكل متزايد للمساعدة في خدمة المستخدمين، مما يتطلب القدرة على استرجاع الحقائق الصريحة واستنتاج الخصائص الشخصية المجردة. ومع ذلك، فإن معايسات الذاكرة الحالية تقيم بشكل أساسي قدرة الوكيل على استرجاع المعلومات المذكورة صراحة في سجلات المحادثات، وهي تفشل في تقييم الفهم الهرمي للمستخدم، وتحديداً القدرة على دمج الأدلة الضمنية عبر مصادر بيانات متباנה (مثل النصوص غير المهيكلة، السجلات المهيكلة، والرسوم البيانية/الغراف) لاستنتاج سمات المستخدم العميقة مثل أنماط السلوك والسمات الشخصية.

يواجه بناء معيار لهذا المهمة أربعة تحديات رئيسية:

C1 (الفهم الهرمي للمستخدم): تختلف متطلبات الاستدلال من مجرد استرجاع الحقائق البسيطة إلى استنتاج الشخصية المعقد، مما يستلزم إطار عمل يميز بين هذه المستويات.
C2 (أخذ عينات الشخصية الواقعية): يجب أن تعكس الشخصيات الاصطناعية أفراداً متماسكين حيث تتبع تركيبات السمات الارتباطات النفسية في العالم الحقيقي، بدلاً من كونها حزمًا عشوائية من السمات.
C3 (رسم خرائط السلوك والسمات المتنوعة): يمكن لسمة شخصية واحدة أن تظهر في سلوكيات متنوعة عبر سياقات مختلفة؛ لذا يجب أن تتجنب طرق التوليد الربط النمطي.
C4 (التوليد القابل للتوسع والمتسق): يتطلب توليد بيانات مستخدم طويلة الأمد وغير متجانسة الحفاظ على الاتساق عبر السجلات والحفاظ على القيود السلوكية بمرور الوقت دون تجاوز سعة السياق.

2. المنهجية

2.1 إطار عمل Setoka

يحدد Setoka تسلسلاً هرمياً من أربعة مستويات لفهم المستخدم، يستند إلى علم النفس المعرفي وعلم نفس الشخصية:

الذاكرة الدلالية (SM): استرجاع الحقائق الصريحة من سجلات فردية (مثل رقم الهاتف).
الذاكرة العرضية (EM): دمج السجلات التي تصف حدثاً معيناً (مثل "ماذا حدث في 20 أبريل؟").
أنماط السلوك (BP): تجميع الأحداث بمرور الوقت لتحديد الانتظامات (مثل "كم مرة يتواصل المستخدم اجتماعياً؟").
السمات الشخصية (PT): التعميم عبر أنماط سلوكية وفئات أحداث متعددة لاستنتاج الاستعدادات الكامنة (مثل "ما مدى انبساطية المستخدم؟").

يصيغ الإطار الانتقال بين المستويات باستخدام أربعة عمليات: الاختيار ( $\sigma$ )، الربط ( $\lambda$ )، التجميع ( $\gamma$ )، والتعميم ( $\rho$ ). تشكل مجموعات الأدلة سلسلة متداخلة ( $E_{SM} \subseteq E_{EM} \subseteq E_{BP} \subseteq E_{PT}$ )، حيث تتطلب المستويات الأعلى نطاقات أدلة أوسع وتحويلات إضافية.

2.2 خط إنتاج التوليد القائم على القياس النفسي

لمعالجة تحديات توليد بيانات واقعية ومتسقة، يستخدم Setoka خط إنتاج من الأعلى إلى الأسأس:

أخذ عينات السمات المدركة للارتباط: بدلاً من أخذ عينات السمات بشكل مستقل، يقوم خط الإنتاج بسحب ناقلات الشخصية (Big Five) من توزيع غاوسي متعدد المتغيرات. يتم اشتقاق مصفوفة التباين من الارتباطات القياسية النفسية من الدراسات التحليلية، مما يضمن أن تعكس الشخصيات الاصطناعية التداخلات الواقعية بين السمات.
توليد السلوك الموجه بالمقياس النفسي: لتجنب التوليد النمطي من قبل النماذج اللغوية الكبيرة، يتم رسم خرائط ناقلات السمات المأخوذة إلى أنماط سلوكية باستخدام مقاييس نفسية معتمدة (تحديداً BFI-2). يقوم هذا بتحويل درجات السمات إلى استجابات على مستوى العناصر، والتي تُترجم بعد ذلك إلى أنماط سلوكية ملموسة ومتنوعة.
شجرة التوليد المرتكزة على الأحداث: لضمان الاتساق طويل الأمد، يتم توسيع أنماط السلوك إلى تسلسل هرمي زمني للأحداث. يتم توليد الأحداث الابنة بالتتابع للحفاظ على الاستمرارية، بينما يتم توسيع التفاصيل بالتوازي. تُشتق جميع السجلات غير المتجانسة (السجلات، العلاقات، الرسائل) من "مصدر حقيقة" واحد (الحدث) للحفاظ على الاتساق عبر المخططات (schemas).
بناء الاستعلامات: يتم إنشاء حالات الاختبار $(q, a, E)$ تلقائياً بناءً على الحقيقة الأرضية لعملية التوليد. تم تصميم الاستعلامات لعزل عملية الاستدلال المحددة المطلوبة في كل مستوى (مثل استعادة الإشارات الجزئية لـ EM، أو التجميع الإحصائي لـ BP).

2.3 الإعداد التجريبي

قام المؤلفون بتطبيق Setoka على 10 ملفات تعريف مستخدم اصطناعية تحتوي على حوالي 1,600 سجل غير متجانس عبر 23 مخططاً (schema) وثلاثة نماذج بيانات.

النماذج التي تم تقييمها: ثلاثة نماذج لغوية كبيرة (DeepSeek-V4-Flash, Ministral 3 14B, Gemma 3 4B-IT).
أنظمة الذاكرة: خمسة أنظمة تمثل نماذج مختلفة: هيكلية رسوم بيانية (Cognee, HippoRAG 2)، قائمة على الحقائق المسطحة (Mem0)، وهرمية (MemMachine, Letta).
الأساس المرجعي (Baseline): نظام DBQuery حيث يتفاعل النموذج اللغوي الكبير مباشرة مع قواعد البيانات الخام دون بناء ذاكرة وسيطة.
المقاييس: درجات تشابه الحكم اللغوي (LLM-judge) لـ SM و EM و BP؛ ومعامل ارتباط كيندال (Kendall's rank correlation coefficient) لـ PT (لتقييم الترتيب النسبي الصحيح للمستخدمين).

3. النتائج الرئيسية

تراجع الأداء مع زيادة التجريد: تنخفض الدقة بشكل رتيب مع زيادة مستوى التجريد. انخفضت أفضل الدرجات من 0.85 (SM) إلى 0.46 (EM)، و 0.28 (BP)، و 0.24 (PT). واتبع متوسط الدرجات اتجاهاً مشابهاً، حيث انخفض من 0.37 إلى 0.07.
بناء الذاكرة مقابل الاسترجاع المباشر:
- تفوق DBQuery على أنظمة الذاكرة في SM (0.85) من خلال استرجاع التفاصيل الدقيقة من سجل واحد، لكنه أدى أداءً ضعيفاً في EM (0.27) حيث يتطلب الأمر دمج سجلات متعددة.
- حقق MemMachine (الهرمي) أفضل درجة في EM (0.46)، ويُعزى ذلك إلى حفاظه على التفاصيل الدقيقة مع استرجاع السياق الزمني.
- تفوقت الأنظمة ذات الهيكل الرسومي (Cognee, HippoRAG 2) عموماً في مهام BP و PT، مما يشير إلى أن ربط السجلات ذات الصلة يساعد في تجميع السلوكيات المتكررة إلى سمات عليا.
معدل الإجابة مقابل الكفاءة: كانت النتيجة المثيرة للجدل هي أن معدلات الإجابة زادت مع زيادة التجريد (72% لـ SM إلى শতাংশ 93% لـ PT) بينما انخفضت الدقة. يشير هذا إلى أن النماذج أكثر عرضة لـ "التخمين" للسمات المجردة عند غياب الأدلة، بينما تمتنع عن الإجابة على الأسئلة الحقائقية الملموسة إذا غابت الأدلة.

4. المساهمات والأهمية

يدعي البحث تقديم المساهمات التالية:

تحديد قصور: يسلط الض الضوء على أن المعايسات الحالية لا تقيم بشكل كافٍ الفهم متعدد المستويات للمستخدم المطلوب للوكلاء المخصصين، خاصة فيما يتعلق بدمج البيانات غير المتجانسة.
أول إطار عمل قائم على علم النفس: يقدم Setoka أول إطار عمل يمتد من الذكريات الملموسة إلى الخصائص المجردة، مع تحديد نطاق الأدلة وعمليات الاستدلال لكل مستوى بشكل صريح.
خط إنتاج قائم على القياس النفسي: طور خط إنتاج قابل للتوسع ينتج بيانات مستخدم غير متجانسة متماسكة وقابلة للتتبع ومستندة إلى النظرية النفسية، مما يسمح باستعلامات محددة المستويات مع أدلة قابلة للتحقق.
تقييم شامل: من خلال تقييم 3 نماذج و5 أنظمة ذاكرة، يوضح البحث أن استرجاع الحقائق البسيطة غير كافٍ للفهم العميق للمستخدم.

الأهمية:
يخلص المؤلفون إلى أن آليات الذاكرة الحالية غير كافية للمهام التي تتطلب التكامل عبر المصادر والتجريد فوق السلوك طويل الأمد. تحفز هذه النتائج تصميم أنظمة ذاكرة قادرة على الربط، والتجميع، والتعميم لأدلة المستخدم بما يتجاوز الاستدعاء الحرفي. يعمل Setoka كمنصة اختبار لدفع التقدم في هذه المجالات، موضحاً أنه بينما يتحسن الاسترجاع، فإن القدرة على استنتاج السمات الكامنة من بيانات مجزأة وغير متجانسة تظل تحدياً كبيراً لم يتم حله بعد.