Language Models Don't Know What You Want: Evaluating Personalization in Deep Research Needs Real Users

إليك ملخص تقني مفصل لورقة البحث بعنوان: "النماذج اللغوية لا تعرف ما تريد: تقييم التخصيص في البحث العميق يتطلب مستخدمين حقيقيين."

1. بيان المشكلة

تصبح أنظمة البحث العميق (Deep Research - DR)، التي تقوم بتلخيص الأدبيات العلمية للإجابة على استفسارات معقدة، ضرورية للباحثين. ومع ذلك، تفتقر أدوات البحث العميق الحالية إلى التخصيص (Personalization)؛ فهي تعامل جميع المستخدمين ككيانات عامة، وتفشل في تكييف التقارير لتناسب خلفية الباحث، أو مستوى خبرته، أو عمله الجاري.

تحدد الورقة فجوة حرجة في تقييم أنظمة البحث العميق المخصصة:

• الاعتماد المفرط على المقاييس غير المتصلة (Offline Metrics): يعتمد مجتمع معالجة اللغات الطبيعية (NLP) بشكل أساسي على تقييم التخصيص باستخدام مجموعات بيانات اصطناعية وحكام من النماذج اللغوية الكبيرة (LLM).
• "فجوة المحاكاة" (The Simulation Gap): يفترض المؤلفون أن هذه الطرق غير المتصلة تفشل في رصد الاحتياجات الدقيقة للمستخدمين وأنماط الفشل المحددة التي لا يمكن إلا للمستخدمين الحقيقيين تحديدها. ويجادلون بأن حكام الـ LLM "سهلي الاستخدام" غير كافين ليكونوا بدائل حقيقية لرضا المستخدم في مهام التخصيص المعقدة.

2. المنهجية

قدم المؤلفون نظام MyScholarQA (MYSQA)، وهو أول نظام بحث عميق مخصص مفتوح المصدر، وقاموا بتقييمه من خلال منهجية متعددة المراحل تجمع بين الاختبارات المرجعية غير المتصلة ودراسات المستخدم عبر الإنترنت.

أ. النظام: MyScholarQA (MYSQA)

يعمل MYSQA على إطار عمل وسائط فائقة تكيفي (adaptive hypermedia framework) يتكون من ثلاث خطوات متميزة:

1. استنتاج الملف الشخصي (Profile Inference): يستنتج النظام ملفاً شخصياً مستمراً ($P$) من مجموعة من الأوراق البحثية التي يختارها المستخدم. وباستاستخدام نموذج لغوي كبير (LLM)، يقوم النظام بتوليد استنتاجات على مستوى الجمل عبر خمسة أبعاد: المعرفة، أسلوب البحث، أسلوب الكتابة، الجمهور، والمواقف (Positions). ويمكن للمستخدمين تعديل هذه الاستنتاجات أو تعطيلها.
2. اقتراح الإجراء (Action Proposal): عند تلقي استعلام ($q$)، يقترح MYSQA قائمة من الإجراءات المخصصة ($A$) المصممة لتناسب ملف المستخدم. تقوم هذه الإجراءات بتعديل عمليات الاسترجاع، والتنظيم، وتوليد التقرير (مثل: "التركيز على أوراق الأسئلة والأجوبة العلمية"، "تخطي التعريفات الأساسية"). ويمكن للمستخدمين تبديل هذه الإجراءات أو تعديلها.
3. توليد التقرير (Report Synthesis): يقوم خط معالجة (pipeline) متعدد النماذج اللغوية الكبيرة بتوليد تقرير متعدد الأقسام يجيب على الاستعلام مع تنفيذ الإجراءات المختارة. يبرز النظام مساحات نصية محددة حدث فيها التخصيض لضمان الشفافية.

ب. استراتيجية التقييم

تتبع الدراسة مسار "دراسة تكوينية $\leftarrow$ تقييم غير متصل $\leftarrow$ تقييم عبر الإنترنت":

1. الدراسة التكوينية (Formative Study): أكدت دراسة محدودة النطاق (5 مستخدمين) واجهة المستخدم وسير العمل، حيث أكد المستخدمون أن بناء الملف الشخصي القائم على الأوراق البحثية كان بديهياً، لكنهم رغبوا في مزيد من الشفافية.
2. التقييم غير المتصل (الاصطناعي):
   • مجموعة البيانات: تم إنشاء معيار مرجعي اصطناعي يربط بين 572 استعلاماً للبحث العميق ومجموعات أوراق بحثية محاكية (مشتقة من CS-PaperSum).
   • المقاييس: استخدمت نماذج LLM للحكم (مثل Gemini-2.5 Flash، وGPT-4.1، إلخ) لتقييم دقة الملف الشخصي، وتماسك الإجراءات، وجودة التقرير (دقة الاستشهاد، والالتزام بالإجراءات).
3. التقييم عبر الإنترنت (مستخدمون حقيقيون):
   • تصميم الدراسة: أُجريت مقابلات مدتها 90 دقيقة مع 21 مستخدماً نشطاً في البحث العميق (باحثين في علوم الحاسوب). قام المشاركون ببناء ملفاتهم الشخصية، واختيار الإجراءات، وتقييم التقارير أثناء "التفكير بصوت عالٍ".
   • محاكاة حكم الـ LLM: حاول المؤلفون تكرار النتائج التي تم الحصول عليها عبر الإنترنت في بيئة غير متصلة من خلال تدريب حكام LLM للتنبؤ برضا المستخدم بشأن أنواع الأخطاء المحددة التي وُجدت في المقابلات.

3. المساهمات الرئيسية

1. نظام MYSQA: أول أداة بحث عميق مخصصة مفتوحة المصدر مع نسخة تجريبية حية، تتميز بسير عمل ثلاثي الخطوات (ملف شخصي $\leftarrow$ إجراء $\leftarrow$ تقرير) يسمح بالتحكم من قبل المستخدم والشفافية.
2. المعيار المرجعي الاصطناعي: مجموعة بيانات جديدة ومجموعة مقاييس للتقييم غير المتصل للبحث العميق المخصص، تُظهر تفوق MYSQA على النماذج المرجعية (بما في ذلك الأدوات التجارية مثل OpenAI DR وPerplexity) في دقة الاستشهاد والالتزام بالإجراءات.
3. اكتشاف "الأخطاء غير المرئية": حددت الدراسة تسعة أنماط دقيقة للفشل في البحث العميق المخصص والتي أغفلتها المقاييس غير المتصلة وحكام الـ LLM تماماً. وتشمل هذه الأنماط:
   • أخطاء الملف الشخصي: المبالغة في ادعاء الخبرة، أو الخطأ في تحديد الأعراف في المجال، أو صياغة تباينات كاذبة.
   • أخطاء الإجراء: إجراءات ضيقة جداً (مفرطة في التقييد) أو خارج الموضوع.
   • أخطاء التقرير: محتوى غامض للغاية (غير معلوماتي) أو يتجاهل المتطلبات الضمنية للمستخدم.
4. فشل حكام الـ LLM: أثبت المؤلفون أن حكام الـ LLM المتطورين لا يمكنهم التنبؤ برضا المستخدم فيما يتعلق بهذه الأخطاء الدقيقة؛ حيث لم تكن دقة تنبؤهم برضا المستخدم عن هذه الأخطاء المحددة أفضل من قاعدة التصويت للأغلبية، مما يثبت أن التقييم الاصطناعي غير كافٍ للتخصيص.
5. دروس التصميم: أربعة دروس رئيسية لتصميم البحث العميق المخصص مستقبلاً:
   • الموازنة بين تحكم المستخدم والجهد المبذول (المستخدمون مستعدون لاستثمار الجهد مسبقاً من أجل فائدة طويلة الأمد أفضل).
     يدر التخصيص سهلاً للاستيعاب (الملفات والإجراءات المهيكلة أفضل من هندسة الأوامر الطويلة).
   • تجاوز الأوراق البحثية (دمج الأكواد البرمجية، الصيغ الرياضية، وغيرها من الوسائط).
   • استخدام تصميمات تقييم مختلطة (التقييم غير المتصل لجودة الأساسيات، والتقييم عبر الإنترنت لقيمة المستخدم).

4. النتائج

• الأداء غير المتصل: حقق MYSQA درجات متفوقة مقارنة بالنماذج المرجعية (SQA, STORM, OpenAI DR) في 3 من أصل 5 مقاييس لجودة التقرير، وتفوق باستمرار على نظامه الأساسي (SQA) في الالتزام بالإجراءات.
• الرضا عبر الإنترنت: كان المستخدمون راضين عن 73% من مخرجات MYSQA (الملفات الشخصية، الإجراءات، والتقارير).
• النتيجة الحاسمة: رغم الدرجات العالية في التقييم غير المتصل، كشفت الدراسة عبر الإنترنت أن 27% من المخرجات احتوت على عيوب جوهرية في التخصيص. والأهم من ذلك، عندما طُلب من حكام الـ LLM التنبؤ بهذه الإخفاقات المحددة (مثل: "هل استنتاج الملف الشخصي هذا واسع للغاية؟")، فشلوا في التفوق على التخمين العشوائي.
  • مثال: قد يصنف حكم الـ LLM ملفاً شخصياً على أنه "دقيق" لأنه يستشهد بالأوراق البحثية، بينما يرفضه المستخدم البشري لأنه استنتاج عام جداً أو يسيء تمثيل موقفه البحثي المحدد.

5. الأهمية والخاتمة

تقدم الورقة حجة تغير المفاهيم السائدة في مجتمع معالجة اللغات الطبيعية (NLP): لا يمكن حل أو التحقق من التخصيص حصرياً من خلال البيانات الاصطناعية وحكام الـ LLM.

• التحول المنهجي: تتحدى الورقة الاتجاه السائد المتمثل في استخدام "النموذج اللغوي كحكم" (LLM-as-a-judge) لمهام التخصيص، موضحة أن هذه النماذج تفتقر إلى الفهم السياقي اللازم لرصد عدم التطابق الدقيق بين مخرجات النظام والهوية الفعلية للمستخدم واحتياجاته.
• التصميم المتمحور حول الإنسان: يدعو المؤلفون إلى ركيزة "المستخدم الحقيقي" في أبحاث التخصيص. ويجادلون بأنه بينما تكون المعايير الاصطناعية مفيدة للتحقق من الوظائف الأساسية (مثل دقة الاستشهاد)، فإن التقدم الحقيقي يتطلب مستخدمين حقيقيين للكشف عن الفروق النوعية الدقيقة التي تحدد الفائدة الحقيقية.
• الاتجاهات المستقبلية: تدعو الورقة إلى إجراء درسات طولية وتقييمات ذات منهجية مختلطة لتوجيه تطوير أنظمة البحث العميق التي لا تكتفي بكونها صحيحة واقعياً، بل تتوافق بعمق مع سير عمل الباحثين وهوياتهم الفردية.

باختصار، تثبت الورقة أنه بينما يمكن لأدوات البحث العميق تلخيص المعلومات جيداً، إلا أنها حالياً "لا تعرف ما تريد" بمعناه العميق والمخصص، والطريقة الوحيدة لإصلاح ذلك هي الاستماع إلى المستخدمين الحقيقيين بدلاً من الاعتماد على النماذج المحاكية.