DRACULA: Hunting for the Actions Users Want Deep Research Agents to Execute
تقدم هذه الورقة DRACULA، وهي أول مجموعة بيانات تلتقط ملاحظات المستخدم الخبير حول الإجراءات الوسيطة لوكلاء البحث العلمي العميق، مما يكشف أن الاستفادة من سجل اختيار المستخدم يحسن بشكل كبير من التنبؤ بالإجراءات المفضلة ويسلط الضوء على التحدي الحاسم المتمثل في تقرير أي الإجراءات يجب تنفيذها بدلاً من مجرد كيفية تنفيذها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعد بحث فائق الذكاء (وكيل ذكاء اصطناي) يمكنه قراءة آلاف الأوراق العلمية وكتابة تقرير طويل ومفصل لك. في الماضي، إذا لم يعجبك التقرير النهائي، لم يكن بإمكانك سوى قول: "هذا سيء" أو "هذا جيد". لكن هذا يشبه إخبار طباخ بأن "الحساء مذاقه خاطئ"، دون أن تخبره ما إذا كان قد استخدم الكثير من الملح، أو نسي البصل، أو أحرق الثوم. أنت لا تعرف أي خطوة هي التي أخطأت، لذا لا يستطيع الطباخ حقاً التعلم كيف يصلح الأمر في المرة القادمة.
تقدم هذه الورقة البحثية، DRACULA، طريقة جديدة للتحدث مع مساعدي البحث هؤلاء. بدلاً من مجرد الحكم على "الحساء" النهائي، طلب الباحثون من المستخدمين تذوق المكونات والخطوات قبل صنع الحساء حتى.
إليك تفصيل لما فعلوه وما وجدوه، باستخدام تشبيهات بسيية:
١. المشكلة: تقرير "الصندوق الأسود"
عادةً، عندما يكتب الذكاء الاصطناعي تقريراً بحثياً، فإنه يتخذ مئات القرارات الصغيرة على طول الطريق: أي الأوراق يجب أن أقرأ؟ هل يجب أن أضيف رسماً بيانياً؟ هل يجب أن أشرح هذا المفهوم باستخدام تشبيه؟
في السابق، لم يكن المستخدمون يرون سوى النتيجة النهائية. إذا كان التقرير مملاً، لم يكن الذكاء الاصطناعي يعرف ما إذا كان السبب هو اختيار الأوراق الخاطئة أم أن أسلوب الكتابة كان جامداً للغاية. لقد كان "صندوقاً أسود".
٢. الحل: نهج "بطاقة الوصفة"
بنى الباحثون نظاماً حيث يعرض النظام على المستخدم قائمة من الإجراءات المحتملة (مثل بطاقة وصفة) قبل أن يكتب الذكاء الاصطناعي التقرير.
- القائمة: "يمكنني إضافة قسم حول مجموعات البيانات"، "يمكنني شرح هذا بمثال من الواقع"، أو "يمكنني التركيز فقط على آخر خمس سنوات من الأبحاث".
- مهمة المستخدم: يختار المستخدم الإجراءات التي يريدها (مثل تحديد الخيارات في وصفة) ويوضح السبب.
- النتيجة: يقوم الذكاء الاصطناعي بعد ذلك بكتابة التقرير باستخدام تلك الإجراءات المختارة فقط. أخيراً، يحكم المستخدم: "هل فعلت حقاً ما طلبته منك؟"
لقد جمعوا أكثر من ٨٠٠٠ من هذه "خيارات الإجراءات" و ٥٠٠٠ من "عمليات التحقق من التنفيذ" من ١٩ باحثاً خبيراً في علوم الكمبيوتر.
٣. الاكتشاف الكبير: "معرفة ما تريد" أصعب من "القيام به"
وجد الباحثون شيئين مفاجئين:
- الذكاء الاصطناعي جيد جداً في اتباع الأوامر. بمجرد أن يقول المستخدم "أضف رسماً بيانياً"، يستطيع الذكاء الاصطناعي عادةً رسم رسم بياني جيد.
- الذكاء الاصطناعي سيء جداً في تخمين ما تريده في المقام الأول. غالباً ما يقترح الذكاء الاصطناعي إجراءات خاطئة. قد يقترح إضافة رسم بياني بينما كنت تريد فقط ملخصاً بسيطاً.
التشبيه: تخيل نادلاً بارعاً في طهي شريحة اللحم تماماً كما طلبت (متوسطة الاستواء مع زبدة الثوم). لكن النادل سيء جداً في تخمين أنك كنت تريد سلطة بدلاً من ذلك. المشكلة ليست في الطهي؛ بل في التخمين.
٤. تجربة "قراءة الأفكار"
سأل الفريق: هل يمكننا تدريب كمبيوتر على تخمين ما سيختاره الإنسان؟
حاولوا تعليم نماذج الذكاء الاصطناعي التنبؤ بخيارات المستخدم من خلال النظر في أدلة مختلفة:
- الدليل (أ): ما هي الأوراق التي قرأها المستخدم من قبل؟ (غير مفيد كثيراً).
- الدليل (ب): ماذا قال المستخدم عما يحبه؟ (مثلاً: "أحب التقارير القصيرة"). (غير مفيد كثيراً).
- الدليل (ج): ما هي الإجراءات التي اختارها المستخدم فعلياً في الماضي؟ (كان هذا هو الفائز).
الدرس المستفاد: أفعال الناس تتحدث بصوت أعلى من كلماتهم. إذا أخبرت صديقك "أنا أحب الطعام الحار"، ولكنك تطلب دائماً حساءً غير حار، فيجب على صديقك أن يستمع إلى ما تطلبه، وليس إلى ما تقوله. تعلم الذكاء الاصطناعي أن النظر في "علامات الاختيار" السابقة للمستخدم كان أفضل طريقة لتخمين ما سيختاره في المرة القادمة.
٥. مشكلة "تغيير الرأي"
وجد الباحثون أيضاً أن تفضيلات البشر متقلبة. أحياناً، يختار المستخدم إجراءً اليوم، ولكن إذا سألته مرة أخرى بعد بضعة أشهر، فقد يختار شيئاً مختلفاً لأن أهدافه تغيرت.
- مثال: قد يريد المستخدم "خطوات تقنية مفصلة" اليوم لأنه يبني مشروعاً. في الشهر التالي، قد يريد "ملخصات رفيعة المستوى" لأنه يحاول فقط فهم الأساسيات.
- الخلاصة: لا يمكنك التنبؤ بما يريده الإنسان بدقة للأبد. أحياناً، عليك فقط أن تسأله (مثل قائمة "بطاقة الوصفة") لأن أهدافه تتغير مثل الرياح.
٦. النتيجة النهائية: "وصفة" أفضل
لأنهم تعلموا أن النظر في الأفعال الماضية يساعد، فقد بنوا نظاماً يستخدم تاريخ المستخدم لاقتراح "عناصر القائمة" بشكل أفضل تلقائياً.
- عندما يطلب مستخدم لديه تاريخ في اختيار "جداول المقارنة" سؤالاً جديداً، يكون النظام أكثر عرضة لاقتراح: "هل يجب أن أضيف جدول مقارنة؟"
- جعل هذا المستخدمين أكثر سعادة بالاقتراحات، حتى لو لم يكن النظام يعرف كل شيء عنهم بشكل مثالي.
الملخص
DRACULA هو مجموعة بيانات ودراسة توضح أنه بالنسبة لعملاء أبحاث الذكاء الاصطناعي، فإن الجزء الأصعب ليس كتابة التقرير، بل هو تحديد أي الخطوات يجب اتخاذها لجعل التقرير مفيداً. من خلال السماح للمستخدمين باختيار الخطوات (الإجراءات) قبل بدء العمل، ومن خلال دراسة تلك الاختيارات، يمكننا بناء ذكاء اصطناٍ يفهمنا بشكل أفضل.
تخلص الورقة البحثية إلى أنه بينما يتحسن الذكاء الاصطناعي في القيام بالعمل، فإن التحدي الحقيقي هو تقرير ما يجب القيام به في المقام الأول. وأفضل طريقة لحل ذلك هي الاستماع إلى ما يفعله المستخدمون حقاً، وليس فقط ما يقولون إنهم يريدونه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.