Beyond Confidence: Test-Time Scaling for Multi-Turn Search Agents via Retrieval Grounding
تحدد هذه الورقة أن التصويت القائم على الثقة يفشل في وكلاء البحث متعدد الخطوات بسبب "تضخم النسخ" الناتج عن المستندات المسترجعة، وتقترح التصويت المرتكز على الاسترجاع (RGV)، وهو أسلوب يقوم بتقييم مسارات التنفيذ بناءً على التداخل اللفظي مع المصادر المسترجعة لتحقيق تحسينات كبيرة في الدقة عبر معايير قياسية متعددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطنا-عي المتطور بسرعة، أصبحت النماذج اللغوية الكبيرة بارعة في التفكير المنطقي عبر المسائل المعقدة. ولجعل هذه الأنظمة أكثر موثوقية، غالبًا ما يطلب الباحثون منها توليد إجابات متعددة محتملة لنفس السؤال ثم التصويت على الأفضل بينها. وبالنسبة للمهام البسيطة، ظهرت حيلة ذكية: حيث يزن النظام كل إجابة بناءً على مدى "ثقة" النموذج بنفسه أثناء كتابتها. فإذا كان النموذج يولد كلمات بيقين عالٍ، تحصل تلك الإجابة على صوت أثقل. وتعمل هذه الطريقة بشكل جيد عندما يعمل النموذج في فراغ، معتمدًا فقط على تدريبه الداخلي. ومع ذلك، فإن جيلًا جديدًا من وكلاء الذكاء الاصطناعي يغير قواعد اللعبة؛ فهؤلاء الوكلاء لا يكتفون بالتفكير فحسب، بل يبحثون أيضًا. إنهم يعملون كباحثين رقميين، يستقطبون وثائق خارجية من الإنترنت للإجابة على الأسئلة، ويقرؤونها، ثم يكتبون استجابتهم النهائية بناءً على تلك المعلومات الجديدة. وقد أدى هذا التحول من التفكير المنعزل إلى البحث النشط إلى خلق نقطة عمياء في كيفية تقييم جودة إجاباتهم.
لقد اكتشف فريق من الباحثين من جامعات في الولايات المتحدة وآسيا أن الطريقة القديمة لقياس الثقة تفشل فشلًا ذريعًا في هذه البيئة الجديدة. فقد وجدوا أنه عندما يقوم وكيل الذكاء الاصطناي بنسخ نص من وثيقة استردها للتو، فإن مقياس الثقة الداخلي للنموذج يضطرب تمامًا. فالنظام يرى الكلمات المنسوخة، ولأنها موجودة أمامه مباشرة في ذاكرته القريبة، يصبح متيقنًا بشكل مصطنع من أنه يفعل الشيء الصحيح. وهذا يخلق شعورًا زائفًا بالأمان؛ فقد ينسخ النموذج حقيقة خاطئة من مقال مضلل، ومع ذلك تصر إشاراته الداخلية على أنه صحيح. ويطلق الباحثون على هذه الظاهرة اسم "تضخم النسخ" (copy inflation). الأمر يشبه طالبًا يُسمح له بالنظر إلى نموذج الإجابة أثناء كتابة مقالته؛ ففعل نسخ الإجابة يجعله يشعر بثقة هائلة، حتى لو كان النموذج الذي ينظر إليه خاطئًا. هذا التضخم يؤدي إلى تسطيح الفروق بين الإجابات الجيدة والسيئة، مما يتسبب في انهيار نظام التصويت ليتحول إلى مجرد عدّ لعدد المرات التي تظهر فيها الإجابة، بدلًا من كونه اختيارًا ذكيًا للأكثر موثوقية.
ولحل هذه المشكلة، اقترح الباحثون طريقة جديدة للتصويت تنظر إلى خارج عقل النموذج تمامًا. فبدلاً من سؤال النموذج عن مدى تأكده، اقترحوا التحقق من مدى تطابق الإجابة النهائية مع الوثائق الفعلية التي وجدها الوكيل. وقد أطلقوا على هذه الطريقة اسم "التصويت المرتكز على الاسترداد" (Retrieval-Grounded Voting). العملية مباشرة: بعد أن ينتهي الوكيل من عمله، يقارن النظام الكلمات الموجودة في الإجابة النهائية مقابل نص الوثائق التي استردها الوكيل. فإذا كانت الإجابة مبنية مباشرة من الأدلة الموجودة، فإنها تحصل على درجة عالية. أما إذا كانت الإجابة غامضة أو تعتمد على كلمات لا تظهر في المصدر، فإنها تحصل على درجة منخفضة. يتجاوز هذا النهج الإشارات الداخلية الملوثة للنموذج؛ فهو لا يتطلب من النموذج إعادة تقييم نفسه، ولا يحتاج إلى قدرات حوسبة إضافية لتوليد أفكار جديدة، بل يتحقق ببساطة من العلاقة بين الإجابة والدليل، وهي علاقة قائمة بشكل مستقل عن ثقة النموذج.
اختبر الفريق هذه الفكرة عبر أربعة معايسات مختلفة تتضمن مهام بحث معقدة وخمسة نماذج مختلفة من النماذج اللغوية الكبيرة. وكانت النتائج متسقة وهامة؛ حيث تفوقت الطريقة الجديدة باستمرار على التصويت القائم على الثقة التقليدي، محققة تحسنًا في الدقة يصل إلى 5.4 نقطة مئوية. وكان التحسن أكثر دراماتيكية في الحالات الأكثر صعوبة، حيث تظهر الإجابة الصحيحة في أقلية صغيرة فقط من المحاولات. وفي هذه السيناريوهات الصعبة، كانت الطريقة الجديدة أكثر دقة بنسبة 35 بالمائة من الطريقة القديمة. وهذا أمر بالغ الأهمية لأنه يعني أن النظام يمكنه العثور على الإجابة الصحيحة حتى عندما تكون معظم محاولاته خاطئة، بشرط أن تكون المحاولة الصحيحة مرتكزة بشكل سليم على الأدلة المستردة. كما وجد الباحثون أن هذه الطريقة الجديدة فعالة للغاية؛ فهي لا تضيف أي تكلفة تُذكر إلى العملية، إذ تستغرق أقل من ميلي ثانية لكل إجابة على معالج كمبيوتر قياسي، بينما تتطلب الطرق الأخرى التي تحاول معالجة مشكلات الثقة حسابات إضافية مكلفة أو استدعاءات إضافية للنموذج.
كما كشفت الدراسة أن مشكلة "تضخم النسخ" ليست خللًا نادرًا، بل هي ميزة جوهرية لكيفية عمل وكلاء البحث هذه. فقد قاس الباحثون أنه في كثير من الحالات، تكون الغالبية العظمى من الكلمات التي يكتبها الوكيل منسوخة مباشرة من الوثائق التي استردها. وهذا المعدل المرتفع من النسخ هو ما يجعل إشارات الثقة الداخلية غير موثوقة. ومن خلال نقل التركيز إلى الأدلة الخارجية، أظهر الباحثون أن جودة الإجابة تُقاس بأفضل طريقة من خلال اتصالها بالمادة المصدرية، وليس من خلال شعور النموذج الداخلي باليقين. ويشير هذا الاكتشاف إلى درس أوسع للمجال: عندما يعتمد وكيل الذكاء الاصطناعي على معلومات خارجية، فإن الإشارات التي يولدها حول ثقته الخاصة يمكن أن تكون مضللة. وأكثر الطرق موثوقية للتحقق من عمله هي النظر في الأدلة التي استخدمها، وليس في المشاعر التي يعبر عنها.
لا تدعي هذه الدراسة أنها حلت كل مشاكل وكلاء الذكاء الاصطناي. فالطريقة الجديدة لا تزال تعتمد على جودة نتائج البحث؛ فإذا وجد الوكيل وثائق سيئة، فلا يمكن للطريقة أن تعالج الإجابة بشكل سحري. علاوة على ذلك، تقيس الطريقة مدى ارتكاز الإجابة في النص، وليس ما إذا كان النص نفسه حقيقيًا. فإذا كانت الوثائق المستردة تحتوي على كذبة، فقد لا تزال الطريقة تصنف الإجابة على أنها مرتكزة بقوة. ومع ذلك، توفر الدراسة مسارًا واضحًا وعمليًا لتحسين كيفية تجميع عمل محاولات الذكاء الاصطناي المتعددة. فمن خلال الخروج من السياق الداخلي للنموذج والنظر إلى الأدلة الملموسة التي جمعها، يمكن للباحثين بناء أنظمة أكثر قوة ودقة، وأقل عرضة لأوهام الثقة التي تنشأ عندما تقرأ الآلات ما تجده وتكرره. ويؤكد هذا العمل أنه في عصر الذكاء الاصطنا-عي القائم على البحث، فإن الإشارة الأكثر موثوقية ليست صوت النموذج، بل الوثائق التي يحملها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.