DS@GT ARC at Touché: Large Language Models for Retrieval-Augmented Debate
تقدم هذه الورقة نظام المناظرة المعزز بالاسترجاع الخاص بفريق DS@GT ARC لمسابقة Touché 2025، والذي يستخدم ستة من النماذج اللغوية الكبيرة الرائدة لتوليد الاستجابات والتقييم، بينما تكشف عن أنه على الرغم من إظهار المقيمين من النماذج اللغوية الكبيرة المتعددة توافقاً داخلياً قوياً، إلا أن هذا الإجماع يفشل في التنبؤ بشكل موثوق بالأداء الرسمي، لا سيما فيما يتعلق بمعيار الجودة (Quality maxim).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا تكتفي فيه الحواسيب بالدردشة، بل تدخل في نقاشات وجدالات حقيقية. هذا هو ملعب الذكاء الاصطنا-ي التفاعلي، وهو فرع من العلوم حيث تتعلم الآلات كيفية إجراء محادثة، أو مناظرة وجهة نظر، أو حتى لعب دور المحامي. لكن الجزء الصعب هنا هو: كيف نعرف ما إذا كان الكمبيوتر يجادل بشكل جيد؟ في عالم البشر، لدينا قواعد للمحادثة الجيدة، مثل الوضوح، وقول الحقيقة، وعدم الإطالة أو الإيجاز المخل. في الورقة البحثية التي أوشكت على قراءتها، يستخدم الباحثون مجموعة شهيرة من هذه القواعد تسمى "مبادئ غرايس" (Gricean Maxims) (تخيلها كأنها "قواعد المحادثة المهذبة والفعالة"). كما يستخدمون أيضاً تقنية "التوليد المعزز بالاسترجاع" (Retrieval-Augmented Generation)، وهي طريقة معقدة تعني "أن يبحث الكمبيوتر عن الحقائق في مكتبة قبل أن يتحدث" لكي لا يختلق الأمور من خياله. السؤال الكبير الذي يطرحه الجميع هو: إذا طلبنا من مجموعة من حواسيب الذكاء الاصطناعي فائقة الذكاء أن تقيم جودة نقاشات بعضها البعض، فهل ستتفق؟ وإذا اتفقت جميعها، فهل يعني ذلك أن النقاش جيد حقاً؟
هذه الورقة، التي كتبها فريق من جامعة جورجيا تيك يسمى DS@GT، تغوص في مسابقة حديثة تسمى Touché 2025، حيث كان الهدف هو بناء روبوت مناظر. قام الفريق ببناء نظام يستخدم ستة "أدمغة خارقة" مختلفة (نماذج لغوية كبيرة - LLMs) لتوليد ردود المناظرة وتقييمها في آن واحد. وقد وجدوا أن هذه الأدمغة الخارقة بارعة بالفعل في توليد الحجج، خاصة عندما تتمكن من البحث عن الحقائق أولاً. ومع ذلك، جاءت المفاجأة الحقيقية عندما حاولوا استخدام هذه الأدمغة الاصطناعية كقضاة. اكتشف الباحثون أنه بينما يتفق القضاة من الذكاء الاصطناعي غالباً في آرائهم، فإن هذا الاتفاق هو فخ نوعاً ما. الأمر يشبه سؤال ستة توائم لتقييم اختبار ما؛ قد يعطون جميعاً نفس الدرجة لأنهم نشأوا في نفس المنزل ويفكرون بنفس الطريقة، وليس لأنهم على حق موضوعياً.
أجرى الفريق عمليات محاكاة حيث تناظر فيها المتناظرون من الذكاء الاصطناعي حول مواضيع مثل "هل الأرض مسطحة؟". ووجدوا أن قضاة الذكاء الاصطناعي كانوا صارمين للغاية بشأن بعض القواعد (مثل الصلة بالموضوع) ولكنهم متساهلون بشكل مثير للدهشة في قواعد أخرى (مثل اللباقة). الاكتشاف الأكثر صدمة كان يتعلق بـ "الجودة". فقد اتفق قضاة الذكاء الاصطناعي غالباً على أن الحجة "عالية الجودة" ومنحوها درجة عالية، ولكن عندما تحقق المنظمون البشريون من الإجابات الرسمية، تبين أن الذكاء الاصطناعي كان مخطئاً في كثير من الأحيان. لقد انخدع قضاة الذكاء الاصطناعي بحجج بدت مقنعة ولكنها كانت في الواقع واهية من الناحية الواقعية. تشير الورقة إلى أنه مجرد اتفاق مجموعة من نماذج الذكاء الاصطناعي على درجة معينة، لا يعني أن تلك الدرجة موثوقة، خاصة عندما يتعلق الأمر بالتحقق مما إذا كانت الحقائق صحيحة. باخت مختصر، القضاة من الذكاء الاصطناعي بارعون في رصد ما إذا كانت الجملة مكتوبة بشكل جيد، لكنهم ليسوا بارعين في رصد ما إذا كانت الجملة حقيقية بالفعل، ويميلون إلى الاتفاق مع بعضهم البعض لأسباب خاطئة.
قصة المتناظرين الروبوتات
أعد الباحثون ساحة رقمية للمناظرة. على أحد الجوانب، كان هناك مستخدم بشري محاكى يقدم ادعاءً. وعلى الجانب الآخر، كان على نظام الذكاء الاصطناعي التابع لفريق DS@GT أن يستجيب. لكن لم تكن هذه مجرد دردشة؛ بل كانت مناظرة معززة بالاسترجاع. قبل أن يتحدث الذكاء الاصطناعي، أُجبر على الذهاب إلى مكتبة رقمية (قاعدة بيانات للحجج) واستخراج أفضل عشر قطع من الأدلة لدعم وجهة نظره. هذا هو جزء الـ "RAG": لم يكن بإمكان الذكاء الاصطناعي مجرد التخمين؛ بل كان عليه أن يأتي بالأدلة والمستندات.
استخدم الفريق ستة نماذج مختلفة من "النماذج الرائدة" (الأكثر تقدماً المتاحة في ذلك الوقت) من ثلاث شركات مختلفة: OpenAI وGoogle وAnthropic. أُعطيت هذه النماذج مهمة محددة: توليد رد على حجة المستخدم. ثم أخذ الفريق هذه الردود وطلب من نفس النماذج (ونماذج أخرى) القيام بدور القضاة. كان على القضاة تقييم الردود بناءً على أربع قواعد:
- الكمية: هل قالوا ما يكفي، دون إطالة زائدة؟
- الجودة: هل كان الكلام حقيقياً ومدعوماً بالأدلة؟
- الصلة: هل ظل الموضوع في سياقه؟
- الأسلوب: هل كان الكلام واضحاً ومهذباً؟
مشكلة "التوأم"
هنا تصبح القصة مثيرة للاهتمام. أراد الباحثون معرفة: "إذا أعطت جميع هذه النماذج من قضاة الذكاء الاصطناعي نفس الدرجة، فهل يمكننا الوثوق بتلك الدرجة؟" أجروا محاكاة ضخمة شملت 100 موضوع مختلف للمناظرة وآلاف الجولات.
أولاً، نظروا في كيفية أداء نماذج الذكاء الاصطناعي كـ متناظرين. كانت النتائج مبهرة. فالنماذج التي استخدمت استراتيجية "البحث عن الحقائق أولاً" حققت أداءً جيداً جداً. على سبيل المثال، تمكن نموذج gpt-4.1 من الحصول على متوسط درجة 0.70 في اتباع قواعد المحادثة، وهو ما يعد من أعلى الدرجات في المسابقة. أظهر هذا أن منح الذكال الاصطناعي إمكانية الوصول إلى مكتبة يساعده على الجدال بشكل أفضل.
ولكن بعد ذلك، نظروا إلى نماذج الذكاء الاصطناعي كـ قضاة. وسألوا: "هل يتفق هؤلاء القضاة مع بعضهم البعض؟" كانت الإجابة بنعم مدوية، ولكن مع تحفظ. فالقضاة من نفس الشركة (مثل نموذجي Google أو نموذجي Anthropic) اتفقوا مع بعضهم البعض بشكل شبه مثالي. على سبيل المثال، كان الارتباط بين قاضيي Anthropic هو 0.844 عبر جميع القواعد. هذا يشبه توأمين ينهيان حل لغز ويقولان: "كلانا يعتقد أن السماء زرقاء"، ليس لأنهما نظرا إلى السماء، بل لأن لديهما نفس التوصيلات الدماغية.
أدرك الباحثون أن هذا الاتفاق العالي كان مضللاً. قارنوا درجات قضاة الذكاء الاصطناعي بالدرجات التي وضعها المنظمون البشريون. وكانت النتائج غير متطابقة.
- بالنسبة لـ الكمية و الصلة، كان اتفاق قضاة الذكاء الاصطناعي قريباً نوعاً ما من الدرجات البشرية.
- ولكن بالنسبة لـ الجودة، كانت الفجوة هائلة. فقد اعتبر قضاة الذكاء الاصطناعي الردود رائعة (منحوها درجات عالية)، بينما منحهم المنظمون البشريون درجات منخفضة جداً. في النتائج الرسمية، حصل تشغيل
gpt-4.1على 0.17 فقط في الجودة، مما يعني أنه فشل في تقديم حجج صحيحة واقعياً في معظم الأحيان. ومع ذلك، منحته أحكام قضاة الذكاء الاصطناعي درجات عالية.
تجربة "الإشراف الضعيف"
حاول الفريق حل هذه المشكلة. تساءلوا: "ماذا لو أضفنا بعض القضاة 'الأضعف'؟" أضافوا بعض النماذج مفتوحة المصدر الأصغر (مثل نماذج LLaMA-8B التي استخدمها فريق آخر يسمى SINAI) وبعض القواعد الحاسوبية البسيطة (مثل عد طول الكلمات) لمعرفة ما إذا كان بإمكانهم كسر اتفاق "التوأم".
استخدموا خدعة إحصائية تسمى "الإشراف الضعيف" (weak supervision) لدمج كل هذه الآراء المختلفة. وكان أملهم هو أنه من خلال إضافة قضاة يفكرون بشكل مختلف، يمكنهم الحصول على درجة أكثر دقة.
- عندما أضافوا القضاة الأضعف، تغيرت التصنيفات قليلاً.
- ومع ذلك، ظل الارتباط بين "إجماع" قضاة الذكاء الاصطناعي والدرجة البشرية "الرسمية" منخفضاً. بالنسبة لمقياس الجودة، كان الارتباط 0.224 فقط (مع المجموعة الموسعة) و 0.286 (مع النموذج الذي يراعي الاعتماد المتبادل).
هذا يعني أنه حتى عندما حاولوا تغيير الأمور، لم يستطع قضاة الذكاء الاصطناعي التنبؤ بشكل موثوق بما سيراه البشر "حجة جيدة". تشير الورقة إلى أن قضاة الذكاء الاصطناعي بارعون جداً في رصد الأسلوب (هل الجملة سلسة؟ هل هي مهذبة؟) ولكنهم سيئون في رصد المضمون (هل الحقيقة صحيحة؟).
الخلاصة الكبرى
تختتم الورقة بتحذير لأي شخص يبني متناظرين من الذكاء الاصطناعي. مجرد اتفاق مجموعة من نماذج الذكاء الاصطناعي فائقة الذكاء على أن حجة ما هي "جيدة"، لا يعني ذلك بالضرورة. قد يتفقون فقط لأنهم تدربوا على بيانات متشابهة ويتشاركون في نفس التحيزات. وهذا ينطبق بشكل خاص على الجودة. يمكن لخداع نماذج الذكاء الاصطناعي أن يتم عبر رد يبدو واثقاً ومنظماً جيداً ولكنه في الواقع مليء بالأكاذيب أو الحقائق المختلقة.
يقترح المؤلفون أنه في المستقبل، لا يمكننا الاعتماد فقط على الذكاء الاصطناعي لتقييم الذكاء الاصطناعي. نحن بحاجة إلى أن نكون أكثر تحديداً. بدلاً من سؤال الذكاء الاصطناعي: "هل هذه حجة جيدة؟"، يجب أن نسأل: "هل هذه الحقيقة صحيحة؟" و "هل هذا الدليل حقيقي؟" بشكل منفصل. وحتى نتمكن من فعل ذلك، فإن "إجماع" قضاة الذكاء الاصطناعي يشبه غرفة مليئة من الناس الذين يومئون برؤوسهم في اتفاق—قد يكونون جميعاً على خطأ، وقد يكونون جميعاً مخطئين لنفس السبب. لا تدعي الورقة أنها حلت هذه المشكلة، لكنها تسلط ضوءاً ساطعاً على المشكلة، وتوضح لنا أن الطريق نحو مناظرة موثوقة للذكاء الاصطناعي أصعب بكثير من مجرد طلب تقييم الذكاء الاصطناعي لنفسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.