Exploring LLM biases to manipulate AI search overview

إليك ملخص تقني مفصل للورقة البحثية بعنوان "استكشاف تحيزات النماذج اللغوية الكبيرة (LLM) للتلاعب بملخصات البحث بالذكاء الاصطناي" للباحث رومان سميرنوف.

1. بيان المشكلة

أدى صعود أنظمة ملخصات النماذج اللغوية الكبيرة (LLM Overviews) (مثل Google AI Overview وGPT Search) إلى تحويل تجربة البحث عبر الويب باستخدام النماذج اللغوية الكبيرة لتلخيص نتائج البحث واختيار المصادر الأكثر صلة. وبينما تعمل هذه الأنظمة على تحسين تجربة المستخدم، إلا أنها تفرض مخاطر جسيمة:

• انتشار التحيز: تُظهر النماذج اللغوية الكبيرة تحيزات متأصلة في اختيار المصادر وتوليد الإجابات، مما قد يؤدي إلى تشويه المعلومات المقدمة للمستخدمين.
• الأثر الاقتصادي: تقلل هذه الملخصات من معدلات النقر (click-through rates) إلى الناشرين الأصليين (سُجل انخفاض يصل إلى 58%)، مما يهدد الاقتصاد الرقمي.
• القابلية للتلاعب: من غير الواضح مدى تعرض هذه الأنظمة للهجمات العدائية حيث يقوم الفاعلون السيئون بالتلاعب بمقتطفات البحث لإجبار المحتوى الخاص بهم على الظهور في الملخص المولد بالذكاء الاصطناعي.
• الفجوة البحثية: تعتمد الدراسات الحالية غالبًا على قيود تجريبية مخففة (مثل الوصول إلى الصفحة الكاملة) أو تحليل وصفي، وتفتقر إلى البراهين الصارمة على التحيز وهجمات التلاعب المنضبطة ضمن قيود البحث الواقعية (المقتطفات فقط).

2. المنهجية

يقترح المؤلفون إطار عمل لاستقصاء التحيزات واستغلالها عبر التعلم التعزيزي (Reinforcement Learning - RL).

أ. الإعداد التجريبي

• مجموعة البيانات: حوالي 3,000 استعلام من مجموعة بيانات "Amazon Shopping Queries". كل استعلام مقترن بـ 7 إلى 10 نتائج بحث حقيقية (رابط URL، عنوان، مقتطف نصي).
• محاكاة ملخص الـ LLM: خط معالجة مبسط حيث يأخذ نموذج لغوي كبير (بشكل أساسي gpt-4.1-nano) استعلاماً وقائمة من نتائج البحث، ثم يختار أكثر 3 مصادر صلة للاستشهاد بها في ملخص.
• التحقق من التحيز: قبل عملية التلاعب، أثبت المؤلفون وجود تحيز عبر إجراء اختبارات التبديل (تبديل الروابط، العناوين، المقتطفات، تغيير المطالبات، وتغيير درجة الحرارة/temperature). استخدموا نموذج التوزيع الثنائي (Binomial Distribution) لإثبات إحصائياً أن مقتطفات معينة يتم اختيارها باستمرار بغض النظر عن الترتيب أو العشوائية، مما يشير إلى تفضيلات نموذج متأصلة.

ب. إطار التعلم التعزيزي

المساهمة الجوهرية هي تدريب نموذج لغوي صغير (SLM) لإعادة كتابة مقتطفات البحث لزيادة احتمالية اختيارها.

• نموذج السياسة (Policy Model): تم استهلاله بـ gemma-3-1b-it. تم تدريبه باستخدام تقنية LoRA (المهايئات منخفضة الرتبة) وخوارزمية Dr.GRPO (وهي تعديل على خوارزمية GRPO).
• فضاء الإجراءات (Action Space): تلتزم السياسة بصرامة بـ إعادة كتابة نص المقتطف فقط. لا يمكنها تعديل الرابط (URL) أو العنوان، ولا يمكنها زيارة صفحة الويب الفعلية.
• السياق: تستخدم السياسة إعادة الكتابة الشرطية، مما يعني أنها ترى المقتطف المستهدف بالإضافة إلى جميع المقتطفات المنافسة في السياق. وهذا يسمح للنموذج بالتحسين من أجل الميزة النسبية بدلاً من الجودة المطلقة.
• دالة المكافأة (Reward Function):
  1. مكافأة الاختيار: مكافأة ثنائية (1 أو 0) بناءً على ما إذا كان المقتطف المعاد كتابته قد تم اختياره بواسطة مولد ملخص الـ LLM.
  2. قيد الطول: مكافأة حد ناعم (تتبع منهجية DAPO) لمنع "اختراق المكافأة" (reward hacking) حيث يقوم النموذج بجعل المقتطفات طويلة بشكل لانهائي.
  3. التشابه (اختياري): تشابه جيب التمام (Cosine similarity) بين النص الأصلي والمعاد كتابته (تم التخلي عنه لاحقاً لتسريع التدريب).
• استراتيجية التدريب: تخطى المؤلفون مرحلة الضبط الدقيق الخاضع للإشراف (SFT)، وانتقلوا مباشرة إلى التعلم التعزيزي (RL) باستخدام تعليمات النظام، بحجة أن إعادة الكتابة تقع ضمن القدرات الأصلية للنموذج.

3. المساهمات الرئيسية

1. إثبات التحيز النسبي: أثبتت الدراسة أن اختيار ملخصات الـ LLM مدفوع بـ المزايا النسبية بين المرشحين بدلاً من الجودة المطلقة. نجاح المقتطف يعتمد على كيفية أدائه مقارنة بمجموعة المقتطفات المنافسة المحددة المقدمة.
2. التلاعب القائم على التعلم التعزيزي: نجح تدريب نموذج لغوي صغير (SLM) في إعادة كتابة مقتطفات بحث قصيرة لزيادة معدل الاستشهاد بها في ملخصات الـ LLM، مما يثبت إمكانية استغلال التحيزات.
3. القيود الواقعية: على عكس الأعمال السابقة (مثل AutoGEO) التي سمحت بالوصول إلى الصفحة الكاملة أو إعادة الكتابة الطويلة، تقيد هذه الدراسة التلاعب بـ مقتطفات البحث مع قيود صارمة على الطول، مما يحاكي قيود محركات البحث في العالم الحقيقي.
4. تحليل ناقلات الهجوم: تحديد واختبار ثلاثة ناقلات هجوم محددة:
   • هجوم المقتطف المستهدف (Target Snippet Attack): فشل (تجاهلت السياسة النص الضار المحقون).
   • هجوم العنوان (Title Attack): فشل (يعتبر ملخص الـ LLM العناوين والروابط، وليس المقتطفات فقط).
   • هجوم المرجع (Reference Attack - تسميم السياق): نجح. من خلال تسميم مقتطف منافس في السياق، تعلمت السياسة دمج ذلك السياق الضار في إعادة كتابة المقتطف المستهدف، مما أدى بالـ LLM Overview إلى الاستشهاد بالنتيجة المسمومة.

4. النتائج

• تأكيد التحيز: أظهر التحليل الإحصائي أن مقتطفات معينة تم اختيارها في 100% من تجارب التبديل (7/7)، بينما لم يتم اختيار مقتطفات أخرى أبداً، مما يؤكد وجود تحيز قوي في النموذج.
• نجاح التلاعب: زادت السياسة المدربة بشكل كبير من معدل اختيار المقتطفات المستهدفة عبر مختلف تقنيات العشوائية (التبديل، تغيير درجات الحرارة).
• متانة النموذج:
  • نجح الهجوم على كل من gpt-4.1-nano و gpt-4.1-mini و gpt-5-nano.
  • فشل الهجوم على gpt-5-mini. يفترض المؤلفون أن هذا يعود إلى امتلاك gpt-5-mini تحيزاً أقوى تجاه الروابط (URLs) على حساب المحتوى، مما جعل إعادة كتابة المقتطف غير فعالة.
• فعالية الهجوم: نجح "هجوم المرجع" في حقن محتوى ضار (مثل "rope people" في أوصاف أحزمة الساعة) في الملخص النهائي، مما يثبت أن تسميم السياق هو تهديد قابل للتطبيق.

5. الأهمية والآثار المترتبة

• المخاطر الأمنية: تكشف الدراسة عن ثغرة حرجة في أنظمة التوليد المعزز بالاسترجاع (RAG) وأنظمة البحث بالذكاء الاصطناعي. يمكن للجهات السيئة التلاعب بتصنيفات البحث وملخصات الذكاء الاصطناعي ليس فقط عبر تحسين محركات البحث (SEO)، بل عبر تدريب نماذج صغيرة لإعادة كتابة المحتوى خصيصاً لاستغلال تحيزات الـ LLM المستهدف.
• تسميم السياق: يشير اكتشاف أن تسميم بيانات المنافس يمكن أن يفسد المخرج المستهدف إلى أن ملخصات الـ LLM عرضة لهجمات غير مباشرة، وليس فقط الحقن المباشر.
• تباين النماذج: يشير التباين في القابلية للتأثر بين أحجام النماذج المختلفة (Nano مقابل Mini) إلى أن استغلال التحيز يعتمد بشدة على النموذج. قد تكون النماذج الأصغر أو المحددة أكثر عرضة للتلاعب بالمحتوى، بينما تعتمد النماذج الأخرى على الإشارات الهيكلية (الروابط).
• الاتجاهات المستقبلية: تسلط الورقة الضوء على الحاجة إلى دفاعات قوية ضد التلاعب بالمقتطفات وتسميم السياق، بالإضافة إلى مزيد من البحث في التحيزات المحددة للنماذج الرائدة لمنع استغلالها في سير العمل الوكيل (agentic workflows).

في الختام، تقدم الورقة دليلاً تجريبياً على أن ملخصات الـ LLM متحيزة، وأن هذه التحيزات يمكن استغلالها بشكل منهجي عبر التعلم التعزيزي للتلاعب بنتائج البحث، وأن هذا التلاعب يشكل خطراً أمنياً حقيقياً من خلال هجمات تسميم السياق.