ObfusQAte: A Proposed Framework to Evaluate LLM Robustness on Obfuscated Factual Question Answering

إليك ملخص تقني مفصل لورقة البحث بعنوان: "ObfusQAte: إطار عمل مقترح لتقييم متانة النماذج اللغوية الكبيرة (LLMs) في الإجابة على الأسئلة الواقعية المموّهة."

1. بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات مثيرة للإعجاب في الإجابة على الأسئلة الواقعية (QA)، إلا أن متانتها ضد المدخلات المموّهة دلاليًا لا تزال غير مستكشفة إلى حد كبير. تختبر أنظمة التقييم الحالية النماذج بشكل أساس لاستعلاماتها المباشرة. ومع ذلك، في سيناريوهات العالم الحقيقي، غالبًا ما تُصاغ الأسئلة بشكل غير مباشر، أو تكون محملة بالمشتتات، أو مدفونة في سياق مفرط.

حدد المؤلفون فجوة حرجة: الأنظمة المرجعية الحالية لا تختبر بشكل منهجي قدرة النموذج اللغوي الكبير على:

1. استنتاج الكيانات من خلال الأوصاف المجردة أو غير المباشرة.
2. تصفية المشتتات ذات الاحتمالية العالية ولكنها غير صحيحة.
3. استخراج المعلومات الجوهرية من السياقات "الضوضائية".

وبناءً على ذلك، قد تعتمد النماذج على الأنماط المحفوظة بدلاً من الاستنتاج الحقيقي، مما يؤدي إلى الهلوسة أو الفشل عند مواجهة تنويعات دقيقة للحقائق المباشرة.

2. المنهجية

تقترح الورقة إطار عمل يتكون من جزأين: ObfusQAte (التقنية) و ObfusQA (مجموعة البيانات الناتجة).

أ. تقنية ObfusQAte

طور المؤلفون طريقة منهجية لتحويل الأسئلة الواقعية الأساسية إلى ثلاثة مستويات متميزة من التمويه، كل منها مصمم لاختبار بُعد معرفي محدد:

1. التعمية غير المباشرة للكيانات المسماة (NEI):

   • الآلية: استبدال الكيانات المسماة الصريحة بأوصاف مجردة، أو مرادفات، أو إشارات علاقاتية.
   • الهدف: إجبار النموذج على إجراء استنتاج عميق لربط الإشارات غير المباشرة بالكيان الصحيح.
   • مثال: بدلاً من "من اخترع الهاتف؟"، يسأل السؤال عن "الشخص العبقري الذي وهبنا القدرة على التواصل صوتيًا عبر مسافات طويلة".

2. التعمية غير المباشرة للمشتتات (DI):

   • الآلية: إدخال بدائل محتملة ولكنها غير صحيحة وكيانات متنافسة داخل الاستعلام.
   • الهدف: اختبار قدرة النموذج على التمييز بين المرشحين المتشابهين ذوي الاحتمالية العالية ومقاومة الانجراف نحو الخيارات الخاطئة.
   • مثوذ: السؤال عن مخترع الهاتف مع ذكر منافسين مثل توماس إديسون ونيكولا تسلا صراحة كجزء من بنية الاستعلام.

3. الحمل السياقي الزائد (CO):

   • الآلية: إغراق السؤال الجوهري بطبقة ثقيلة من المعلومات غير ذات الصلة ولكنها حقيقية واقعيًا ("الرنجة الحمراء").
   • الهدف: زيادة الحمل المعرفي، مما يجبر النموذج على تصفية الضوضاء وتحديد الإشارة وسط التفاصيل المفرطة.
   • مثال: صياغة سؤال بسيط حول عاصمة مدينة ضمن سرد معقد يتضمن حروبًا تاريخية، وحقائق جغرافية غير ذات صلة، وتفاصيل معمارية محددة.

ب. إنشاء مجموعة البيانات (ObfusQA)

• المصدر: تم الحصول على الأسئلة الأساسية من TriviaQA و GKToday.
• التوليد: تم استخدام Gemini 2.0 Flash لتوليد النسخ المموّهة باستخدام مطالبات مهيكلة.
• العنصر البشري في الحلقة (Human-in-the-Loop): قام فريق من سبعة مدققين بمراجعة وتصحيح والتحقق يدويًا من 1,024 سؤالاً (السؤال الأساسي + 3 نسخ لكل منهما).
  • ضبط الجودة: ضمان الحفاظ على الحقيقة الأرضية (جميع النسخ ترتبط بنفس الإجابة) و الحمل المعرفي دون غموض (تزداد التعقيدات في صعوبة الاستنتاج دون إدخال انزياح واقعي).
  • الموثوقية: حققت الدراسة معامل كوهنز كابا ($\kappa$) قدره 0.862، مما يشير إلى اتفاق قوي بين المدققين.
• الإحصائيات: يزدัง طول الرموز (Tokens) بشكل كبير مع التمويه: الأساسي (11.6) $\leftarrow$ NEI (41.9) $\leftarrow$ DI (62.3) $\leftarrow$ CO (116.1).

3. إعداد التقييم

قام المؤلفون باختبار سبعة نماذج لغوية كبيرة رائدة (SoTA) عبر استراتيجيات التلقين: صفرية المحاولات (Zero-Shot)، قليلة المحاولات (Few-Shot)، وسلسلة الأفكار (CoT):

• النماذج: GPT-4o, GPT-4o mini, LLaMA 3.3 70B, Gemini 2.0 Flash, Claude 3.5 Sonnet, DeepSeek R1, و GPT o3-mini.
• المقياس: دقة المطابقة التامة (EM) على المخرجات المعيارية.

4. النتائج الرئيسية

أ. تدهور الأداء

أظهرت جميع النماذج انخفاضًا كبيرًا في الأداء على المدخلات المموّهة مقارنة بالأسئلة الأساسية:

• متوسط الانخفاض: عانت النماذج من انخفاض في الدقة بنسبة 44% إلى 57% في النسخ المموّهة:
  • GPT-4o mini: -57%
  • GPT-4o: -56%
  • Gemini 2.0 Flash: -55%
  • Claude 3.5 Sonet: -49%
• الهشاشة: ثبت أن التعمية غير المباشرة للمشتتات (DI) و الحمل السياقي الزائد (CO) هما الأكثر ضررًا، حيث تسببا في أكبر انخفاضات الدقة.
• فشل الوعي الذاتي: حتى نموذج Gemini 2.0 Flash، وهو النموذج المستخدم لتوليد الأسئلة المموّهة، فشل في الإجابة بشكل صحيح على النسخ التي ولدها، مما يكشف عن نقص في المرونة تجاه تقنيات التمويه الخاصة به.

ب. تأثير استراتيجيات التلقين (Prompting)

• سلسلة الأفكار (CoT): قدمت التحسن الأكثر أهمية، حيث رفعت الدقة بنسبة 8–12% مقارنة بإعدادات Few-Shot. وقد ساعدت النماذج على تحليل الصياغات متعددة الطبقات.
• قليلة المحاولات (Few-Shot): قدمت مكاسب طفيفة فقط (2–4%) وأدت أحيانًا إلى تدهور الأداء، مما يشير إلى أن الأمثلة وحدها لا تتعمم جيدًا مع المنطق المموّه.
• صفرية المحاولات (Zero-Shot): كانت الأضعف باستمرار، بمتوسط أقل بنسبة 19% من CoT.

ج. التحليل الجوهري (LLaMA 3.1 8B & Mistral 7B)

أجرى المؤلفون فحصًا عميقًا للنماذج الداخلية:

1. الثقة الجوهرية ($P(IK)$): مع زيادة تعقيد التمويه، انخفض احتمال صحة الإجابة الذي يقدره النموذج ذاتيًا بنسبة 28–51%، وهو ما ارتبط بانخفاض الدقة.
2. الحفظ (استدلال العضوية): باستخدام طريقة Min-K%++، وجدت الدراسة أن الأسئلة المموّهة (خاصة CO و DI) لديها تداخل أقل بكيد مع بيانات التدريب المسبق (انخفض AUROC بنسبة ~20%). وهذا يؤكد أن النماذج تفشل لأنها لا تستطيع الاعتماد على الأنماط المحفوظة لهذه الصياغات الجديدة والمعقدة.
3. انخفاض المعيار عبر الطبقات: تسببت المدخلات المموّهة في ضغط الميزات المبكر (الاختناق الدلالي) الذي يحدث قبل طبقتين من الأسئلة الأساسية. يشير هذا إلى أن النماذج تضغط المعنى مبكرًا جدًا، وتفشل في حل المراجع الكيانية أو تصفية المشتتات قبل الوصول إلى طبقة المخرجات.

5. المساهمات الرئيسية

1. إطار عمل ObfusQAte: تقنية مبتكرة متعددة المستويات لتوليد بيانات الإجابة على الأسئلة المموّهة تتجاوز مجرد إعادة الصياغة البسيطة لتختبر عمق الاستنتاج.
2. مجموعة بيانات ObfusQA: أول معيار شامل مصمم خصيصًا لتقييم متانة النماذج اللغوية الكبيرة ضد التعمية غير المباشرة للكيانات المسماة، والتعمية غير المباشرة للمشتتات، والحمل السياقي الزائد.
3. الدليل التجريبي على الهشاشة: أثبتت الدراسة أن النماذج الحالية الرائدة (بما في ذلك النماذج المحسنة للاستنتاج مثل DeepSeek R1 و o3-mini) معرضة بشدة للتمويه الدلالي، وغالبًا ما تعود إلى الهلوسة أو مطابقة الأنماط غير الصحيحة.
4. الرؤية الآلية: قدمت الدليل على أن التمويه يعطل ثقة الرموز (tokens) الداخلية، ويقلل من تداخل بيانات التدريب المسبق، ويفرض ضغطًا دلاليًا مبكرًا في طبقات الـ Transformer.

6. الأهمية والعمل المستقبلي

• الأهمية: تتحدى الدراسة الافتراض بأن الأداء العالي في المعايير القياسية يعادل الاستنتاج القوي. وهي تسلط الضوء على أن النماذج اللغوية الكبيرة غالبًا ما تعتمد على مطابقة الأنماط السطحية بدلاً من الفهم العميق، مما يجعلها عرضة للتغيرات "العدائية" في اللغة الطبيعية.
• الاتجاهات المستقبلية:
  • توسيع مجموعة البيانات لتشمل اللغات متعددة اللغات و ذات الموارد المنخفضة.
  • دمج مهام الاستنتاج الرياضي و الترجمة.
  • تطوير تقنيات تمويه "الصندوق الأبيض" (White-box) لزيادة فحص نقاط ضعف النماذج.
  • استخدام هذه النتائج لتدريب نماذج ذات متانة عدائية أفضل و اتساق واقعي أعلى.

تخلص الورقة إلى أنه لكي تكون أنظمة الذكاء الاصطناዊ truly موثوقة في تطبيقات العالم الحقيقي، يجب تقييمها ليس فقط بناءً على ما تعرفه، بل على مدى قدرتها على استرجاع واستنتاج تلك المعرفة عندما تكون مموهة.