ملخص تقني: هجوم تسميم التفضيلات الفعال على التعلم المعزز من التغذية الراجعة البشرية غير المتصل (Offline RLHF)

1. صياغة المشكلة

تبحث هذه الورقة في هجمات قلب الملصقات (label flip attacks) ضد التعلم المعزز من التغذية الراجعة البشرية غير المتصل (Offline RLHF)، وتحديداً استهداف مسار تحسين التفضيل المباشر (DPO) تحت فئة سياسة لوغاريتمية خطية (log-linear policy class).

في عملية RLHF غير المتصلة، يتم تدريب السياسة على مجموعة بيانات مجمعة مسبقاً من ملصقات التفضيل الزوجية $(s, a, a', o)$، حيث يشير $o \in \{+1, -1\}$ إلى التفضيل البشري. هدف المهاجم هو التلاعب بمجموعة فرعية من هذه الملصقات (قلب $o_i$ إلى $-o_i$) لإجبار السياسة المتعلمة $\pi_{\hat{\theta}}$ على التوافق مع سياسة مستهدفة $\pi^\dagger$ (يتم تمثيلها بالمعامل $\theta^\dagger$) مع تقليل عدد الملصقات المقلوبة إلى أدنى حد.

التحدي الجوهري الذي تعالجه الورقة هو أنه، على عكس هجمات حقن البيانات حيث يمكن للمهاجمين إضافة بيانات مسمومة عشوائية، فإن هجمات قلب الملصقات مقيدة بمجموعة البيانات الموجودة بالفعل. علاوة على ذلك، فإن تأثير قلب ملصق واحد على السياسة النهائية ليس أمراً سهلاً للتنبؤ به. يصيغ المؤلفون هذا كـ مشكلة تحسين توافقي (combinatorial optimization problem): إيجاد متجه ثنائي $x \in \{0, 1\}^n$ (يشير إلى الملصقات التي سيتم قلبها) يقلل من معيار $L_0$ (عدد عمليات القلب) مع مراعاة القيد بأن تكون السياسة الناتجة قريبة من السياسة المستهدفة.

2. الرؤية النظرية الأساسية

تتمثل المساهمة التأسيسية للورقة في النظرية 3.1، والتي تثبت خاصية هيكلية حاسمة لنموذج DPO اللوغاريتمي الخطي:

• إزاحة التدرج المستقلة عن المعاملات: يؤدي قلب ملصق تفضيل واحد $o_i$ إلى $-o_i$ إلى تغيير في تدرج DPO، وهو $\Delta g_i$، والذي يكون عبارة عن متجه ثابت مستقل عن معاملات السياسة الحالية $\theta$.
• وتحديداً، $\Delta g_i = o_i \beta \Delta \psi_i$، حيث $\Delta \psi_i$ هو فرق الميزات بين الإجراءات المفضلة وغير المفضلة.

تسمح هذه الخاصية للمؤلفين بتحويل مشكلة الهجوم المعقدة في فضاء السياسة إلى مشكلة تقريب متفرقة ثنائية مهيكلة (structured binary sparse approximation problem) في فضاء التدرج. يصبح هدف المهاجم هو اختيار مجموعة فرعية من متجهات التدرج (أعمدة المصفوفة $V$) بحيث يقترب مجموعها من التدرج السالب للخسارة النظيفة عند السياسة المستهدفة، $-g^\dagger$.

3. المنهجية

لحل مشكلة التقريب المتفرقة الثنائية الناتجة، وهي مشكلة صعبة حسابياً (NP-hard)، يقترح المؤلفون خوارزميتين للهجوم مختلفتين:

أ. هجوم الشبكة الواعي بالثنائية (BAL-A)

مصمم لـ هدف الحد الأدنى من القلب العام (إيجاد الحل الأكثر تشتتاً دون ميزانية صارمة لـ $K$).

• المنهج: يقوم المؤلفون بدمج مشكلة الاختيار الثنائي في بنية شبكية (lattice structure). يقومون ببناء أساس حيث يقيس الجزء العلوي الخطأ المتبقي ($\|Vz + g^\dagger\|^2$) بينما يعاقب الجزء السفلي المعاملات غير الثنائية ($M^2 \|z\|^2$).
• الخوارزمية:
  1. بناء أساس شبكي واعي بالثنائية.
  2. تطبيق اختزال الأساس بطريقة Lenstra-Lenstra-Lovász (LLL) للحصول على أساس جيد التكيف.
  3. استخدام خوارزمية Babai لأقرب مستوٍ (Babai's nearest-plane algorithm) لإيجاد أقرب متجه شبكي.
  4. تعيين الحل الصحيح إلى الإحداثيات الأصلية وتقليصه ليصبح ثنائياً.
• الضمانات النظرية: يقدم المؤلفون شروطاً كافية لمعامل العقوبة $M$ لضمان ما يلي:
  1. أن تكون المعاملات الصحيحة محصورة في $\{0, 1\}$ (ثنائية).
  2. أن يستعيد الحل نمط هجوم الحد الأدنى من القلب الحقيقي تحت "شرط الفصل" فيما يتعلق بالأخطاء المتبقية للحلول ذات الميزانية الأقل.

ب. هجوم البحث المطابق الثنائي (BMP-A)

مصمم لـ سيناريو الميزانية المحددة بـ $K$ قلب، حيث يكون المهاجم مقيداً بقلب عدد $K$ من الملصقات كحد أقصى.

• المنهج: هذه خوارزمية جشعة (greedy algorithm) مقتبسة من البحث المطابق الثنائي (Binary Matching Pursuit - BMP). تقوم بشكل تكراري باختيار العينة التي يكون لقلب تدرجها أعلى ارتباط طبيعي مع المتبقي الحالي.
• التكيف: على عكس الاستعادة المتفرقة القياسية، فإن أعمدة التدرج في هذه المشكلة ليست موحدة المعايير (normalized). تتعامل خوارزمية BMP-A مع هذا الأمر باستخدام الارتباطات الموحدة ($\frac{|\langle v_i, r \rangle|}{\|v_i\|_2}$) للاختيار، بينما تقوم بتحديث المتبقي باستخدام المتجهات الأصلية غير الموحدة.
• الضمانات النظرية:
  • الاستعادة: تحت شرط التماسك المتبادل (mutual coherence) على قاموس $V$ (المعدل لمتجهات الأعمدة غير المتساوية في المعايير)، تضمن خوارزمية BMP-A استعادة دعم متجه الهجوم الحقيقي خلال $K^\star$ من التكرارات.
  • الاستحالة (المتانة): يستنتج المؤلفون شروطاً كافية (بناءً على المعيار الطيفي والتماسك) والتي بموجبها لا يمكن لأي هجوم $K$-flip أن ينجح. إذا تجاوزت إزاحة التدرج المطلوبة للوصول إلى الهدف أقصى إزاحة ممكنة ناتجة عن $K$ من عمليات القلب (بالنظر إلى هندسة $V$)، فإن الهجوم يكون مستحيلاً.

4. النتائج التجريبية

يتحقق المؤلفون من نظريتهم على كل من مجموعات البيانات الاصطناعية والواقعية:

• القوامات الاصطناعية (Synthetic Dictionaries):
  • BAL-A: أظهرت أن معدل الإيجاب الحقيقي (TPR) لاستعادة الدعم يكون مرتفعاً عندما يكون معامل العقوبة $M$ في الشبكة أقل من عتبة الفصل المتوقعة نظرياً. فوق هذه العتبة، يتدهور الأداء، مما يؤكد المقايضة النظرية.
  • BMP-A: أظهرت استعادة مثالية للدعم ضمن الحدود النظرية القائمة على التماسك. خارج هذه الحدود، ظلت الخوارزمية فعالة، مما يشير إلى أن الحدود النظرية متحفظة.
• مجموعة بيانات Stanford Human Preferences (SHP):
  • تم تطبيقها على نماذج DPO لوغاريتمية خطية مدربة على بيانات تفضيل حقيقية.
  • BAL-A: نجحت في استعادة أنماط الهجوم على مجموعات فرعية صغيرة، مع توافق الأداء مع تحليل الفصل.
  • BMP-A: أظهرت أن تقليل التماسك (coherence) لقاموس التدرج (عبر اختيار المجموعات الفرعية) يحسن بشكل كبير من معدلات نجاح الهجوم وتقليل المتبقي.
  • الأثر اللاحق: أظهرت التجارب أنه حتى مع الاستعادة غير الكاملة للدعم، كانت السياسات الناتجة المدربة على مجموعات البيانات المهاجمة قريبة من السياسة المستهدفة، مما يؤكد أن متبقي التدرج يعد بديلاً كافياً للنجاح في فضاء السياسة.

5. الأهمية والادعاءات

تدعي الورقة أنها أول تحليل نظري لهجمات قلب الملصقات على RLHF غير المتصل، وتحديداً لمسار DPO. وتكمن أهميتها في:

1. سد الفجوة: بينما تم تحليل هجمات حقن البيانات نظرياً، كان فهم هجمات قلب الملصقات يقتصر سابقاً على الملاحظة التجريبية. يوفر هذا العمل إطاراً هندسياً وتوافقياً صارماً لفهمها.
2. الرؤية الهندسية: تسلط الضوء على أن نجاح مثل هذه الهجمات محكوم بـ هندسة قاموس التدرج (وتحديداً التماسك ومعايير الأعمدة). وهذا يشير إلى أن متانة نظام RLHF هي أمر جوهري لبنية بيانات التفضيل الخاصة به.
3. شهادات المتانة: توفر شروط الاستحالة المستنتجة طريقة لشهادة أن إعداداً معيناً لـ RLHF غير متصل هو متين ضد أي هجوم $K$-flip، بغض النظر عن الخوارزمية المحددة المستخدمة من قبل المهاجم.
4. الخوارزميات العملية: توفر طرق BAL-A و BMP-A المقترحة استراتيجيات فعالة ومبنية على أسس نظرية لتقييم ضعف أنظمة RLHF تجاه التسميم المستهدف.

يحافظ المؤلفون على نبرة متواضعة، مشيرين إلى أن تحليلهم محدد لفئة السياسة اللوغاريتمية الخطية وأن الحدود المستمدة (على سبيل المثال، لـ BMP-A) هي شروط كافية وليست بالضرورة ضرورية. ويؤكدون أن فهم هذه الثغرات أمر بالغ الأهمية لتصميم خوارزميات محاذاة (alignment) قوية للنماذج اللغوية الكبيرة (LLMs).