🤖 machine learning

PRPO: Paragraph-level Policy Optimization for Vision-Language Deepfake Detection

تقدم هذه الورقة البحثية خوارزمية PRPO، وهي خوارزمية تعلم تعزيزي على مستوى الفقرة، ومجموعة بيانات مقابلة موسومة بالاستدلال، تعمل بشكل كبير على تعزيز دقة وقابلية تفسير النماذج اللغوية الكبيرة متعددة الوسائط في كشف التزييف العميق من خلال مواءمة استدلالها النصي مع الأدلة المرئية.

المؤلفون الأصليون: Tuan Nguyen, Naseem Khan, Khang Tran, NhatHai Phan, Issa Khalil

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tuan Nguyen, Naseem Khan, Khang Tran, NhatHai Phan, Issa Khalil

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن الإنترنت غارق في صور "مثالية" تبدو حقيقية ولكنها في الواقع من صنع أجهزة الكمبيوتر. تُسمى هذه الصور "التزييف العميق" (Deepfakes). إن اكتشافها يشبه محاولة تمييز ماسة مزيفة وسط كومة من الماس الحقيقي؛ فهي تبدو متشابهة للغاية لدرجة أن الخبراء أنفسهم قد يُخدعون.

تقدم الورقة البحثية نظامًا جديدًا يسمى PRPO (تحسين السياسة على مستوى الفقرة) لحل هذه المشكلة. وإليك كيفية عمله، مقسمًا إلى مفاهيم بسيطة:

١. المشكلة: المحقق "الذكي" ولكن "المتخيل"

حاول الباحثون استخدام محققين متطورين من الذكاء الاصطناعي (يُطلق عليهم نماذج اللغات الكبيرة متعددة الوسائط، أو MLLMs) لرصد هذه التزييفات. هذه النماذج ذكية جدًا في القراءة والتحدث، لكن لديها عادة سيئة: وهي "الهلوسة".

التشبيه: تخيل محققًا بارعًا في كتابة التقارير ولكنه سيء جدًا في معاينة مسرح الجريمة. قد يكتب تقريرًا يقول فيه: "أرى نافذة مكسورة"، بينما النافذة في الواقع سليمة تمامًا. قد يقول: "المشتبه به يبدو متوترًا"، بينما الشخص في الحقيقة يبتسم.
المشكلة: غالبًا ما تقوم هذه النماذج بتخمين الإجابة أولًا ثم تؤلف قصة لتناسب هذا التخمين، متجاهلةً الأدلة البصرية الفعلية في الصورة.

٢. الحل: دليل تدريب جديد (DF-R5)

لإصلاح المحقق، احتاج الباحثون أولاً إلى دليل تدريب أفضل. لقد أنشأوا مجموعة بيانات ضخمة تسمى DF-R5.

ما هي: مكتبة تضم ١١٥,٠٠٠ صورة مقتر تة بشروحات عالية الجودة حول سبب كون الصورة مزيفة.
كيف صنعوها: لم يكتفوا بطلب كتابة الدليل من ذكاء اصطناعي واحد، بل استخدموا "لجنة من الخبراء" (عدة نماذج ذكاء اصطنا-ت متطورة ومختلفة) لعصف ذهني لإنشاء قائمة تضم ٧٤ شيئًا محددًا يجب البحث عنها (مثل "نسيج الجلد الغريب" أو "الإضاءة غير المتناسقة"). ثم جعلوا أفضل نموذج ذكاء اصطنا-ت يقيم كل صورة مقابل هذه القائمة لإنشاء دليل ذهبي المعايير.

٣. المحقق الجديد: DX-LLaVA

قاموا ببناء نموذج ذكاء اصطنا-ت جديد يسمى DX-LLaVA.

التطوير: تنظر نماذج الذكاء الاصطنا-ت القياسية إلى الصورة بعدسة واسعة الزاوية، حيث ترى "الصورة الكبيرة" ولكنها تفقد التفاصيل الصغيرة. يستخدم DX-LLaVA "عدسة" مختلفة (مشفّر ConvNeXT) تعمل مثل العدسة المكبرة. فهو يركز على التفاصيل الدقيقة على مستوى البيكسل مثل مسام الجلد غير المنتظمة، أو خصلات الشعر الغريبة، أو الظلال الغريبة التي قد تفوتها النماذج الأخرى.

٤. السر الخفي: PRPO (مدرب الفقرات)

هذا هو الجزء الأهم. فحتى مع وجود عدسة مكبرة، قد يكتب الذكاء الاصطنا-ت تقريرًا مربكًا. قدم الباحثون PRPO، الذي يعمل مثل محرر صارم أو مدرب أثناء عملية تفكير الذكاء الاصطنا-ت.

التشبيه: تخيل أن الذكاء الاصطنا-ت يكتب قصة غموض فقرة بفقرة.
- الطريقة القديمة: يكتب الذكاء الاصطنا-ت القصة بأكملها، ثم يتحقق مما إذا كانت النهاية منطقية. إذا كانت النهاية خاطئة، يحاول مرة أخرى.
- طريقة PRPO: بينما يكتب الذكاء الاصطنا-ت كل فقرة، يقوم المدرب بإيقافه ويسأله سؤالين:
  1. "الاتساق البصري": "لقد كتبت للتو أن العينين تبدوان غريبتين. أرني العينين في الصورة. هل تبدوان غريبتين حقًا؟" إذا كان الذكاء الاصطنا-ت يختلق أشياء من عنده، فإن المدرب يعطيه "درجة سيئة".
  2. "اتساق التنبؤ": "لق لقد كتبت ثلاث فقرات تقول فيها إن الجلد يبدو مزيفًا، لكن استنتاجك النهائي يقول 'حقيقي'. هذا غير منطقي. أصلح قصتك لكي تتوافق الفقرات مع النهاية."

من خلال إجبار الذكاء الاصطنا-ت على مواءمة كل جملة مع الصورة الفعلية وضمان أن القصة بأكملها منطقية، يمنع PRPO الذكاء الاصطنا-ت من الكذب أو التخمين.

٥. النتائج

عندما اختبروا هذا النظام الجديد:

الدقة: أصبح أفضل بكثير في رصد التزييفات، خاصة في الصور التي لم يرها من قبل (مثل محقق يمكنه كشف التزييف حتى لو استخدم المزور تقنية جديدة).
التعليل: حصل على درجة ٤.٥٥ من ٥.٠ لجودة تفسيراته. وهذا يعني أنه لم يكتفِ بالقول "مزيف" فحسب، بل شرح بالضبط لماذا، مشيرًا إلى أدلة بصرية محددة دون اختلاق أي شيء.

ملخص

تقدم الورقة البحثية نظامًا يعلم الذكاء الاصطنا-ت التوقف عن التخمين والبدء في الإثبات. من خلال منح الذكاء الاصطنا-ت عدسة مكبرة (رؤية أفضل)، ومدربًا صارمًا (PRPO) يتحقق من كل جملة مقابل الصورة، ودليل تدريب عالي الجودة (DF-R5)، فقد أنشأوا كاشفًا للتزييف العميق يتسم بالدقة والموثوقية في تفسيراته.

ملخص تقني: PRPO – تحسين السياسة على مستوى الفقرة للكشف عن التزييف العميق القائم على الرؤية واللغة

بيان المشكلة

أدى التقدم السريع في الذكاء الاصطناዎቹ التوليدي (GAI)، بما في ذلك شبكات الخصومة التوليدية (GANs) ونماذج الانتشار (diffusion models)، إلى جعل الكشف عن التزييف العميق تحديًا حرجًا لسلامة الإنترنت. ورغم أن النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تمتلك قدرات استدلال قوية، إلا أن تطبيقها على الكشف عن التزييف العميق يظل محدودًا حاليًا بثلاثة عوامل رئيسية:

ندرة البيانات: يؤدي نقص مجموعات البيانات واسعة النطلة وعالية الجودة ذات التعليقات التوضيحية التفصيلية للاستدلال إلى إجبار النماذج على الاعتماد على عملية تقطير بسيطة (سؤال-جواب)، وهي عملية غير كافية للاستدلال المعقد المطلوب.
القيود الهيكلية: غالبًا ما تفشل المشفرات البصرية العامة (مثل CLIP ViT) في التقاط الآثار البصرية دقيقة التفاصيل وعالية التردد الضرورية للتمييز بين التلاعبات الدقيقة.
جودة الاستدلال: غالبًا ما تنتج النماذج اللغوية الكبيرة متعددة الوسائط الحالية هلوسات، أو أوصافًا سطحية، أو تفسيرات لا تتوافق مع الأدلة البصرية. كما أنها غالبًا ما تقفز إلى استنتاجات سابقة لأوانها، مما يؤدي إلى تحيز خطوات الاستدلال اللاحقة.

تفتقر طرق الكشف الحالية غالبًا إلى القابلية للتفسير، حيث تقدم تصنيفات ثنائية دون تبرير موثوق. علاوة على على ذلك، فإن مناهج التعلم التعزيزي (RL) الحالية عادة ما تكافئ المخرجات النهائية بدلاً من اتساق وتجذر خطوات الاستدلال الوسيطة.

المنهجية

يقترح البحث إطار عمل شاملاً يتكون من مجموعة بيانات جديدة، وهيكل متخصص، وخوارزمية تعلم تعزيزي مبتكرة وقت الاختبار.

1. مجموعة البيانات: DF-R5

قدم المؤلفون DF-R5، وهي مجموعة بيانات مصححة بالاستدلال تحتوي على ما يقرب من 115,000 زوج (صورة-استدلال).

المصدر: الصور مشتقة من معيار DF-40، وتغطي خمس مجالات توليدية متنوعة: DDIM، وPixArt-α، وSD-2.1، وSiT، وStyleGAN3.
خط إنتاج التوليد: لضمان تعليقات توضيحية عالية الجودة، تم تصميم خط إنتاج ثلاثي الخطوات باستخدام نماذج MLLM متطورة (بشكل أساسي Gemini-2.5، الذي تم اختياره لأدائه المتفوق في اختبار معياري):
- اكتشاف الميزات: تقوم النماذج بسرد الخصائص البصرية ذات الصلة بالتزييف العميق دون مدخلات صور لتحديد قائمة ميزات عامة.
- تسجيل الميزات: لكل صورة، يقوم النموذج بتسجيل ميزات محددة كـ "حقيقي" (-1)، أو "مزيف" (+1)، أو "غير مؤكد" (0).
- توليد الاستدلال: يتم دمج الميزات في مجموعات دلالية متماسكة (فقرات) لتوليد أوصاف استدلال موجزة وقابلة للتفسير.

2. الهيكل: DX-LLaVA

يقترح المؤلفون DX-LLaVA (النماذج اللغوية متعددة الوسائط للكشف عن التزييف العميق والقابلية للتفسير)، وهو هيكل متعدد الوسائط مصمم لالتقاط الآثار البصرية دقيقة التفاصيل.

المشفر البصري: يستبدل نموذج CLIP ViT القياسي بـ CLIP ConvNeXT. تم اختيار ConvNeXT لقدرته الأقوى على الانحياز للنسيج وحساسيته للآثار المحلية عالية التردد (مثل عدم انتظام خط الشعر، وعدم اتساق المسام) التي قد تفقدها نماذج ViT.
الضبط الدقيق مزد الهدف: يتم ضبط النموذج باستخدام دالة فقدان مشتركة:
- $L_{lm}$ : فقدان نمذجة اللغة القياسي لتوليد الاستدلال.
- $L_{binary}$ : فقدة تصنيف ثنائي خفيفة تُطبق على التضمينات البصرية المجمعة.
- يضمن هذا النهج المزدوج توافق النموذج اللغوي مع الإشارات البصرية التمييزية، مما يمنع مشكلة "النص المتماسك ولكن التمييز الضعيف" الملاحظة في نموذج LLaVA الأساسي.

3. الخوارزمية: تحسين السياسة النسبي على مستوى الفقرة (PRPO)

PRPO هي خوارزمية تعلم تعزيزي وقت الاختبار مصممة لمواءمة استدلال MLLM مع محتوى الصورة على مستوى الفقرة. وعلى عكس خوارزمية Group Relative Policy Optimization (GRPO) القياسية التي تعامل الرموز (tokens) بشكل موحد، تعمل PRPO على مستوى الفقرات.

آلية المكافأة: تستخدم الخوارزمية مكوني مكافأة بدون تسميات (label-free):
- مكافأة الاتساق البصري (VCR): تقيس مدى التوافق بين كل فقرة استدلال وميزات الصورة باستخدام مشفر CLIP ConvNeXT مجمد. تقوم باستخراج الكلمات المفتاحية من الفقرة وحساب تشابه جيب التمام (cosine similarity) مع تضمينات الصورة. وهذا يعاقب الهلوسة والأوصاف العامة.
- مكافأة اتساق التنبؤ (PCR): تفرض الاتساق الداخلي بين التصويت بالأغلبية لفقرات الاستدلال الوسيطة والاستنتاج النهائي. إذا تعارضت الإجابة النهائية مع إجماع الفقرات الداعمة، تكون المكافأة صفرًا.
التحسين: تعمل PRPO على تعظيم احتمالات اللوغاريتم (log-probabilities) للفقرات الموزونة بميزة نسبية (مكافأة معيرة)، مع دمج حد تباعد KL لمنع الانحراف المفرط عن النموذج المرجعي. والأهم من ذلك، أن هذه العملية تحدث في وقت الاختبار، مما لا يتطلب بيانات إضافة موسومة لإعادة التدريب.

المساهمات الرئيسية

مجموعة بيانات DF-R5: مجموعة بيانات واسعة النطلة ومصححة بالاستدلال (115 ألف صورة) تسد الفجوة في بيانات الاستدلال عالية الجودة للكشف عن التزييف العميق.
هيكل DX-LLaVA: هيكل مبتكر يدمج CLIP ConvNeT مع Vicuna، مما يثبت أن المشفرات البصرية على مستوى البكسل تتفوق على ViT في اكتشاف آثار التزييف العميق الدقيقة.
خوارزمية PRPO: طريقة تعلم تعزيزي وقت الاختبار تفرض التجذر البصري والاتساق الذاتي على مستوى الفقرة، مما يحسن جودة الاستدلال بشكل كبير دون الحاجة لإعادة تدريب مكثفة.
تقييم شامل: تجارب واسعة النطلة تظهر مكاسب كبيرة في كل من دقة الكشف وصدقية التفسير عبر مجالات غير مرئية مسبقًا.

النتائج التجريبية

أداء الكشف

التعميم: في المجالات غير المرئية (اختبار بين المجالات)، تحقق PRPO متوسط درجة F1 يبلغ 89.91%، متفوقة على خط الأساس SIDA بنسبة 14.65% وعلى نماذج MLLM أخرى (مثل Gemini-2.5 بنسبة 80.31% F1).
المتانة: تظهر PRPO قوة خاصة في المجالات الصعبة مثل SiT، حيث تبدو الصور الحقيقية والمزيفة غير قابلة للتمييز تقريبًا، محققة F1 بنسبة 71.26% مقارلة بالدرجات المنخفضة جدًا للنماذج الأساسية.
تأثير الهيكل: أدى استبدال ViT بـ ConvNeXT في هيكل DX-LLaVA إلى تحسين بنسبة 24.10% في درجة F1 في إعدادات الاختبار بين المجالات مقارنة بالنسخة القائمة على ViT.

جودة الاستدلال

التقييم: تم تقييم التفسيرات بواسطة GPT-4o عبر خمس معايير (دقة التصنيف، تجذر الأدلة، جودة الاستدلال، معايرة الثقة، والوضوح).
الدرجات: حققت PRPO أعلى درجة استدلال إجمالية قدرها 4.55/5.0، متفوقة على Gemini-2.5 (4.20) وجميع النماذج الأساسية الأخرى.
دراسة الاستبعاد (Ablation): وُجد أن الجمع بين مكافآت VCR و PCR أمر ضروري؛ حيث أدى استخدام VCR فقط إلى دقة عالية ولكن استدعاء (recall) منخفض، بينما أدى استخدام PCR فقط إلى استدعاء منخفض. معًا، حققا توازنًا فعالًا بين المقاييس.

الكفاءة

تعمل PRPR في وقت الاختبار. تشير التوصيفات الحسابية إلى أنه بينما يمثل أخذ العينات التكلفة المهيمنة (حوالي 90%)، فإن حساب المكافأة وتحديثات السياسة خفيفة الوزن. وتتوسع الطريقة بكفاءة مع حجم الدفعة (batch size)، مما يقلل زمن الاستجابة بشكل كبير مع زيادة حجم الدفعة.

الأهمية والادعاءات

يدعي البحث أن تأصيل الاستدلال متعدد الوسائط في الأدلة البصرية أمر ضروري للكشف الموثوق والقابل للتفسير عن التزييف العميق. ويؤكد المؤلفون على ما يلي:

التكيف وقت الاختبار عبر PRPO يسمح للنماذج بتحسين محاذاة الاستدلال ذاتيًا دون الحاجة إلى إعادة تدريب مكثفة على البيانات الموسومة.
التحسين على مستوى الفقرة هو ابتكار حاسم، لأنه يجبر النموذج على التحقق من أن كل خطوة في استدلاله مدعومة بالصورة، وليس مجرد تحسين الرمز (token) النهائي.
يعمل هذا النهج كـ أداة دعم القرار للمحللين البشريين في الطب الشرિયા للإعلام، حيث يقدم تفسيرات ليست دقيقة فحسب، بل مفصلة وقائمة على الأدلة.

يشير المؤلفون بتواضع إلى القيود، مع الإقرار بأن النهج الحالي يركز بشكل أساسي على التزييف العميق المتعلق بالوجه، وأن سيناريوهات الآثار الشحيحة للغاية (مثل بعض عمليات توليد SiT) تظل تحديًا. وهم يضعون هذا العمل كخطوة نحو دمج الاستدلال المنظم مع نماذج الرؤية واللغة في التطبيقات الحرجة للسلامة، بدلاً من كونه نظامًا مستقلًا لاتخاذ القرار.