💬 NLP

TAB-AUDIT: Detecting AI-Fabricated Scientific Tables via Multi-View Likelihood Mismatch

تقدم هذه الورقة البحثية إطار عمل TAB-AUDIT، وأول مجموعة بيانات مرجعية (FabTab) للكشف عن الجداول العلمية المصنعة بواسطة الذكاء الاصطناعي من خلال الاستفستادة من عدم التوافق في احتمالية ما بين هياكل الجداول والمحتوى الرقمي، محققةً أداءً هو الأفضل حالياً في تحديد الاحتيال الأكاديمي.

المؤلفون الأصليون: Shuo Huang, Yan Pen, Lizhen Qu

نُشر 2026-03-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuo Huang, Yan Pen, Lizhen Qu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً يمكن فيه لروبوت فائق الذكاء أن يكتب ورقة بحثية علمية ببراعة تجعلها تبدو تماماً كما لو كتبها إنسان. لديه المصطلحات الصحيحة، والهيكل الصحيح، وحتى "النكهة" المناسبة. لكن العائق هنا هو أن الروبوت لم يجرِ التجارب فعلياً؛ بل قام فقط بتأليف الأرقام.

هذه هي مشكلة البيانات العلمية المُصطنعة من قِبل الذكاء الاصطناعي. والورقة البحثية التي تسأل عنها، TAB-AUDIT، هي بمثابة "جهاز كشف كذب" عالي التقنية مصمم خصيصاً للإمساك بهذه الروبوتات عندما تحاول تزييف جداول بياناتها.

إليك تفصيل لكيفية عملها، باستخدام بعض التشبيهات من الحياة اليومية.

1. المشكلة: "شهادة دراسية" مثالية مزيفة

في الماضي، إذا أردت تزييف شهادة دراسية، قد تكتب "امتياز" في الرياضيات و"جيد جداً" في التاريخ. ولكن إذا كتبت "امتياز" في الرياضيات، و"امتياز" في العلوم، و"امتياز" في التربية البدنية، و"امتياز" في الفنون، فسيصبح المعلم مرتاباً. الحياة الواقعية فوضوية؛ فالدرجات عادة ما تتفاوت قليلاً.

نماذج الذكاء الاصطناعي بارعة في كتابة القصة (النص)، لكنها سيئة جداً في محاكاة فوضوية البيانات الحقيقية. عندما يزيف الذكاء الاصطناعي جدولاً علمياً، فإنه غالباً ما ينشئ أرقاماً تبدو "مثالية أكثر من اللازم" أو لا تتطابق تماماً مع القصة التي يرويها الجدول.

2. الحل: محقق "الهيكل مقابل اللحم"

أدرك مؤلفو هذه الورقة أن الجدول العلمي يتكون من جزأين:

الهيكل: العناوين، وتسميات الصفوف، والعناوين الفرعية (مثل: "النموذج أ"، "النموذج ب"، "الدقة").
اللحم: الأرقام الفعلية داخل الخلايا (مثل: "92.4%"، "88.1%").

التشبيه: تخيل أن الجدول عبق بـ منزل.

الهيكل هو المخططات والإطار (الجدران، السقف، إطارات الأبواب).
اللحم هو الأثاث والأشخاص الذين يعيشون بداخله.

في المنزل الحقيقي، يتناسب الأثاث مع الغرفة. إذا كان لديك مطبخ صغير، فلا يمكنك وضع سرير بحجم ملكي فيه. لكن الذكاء الاصطناعي الذي يحاول بناء منزل مزيف قد يرسم إطار مطبخ مثالياً (الهيكل) ثم يضع عشوائياً سريراً ضخماً في منتصفه (اللحم) لأنه لا يفهم المنطق لكيفية قياس تلك الأرقام في الواقع.

3. كيف يعمل TAB-AUDIT

يعمل النظام، المسمى TAB-AUDIT، كمفتش جنائي. هو لا يقرأ الكلمات فحسب؛ بل يتحقق من العلاقة بين الإطار واللحم.

إليك الحيل الثلاث الرئيسية التي يستخدمها:

أ. اختبار "عدم التطابق" (الفكرة الجوهرية)

يطرح النظام سؤالاً: "إذا أريتك مخطط هذا الغرفة، ما مدى غرابة الأثاث الموجود بداخلها؟"

بيانات البشر الحقيقية: الأرقام تتناسب مع السياق تماماً. إذا كان الجدول يقارن بين نموذجين للذكاء الاصطناعي، فإن الأرقام تظهر معركة واقعية وفوضوية حيث يتفوق أحدهما في بعض المجالات والآخر في مجالات أخرى. مستوى "المفاجأة" يكون منخفضاً.
بيانات الذكاء الاصطناعي المزيفة: تبدو الأرقام عشوائية بشكل غريب أو "سلسة" للغاية مقارنة بالعناوين. يكتشف النظام وجود فجوة (عدم تطابق) بين ما يقول الجدول إنه يقيسه وبين ما تبدو عليه الأرقام فعلياً.

ب. اختبار "النظافة الزائدة"

التجارب الحقيقية فوضوية. أحياناً تكون النتيجة 92.34%، وأحياناً تكون 92.3%. البيانات الحقيقية تحتوي على بعض العيوب البسيطة.
البيانات التي يولدها الذكاء الاصطناعي غالباً ما تحاول أن تكون مثالية للغاية. قد:

تحتوي على أرقام مرتبة بدقة شديدة (مثل 10، 20، 30، 40).
تكرر نفس الرقم كثيراً.
تفتقر إلى الأخطاء العشوائية الصغيرة التي تحدث في الحياة الواقعية.
يرصد TAB-AUDIT هذه "النظافة العقيمة" ويصنفها كأمر مريب.

ج. فحص "السياق"

ينظر النظام إلى الورقة بأكملها، وليس إلى جدول واحد فقط. يتحقق مما إذا كان الجدول يتناسب مع قصة بقية الورقة. إذا كانت الورقة تتحدث عن تجربة صعبة ومعقدة، ولكن الجدول يظهر نتائج مثالية مستحيلة مع انعدام التباين، فإن النظام يرفع راية حمراء.

4. النتائج: كشف المزيفين

قام الباحثون ببناء مجموعة اختبار ضخمة تسمى FABTAB. غدوا فيها آلاف الأوراق الحقيقية وآلاف الأوراق المزيفة من صنع الذكاء الاصطناعي.

النتيجة: كشف نظامهم المزيفات بدقة بلغت 98.7%.
المقارنة: الطرق القديمة (التي كانت تنظر فقط إلى النص) كانت تشبه محاولة كشف لوحة مزيفة من خلال النظر إلى الإطار فقط. أما TAB-AUDIT فينظر إلى الطلاء نفسه وكيفية استقراره على اللوحة. لقد كان أفضل بكثير في كشف المزيفات، حتى عندما استخدم الذكاء الاصطناعي "عقلاً" مختلفاً (نموذجاً مختلفاً) لكتابتها.

5. لماذا هذا مهم؟

فكر في الأوراق العلمية كأنها أساس المبنى. إذا كان الأساس (البيانات) مزيفاً، فإن المبنى بأكمله (الاكتشاف العلمي) سينهار.

قبل: كنا نقلق من كتابة الذكاء الاصطناعي لمقالات مزيفة.
الآن: نحن نقلق من كتابة الذكاء الاصطناعي لـ أدلة مزيفة.

TAB-AUDIT هو أداة للمحررين والعلماء ليقولوا: "مهلاً، هذا الجدول يبدو مثالياً أكثر من اللازم، أو الأرقام لا تتطابق تماماً مع القصة. دعونا نلقي نظرة فاحصة قبل نشره".

ملخص

TAB-AUDIT هو محقق رقمي يكشف كاذبي الذكاء الاصطناعي من خلال ملاحظة أن جداول بياناتهم المزيفة مثالية هيكلياً ولكنها غريبة منطقياً. إنه يشبه المعلم الذي يعرف أن الطالب الذي حصل على 100% في كل الاختبارات، بما في ذلك الاختبار الذي لم يذاكر له، هو على الأرجى يغش. إنه يتحقق مما إذا كانت الأرقام منطقية مع القصة التي ترويها.

بناءً على النص المقدم، إليكم ملخصاً تقنياً مفصلاً لورقة البحث بعنوان:
"TAB-AUDIT: كشف الجداول العلمية المصنوعة بواسطة الذكاء الاصطناعي عبر عدم التطابق في احتمالية تعدد الرؤى."

1. بيان المشكلة

أدى التقدم السريع في النماذج اللغوية الكبيرة (LLMs) إلى تمكين توليد مخطوطات علمية مقنعة ولكنها مفبركة، مما يشكل تهديداً خطيراً للنزاهة الأكاديمية. وبينما ركزت جهود الكشف السابقة على الآثار النصية (مثل الاستشهادات المهلوقة أو التناقضات السردية)، فقد تم تجاهل الجداول التجريبية — التي تعد الدليل التجريبي الأساسي للادعاءات العلمية — بشكل كبير.

الفجوة: تعاني أدوات الكشف الحالية في تحديد الجداول المولدة بواسطة الذكاء الاصطناعي لأن النماذج اللغوية الكبيرة يمكنها محاكاة التنسيق والهيكل العظمي للجداول العلمية (العناوين، التسميات، المقاييس) بشكل جيد جداً. ومع ذلك، فإن المحتوى الرقمي الذي تولده هذه النماذج غالباً ما يفتقر إلى عدم الانتظام الإحصائي الدقيق والتماسك الحسابي الموجود في البيانات التجريبية البشرية الحقيقية.
التحدي: يصعب التمييز بين البحث المدعوم بالذكاء الاصطناعي المشروع وبين الاحتيال المصنوع بالكامل بواسطة الذكاء الاصطناعي، خاصة عندما يكون الاحتيال مستنداً إلى أدبيات حقيقية للحفاظ على التماسك الموضوعي.

2. المنهجية: إطار عمل TAB-AUDIT

يقترح المؤلفون إطار العمل TAB-AUDIT، وهو إطار مدفوع بالإشارات يعمل على كشف الجداول المفبركة من خلال تحليل عدم التطابق بين الهيكل النصي للجدول ومحتواه الرقمي.

أ. بناء المعيار المرجعي (FABTAB)

لتمكين الدراسة المنهجية، أنشأ المؤلفون FABTAB، وهو أول معيار مرجعي لهذه المهمة:

التكوين: 1,173 ورقة بحثية مولدة بالذكاء الاصطناعي و1,215 ورقة بحثية من تأليف بشر في مجال معالجة اللغات الطبيعية (NLP) التجريبية.
خط إنتاج التوليد: يتم توليد الأوراق العلمية باستخدام نهج "مستند إلى الأدبيات". يقوم النظام بتجميع الأوراق الحقيقية حسب الموضوع، ويأخذ عينات من المراجع، ثم يوجه نموذجاً لغوياً (GPT-4o) لتوليد مخطوطة كاملة بما في ذلك الجداول. يضمن هذا دمج جداول الذكاء الاصطناعي في سياق علمي متماسك، مما يجعل اكتشافها أصعب من مجرد توليد جداول معزولة.
مجموعات الاختبار المستبعدة: تتضمن مجموعة اختبار خارج النطاق تم توليدها بواسطة GPT-5.2 لتقييم القدرة على التعميم عبر بنيات النماذج المختلفة.
التحقق البشري: أظهرت دراسة بشرية أن المرشحين لدرجة الدكتورة لم يتمكنوا سوى من التمييز بين جداول الذكاء الاصطناعي والجداول الحقيقية بدقة متوسطة (AUC 0.66)، مما يؤكد الواقعية العالية للبيانات الاصطناعية.

ب. الإشارة الجوهرية: عدم تطابق احتمالية تعدد الرؤى

الفرضية المركزية هي أنه بينما يمكن للنماذج اللغوية الكبيرة محاكة الهيكل (الهيكل العظمي) للجدول، فإن القيم الرقمية التي تولدها تكون غير نمطية إحصائياً بالنسبة لذلك الهيكل.

رؤى التسلسل (Serialization Views): يتم تسلسل كل جدول إلى ثلاث رؤى:
- الرؤية الكاملة (Full View): النص والأرقام كاملة.
- رؤية الهيكل العظمي (Skeleton View): النص (العناوين، التسميات) مع حجب الأرقام.
- الرؤية الرقمية (Numeric View): الأرقام فقط، موزعة بتباعد لتقليل آثار التقطيع (tokenizer artifacts).
تسجيل الاحتمالية (Likelihood Scoring): يقوم نموذج لغوي مراقب (مثل GPT-2 أو Llama أو Qwen) بحساب الارتياب (الاحتمالية السالبة للوغاريتم - perplexity) لكل رؤية.
ميزة عدم التطابق ( $f_\Delta$ ): الميزة الرئيسية هي الفرق بين ارتياب الرؤية الرقمية وارتياب رؤية الهيكل العظمي.
- في الجداول البشرية، تكون الأرقام متسقة مع السياق التجريبي (عدم تطابق منخفض).
- في جداول الذكاء الاصطناعي، يكون الهيكل العظمي بليغاً، لكن الأرقام تكون "مفاجئة" أو غير نمطية بالنظر إلى ذلك الهيكل المحدد (عدم تطابق مرتفع).

ج. ميزات إضافية

لتعزيز الكشف، يجمع TAB-AUDIT بين عدم تطابق الاحتمالية وبين:

الإحصاءات الرقمية الخالية من النماذج اللغوية (LM-Free): مقاييس مثل الاتساق الحسابي (على سبيل المثال، اتساق الفرق في الصفوف $\Delta$ -consistency)، والرتابة (monotonicity)، والترتيب، ودقة الكسور العشرية. تظهر الجداول البشرية حسابات أكثر "فوضوية" ولكنها متسقة؛ بينما تميل جداول الذكاء الاصطناعي إلى أن تكون منتظمة أو مرتبة بشكل مفرط.
الميزات الهيكلية: أبعاد الجدول، ونسبة العنوان إلى المتن، وكثافة الخلايا الرقمية.

د. التجميع والتصنيف

التجميع على مستوى الورقة: بما أن الورقة تحتوي على جداول متعددة، يقوم إطار العمل بتجميع ميزات مستوى الجدول باستخدام الوسيط (median) القوي لإنشاء درجة مخاطر واحدة على مستوى الورقة.
المصنف (Classifier): بينما تم اختبار خلفيات متنوعة، حقق مصنف الغابة العشوائية (Random Forest) المدرب على مجموعة الميزات المدمجة أفضل أداء.

3. المساهمات الرئيسية

مجموعة بيانات FABTAB: أول معيار مرجعي واسع النطاق يضم 1,173 ورقة مفبركة بالذكاء الاصطناعي و1,215 ورقة بشرية في مجال NLP التجريبي، مصممة خصيصاً لاختبار كشف الاحتيال القائم على الجداول مع محاذاة موضوعية صارمة.
إطار عمل TAB-AUDIT: منهجية كشف مبتكرة تعمل على تشغيل فرضية "عدم تطابق الهيكل-الرقمي". إنها تتجاوز الكشف العام عن النصوص إلى التدقيق الجنائي للبيانات الرقمية.
التحليل المنهجي للإشارات: تقدم الورقة برهاناً نظرياً وتجريبياً على أن النسيج التوزيعي للأرقام التجريبية يصعب على النماذج اللغوية الكبيرة إعادة إنتاجه مقارنة بالدعامة النصية للتقرير العلمي.

4. النتائج التجريبية

تم تقييم إطار العمل على كل من مجموعات البيانات داخل النطاق (المولدة بواسطة GPT-4o) وخارج النطاق (المولدة بواسطة GPT-5.2).

الأداء:
- داخل النطاق: حقق 0.987 AUROC و 0.985 AUPRC.
- خارج النطاق (GPT-5.2): حافظ على أداء قوي بـ 0.883 AUROC، مما يدل على المتانة تجاه تغير المولدات.
- معدل الإيجابيات الكاذبة المنخفض: عند عتبة معدل إيجابيات كاذبة (FPR) صارمة بنسبة 5%، حقق النظام معدل إيجابيات حقيقية (TPR) قدره 0.933 داخل النطاق و 0.218 خارج النطاق، متفوقاً بشكل كبير على النماذج المرجعية.
المقارنة مع النماذج المرجعية:
- تفوق على أدوات الكشف صفرية المحاولة (zero-shot) مثل Binoculars (0.683 AUROC) وطرق DetectGPT-style (0.397 AUROC).
- فشلت أدوات الكشف التقليدية القائمة على النصوص في التقاط التناقضات المحددة في البيانات الرقمية.
دراسة الاستئصال (Ablation): كانت ميزة "عدم التطابق" وحدها قوية، ولكن نهج FusedAll (الذي يجمع بين عدم تطابق الاحتمالية، والميزات الهيكلية، والميزات الرقمية الخالية من النماذج اللغوية) قدم أفضل قدرة على التعميم.

5. الأهمية والآثار المترتبة

التدقيق الجنائي: تعيد هذه الدراسة صياغة كشف الذكاء الاصطناعي كمسألة جنائية. وهي تثبت أن "بصمة" التزييف بالذكاء الاصطناعي لا تكمటు في النثر فحسب، بل في النسيج الإحصائي للبيانات الداعمة للادعاءات.
أداة عملية: يعمل TAB-AUDIT كأداة فحص قابلة للتوسع للمجلات والمؤتمرات. يمكنه تحديد الأوراق عالية المخاطر للمراجعة اليدوية دون الحاجة إلى الوصول إلى الكود المصدري الخام أو سجلات التجارب.
القيود: تعتمد الطريقة على جودة استخراج الجداول (تحليل ملفات PDF) واختيار النموذج المراقب. قد تقوم النماذج الموجهة بالتعليمات (instruction-tuned) عالية المحاذاة أحياناً بتنعيم التناقضات، مما يجعلها تعمل كمراقبين أضعف من النماذج الأساسية.
الاتجاه المستقبلي: يسلط هذا العمل الضوء على الحاجة إلى معايير جديدة لتقرير البيانات التجريبية ويشير إلى أن أنظمة الكشف المستقبلية يجب أن تدمج التحليل متعدد الوسائط (النص + البيانات المهيكلة) لمكافحة احتيال الذكاء الاصطناعي المتطور.

في الختام، يوضح TAB-AUDIT أنه بينما يمكن للنماذج اللغوية الكبيرة محاكة شكل الجداول العلمية، فإنها تكافح لإعادة إنتاج جوهر الأدلة التجريبية، مما يخلق إشارة جنائية يمكن اكتشافها واستغلالها لحماية النزاهة الأكاديمية.