Evaluating Latent Knowledge of Public Tabular Datasets in Large Language Models

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تقييم المعرفة الكامنة في مجموعات البيانات الجدولية العامة في النماذج اللغوية الكبيرة."

1. بيان المشكلة

تتناول الورقة البحثية قضية حرجة وهي تلوث البيانات (Data Contamination) في النماذج اللغوية الكبيرة (LLMs)، وتحديداً في مجال البيانات الجدولية.

• التعريف: يحدث التلوث عندما تتداخل بيانات تدريب النموذج مع بيانات التقييم (الاختبار) الخاصة به. يؤدي هذا إلى تضخم مقاييس الأداء بما يعكس الحفظ بدلاً من التعميم الحقيقي.
• الفجوة: بينما تمت دراسة التلوث في الاختبارات المرجعية النصية بشكل جيد، إلا أنه لا يزال غير مستكشف إلى حد كبير في البيانات الجدولية. تعتمد طرق الكشف الحالية على اختبارات الحفظ الحرفي (Verbatim Memorization Tests) (التحقق مما إذا كان النموذج يمكنه إعادة إنتاج صفوف محددة بدقة). ويرى المؤلفون أن هذه الاختبارات سطحية للغاية؛ إذ يمكن أن يكون النموذج ملوثاً (يمتلك معرفة مسبقة بتوزيع مجموعة البيانات) دون أن يكون قادراً على إعادة إنتاج صفوف معينة حرفياً.
• النتيجة: قد تكون التقييمات الحالية للنماذج اللغبية الكبيرة على الاختبارات المرجعية الجدولية العامة (مثل: Titanic، Adult، Iris) غير صالحة، حيث يمكن أن تنبع الدرجات العالية من التعرض المسبق بدلاً من قدرات الاستنتاج الحقيقية.

2. المنهجية: الإطار المقترح

قدم المؤلفون إطار عمل مبتكر للكشف عن التلوث من خلال الانتقال من استدعاء الحفظ الحرفي إلى تقييم المعرفة الكامنة (Latent Knowledge Assessment). الفكرة الجوهرية هي إنشاء متغيرات مضبوطة لمجموعات البيانات واستخدام التقييم المقارن لعزل إشارات التلوث.

أ. متغيرات مجموعة البيانات

لكل مجموعة بيانات جدولية عامة، يقوم إطار العمل بإنشاء أربعة متغيرات متوافقة لاختبار أنواع مختلفة من المعرفة:

1. الحقيقية (Real): مجموعة البيانات الأصلية دون تعديل.
2. المشابهة (Like): يتم فيها إعادة أخذ عينات الأعمدة بشكل مستقل من توزيعاتها الهامشية التجريبية. يحافظ هذا على الإحصاءات على مستوى العمود ولكنه يدمر الارتباطات على مستوى الصف (التوزيعات المشتركة). الأداء العالي هنا يشير إلى معرفة بالإحصاءات العامة، وليس بصفوف محددة.
3. المبدلة (Swapped): تطبق تقابلاً (Permutation) داخل العمود للقيم الفئوية وخريطة خطية للقيم العددية. لا ترتبط أي قيمة بنفسها. يحافظ هذا على هيكل الصف وأنماط التواجد المشترك ولكنه يزيل المعنى الدلالي.
4. المموهة (Obfuscated): يتم استبدال أسماء الميزات والقيم الفئوية برموز مجهولة (مثل $f_1, c_2$). يزيل هذا كافة الإشارات الدلالية، مما يختبر ما إذا كان النموذج يعرف الأنماط الهيكلية المحددة لمجموعة البيانات دون الاعتماد على المعرفة بالعالم أو أسماء الميزات.

ب. أدوات التقييم (Probes)

يستخدم إطار العمل استعلامات اختيار من متعدد خماسية الخيارات متوافقة عبر جميع المتغيرات:

• مهمة الإكمال (Completion Task): يتم حجب جزء من الصف (مثلاً 20% من الأعمدة) ويجب على النموذج اختيار القيم الصحيحة للخلايا المفقودة من بين خمسة خيارات.
• مهمة الوجود (Existence Task): يُعرض على النموذج خمسة صفوف كاملة (صف واحد حقيقي وأربعة مشتتات) ويجب عليه تحديد أي منها موجود في مجموعة البيانات.

ج. الخطوط المرجعية والاختبار الإحصائي

للتفريق بين الاستنتاج الإحصائي العام والتلوث، يقارن إطار العمل أداء النماذج اللغبية الكبيرة مقابل ثلاثة خطوط مرجعية غير عصبية:

1. الخط المرجعي العشوائي (Random Baseline): الاختيار العشوائي الموحد (مستوى الصدفة).
2. الخط المرجعي الحتمي (Deterministic Baseline): يختار الخيار ذو الاحتمالية الأعلى بناءً على الهوامش التجريبية لكل عمود (تنعيم لابلاتس - Laplace smoothing).
3. الخط المرجعي العشوائي (Stochastic Baseline): يأخذ عينات من الخيارات بناءً على توزيع الاحتمال الهامشي.

قاعدة القرار: يتم اكتشاف التلوث إذا كان أداء النموذج اللغبي الكبير أفضل بشكل ملحوظ من الخط المرجعي العشوائي في المتغير الحقيقي (باستخدام اختبار مكنيار - McNemar's test، $\alpha=0.01$). علاوة على ذلك، يحلل إطار العمل انخفاض الأداء عبر المتغيرات:

• إذا انخفض الأداء في متغير Like، فإن النموذج يعتمد على هيكل الصف، وليس فقط الهوامش.
• إذا انخفض الأداء في متغير Swapped أو Obfuscated، فإن النموذج يعتمد على دلالات محددة لمجموعة البيانات أو ذاكرة الصف الدقيقة.

3. المساهمات الرئيسية

1. أول إطار عمل لتلوث البيانات الجدولية: يقدم اختباراً مرجعياً مزدوج المهام (إكمال/وجود) بنظام الاختيار من متعدد مصمم خصيصاً للكشف عن المعرفة الكامنة في البيانات الجدولية، بدلاً من مجرد الحفظ الحرفي.
2. معايير كشف مبدئية: يقترح إجراء اختبار إحصائي يقارن النماذج اللغبية الكبيرة بالخطوط المرجعية غير العصبية لتحديد التلوث رسمياً، وتجنب غموض درجات الدقة الخام.
3. أدلة تجريبية على التلوث: يثبت أن اختبارات الحفظ المعتمدة على الحفظ الحرفي تفشل في اكتشاف التلوث في كثير من الحالات، بينما يكشف إطار العمل المقترح عن تلوث كبير في مجموعات البيانات المستخدمة على نطاق واسع.
4. سجل التلوث: يوفر سجلاً شاملاً لحالة التلوث عبر 8 مجموعات بيانات و7 نماذج لغبية كبيرة بمقاييس متفاوتة.

4. النتائج التجريبية

قام المؤلفون بتقييم 7 نماذج لغبية كبيرة (Mistral-7B, Qwen-7B/14B/32B, Llama-8B/70B, GPT-OSS) على 8 مجموعات بيانات عامة (Adult, Blood, Credit, Diabetes, Gamma, Iris, Mushroom, Titanic) وعلى مجموعة تحكم اصطناعية.

• فشل اختبارات الحفظ الحرفي: فشلت اختبارات إعادة بناء الصف الحرفية القياسية (مثل Bordt et al., 2024) في اكتشاف التلوث في مجموعات البيانات الأساسية مثل Adult و Titanic، حيث أظهرت دقة تقترب من الصفر.
• نجاح إطار العمل المقترح:
  • اكتشاف التلوث: وجد إطار العمل دليلاً واضحاً على التلوث في 4 من أصل 8 مجموعات بيانات: Adult, Credit, Iris, و Titanic.
  • الاعتماد على الحجم: أصبحت إشارات التلوث أقوى بشكل عام مع زيادة حجم بارامترات النموذج (على سبيل المثال، أظهر Llama-70B إشارات أقوى من Llama-8B).
  • حساسية المهمة: وُجد أن مهمة الإكمال (Completion) أكثر حساسية للتلوث من مهمة الوجود (Existence).
  • الضوابط السلبية: أعاد إطار العمل نتائج سلبية بشكل صحيح لمجموعة بيانات Mushroom ومجموعة البيانات الاصطناعية (التي تم ضمان عدم رؤيتها من قبل)، مما يثبت أنه لا يصنف كل الاختبارات المرجعية العامة كملوثة خطأً.
• تفسير المتغيرات:
  • في حالة Titanic، أدى أداء النماذج بشكل جيد في المتغير الحقيقي، لكنه انخفض بشكل كبير في المتغيرين المبدل (Swapped) و المموه (Obfuscated)، مما يشير إلى أن التلوث يعتمد على الهيكل الدلالي المحدد لمجموعة البيانات الأصلية.
  • في حالة Adult، أدى أداء النماذج بشكل جيد في المتغيرين الحقيقي و المشابه (Like)، مما يشير إلى أنها قد تعلمت توزيعات هامشية قوية، ومع ذلك، أكد الاختبار الإحصائي ضد الخطوط المرجعية وجود التلوث.

5. الأهمية والآثار المترتبة

• صلاحية الاختبارات المرجعية: تشير النتائج إلى أن الأداء في المهام الجدولية اللاحقة التي تتضمن مجموعات بيانات عامة قد يكون مبالغاً فيه بشكل كبير. وتصبح الادعاءات بـ "التعميم" أو "الاستنتاج" على هذه الاختبارات مشكوكاً فيها إذا لم يتم استبعاد التلوث.
• تحيز مقارنة النماذج: يمكن أن يؤدي التلوث إلى تحيز المقارنات بين أحجام النماذج. فالنماذج الأكبر قد تبدو متفوقة ليس لأنها تعمم بشكل أفضل، بل لأنها أفضل في استغلال التعرض المسبق لبيانات الاختبار المرجعي.
• تحول منهجي: تجادل الورقة بأن تقييم التلوث يجب أن يصبح جزءاً قياسياً من تقييم النماذج اللغبية الكبيرة، تماماً مثل توثيق مجموعة البيانات أو اختبار الأهمية الإحصائية.
• القيود: يمكن لإطار العمل اكتشاف وجود التلوث، لكنه لا يستطيع إثبات عدمه (النتيجة السلبية تعني عدم وجود دليل، وليس أن النموذج نظيف تماماً). كما أنه أقل حساسية لمجموعات البيانات القديمة جداً والمنتشرة على نطاق واسع حيث قد تكون الإشارة مشتتة للغاية.

في الختام، توفر هذه الدراسة أداة دقيقة ومنظمة لكشف المعرفة المسبقة "المخفية" التي تمتلكها النماذج اللغبية الكبيرة حول البيانات الجدولية، مما يتحدى موثوقية ممارسات التقييم الحالية في مجالات البيانات المهيكلة.