Agentic coding without the cloud: evaluating open-weight large language models on longitudinal data preparation tasks
تقدم هذه الورقة إطار عمل مفتوح المصدر يثبت أن نماذج اللغات الكبيرة ذات الأوزان المفتوحة والقابلة للنشر محلياً (تحديداً النماذج التي تتراوح بارامتراتها بين 31 و35 مليار بارامتر) يمكنها أتمتة مهام إعداد البيانات الطولية بفعالية على أجهزة استهلاكية، مما يوفر بديلاً قابلاً للتطبيق ومتوافقاً مع معايير الحوكمة للذكاء الاصطناذ القائم على السحابة في الأبحاث التي تتضمن بيانات شخصية حساسة.
المؤلفون الأصليون:Mack Nixon, Liam Wright, Yevgeniya Kovalchuk, Alison Fang-Wei Wu, Martin Danka, Andy Boyd, David Bann
تخيل أنك محقق تحاول حل لغز ما، ولكن قبل أن تتمكن حتى من النظر إلى الأدلة، يتعين عليك قضاء ثلاثة أشهر في تنظيم علية فوضوية مليئة بالصناديق القديمة، والملاحظات الممزقة، والملفات غير المتطابقة. في عالم العلوم -خاصة عند دراسة كيفية تغير حياة الناس بمرور الوقت- يقضي الباحثون وقتاً طويلاً جداً في القيام بهذا "التنظيف للعلية". يتعين عليهم أخذ البيانات الخام من الاستطلاعات، وإصلاح الأخطاء المطبعية، ومطابقة الإجابات من سنوات مختلفة، وتحويل الرموز المربكة إلى أرقام واضحة. إنه أمر ممل، ويستغرق وقتاً طويلاً، وإذا ارتكبت خطأً صغيراً، فقد يكون تحقيقك بأكمله خاطئاً.
مؤخراً، أصبحت برامج الكمبيوتر الذكية التي تسمى "نماذج اللغات الكبيرة" (LLMs) بارعة جداً في كتابة الأكواد للقيام بعملية التنظيف هذه تلقائياً. لكن هناك عقبة: معظم هذه البرامج فائقة الذكاء تعيش في السحابة، مثل مكتبة ضخمة بعيدة. إذا كنت تدرس معلومات حساسة عن أشخاص حقيقيين (مثل السجلات الصحية أو إجابات استطلاعات خاصة)، فإن القواعد تنص على أنه لا يمكنك إرسال تلك البيانات إلى مكتبة سحابية بعيدة. الأمر يشبه أن تكون ممنوعاً من إرسال مذكراتك بالبريد إلى شخص غريب. لذا، ظل العلماء عالقين، غير قادرين على استخدام هذه الأدوات المفيدة لأنهم لا يستطيعون مغادرة حواسيبهم المحلية الآمنة. تسأل هذه الورقة سؤالاً بسيطاً ولكنه معقد: هل يمكننا بناء "مساعد ذكي" يعيش بالكامل على حواسيبنا الخاصة، دون إرسال البيانات للخارج أبداً، ومع ذلك يقوم بالمهمة الشاقة لتنظيف بيانات الأبحاث بشكل مثالي؟
قرر مؤلفو هذه الورقة معرفة ذلك من خلال بناء "مسار اختبار" خاص لهؤلاء المساعدين الآليين المحليين. لقد أنشأوا مجموعة بيانات "الحقيقة الأرضية"، وهي تشبه مفتاحاً رئيسياً أو ورقة إجابات مثالية، استناداً إلى بيانات حقيقية من دراسة طويلة الأمد للشباب في المملكة المتحدة تسمى "الخطوات التالية" (Nexts Steps). قاموا بتفكيك المهمة الضخمة لتنظيف هذه البيانات إلى 20 مهمة محددة، مثل دمج المعلومات من سنوات مختلفة لمعرفة التاريخ الوظيفي للشخص أو حساب مؤشر كتلة الجسم (BMI). بعد ذلك، قاموا بإعداد "عميل" (Agent) — وهو روبوت ذكاء اصطناعي صغير يعمل بنماذج مفتوحة المصدر يمكن تشغيلها على حواسيب عادية للمستهلكين (مثل حاسوب ألعاب قوي أو جهاز ماك متطور) — وراقبوه وهو يحاول كتابة الكود لتنظيف البيانات.
كانت النتائج واعدة بشكل مفاجئ. فالنماذج الأكثر أداءً، وهي نماذجي كبيرة تتطلب أجهزة قوية، تمكنت من إنجاز حوالي 87.9% من المهام بشكل "صحيح تقريباً" وأكملت 75% من المهام في محاولة واحدة دون أي مساعدة بشرية. وجدت الورقة أن هذه النماذج المحلية بارعة للغاية في التعامل مع الأشياء ذات التعريفات الواضحة والشاملة، مثل حساب مؤشر كتلة الجسم أو تحديد جنس الشخص. ومع ذلك، كانت تعاني أكثر مع الألغاز المعقدة الخاصة بالاستطلاعات، مثل فهم حالات السكن المعقدة أو فئات الدخل التي تتغير بناءً على القواعد المحددة لاستطلاع ذلك العام.
الأمر الجوهري هو أن الورقة تظهر أنه بينما أصبح الذكاء الاصطناعي جيداً جداً، إلا أنه ليس مثالياً بعد. وجد الباحثون أنه حتى عندما أنتج الذكاء الاصطناعي بيانات تبدو صحيحة في الظاهر، يمكن أن تتسلل أخطاء صغيرة مخفية. على سبيل المثال، قام نموذج أضعف بالتبديل عن طريق الخطأ بين رمز "مفقود" ورمز "صفر"، مما غير نتائج دراسة عن الدخل تماماً، وقلب اتجاهاً سلبياً إلى اتجاه إيجابي. يشير هذا إلى أنه بينما يمكن استخدام أدوات الذكاء الاصطناğı المحلية هذه كـ "مساعدين برمجيين" (Coding Copilots) لتسريع العمل، إلا أنها لا تزال بحاجة إلى باحث بشري لمراجعة واجباتهم المدرسية. وتخلص الورقة إلى أننا لسنا بحاجة لإرسال بياناتنا الحساسة إلى السحابة للحصول على المساعدة؛ فمع الأجهزة المحلية المناسبة والنماذج مفتوحة المصدر، يمكننا الحفاظ على سلامة بياناتنا وخصوصيتها مع الاستمرار في استخدام الذكاء الاصطناعي للقيام بالعمل الشاق للتحضير للبيانات.
ملخص تقني: البرمجة الوكيلية دون استخدام السحابة
بيان المشكلة تواجه العلوم الصحية والاجتماعية الكمية عقبة مستمرة في عملية إعداد البيانات، وهي عملية تستهلك الكثير من الجهد وتتضمن إعادة ترميز المتغيرات، وبناء المؤشرات، والمواءمة متعددة الموجات. وبينما توفر النماذج اللغوية الكبيرة (LLMs) وأطر العمل الوكيلية (agentic frameworks) إمكانات للأتمتة، فإن اعتمادها في الأبحاث التي تتضمن بيانات شخصية حساسة مقيد بمتطلبات الحوكمة. إذ تحظر بيئات البحث الموثوقة (TREs) واتفاقيات الوصول إلى البيانات نقل البيانات على مستوى الأفراد إلى النماذج اللقية القائمة على السحابة الخارجية. ورغم أن النماذج ذات الأوزان المفتوحة والقابلة للنشر محلياً توفر بديلاً يحافظ على الخصوصية، إلا أن المعايير المرجعية الحالية (مثل HumanEval وSWE-bench) تركز على هندسة البرمجيات العامة أو لغة بايثون، وتفشل في استيعاب الاستدلال الخاص بالمجال المطلوب لإعداد بيانات المسوح الطولية في لغة R، حيث تتضمن المهام تفسير البيانات الوصفية (metadata) غير المكتملة والتوفيق بين أنظمة الترميز المتباينة.
المنهجية طوّر المؤلفون إطار عمل مفتوح المصدر، يُسمى RRBench، لتقييم فعالية النماذج اللغوية ذات الأوزان المفتوحة في مهام إعداد البيانات الواقعية داخل بيئة محلية معزولة (air-gapped).
مجموعة بيانات الحقيقة الأرضية (Ground-Truth): يستخدم المعيار المرجعي مجموعة بيانات Next Steps Core، وهي نسخة نظيفة وجاهزة للبحث من دراسة بريطانية طولية لمجموعة أتراب (تتراوح أعمارهم بين 14 و32 عاماً). تتكون الحقيقة الأرضية من 20 مهمة متميزة مستمدة من باحثين خبراء في دراسات الأتراب، تتضمن إنشاء 102 متغيراً عبر مجالات ديموغرافية، وتعليمية، وصحية، واجتماعية واقتصادية.
سير العمل الوكيلي (Agentic Workflow): يستخدم النظام إطار عمل SmolAgents، وهو إطار عمل خفيف الوزن لا يتطلب قدرات أصلية لاستدعاء الأدوات (tool-calling)، مما يسمح باستخدام نماذج أصغر على أجهزة استهلاكية. يتلقى "الوكيل" ملفات البيانات المدخلة، والبيانات الوصفية (بتنسيق JSON يحتوي على أسماء المتغيرات، وتسمياتها، وتسميات القيم)، ومطالبة المهمة (task prompt). ثم يقوم الوكيل بشكل تكراري بتوليد وتنفيذ وتصحيح أخطاء سكربتات لغة R داخل بيئة محلية مغلقة.
اختيار النماذج: تم تقييم ثمانية نماذج ذات أوزان مفتوحة، تتراوح أحجامها بين 8 و35 مليار معلمة، بما في ذلك بنى النماذج الكثيفة (dense) ونماذج خليط الخبراء (MoE) (مثل Gemma 4، وQwen3.5/3.6، وMinistral). تم اختيار النماذج بناءً على قدرتها على التعامل مع نوافذ سياق لا تقل عن 100,000 توكن، وعلى حداثة إصدارها (خلال 12 شهراً من مايو 2026).
مقاييس التقييم: تم تقييم الأداء بمقارنة مجموعات البيانات التي أنشأتها النماذج اللغوية الكبيرة مقابل الحقيقة الأرضية التي أعدها البشر باستخدام:
الاكتمال (Completeness): نسبة المتغيرات المتوقعة الموجودة في المخرجات.
الصحة (Correctness): نسبة المتغيرات المستردة التي تستوفي عتبات اتفاق صارمة (اتفاق بنسبة ≥95% على مستوى الخلايا للمتغيرات الفئوية؛ وRMSE معيار لـ RMSE ≤10⁻⁴ للمتغيرات المستمرة).
الأداء المتوازن (Balanced Performance): حاصل ضرب الاكتمال والصحة.
الأثر اللاحق (Downstream Impact): أُجريت تحليلات الانحدار لقياس كيفية انتقال أخطاء البيانات إلى النتائج الجوهرية (مثل معاملات الانحدار لكتلة الجسم والدخل).
النتائج الرئيسية
أداء النماذج: حققت النماذج الرائدة في فئتها ضمن نطاق 31-35 مليار معلمة (تحديداً Gemma 4 31B وQwen3.6-35B-A3B) أعلى أداء. أكمل نموذج Gemma 4 31B نسبة 75% من المهام بالكامل في تمريرة واحدة، مع أداء متغير متوازن بنسبة 85.9% ومعدل إكمال متوسط للمهام بنسبة 87.9%.
الاكتمال مقابل الصحة: بينما حققت معظم النماذج نسبة اكتمال عالية (غالباً >95%)، كانت "الصحة" هي العامل المميز الأساسي. فالنماذج الأصغر (مثل Ministral-3-14B) غالباً ما أنتجت خطوات معالجة تبدو منطقية ولكنها غير صحيحة، مثل الخطأ في تسمية القيم المفقودة أو تطبيق منطق إعادة ترميز خاطئ.
تعقيد المهام: ارتبط الأداء ارتباطاً عكسياً قوياً مع تعقيد المهمة. فالمهام التي تتضمن تعريفات عالمية (مثل الجنس، وكتلة الجسم) تم إكمالها بشكل موثوق حتى من قبل النماذج الأصغر. وعلى العكس من ذلك، فإن المهام التي تتطلب تفسير البيانات الوصفية الخاصة بالمسح ومنطق اشتقاق معقد (مثل مدة حيازة السكن، ودخل الأسرة) أثبتت صعوبة بالغة؛ حيث لم يتم إكمال مهمة "مدة حيازة السكن" بالكامل من قبل أي نموذج في أي جولة.
العواقب اللاحقة: أنتجت مجموعات البيانات التي أنشأها أفضل النماض أداءً (Gemma 4 31B) معاملات انحدار مطابقة للحقيقة الأرضية. وفي المقابل، احتوت مجموعات البيانات الناتية عن النماذج الأضعف على "أخطاء صامتة" (مثل التعامل الخاطئ مع القيم المفقودة NA) التي غيرت جوهرياً معاملات الانحدار، مثل عكس اتجاه معامل النشاط الاقتصادي.
الحساسية للمطالبات (Prompt Sensitivity): انخفض الأداء بشكل كبير عند استخدام مطالبات "مختصرة" (lite prompts) تحتوي على تعليمات أقل صراحة، مما يسلط الض الضوء على اعتماد النماذج على التوجيه التفصيلي لمنطق الاشتقاق المعقد.
الأهمية والادعاءات يدعي البحث أنه يقدم أول معيار مرجعي مصمم خصيصاً لتقييم النماذج اللغوية الكبيرة القابلة للنشر محلياً في إعداد بيانات المسوح الطولية بلغة R. وتتمثل مساهمته الرئيسية في إثبات أن النماذج ذات الأوزان المفتوحة التي تعمل على أجهزة استهلاكية يمكنها تحقيق دقة عالية في مهام إعداد البيانات دون نقل بيانات حساسة إلى السحابة، مما يوفر مساراً قابلاً للتطبيق للبحث المدعوم بالذكاء الاصطناعي تحت أطر حوكمة صارمة.
ويؤكد المؤلفون أنه بينما تقتصر النماذج الأكثر أداءً حالياً على الأجهزة الاستهلاكية عالية المواصفات (مثل بطاقة رسوميات واحدة بسعة 24 جيجابايت)، فإن الإطار يثبت أن النشر المحلي أمر ممكن. ويجادلون بأن تحسين البيانات الوصفية لمساعدة فهم النموذج قد يؤدي إلى مكاسب في الأداء أكبر من التحسينات من جانب النموذج نفسه. ويخلص البحث إلى أنه بينما تظهر هذه النماذج وعداً في توليد السكربتات لـ "المرحلة الأولى"، فإن مراجعة "الإنسان في الحلقة" (human-in-the-loop) تظل ضرورية، خاصة بالنسبة للنماذج الأصغر المعرضة للأخطاء الصامتة. وقد تم إصدار الإطار كمصدر مفتوح لتسهيل التكيف المجتمعي والتوسع ليشمل مجموعات بيانات ولغات برمجة أخرى.