Circuit Fine-Tuning for Compute-Efficient Transformer Adaptation
تقدم هذه الورقة البحثية "الضبط الدقيق للدوائر" (Circuit Fine-Tuning - CFT)، وهو إطار عمل كفء حوسبياً يستفيد من اكتشاف الدوائر باستخدام رأس استقصاء ذي تهيئة قريبة من الصفر لتحديد وضبط الجزء الفرعي الأكثر صلة فقط من نموذج "ترانسفورمر الرؤية" (Vision Transformer)، مما يحقق ذروة دقة أسرع بكثير من النماذج المرجعية ذات الكفاءة في المعلمات، مع عدم إضافة أي معلمات أو عبء إضافي عند الاستنتاج.
تخيل أن لديك عقل روبوت ضخم وفائق الذكاء، قد قرأ بالفعل كل كتاب تقريباً في المكتبة. إنه يعرف كيف يميز القطط والسيارات والغيوم بشكل مثالي. ولكن الآن، تريد تعليمه خدعة جديدة: رصد نوع معين من الفطر النادر. كانت الطريقة القديمة للقيام بذلك هي أخذ العقل بأكمله، وفتحه، وإعادة تدريب كل عصبون فيه ليتعلم عن الفطر. لقد نجح الأمر بشكل رائع، لكنه كان يشبه محاولة إعادة طلاء ناطحة سحاب كاملة لمجرد تغيير لون نافذة واحدة؛ فقد استغرق الأمر وقتاً طويلاً، وكلف ثروة من الكهرباء، وكان هدراً هائلاً للجهد.
حاول العلماء مؤخراً استخدام طريق مختصر يسمى "الضبط الدقيق كفء المعلمات" (PEFT). كانت الفكرة هي: "لماذا نعيد طلاء المبنى بأكمله؟ لنضف فقط بعض الملصقات الجديدة أو نعدل نسبة ضئيلة جداً من الطلاء". وفر هذا المال في عدد التغييرات، ولكن كانت هناك عقبة. حتى لو غيرت 3% فقط من العقل، كان لا يزال على الكمبيوتر تشغيل العقل بأكمله عبر اختباراته لمئات الجولات ليتقن الأمر. كان الأمر يشبه قيادة سيارة سباق بعجلة واحدة فقط تعمل، فأنت لا تزال تستهلك الوقود بالسرعة القصوى، رغم أنك لا توجه السيارة كثيراً. السؤال الكبير أصبح: هل يمكننا التوقف عن إضاعة الوقت والكهرباء من خلال معرفة الأجزاء التي تحتاج فعلياً لتعلم الخدعة الجديدة، وترك الباقي وشأنه؟
هنا يأتي دور الورقة البحثية الجديدة، "الضبط الدقيق للدوائر" (CFT). يقترح المؤلفان، أوري ز. كيالي وجيل بن أرتزي، طريقة ذكية جديدة لتكييف نماذج الذكاء الاصطناعي العملاقة هذه. بدلاً من التخمين حول الأجزاء التي يجب تعديلها أو مجرد إضافة ملصقات جديدة، يستخدمون تقنية تسمى "اكتشاف الدوائر" للعثور على المسارات المخفية المحددة داخل الذكاء الاصطناعي والتي تجيد بالفعل التعامل مع المهمة الجديدة.
إليك الخدعة السحرية: قبل أن يبدأ الذكاء الاصطناعي حتى في تعلم المهمة الجديدة، يعطيه الباحثون اختبار "قريب من الصفر". تخيل إعطاء الذكاء الاصطناعي لوحة بيضاء وسؤاله: "إذا أريتك فطراً الآن، أي أجزاء من عقلك ستضيء؟" ولأن الاختبار تم إعداده بحيث ليس لدى الذكاء الاصطناعي آراء قوية بعد، فإنه يكشف عن المسارات الطبيعية الخام التي يستخدمها العقل لمعالجة ذلك النوع المحدد من الصور. يقوم الباحثون بعد ذلك برسم خريطة لهذه "الدائرة" — وهي رسم بياني فرعي محدد من شبكة الذكاء الاصطناعي — ويقومون بتجميد كل شيء آخر. هم يسمحون فقط لتلك الأجزاء المحددة مسبقاً بالتعلم.
النتائج سريعة بشكل مدهش. بينما قد تحتاج الطرق الأخرى إلى تشغيل الذكاء الاصطفائي عبر 44 إلى 96 جولة (حقبات تدريبية) للوصول إلى ذروة الأداء، تصل هذه الطريقة الجديدة إلى أوج عطائها في حوالي 20 جولة فقط. هذا فرق هائل. من حيث قوة الحوسبة الخام، يستخدم CFT طاقة أقل بمقدار 2.3 إلى 6.6 مرة (مقاسة بـ FLOPs التدريب) ويستغرق وقتاً زمنياً حقيقياً أقل بمقدار 16 ضعفاً. والأفضل من ذلك؟ أنه لا يضيف أي أجزاء جديدة للذكاء الاصطناعي ولا يجعله أبطأ عندما تستخدمه فعلياً لاحقاً. إنه يشبه إدراك أنك لست بحاجة لإعادة بناء المحرك للفوز بالسباق؛ كنت تحتاج فقط لمعرفة أي التروس يجب أن تغير.
اختبر الباحثون ذلك على مجموعة متنوعة من التحديات، من مجموعات البيانات القياسية للصور إلى الأشعة السينية الطبية المعقدة وحتى نموذج الرؤية واللغة (ذكاء اصطناعي يرى ويتحدث). في كل حالة تقريباً، وصل CFT إلى قمة لوحة المتصدرين بجزء بسيط من الجهد. وجدوا أن "الدوائر" المطلوبة للمهام المختلفة فريدة من نوعها؛ فالمسار المطلوب للتعرف على طائر يختلف تماماً عن المسار المطلوب لرصد ورم. وهذا يثبت أن الفكرة القديمة القائلة بـ "مجرد تعديل بعض الأجزاء العشوائية" ليست الطريقة الأكثر كفاءة. من خلال الاستماع إلى استجابة الذكاء الاصطناعي الطبيعية للبيانات قبل بدء التدريب، يوضح لنا CFT كيف يمكننا التدريب بذكاء أكبر، وبسرعة أكبر، وبأقل قدر من الهدر.
ملخص تقني: الضبط الدقيق للدوائر (Circuit Fine-Tuning) من أجل تكييف نماذج المحولات بكفاءة حوسبية
1. بيان المشكلة
بينما أصبح الضبط الدقيق الموفر للمعلمات (PEFT) هو المعيار لتكييف نماذج المحولات الرؤيوية (ViTs) مع المهام اللاحقة، إلا أن المجال قد خلط بشكل كبير بين كفاءة المعلمات وكفاءة الحوسبة. يجادل المؤلفون بأن تقليل عدد المعلمات القابلة للتدريب لا يعني بالضرورة تقليل التكلفة الحوسبية (FLOPs) أو وقت التنفيذ الفعلي (wall-clock time) اللازم للوصول إلى ذروة الدقة.
تتطلب طرق PEFT الحالية (سواء كانت إضافية أو قائمة على الحساسية) جداول تدريب طويلة (44-96 حقبة/epoch). وبما أن تكلفة تكرار التدريب تهيمن عليها عمليات التمرير الأمامي وتمرير التنشيط والاشتقاق (forward and activation-gradient passes)—والتي تظل ثابتة بغض النظر عن عدد المعلمات التي يتم تحديثها—فإن البطء في التقارب (convergence) هو العائق الرئيسي. تفترض الورقة أن العامل المهيمن في الضبط الدقيق الفعال ليس عدد المعلمات، بل سرعة التقارب (عدد الحقب للوصول إلى ذروة الدقة).
2. المنهجية: الضبط الدقيق للدوائر (CFT)
يقترح المؤلفون الضبط الدقيق للدوائر (Circuit Fine-Tuning - CFT)، وهو إطار عمل يتكون من مرحلتين مصمم لتحديد وتحديث الرسم البياني الفرعي (subgraph/circuit) المحدد من النموذج المدرب مسبقاً والذي يكون الأكثر استجابة للتوزيع المستهدف. وعلى عكس طرق PEFT التقليدية، لا يقدم CFT أي معلمات جديدة ولا يتطلب أي تغييرات هيكلية.
المرحلة 1: اكتشاف الدائرة المدركة للتوزيع
قبل بدء التدريب، يحدد CFT الوحدات (رؤوس الانتباه وكتل MLP) الضرورية للمهمة المستهدفة.
الآلية: تستخدم الطريقة تخصيص الحواف باستخدام الاشتقاق المتكامل (Edge Attribution Patching with Integrated Gradients - EAP-IG).
رأس الاختبار المبتكر: بدلاً من تخصيص الأهمية مقابل رأس تصنيف مدرب (والذي يعكس تفضيلات المصنف)، يستبدل CFT رأس التصنيف بـ رأس اختبار قريب من الصفر (σ=10−5).
التعليل: التوزيع العشوائي القياسي يخلق تفضيلات فئوية قوية وعشوائية تشوه درجات التخصيص. التهيؤ القريب من الصفر يكبح هذه التفضيلات، مما يضمن أن درجات التخصيص تعكس استجابة الهيكل الأساسي (backbone) للتوزيع المستهدف بدلاً من انحياز رأس الاختبار.
النتيجة: يسمح هذا بسحب عينة واحدة من رأس الاختبار (R=1) لإنتاج أقنعة (masks) مستقرة، مما يجنب الحاجة إلى عمليات تجميع (ensembling) مكلفة.
استراتيجية الاختيار: تقوم الطريقة بحساب درجات الأهمية المجمعة عبر دفعة معايرة صغيرة (N=32). يتم تطبيع العقد (nodes) بناءً على عدد معاملاتها لتجنب الانحياز نحو الوحدات الأكبر. تختار خوارزمية جشعة (greedy algorithm) أفضل العقد حتى استيفاء ميزانية المعلمات المستهدفة (على سبيل المثال، 15% من معلمات الهيكل الأساسي)، مما يضمن تغطية كاملة للطبقات حيثما أمكن.
المرحلة 2: تكييف الدائرة المتناثرة
التدريب: يتم تحديث المعلمات داخل الرسم البياني الفرعي المكتشف (الدائرة) ورأس التصنيف الجديد فقط. تظل جميع معلمات الهيكل الأساسي الأخرى مجمدة.
التحسين: يستخدم CFT جدول تعلم جيب التمام (cosine learning rate schedule) بدون فترة إحماء (warmup). يوضح المؤلفون أن الإحماء لا يوفر أي فائدة لـ CFT، على عكس الطرق الأخرى مثل SSF.
الاستدلال: بما أن CFT يعدل فقط قيم الأوزان الموجودة، فإن بنية الاستدلال، وأشكال التنسورات (tensors)، والمخطط الحوسبي تظل مطابقة للنموذج الأصلي. يضمن هذا زمن استجابة استدلال قدره 1× وتوافقاً كاملاً مع أدوات النشر القياسية (مثل FlashAttention وTensorRT).
3. المساهمات الرئيسية
فك الارتباط بين كفاءة المعلمات وكفاءة الحوسبة: تثبت الورقة تحليلياً وتجريبياً أن عدد المعلمات هو مؤشر ضعيف لتكلفة التدريب الحوسبية. وهي تدعو إلى استخدام الحوسبة مقابل الدقة (إجمالي FLOPs ووقت التنفيذ الفعلي) كمقياس رئيسي للكفاءة.
الضبط الدقيق للدوائر (CFT): طريقة مبتكرة تحول التفسير الآلي (mechanistic interpretability) إلى مختار للتدريب المسبق. من خلال استخدام رأس اختبار قريب من الصفر، تعزل الطريقة استجابة الهيكل الأساسي للتوزيع المستهدف، مما يسمح باختيار دائرة التكييف قبل أي تدريب قائم على الاشتقاق.
التحقق التجريبي: تم تقييم CFT عبر نماذج أساسية متنوعة (ViT-B/16, Swin-v2-B, DINOv2, Gemma-3-4B-IT)، ومعايير اختبار (VTAB-1k, CBIS-DDSM)، ومجالات (التصوير الطبي، والرؤية-اللغوية).
نرخ 4. النتائج التجريبية
أفاد المؤلفون بنتائج عبر عدة معايم، مسلطين الضوء على سرعة تقارب CFT وكفاءتها الحوسبية المتفوقة:
VTAB-1k (19 مهمة):
التقارب: يصل CFT إلى ذروة الدقة في ~20 حقبة في المتوسط. بينما تتطلب نماذج PEFT القوية (مثل SSF, SPT, GPS) ما بين 44-96 حقبة.
الكفاءة الحوسبية: يحقق CFT ذروة الدقة باستخدام 2.3-6.6 ضعف أقل من تدريب الـ FLOPs وما يصل إلى 16 ضعفاً أقل من وقت التنفيذ الفعلي مقارنة بالنماذج المرجعية.
الدقة: يصل CFT إلى دقة تقع ضمن 0.7 نقطة من أقوى النماذج المرجعية (GPS) مع استخدام حوسبة أقل بكثير. وتحت الميزانيات القصيرة الثابتة (مثلاً 10-35 حقبة)، يتفوق CFT باستمرار على جميع النماذج المرجعية.
CBIS-DDSM (التصوير الطبي):
في بيئة ذات تحول في النطاق (domain-shifted) مع ميزانية ثابتة قدرها 5 حقبات، حقق CFT أعلى دقة وAUC عبر ثلاثة هياكل أساسية مختلفة (ViT-B/16, Swin-v2-B, DINOv2)، متفوقاً على الضبط الدقيق الكامل وطرق PEFT الأخرى.
نموذج الرؤية-اللغة (Gemma-3 على CUB-200):
في دراسة جدوى، حقق CFT (بتحديث 17% من المعلمات) دقة 71.3% (Top-1) في 5 حقبات، متفوقاً على كل من LoRA (بتحديث ~0.5%) والضبط الدقيق الكامل (100%). يشير هذا إلى أن تركيز التحديثات على الوحدات المختارة عبر التخصيص أكثر فعالية من التكيف منخفض الرتبة الموحد أو التحديثات الكاملة تحت الميزانيات القصيرة.
5. الأهمية والادعاءات
تدعي الورقة أن الضبط الدقيق للدوائر (Circuit Fine-Tuning) يمثل تحولاً من تحسين ميزانيات المعلمات إلى تحسين ميزانيات الحوسبة. ومن خلال الاستفادة من التفسير الآلي لاختيار الرسم البياني الفرعي الأكثر صلة بتوزيع معين مسبقاً، يلغي CFT الحاجة إلى جداول تدريب طويلة وجداول تعلم معدلة بالإحماء.
يؤكد المؤلفون أن نهجهم:
لا يضيف أي معلمات ولا أي عمليات استدلال إضافية.
لا يتطلب أي تعديلات هيكلية، مما يضمن نشراً سلساً.
يحقق كفاءة حوسبية في أعلى مستوياتها، حيث يصل إلى دقة عالية بجزء بسيط من تكلفة التدريب المطلوبة لمعايير PEFT الحالية.
يشير العمل إلى أن "الدائرة" المسؤولة عن مهمة ما ليست مجموعة عالمية من الأوزان، بل هي رسم بياني فرعي مشروط بالمهمة يمكن استرداده بكفاءة عبر التخصيص مقابل رأس اختبار محايد، مما يتيح تكييفاً سريعاً وفعالاً للنماذج التأسيسية الكبيرة.