💬 NLP

ADAPT: Hybrid Prompt Optimization for LLM Feature Visualization

تقدم هذه الورقة البحثية ADAPT، وهي طريقة هجينة لتحسين المطالبات تجمع بين تهيئة البحث الشعاعي (beam search) والطفرات التكيفية الموجهة بالتدرج لتصور الميزات المشفرة في فضاءات تنشيط النماذج اللغوية الكبيرة (LLM) بفعالية، مما يظهر أداءً متفوقًا على التقنيات الحالية على كامنات المشفّر التلقائي المتناثر (Sparse Autoencoder latents) لنموذج Gemma 2 2B.

المؤلفون الأصليون: João N. Cardoso, Arlindo L. Oliveira, Bruno Martins

نُشر 2026-02-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: João N. Cardoso, Arlindo L. Oliveira, Bruno Martins

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة عملاقة وذكية للغاية (النموذج الذكي/AI)، حيث يمثل كل كتاب فيها فكرة أو شعورًا أو حقيقة مختلفة. داخل هذه المكتبة، توجد ملايين من "المفاتيح" الصغيرة غير المرئية (تسمى الكمونات/latents) التي تضيء عندما يقرأ الذكاء الاصطناعي شيئًا محددًا.

الهدف من هذه الورقة البحثية هو معرفة ما الذي يجعل كل مفتاح يضيء بالضبط. هل تضيء عندما ترى كلمة "تفاحة"؟ أم عندما ترى قصة حزينة؟ أم عندما ترى معادلة رياضية؟

المشكلة: البحث عن المفتاح الصحيح

تقليديًا، حاول الباحثون العثور على هذه المفاتيح عن طريق قراءة ملايين الكتب من مكتبة قياسية (مجموعة بيانات) ومعرفة أي منها يجعل المفاتيح تتوهج. لكن هذا الأمر بطيء، ومكلف، وأحيانًا لا تحتوي المكتبة على الكتاب المناسب لتحفيز مفتاح معين غريب الأطوار.

كانت هناك طريقة أخرى، وهي محاولة "كتابة" جملة مخصصة من الصفر لإجبار المفتاح على التوهج بأقصى قدر ممكن. وهذا ما يسمى تصوير الميزات (Feature Visualization). ولكن، نظرًا لأن الحواسيب تتحدث بلغات "كلمات منفصلة" (tokens) وليس عبر "تدرجات سلسة"، فإن الأمر يشبه محاولة ضبط راديو عبر التنقل عشوائيًا بين المحطات. غالبًا ما تنتهي بك الحال عالقًا في "منطقة ميتة" (نهاية صغرى محلية) حيث تكون الإشارة ضعيفة، ولا يمكنك العثور على المحطة المثالية.

كانت الطرق الموجودة تشبه:

المتسلق الجشع (GCG): يحاول تسلق التل خطوة بخطوة من خلال النظر إلى المنحدر. لكن التل ضبابي، والخريطة خاطئة، لذا غالبًا ما يعلقون في وديان صغيرة.
المتجول العشوائي (البحث الشعاعي/Beam Search): يحاول تجربة مسارات عديدة في وقت واحد، لكنه لا ينظر بدقة إلى التضاريس، لذا قد يفوت القمة تمامًا.
البستاني التطوري (EPO): يزرع العديد من النباتات ثم يقلم الضعيفة منها، لكنه يصبح مهووسًا بجعل النباتات تبدو "جميلة" (لغة إنجليزية فصيحة) بدلاً من جعلها تنمو طويلًا (تنشيط المفتاح).

الحل: ADAPT (المحقق الهجين)

يقدم المؤلفون ADAPT، وهو طريقة جديدة تجمع بين أفضل الأدوات لحل هذا اللغز. فكر في ADAPT كفريق من ثلاثة محققين يعملون معًا:

المستكشف (بدء البحث الشعاعي/Beam Search Initialization):
قبل أن يبدأ العمل الرئيسي، يرسل ADAPT فريقًا من المستكشفين لاستكشاف الخريطة. هم لا يبدأون من نقطة عشوائية واحدة؛ بل يبدأون من مواقع مختلفة وينتشرون. هذا يضمن عدم تفويتهم لـ "الحي الجيد" حيث من المرجح العثور على المفتاح. الأمر يشبه إرسال طائرة بدون طيار لمسح الجبل بالكامل قبل إرسال متسلق.
المتسلق والمارّ (الطفرة الهجينة/Hybrid Mutation):
بمجرد العثور على منطقة واعدة، يستخدم ADAPT تقنيتين لتنقيح الجملة:

المتسلق (الموجه بالتدرج/Gradient-Guided): يستخدم الرياضيات لتخمين أي تغيير في الكلمات سيجعل المفتاح يتوهج بشكل أقوى.
المارّ (تبديل اللوجيت/Logit-Swap): أحيانًا تكون الرياضيات خاطئة (بسبب "الضباب"). لذا، يجرب ADAF أيضًا تخمينات ذكية وعشوائية بناءً على ما يقوله الذكاء الاصطناعي عادةً بعد ذلك.
السحر: يقوم ADAPT بالتبديل بين هاتين الاستراتيجيتين. إذا كانت الرياضيات تعمل، فإنه يتسلق. وإذا تعثر، فإنه يمر عبر مسارات جديدة. هذا يمنعهم من العلوق في وادٍ مسدود.

الفريق المتنوع (إدارة المجموعات/Group Management):
بدلاً من جعل الجميع يعملون على نفس الجملة، يبقي ADAF عدة فرق مختلفة تعمل على نسخ مختلفة من الجملة في وقت واحد. هذا يضمن أنه إذا علق فريق واحد، فقد تجد الفرق الأخرى حلًا مختلفًا وأفضل. إنه مثل وجود خمسة طهاة مختلفين يحاولون طهي نفس الطبق؛ إذا أحرق أحدهم الطعام، فقد ينجح الآخرون.

النتائج: معيار جديد

اختبر الباحثون ADAPT على نموذج ذكاء اصطناعي شهير (Gemma 2) وقارنوه بالطرق القديمة.

أداء أفضل: وجد ADAPT "الجمل المثالية" لتنشيط المفاتيح بنسبة 70% أكثر من الطريقة الأفضل السابقة.
أكثر شبهاً بالبشر: الجمل التي أنشأها ADAF لم تكن مجرد كلمات غير مفهومة؛ بل كانت مفهومة للبشر ومنطقية.
الاتساق: على عكس الطرق القديمة التي كانت تعمل جيدًا في بعض طبقات الذكاء الاصطناعي وتفشل في أخرى، عمل ADAF باستمرار من أسفل النموذج إلى أعلاه.

الصورة الكبيرة

تثبت هذه الورقة البحثية أنه يمكننا "الهندسة العكسية" لما يفكر فيه الذكاء الاصطناعي من خلال صياغة "المطالبة" (prompt) المثالية لتحفيز مفاتيحه الداخلية. ولكن للقيام بذلك، لا يمكننا الاعتماد فقط على القوة الغاشمة أو الرياضيات البسيطة. نحن بحاجة إلى نهج هجين يستكشف على نطاق واسع، وينقح بعناية، ويبقي خيارات متعددة مفتوحة لتجنب الضياع في الضباب.

باختصار: ADAPT هو مزيج من خريطة الكنز والبوصلة الفائقة، مما يساعدنا في العثور على "المفاتيح" المخفية داخل دماغ الذكاء الاصطناعي بشكل أسرع وأكثر دقة من أي وقت مضى.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ADAPT: التحسين الهجين للمطالبات لتصور ميزات النماذج اللغوية الكبيرة (LLM)".

1. بيان المشكلة

تتناول الورقة تحدي "تصور الميزات" (Feature Visualization) في النماذج اللغوية الكبيرة (LLMs). والهدف هو تحديد "المطالبات" (prompts) المدخلة التي تزيد من تنشيط "الاتجاهات الكامنة" (latent directions) - أو الميزات - داخل فضاء التنشيط الخاص بالنموذج، والتي يتم تعلمها عادةً عبر "المشفرات التلقائية المتفرقة" (Sparse Autoencoders - SAEs).

قصور النهج الحالية:
- البحث في مجموعات البيانات: يتضمن النهج القياسي تشغيل النموذج على مجموعات بيانات ضخمة للعثور على الأمثلة المنشطة. وهذا أمر مكلف حوسبياً للأهداف المعقدة (مثل الدوائر البرمجية للنموذج) أو عندما لا تكون الميزات المستهدفة ممثلة بشكل جيد في مجموعات البيانات الموجودة.
- فضاء المدخلات المنفصل: على عكس الرؤية الحاسوبية، مدخلات النماذج اللغوية الكبيرة هي رموز (tokens) منفصلة، مما يمنع التحسين المباشر القائم على الاشتقاق (gradient-based optimization).
- أوجه الفشل في تحسين المطالبات الحالي: تعاني الطرق الحالية (مثل GCG، أو Beam Search، أو الأساليب التطورية) من:
  - الوقوع في النهايات الصغرى المحلية (Local Minima): فضاء البحث المنفصل عرضة للتعثر في حلول دون المستوى الأمثل.
  - سوء التهيئة (Poor Initialization): غالباً ما تؤدي التهيئة العشوائية إلى الفشل.
  - نسبة الإشارة إلى الضجيج (Signal-to-Noise Ratio): تقديرات الاشتقاق لاختيار الرموز غالباً ما تكون ضوضائية وغير موثوقة.
  - الفصاحة مقابل التنشيط: يصعب تحقيق التوازن بين توليد نص متماسك وبين تحقيق أعلى تنشيط للميزة؛ فالطرق التي تركز فقط على التنشيط غالباً ما تنتج "هراءً".

2. المنهجية: ADAPT

يقترح المؤلفون خوارزمية ADAPT (الضبط الديناميكي التكيفي للمطالبات)، وهي خوارزمية تحسين هجينة مصممة للتغلب على أوجه الفشل المحددة في تصور ميزات النماذج اللغوية الكبيرة. وهي تجمع بين التهيئة باستخدام البحث الشعاعي (Beam Search) والطفرات التكيفية الموجهة بالاشتقاق.

المكونات الأساسية:

التهيئة باستخدام البحث الشعاعي (Beam-Search Initialization):
- بدلاً من التهيئة العشوائية، تبدأ ADAPT بإجراء بحث شعاعي متوازي.
- تقوم بتوليد تسلسلات مرشحة عبر إضافة رموز محتملة في النهاية (right-append) وإدراج رموز في منتصف التسلسلات (middle-insert).
- يضمن هذا أن يبدأ التحسين في "مناطق مواتية" لفضاء المطالبة، مما يقلل من احتمالية الركود المبكر في النهايات الصغرى المحلية.
توليد المرشحين الهجين (Hybrid Candidate Generation):
- تحتفظ ADAPT بمجموعة من المطالبات. في كل تكرار، تولد مرشحين جدد باستخدام مزيج احتمالي من استراتيجيتين للطفرات:
  - تبديلات بأسلوب GCG: تستخدم تقديراً يعتمد على الاشتقاق (عبر معاملة متجه الرمز بنظام One-hot كمتجه قابل للاشتقاق) لتحديد الرموز التي تزيد من تنشيط الميزة المستهدفة.
  - تبديلات اللوجيت (Logit-Swaps): نهج لا يعتمد على الاشتقاق، يقوم بأخذ عينات من الرموز بناءً على احتمالات التنبؤ الخاصة بالنموذج نفسه (على غرار تحسين المطالبات التطوري).
- يوازن هذا النهج الهجين بين الاستغلال (Exploitation) (استخدام الاشتقاق للتحسين الدقيق) والاستكشاف (Exploration) (استخدام احتمالات النموذج لاكتشاف أنماط جديدة).
الاختيار المحافظ على التنوع (إدارة الفتحات/Slots):
- لمنع المجموعة من التقارب المبكر حول متغيرات طفيفة لمطالبة واحدة، تستخدم ADADT نظام فتحات قائم على المجموعات.
- يتم تقسيم المطالبات إلى "مجموعات". لكل مجموعة "فتحات مضمونة" (تحتفظ بأفضل مطالبة من تلك المجموعة) و"فتات حرة" (تخصص لأفضل الأداء عبر جميع المجموعات).
- يحافظ هذا على مسارات تحسين متنوعة، مما يضمن اكتشاف أنماط ميزات متعددة ومتميزة.
عقوبة الفصاحة التكيفية (Adaptive Fluency Penalty):
- يتم تطبيق عقوبة فصاحة قائمة على دالة "سيجمويد" (sigmoid) على دالة الخسارة.
- يبدأ وزن العقوبة منخفضاً ويزداد تدريجياً عبر التكرارات. يسمح هذا للمُحسِّن باستكشاف مناطق التنشيط العالية أولاً (حتى لو كانت غير مترابطة) ثم صقل المطالبة نحو الفصاحة في المراحل اللاحقة.

3. المساهمات الرئيسية

خوارزمية ADAPT: طريقة هجينة مبتكرة تتفوق على النماذج المرجعية الحالية (GCG، BEAST، EPO) من خلال الجمع بين التهيئة بالبحث الشعاعي واستراتيجيات الطفرات التكيفية.
إطار تقييم صارم: يقيم المؤلفون النتائج على ميزات (latents) المشفرات التلقائية المتفرقة من نموذج Gemma 2 2B. وقد قدموا مقاييس جديدة قائمة على إحصائيات تنشيط مجموعة البيانات:
- نسبة التنشيط (Activation Ratio): نسبة تنشيط المطالبة المُحسّنة إلى أعلى مثال منشط أقصى (MAE) تم العثور عليه في مجموعة البيانات.
- رتبة التنشيط (Activation Rank): رتبة المطالبة المُحسّنة ضمن أفضل 15 مثالاً من أعلى الـ MAEs في مجموعة البيانات.
التحليل التجريبي لأوجه الفشل: تقدم الورقة رؤى عميقة حول سبب فشل الطرق الحالية:
- GCG: تظهر ضعفاً في نسبة الإشارة إلى الضجيج في تقديرات الاشتقاق، وهي حساسة للغاية للتهيئة والمسار.
- Beam Search: سريع ولكنه يفتقر إلى التحسين الدقيق اللازم للتقارب.
- الفصاحة: يرتبط التنشيط العالي بقوة مع قابلية التفسير التي يقيمها البشر، مما يشير إلى أن فرض الفصاحة مبكراً قد يعيق العثور على نمط الميزة الحقيقي.

4. النتالئج التجريبية

أُجري التقييم على 486 ميزة عبر 6 طبقات من نموذج Gemma 2 2B.

التفوق في الأداء:
- تفوقت ADAPT باستمرار على GCG وBEAST وEPO عبر جميع الطبقات.
- حققت تنشيطاً أعلى من GCG في 70.4% من الميزات (بأهمية إحصائية، $p < 10^{-28}$ ).
- على عكس GCG (الذي يتدهور في الطبقات العميقة) أو BEAST (الذي يعاني في الطبقات الأولى)، تحافظ ADAPT على ملف أداء مستقر عبر كامل عمق النموذج.
تحليل أوجه الفشل:
- تقديرات الاشتقاق في GCG ضوضائية؛ فالعديد من الرموز ذات الاشتقاق العالي لا تؤدي إلى تحسن، بينما يأتي العديد من التحسينات من رموز ذات اشتقاق منخفض.
- GCG حساس للغاية للتهيئة؛ حيث تؤدي التهيئة "الذاتية التكرار" (autoregressive) نتائج أفضل من العشوائية، لكن النتائج تتباين بشكل كبير حتى مع نفس البداية.
القابلية للتفسير:
- أظهر التقييم البشري (3 مقيمين) أن ADAPT تنتج مطالبات أكثر قابلية للتفسير بشكل ملحوظ (متوسط تقييم 4.44) مقارنة بـ GCG (3.86) وGCG مع عقوبات الفصاحة (3.78).
- يوجد ارتباط قوي ( $r=0.645$ ) بين نسب التنشيط العالية وقابلية التفسير المقيمة بشرياً، مما يؤكد أن التحسين من أجل التنشيط يستعيد الأنماط الدلالية ذات المعنى بدلاً من مجرد نواتج اصطناعية.
تحسين الميزات المزدوجة:
- تم توسيع ADAPT بنجاح لتحسين ميزتين في آن واحد (مثل "سياق MCU" + "خصائص المغناطيس")، مما أنتج مطالبات مثل "Stark magnet" التي تلبي كلا القيدين.

5. الأهمية والخاتمة

القابلية للتطبيق (Tractability): تثبت الورقة أن تصور الميزات للنماذج اللغوية الكبيرة هو أمر ممكن، ولكنه يتطلب تصميمات مبنية على افتراضات خاصة بالمجال (التعامل مع الانفصال، النهايات الصغرى المحلية، والميزات غير المتعامدة).
أداة للتفسير: توفر ADAPT أداة قوية للباحثين لتصور وفهم التمثيلات الداخلية للنماذج اللغوية الكبيرة، خاصة بالنسبة لميزات الـ SAE التي لا يكفي البحث في مجموعات البيانات للوصول إليها.
الاتجاهات المستقبلية: يشير المؤلفون إلى إمكانية توسيع ADAPT لتصور ناقلات التوجيه (steering vectors)، والدوائر البرمجية للنماذج، وغيرها من الأهداف المعقدة. كما يشيرون إلى القيود المتعلقة بالتركيز الحالي على عائلة نماذج واحدة (Gemma) والحاجة إلى خطوط أنابيب تفسير مؤتمتة.

باخت البحث، تحل ADDT مشكلة "البحث عن إبرة في كومة قش" المتمثلة في إيجاد تنشيطات ميزات محددة في النماذج اللغبية الكبيرة، وذلك عبر الجمع بذكاء بين الاستكشاف الواسع للبحث الشعاعي ودقة الطفرات الموجهة بالاشتقاق، مع إدارة التنوع لتجنب النهايات الصغرى المحلية.