FOCUS: Decoupling Expert Personas in LLMs to Enhance Domain Expert Capabilities
تقترح الورقة البحثية منهجية FOCUS، التي تعمل على فك الارتباط بين الشخصيات الخبيرة الخاصة بكل مجال في النماذج اللغوية الكبيرة من خلال التحلل المتعامد والبوابات التكيفية لمعالة مشكلات الاقتران بين المجالات وتعزيز دقة المهام بشكل كبير عبر المجالات عالية المخاطر مثل الرعاية الصحية والتمويل.
تخيل أن لديك صديقاً آلياً فائق الذكاء يعرف القليل عن كل شيء. يمكنه أن يخبرك بنكتة، أو يشرح لك كيف يعمل محرك السيارة، وحتى يلقي قصيدة شعرية. لكن الجزء الصعب هنا هو أنه في بعض الأحيان، عندما تسأله سؤالاً جاداً، يرتبك بشأن "من" يجب أن يكون. إذا طلبت منه نصيحة طبية، فقد يبدأ بالخطأ في التصرف كمتداول أسهم متهور، حيث يتخذ مخاطرات كبيرة بدلاً من أن يكون حذراً. وإذا سألته عن القانون، فقد يصبح حذراً للغاية ويفوت فرصة ذكية. يحدث هذا لأن "عقل" الروبوت قد خلط كل شخصياته المختلفة في عقدة واحدة كبيرة متشابكة. يسمي العلماء هذه "الشخصيات" (personas)—وهي الطرق المختلفة التي يتصرف بها الروبوت بناءً على الوظيفة. السؤال الكبير هو: كيف نفك هذه العقد لكي يتمكن الروبوت من التبديل بين كونه طبيباً حذراً، ومتداولاً جريئاً، ومحامياً حذقاً دون أن يخلط بينهم؟
هذا بالضبط ما يعالجه فريق من الباحثين باستخدام طريقة جديدة تسمى FOCUS. فكر في عقل الروبوت كمكتبة ضخمة حيث يمثل كل كتاب فيها مهارة مختلفة. في الوقت الحالي، الكتب كلها مكدسة فوق بعضها البعض في كومة فوضوية. إذا حاولت سحب كتاب "الطب"، فستسحب معه بالخطأ كتاب "التمويل"، مما يسبب فوضى. وجد الباحثون أن مجرد قول "كن طبيباً" للروبوت ليس كافياً لأن الكومة الفوضوية لا تزال موجودة. بدلاً من ذلك، قاموا ببناء أداة خاصة لفصل الكتب بشكل مثالي. لقد أخذوا كتاب "الطب" وكتاب "التمويل" وقاموا بقطعهما وفصلهما بحيث يصبحان مستقلين تماماً. ثم أضافوا أميناً ذكياً للمكتبة (يسمى "وحدة البوابة" أو gating module) ينظر إلى سؤالك ويقرر بالضبط أي كتاب يسحب، أو حتى أي كتابين يدمجهما إذا كان السؤال معقداً.
تشير الورقة البحثية إلى أنه باستخدام خدعة رياضية تسمى "التفكيك المتعامد" (orthogonal decomposition) (وهي مجرد طريقة منمقة لقول "قطع الكتب بحيث لا تتداخل")، يمكنهم تنظيف شخصيات الروبوت. لقد اختبروا ذلك في ثلاثة عوالم مختلفة تماماً: المال (التمويل)، والقواعد (القانون)، والصحة (الطب). ووجدوا أنه عندما استخدموا طريقتهم الجديدة، أصبح الروبوت أفضل بكثير في الإجابة على الأسئلة بشكل صحيح. على سبيل المثال، في اختبار طبي، توقف الروبوت عن إعطاء إجابات محفوفة بالمخاطر قد يعطيها متداول. وفي اختبار التمويل، توقف عن كونه خائفاً جداً من اتخاذ مخاطرة مدروسة. كما اكتشف الباحثون أنه كان عليهم تعليم الروبوت في خطوتين: أولاً، أن يكون متخصصاً مثالياً في مجال واحد، وثانياً، تعلم كيفية دمج تلك التخصصات عندما يتطلب السؤال كلاهما. وبدون هذا التدريب المكون من خطوتين، كان الروبوت يصاب بالارتباك مرة أخرى.
تشير النتائج إلى أن طريقة "FOCUS" هذه تعمل بشكل أفضل من مجرد طلب تغيير الشخصية من الروبوت بلطف أو مجرد تدريبه على المزيد من البيانات. في الاختبارات التي شملت أسعار الأسهم، والعقود القانونية، والتشخيصات الطبية، حصل الروبوت الذي يستخدم FOCUS على درجات أعلى من الروبوتات الأخرى التي قيل لها فقط "كن خبيراً". الباحثون متأكدون من أن هذا ينجح لأنهم اختبروه على مجموعات بيانات من العالم الحقيقي وحتى تحققوا مما يحدث داخل عقل الروبوت ليروا أنه يختار بالفعل "الشخصية" المناسبة للوظيفة. حتى أنهم وجدوا أنه إذا رفعوا "مستوى صوت" الشخصية عالياً جداً، يبدأ الروبوت في ارتكاب الأخطاء، لذا كان عليهم إيجاد التوازن الصحيح. في النهاية، تظهر هذه الورقة أننا لسنا بحاجة لبناء روبوت جديد لكل وظيفة؛ نحن فقط بحاجة لتعلم كيفية فك تشابك الروبوت الذي نملكه بالفعل وتعليمه كيفية تبديل القبعات بشكل صحيح.
ملخص تقني: FOCUS (الضبط الدقيق باستخدام التحكم المتعامد للشخصيات غير المترابطة)
بيان المشكلة تمتلك النماذج اللغوية الكبيرة (LLMs) القدرة على إظهار شخصيات متنوعة، وقد ثبت أن تفعيل "شخصيات الخبراء" المحددة يعزز الأداء في المهام المتخصصة مثل الاستدلال الرياضي والرعاية الصحية. ومع ذلك، تعاني الطرق الحالية للتحكم في الشخصية من الارتباط عبر المجالات (cross-domain coupling). نظرًا لأن النماذج اللغوية الكبيرة يتم تدريبها على بيانات مختلطة، فإن التمثيلات الداخلية لمختلف شخصيات الخبراء (مثل الطب، القانون، والتمويل) ليست مستقلة. يؤدي هذا الارتباط إلى صراعات سلوكية: فالشخصية المحسنة لمجال معين قد تظهر سمات غير مرغوب فيها في مجال آخر. على سبيل المثال، شخصية التداول المالي "العدوانية"، إذا تم تفعيلها عن غير قصد في سياق طبي، فقد تؤدي إلى استجابات مفرطة في الثقة وعالية المخاطر مما يهدد سلامة المرضى. وعلى العكس من ذلك، فإن الحذر المفرط من الشخصية الطبية قد يعيق الاستدلال الحساس للمخاطر في التداول المالي. تفشل النهج الحالية، بما في ذلك التنشيط القائم على الأوامر (prompts) وتوجيه المتجهات البسيط، في فك ارتباط هذه العوامل السلوكية المتضاربة، مما يؤدي إلى عدم استقرار الأداء وعدم نقاء المواءمة مع المجال.
المنهجية لمعالجة هذه القيود، يقترح المؤلفون إطار عمل FOCUS، وهو مصمم لفك ارتباط والتحكم في شخصيات الخبراء الخاصة بكل مجال من خلال عملية مكونة من ثلاث خطوات:
استخراج متجهات شخصية الخبير: قام المؤلفون أولاً ببناء مسار مؤتمت لاستخراج متجهات الشخصية من التدفق المتبقي (residual stream) للنموذج اللغوي الكبير. باستخدام أوامر نظام تباينية (أوامر إيجابية لاستحضار سلوك الخبير مقابل أوامر سلبية لتثبيطه) وأزواج من الأسئلة والأجوبة الخاصة بكل مجال، قاموا بحساب الفرق بين متوسط متجهات التنشيط لمجموعات الاستجابة الإيجابية والسلبية. ينتج عن ذلك متجهات مرشحة للخبير العام (vg) ومجالات محددة: التمويل (vf)، القانون (vl)، والطب (vm).
التفكيك المتعامد (Decoupling): لإزالة التداخل بين المجالات، تطبق الطريقة عملية تعامد غرام-شميت (Gram-Schmidt orthogonalization). يتم تطبيع متجه الخبير العام vg ليعمل كقاعدة متعامدة. بعد ذلك، يتم إسقاط كل متجه خاص بالمجال على هذه القاعدة، ويتم طرح مكون الإسقاط. تعمل هذه العملية على إزالة "الخبير العام" والمكونات المشتركة عبر المجالات من المتجهات المحددة، مما ينتج عنه مجموعة من متجهات الشخصية المتعامدة والمفككة (qg,qf,ql,qm) التي تمثل خبرة نقية في المجال.
تدريب مرحلي بآلية بوابة الخبير: يتم إدراج وحدة بوابة خبير (expert gating module) خفيفة الوزن بعد طبقة الشبكة العصبية المغذية (FFN) الفرعية في نموذج الـ Transformer. تقوم هذه الوحدة، المكونة من طبقة MLP ثنائية الطبقات ودالة Softmax، بحساب الأوزان (α) ديناميكيًا لدمج متجهات الشخصية المفككة بناءً على سياق المدخلات. يتبع التدريب استراتيجية مرحلتين:
المرحلة 1 (المواءمة أحادية المجال): يتم ضبط النموذج بدقة على مجموعات بيانات أحادية المجال باستخدام منظم اختيار البوابة (gated selection regularizer). يشجع هذا الحد من الخسارة أوزان البوابة على أن تصبح متفرقة (تقترب من 1 للمجال الصحيح و0 للمجالات الأخرى)، مما يضمن تعلم النموذج لتنشيط متجه الخبير المحدد للمهام أحادية المجال.
المرحلة 2 (التعميم عبر المجالات): يتم ضبط النموذج بدقة على مجموعة بيانات مختلطة تحتوي على عينات أحادية المجال وعينات عابرة للمجالات. يتم إزالة المنظم، مما يسمح للنموذج بتعلم تركيبات أوزان تكيفية للمهام المعقدة التي تتطلب وجهات نظر متعددة من الخبراء دون قيود اختيار صريحة.
المساهمات الرئيسية
تحديد عدم استقرار الارتباط: تحدد الورقة أن شخصيات الخبراء المرتبطة تؤدي إلى عدم استقرار الأداء وصراعات سلوكية في مهام المجالات بسبب المتطلبات المتضاربة (مثل الحذر مقابل المخاطرة).
إطار عمل FOCUS: اقتراح إطار عمل جديد يجمع بين التفكيك المتعامد لفك ارتباط متجهات الشخصية وآلية اختيار البوابة لتنشيطها بشكل تكيفي.
تحسين الأداء: إثبات أن FOCUS يحسن دقة الإجابات عبر المجالات المالية والقانونية والطبية، وكذلك في السيناريوهات العابرة للمجالات، متفوقًا على طرق التحكم في الشخصية الحالية والضبط الدقيق الخاضع للإشراف (SFT) القياسي.
النتائج التجريبية أُجريت التجارب على اختبارات تشمل توقعات الأسهم (التمويل)، وLegalBench (القانون)، والطب المهني (MedQA/MMLU)، ومجموعات البيانات العابرة للمجالات (MedEthicsQA, CUAD).
الدقة: تفوق FOCUS باستمرار على النماذج المرجعية، بما في ذلك التوجيه القائم على الأوامر، والتوجيه أثناء الاستنتاج، وSFT القياسي. ومن الجدير بالذكر أنه تفوق على العديد من النماذج المتخصصة في المجال (مثل Finance-Chat و Law-Chat) التي تعتمد على بيانات تدريب ضخمة خاصة بالمجال.
القدرة عبر المجالات: في المهام العابرة للمجالات، حقق FOCUS أفضل النتائج بين جميع الطرق المقارنة، مما أظهر قدرته على تركيب متجهات شخصية متعددة (مثل الجمع بين الاستدلال الطبي والقانوني) بفعالية.
دراسات الاستئصال (Ablation Studies):
التفكيك: أدى إزالة خطوة التفكك المتعامد إلى تدهور مستمر في الأداء، مما يؤكد أن المتجهات المستخرخة الخام تحتوي على مكونات متداخلة.
التدريب ذو المرحلتين: أدى إزالة أي من المرحلة الأولى (التفرق) أو المرحلة الثانية (التكيف) إلى تقليل الأداء، مما يشير إلى أن كلاً من التنشيط المركز أحادي المجال والتركيب المرن عبر المجالات ضروريان.
قوة البوابة (γ): تم العثور على عامل قياس أمثل (γ=2)؛ حيث فشلت القيم المنخفضة جدًا في حقن خصائص الشخصية، بينما أدت القيم العالية جدًا إلى "الإفراط في تعزيز الشخصية"، مما أدى إلى فقدان القدرة على التعميم.
الأهمية تزعم الورقة أن FOCUS يقدم نهجًا جديدًا للتكيف الفعال مع المجالات لنماذج LLM. من خلال فك ارتباط والتحكم الصريح في التمثيلات الداخلية للخبراء، فإنه يعالج عدم الاستقرار الناتج عن الارتباط عبر المجالات دون الحاجة إلى كميات هائلة من البيانات الخاصة بالمجال لإعادة التدريب. تشير النتائج إلى أن التحكم الهيكلي في متجهات الشخصية يسمح للنماذج بالحفاظ على نقاء عالٍ في الاستدلال الخاص بالمجال مع الاحتفاظ بالمرونة للتعامل مع المهام المعقدة ومتعددة الأوجه، مما يوفر اتجاهًا واعدًا لتحسين موثوقية النماذج اللغوية الكبيرة في المجالات عالية المخاطر.