From Profiles to Steering Vectors: Global Sparse Priors and Local Semantic Calibration for Personalized Text Generation

ملخص تقني: GLASS – الأولويات المتفرقة العالمية والمعايرة الدلالية المحلية لتوليد النصوص المخصص

بيان المشكلة
يهدف توليد النصوص المخصص إلى إنتاج مخرجات تعكس عادات الكتابة الخاصة بالمستخدم، وتفضيلات الأسلوب، والأنماط التواصلية مع الالتزام بمتطلبات المهمة. تواجه الأساليب الحالية مقايضات كبيرة:

• الأساليب القائمة على الاسترجاع (مثل التعلم في السياق، وRAG): تعتمد غالباً على التشابه الدلالي، مما قد يؤدي إلى إدخال محتوى دلالي ضوضائي بدلاً من الإشارات الأسلوبية الصرفة، فضلاً عن تحمل تكاليف زمن الاستجابة (Inference Latency) وأعباء التخزين.
• الضبط الدقيق الفعال للمعلمات (PEFT): يتطلب تدريب وتخزين معلمات خاصة بكل مستخدم، مما يعيق القدرة على التوسع لعدد كبير من المستخدمين.
• توجيه التنشيط (Activation Steering): يقدم بديلاً لا يتطلب تدريباً، لكنه يعاني من صعوبة في فصل الإشارات الأسلوبية عن المحتوى الدلالي. فمتجهات التوجيه القياسية غالباً ما تحتفظ بـ "بقايا دلالية"، مما يجعل النماذج تحاكي المواضيع من البيانات التاريخية بدلاً من أسلوب المستخدم الأساسي.

المنهجية: GLASS
يقترح المؤلفون إطار عمل GLASS (التوجيه بالتنشيط العالمي-المحلي مع الأولويات المتفرقة)، وهو إطار عمل لا يتطلب تدريباً يعتمد على المشفّرات التلقائية المتفرقة (Sparse Autoencoders - SAEs) لاستخراج تمثيلات أسلوبية قوية. تعمل الطريقة في مرحلتين: بناء المتجهات في مرحلة عدم الاتصال (Offline)، والتوجيه في مرحلة الاستدلال (Inference-time).

1. نمذجة الأسلوب العالمي عبر الأولويات المتفرقة:

• لالتقاط السمات الثابتة على مستوى المستخدم (مثل اختيار المفردات، والنبرة، وطول الجملة)، يقوم GLASS بمعالجة كامل بيانات التفاعل التاريخية للمستخدم.
• يتم إسقاط الحالات الخفية (Hidden States) من طبقة معينة إلى فضاء سمات متفرق عالي الأبعاد باستخدام مشفّر SAE مدرب مسبقاً.
• يتم حساب متوسط التنشيطات المتفرقة عبر جميع رموز الاستجابة (Response Tokens) لتشكيل ملف تعريف أسلوبي عالمي، والذي يتم فك تشفيره بعد ذلك مرة أخرى إلى مساحة تيار البقايا (Residual Stream) للنموذج لإنشاء متجه أسلوب عالمي ($v_G$). يعمل هذا التجميع على مستوى الرمز (Token-level) على تنعيم الاختلافات الدلالية الخاصة بكل حالة.

2. نمذجة الأسلوب المحلي عبر العناقيد التباينية:

• لمعالجة الاختلافات المعتمدة على السياق (مثل رسائل البريد الإلكتروني الرسمية مقابل المنشورات غير الرسمية)، يتم تجميع سجلات المستخدم بناءً على دلالات المطالبة (Prompt Semantics) باستخدام (TF-IDF) و(K-means).
• لكل عنقود، يتم اشتقاق متجه أسلوب محلي ($v_C$) من خلال عملية تباينية:
  • التحفيز (Priming): يقوم نموذج "مُحفز" بحقن المتجه العالمي $v_G$ أثناء عملية الاستخراج لتوجيه العمليات اللاحقة نحو الأسلوب.
  • بناء الموجب والسالب (Positive-Negative Construction): بالنسبة لاستعلام مرجعي معين، يتم تشكيل سياقات إيجابية باختيار أمثلة تاريخية من نفس العنقود تحقق درجات منفعة عالية، بينما يتم أخذ سياقات سلبية من مستخدمين آخرين.
  • الاستخراج التبايني (Contrastive Extraction): يقوم النموذج بتوليد استجابات تحت سياقات إيجابية وسلبية. ويتم حساب المتجه المحلي كفرق بين متوسط الحالات الخفية لرموز الإجابة الموجبة والسالبة. يهدف هذا الطرح إلى إزالة المحتوى الدلالي المشترك، وعزل البقايا الأسلوبية الخاصة بهذا السيناريو.

3. التوجيه ثنائي المسار التكيفي:

• أثناء الاستدلال، يتم تعيين طلب جديد لأقرب عنقود.
• يقوم النظام باسترجاع المتجه المحلي ($v_C$) والمتجه العالمي ($v_G$) المقابلين.
• يتم حقن هذه المتجهات في طبقات مختلفة من تيار البقايا للنموذج (العالمي في الطبقات العليا، والمحلي في الطبقات المتوسطة) بقوة قابلة للضبط ($\alpha$ و $\beta$)، مما يتيح تخصيصاً مدركاً للسياق دون تحديث المعلمات أو عبء الاسترجاع.

المساهمات الرئيسية

• تحديد البقايا الدلالية: حددت الورقة أن عدم القدرة على فصل الإشارات الأسلوبية عن المحتوى الدلالي هي عقبة رئيسية أمام أساليب توجيه التنشيط الحالية.
• فك الارتباط القائم على SAE: أثبت المؤلفون أن التمثيلات القائمة على SAE أكثر قوة تجاه تغيرات التوزيع (تحديداً الطول وتغير المواضيع) مقارنة بالطرق القائمة على التنشيط الكثيف، مما يشير إلى قدرة فائقة على فصل الأسلوب عن الدلالات.
• إطار عمل GLASS: إطار عمل مبتكر لا يتطلب تدريباً، يقوم بنمذجة أسلوب المستخدم عند مستويات دقة متعددة (عالمي ومحلي) داخل الفضاء الكامن لـ SAE.
• التحقق التجريبي: تُظهر التجاروات المكثفة على معايير LaMP وLongLaMP أن GLASS يتفوق على طرق الاسترجاع، والضبط الدقيق، وغيرها من خطوط الأساس للتوجيه عبر مقاييس ROUGE وتقييمات (LLM-as-judge).

النتائج

• الأداء: في LaMP-4 وLaMP-5، يحقق GLASS أفضل النتائج عبر جميع المقاييس (ROUGE-1، ROUGE-L، ودرجات الحكم)، متفوقاً على أقوى الخطوط المرجعية (مثل OPPU وFints). وفي مجموعات بيانات LongLaMP، يحتل باستمرار المركز الأول أو الثاني عبر 11 من أصل 12 مقياس تقييم.
• المتانة: تُظهر تجارب الاضطراب (الشكل 1) أن التوجيه القائم على SAE يتدهور بشكل أقل بكثير من الطرق القائمة على التباين أو المتوسط عند تغيير طول سجل المستخدم أو توزيع المواضيع.
• الكفاءة: يتجنب GLASS توسيع المطالبة وزمن استجابة الاسترجاع المرتبط بطرق RAG/ICL، ويتطلب تخزيناً ضئيلاً لكل مستخدم (أقل من 0.01 ميجابايت) مقارنة بطرق PEFT (مثل LoRA)، مع عبء استدلال مماثل للنماذج الأساسية.
• الدراسة الاستقصائية (Ablation): يؤدي إزالة كل من الأولوية العالمية أو مكون التباين المحلي إلى انخفاض في الأداء، مما يؤكد طبيعتهما التكاملية. كما ثبت أن الاستخراج التبايني ضروري لقمع الإشارات المرتبطة بالمحتوى.

الأهمية والادعاءات
تدعي الورقة أن GLASS يضع نموذجاً فعالاً وقابلاً للتوسع لتوليد النصوص المخصص من خلال معالجة التحدي الجوهري المتمثل في التلوث الدلالي في توجيه التنشيط. ومن خلال استخدام التمثيلات المتفرقة، نجحت الطريقة في فصل المعلومات الأسلوبية عن المحتوى الدلالي، مما يسمح بتخصيص عالي الدقة دون التكلفة الحسابية للضبط الدقيق أو زمن استجابة الاسترجاع. يضع المؤلفون GLASS كحل يوازن بين الكفاءة، والقابلية للتوسع، والأداء، مما يجعله مناسباً للنشر في العالم الحقيقي حيث يكون التدريب الخاص بكل مستخدم غير عملي. يشير العمل إلى أن التوجيه على مستوى التمثيل المتفرق هو اتجاه واعد للأبحاث المستقبلية في قابلية تفسير النماذج والتخصيص.