Causal Interventions on Continuous Variables: A Case Study on Verb Bias in Steering Vectors for In-Context Learning
تقدم هذه الورقة طريقة للتدخلات السببية على المتغيرات المستمرة من خلال تحديد اتجاهات منخفضة الأبعاد في تنشيطات النماذج اللغوية، مما يثبت أن توجيه انحياز الأفعال يغير سببيًا التفضيلات النحوية اللاحقة، مع الكشف عن أنه على الرغم من أن ناقلات التوجيه تشفر إشارات خطأ ذات صلة بالتعلم في السياق، إلا أن هذه الإشارات لا تُستخدم سببيًا للإنتاج اللاحق.