Weight Updates as Activation Shifts: A Principled Framework for Steering
Ce papier propose un cadre théorique établissant l'équivalence entre les mises à jour de poids et les décalages d'activation, permettant de concevoir une méthode de « post-block steering » qui atteint des performances proches du réglage fin complet avec une fraction infime de paramètres, tout en surpassant les méthodes d'adaptation existantes grâce à une approche d'adaptation conjointe.