How Far Can a Single Vector Carry a Language? Mechanistic Limits of Inference-Time Steering for Low-Resource Devanagari Languages
本論文は、大規模多言語モデルにおけるヒンディー語の表現を用いて低リソースのデーヴァナーガリー文字言語(マイティリー語、ネパール語、およびボージュプリー語)を生成するための、推論時ステアリングのメカニズム的限界を調査しており、単一のベクトルシフトによって対象言語への準拠を誘導できる一方で、それが必然的に流暢性の崩壊を引き起こすことを明らかにし、ステアラビリティ(制御可能性)がモデルの能力や語彙の重複ではなく、線形分離可能性によって制約されていることを示している。