Exploring Embedding Priors in Prompt-Tuning for Improved Interpretability and Control
Este artigo investiga o fenômeno de colapso de embeddings no Prompt-Tuning, demonstrando que priores de embedding influenciam significativamente a posição dos embeddings ajustados e que as trajetórias geradas formam clusters distintos para tarefas distantes, levantando questões sobre a importância de um único cluster de ativação para a generalização dos modelos de linguagem.