From Parameters to Data: A Task-Parameter-Guided Fine-Tuning Pipeline for Efficient LLM Alignment
Il documento propone From Parameters to Data (P2D), un framework unificato che sfrutta le attention head sensibili al compito per guidare simultaneamente la selezione dei dati e il fine-tuning efficiente in termini di parametri, ottenendo significativi miglioramenti delle prestazioni e un'accelerazione di 7,0 volte sincronizzando gli aggiornamenti dei parametri con sottoinsiemi di dati ad alta affinità.