Token Cleaning: Fine-Grained Data Selection for LLM Supervised Fine-Tuning
Este artículo propone un pipeline genérico de limpieza de tokens para el ajuste fino supervisado de modelos de lenguaje grandes que, al filtrar selectivamente los tokens no informativos basándose en su influencia durante la actualización del modelo, mejora el rendimiento en tareas posteriores sin sacrificar la información clave.