Emergent Capabilities Arise Randomly from Learning Sparse Attention Patterns
Este artículo demuestra que las capacidades emergentes en los modelos transformer surgen estocásticamente durante el entrenamiento como resultado del aprendizaje abrupto de patrones de atención dispersos y relevantes para la tarea, con los modelos más grandes adquiriendo estos patrones de manera más temprana debido a una mejor eficiencia de aprendizaje.