Training Language Models via Neural Cellular Automata
Este trabajo propone pre-entrenar modelos de lenguaje utilizando datos sintéticos generados por autómatas celulares neuronales, logrando mejoras en el rendimiento y la convergencia que superan a las obtenidas con grandes volúmenes de texto natural, lo que abre un camino hacia modelos más eficientes mediante pre-entrenamiento totalmente sintético.