Goal-Aware Adaptive Regulation Across Modalities: Evolutionary Architecture Search for Transformer Language Models on a Consumer AMD GPU
Este artículo demuestra que el marco de búsqueda de arquitectura evolutiva GaaR, validado originalmente en redes convolucionales, se transfiere con éxito a modelos de lenguaje transformer autorregresivos en una GPU AMD de consumo mediante DirectML, logrando un rendimiento competitivo y revelando que la explotación regulada supera a la búsqueda aleatoria en paisajes estructurados, al tiempo que favorece las arquitecturas anchas y poco profundas bajo presupuestos de pasos fijos.