💻 computer science

Goal-Aware Adaptive Regulation Across Modalities: Evolutionary Architecture Search for Transformer Language Models on a Consumer AMD GPU

Este artículo demuestra que el marco de búsqueda de arquitectura evolutiva GaaR, validado originalmente en redes convolucionales, se transfiere con éxito a modelos de lenguaje transformer autorregresivos en una GPU AMD de consumo mediante DirectML, logrando un rendimiento competitivo y revelando que la explotación regulada supera a la búsqueda aleatoria en paisajes estructurados, al tiempo que favorece las arquitecturas anchas y poco profundas bajo presupuestos de pasos fijos.

Autores originales: Leon Sandler

Publicado 2026-07-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Leon Sandler

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot a hablar, dibujar o resolver acertijos. Para hacer esto, necesitas construir un "cerebro" para él, lo que los científicos llaman una red neuronal. Pero aquí está la parte difícil: no sabes exactamente qué tan grande debería ser ese cerebro, cuántas capas necesita o cómo ajustar sus configuraciones. Aquí es donde entra la Búsqueda de Arquitectura Neuronal (NAS, por sus siglas en inglés). Piensa en la NAS como un arquitecto robótico súper organizado e incansable que prueba miles de diseños de cerebros diferentes para ver cuál funciona mejor.

Normalmente, este trabajo se realiza en centros de datos masivos y costosos llenos de potentes chips de computadora fabricados por una empresa específica (NVIDIA), que cuestan miles de dólares en electricidad y tiempo. Es como intentar construir un rascacielos usando solo una flota de grúas gigantes. Pero, ¿qué pasaría si pudieras hacer esto en una computadora portátil normal o en una computadora para juegos que ya posees? Esa es la gran pregunta que este artículo aborda: ¿Podemos encontrar el diseño de cerebro de IA perfecto usando solo una tarjeta gráfica estándar y asequible de una empresa diferente (AMD), sin necesidad de esos lujosos y caros centros de datos? La respuesta es importante porque podría permitir que cualquiera, desde un estudiante en su habitación hasta un investigador con un presupuesto pequeño, experimente con diseños de IA sin romper el banco ni el planeta.

La historia del arquitecto de IA de bajo presupuesto

Conoce a GaaR (Regulación Adaptativa Orientada a Objetivos). Piensa en GaaR como un hábil arquitecto robótico de un solo archivo que vive en tu computadora. En una aventura anterior, este robot diseñó con éxito un sistema de visión (un cerebro que "ve" imágenes) usando solo una tarjeta gráfica AMD de consumo. Encontró un diseño que tenía un 94.36% de precisión al reconocer imágenes en 45 minutos, registrando cada paso en una simple base de datos local.

Ahora, el autor, Leon Sandler, pregunta: "¿Puede este mismo arquitecto robot manejar un trabajo completamente diferente?". En lugar de enseñar a la IA a ver (como la tarea de imagen anterior), ¿puede enseñar a la IA a hablar? Este nuevo trabajo involucra Modelos de Lenguaje Transformer, el tipo de tecnología que impulsa los chatbots y los generadores de texto. Estos son muy diferentes de los cerebros de imágenes; predicen la siguiente palabra en una oración en lugar de identificar objetos en una foto.

El experimento: Una pequeña obra de Shakespeare

Para probar esto, el investigador configuró una carrera en la misma vieja tarjeta gráfica AMD (una RX 5700 con 8 GB de memoria). Esta tarjeta es especial porque no se lleva bien con el software "CUDA" habitual que la mayoría de las herramientas de IA utilizan; necesita un camino diferente llamado DirectML. El arquitecto robot tuvo que navegar este camino sin ayuda de las habituales herramientas de Big Data.

La tarea fue simple pero estricta:

El Objetivo: Enseñar a la IA a predecir la siguiente letra en un texto de Las obras completas de William Shakespeare (específicamente la versión "Tiny Shakespeare").
Las Reglas: El robot solo podía probar un diseño durante un tiempo muy corto—exactamente 300 pasos de aprendizaje por diseño. No podía simplemente correr para siempre; tenía que ser eficiente.
Las Variables: El robot podía ajustar seis cosas sobre el cerebro de la IA: qué tan ancho es, cuántas "cabezas" (mecanismos de atención) tiene, qué tan profundo es, cuánto texto puede recordar a la vez, cuántos ejemplos mira a la vez y qué tan rápido aprende.

Los Resultados: Velocidad vs. Tamaño

El robot se puso a trabajar, ejecutando ocho generaciones de diseños. En solo 3 minutos y 16 segundos de tiempo real, encontró un diseño campeón.

El Ganador: El mejor diseño tenía 0.8 millones de parámetros (una medida del tamaño del cerebro).
La Puntuación: Redujo la "confusión" (pérdida de validación) de la IA de 2.171 a 2.021. En lenguaje sencillo, la IA mejoró su capacidad para adivinar la siguiente letra de la historia.
La Sorpresa: El robot no eligió el cerebro más grande, profundo o complejo. En su lugar, eligió un cerebro ancho pero superficial con una memoria corta (contexto).

¿Por qué? Debido al Efecto del Presupuesto. Dado que cada diseño solo recibió 300 pasos para aprender, los diseños que podían procesar esos pasos más rápido ganaron. Un cerebro gigante y profundo es lento de entrenar; un cerebro ancho y superficial es rápido. Con un presupuesto de tiempo, el robot aprendió que "rápido y simple" vence a "lento y complejo". Es como una carrera donde todos tienen que correr exactamente 100 metros; la persona que puede esprintar más rápido gana, incluso si no es el corredor más fuerte.

La Prueba de Realidad: ¿Cuándo gana realmente el robot?

Esta es la parte más honesta de la historia. El investigador no se limitó a decir: "¡El robot es un genio!". Probó el sistema contra un adivinador aleatorio. Ejecutó la carrera 10 veces, comparando la estrategia "codiciosa" del robot (siempre elegir el mejor hasta el momento y ajustarlo) contra alguien que simplemente elige diseños de forma completamente aleatoria.

El Resultado: Con solo 8 intentos (el pequeño presupuesto utilizado en el experimento principal), el robot y el adivinador aleatorio se desempeñaron igualmente bien. El robot no venció al adivinador aleatorio; empataron.
La Lección: La estrategia "inteligente" del robot solo funciona cuando el problema es lo suficientemente grande y el presupuesto es lo suficientemente largo como para ver patrones. En un paisaje pequeño y suave con muy pocos intentos, ser inteligente no ayuda mucho.
La Prueba: Para demostrar que el robot podía ser inteligente, el investigador lo probó en un problema mucho más grande y complejo (una simulación física con 6,000 diseños posibles). Allí, el robot encontró la solución perfecta el 70% de las veces, mientras que el adivinador aleatorio la encontró el 0% de las veces.

Lo que esto significa para ti

Este artículo demuestra que la NAS transmodal (usar el mismo motor de búsqueda para diferentes tipos de IA) funciona en hardware de consumo económico. Muestra que puedes diseñar una IA generadora de texto en una tarjeta gráfica AMD estándar en cuestión de minutos, sin necesidad de una supercomputadora.

Sin embargo, también establece un límite claro: si solo tienes una cantidad mínima de tiempo o dinero para probar diseños, una estrategia de búsqueda "inteligente" podría no ser mejor que simplemente adivinar al azar. Necesitas suficiente espacio para dejar que la estrategia haga su magia.

El autor ha compartido todo el código, los registros y la base de datos para que cualquiera pueda repetir este experimento. El mensaje es claro: la investigación de IA no tiene por qué estar encerrada tras puertas costosas. Con las herramientas adecuadas, una computadora de consumo puede ser un laboratorio poderoso para descubrir cómo construir cerebros de IA más inteligentes y eficientes.

Resumen Técnico: Regulación Adaptativa Consciente de Objetivos a través de Modalidades

Planteamiento del Problema
La Búsqueda de Arquitectura Neuronal (NAS) está tradicionalmente dominada por cargas de trabajo de centros de datos que requieren miles de días-GPU y hardware específico de NVIDIA/CUDA. Esta dependencia excluye a los investigadores que no tienen acceso a dicha infraestructura e ignora la vasta base instalada de hardware de consumo capaz, particularmente las GPU AMD en Windows que carecen de soporte oficial para ROCm o CUDA. Si bien trabajos previos establecieron que la búsqueda evolutiva podía ejecutarse en hardware de consumo para visión computacional (CNN), no se había comprobado si un motor ligero y consciente de objetivos como este podría transferirse a la distinta modalidad de los modelos de lenguaje Transformer autorregresivos, los cuales difieren significamente en arquitectura, superficies de pérdida y puntos de presión de hardware.

Metodología
El estudio utiliza el marco GaaR (Goal-Aware Adaptive Regulation), un motor de búsqueda evolutiva de un solo archivo diseñado para una ejecución local, reanudable y auditable en un único dispositivo de consumo. La metodología consiste en transferir este motor al modelado de lenguaje Transformer con cambios estructurales mínimos:

Consistencia del Motor: El bucle central de GaaR permanece sin modificaciones. Opera bajo una estrategia de "explotar-lo-mejor/explorar-mutación": lee el genoma con mayor puntuación como padre, aplica mutaciones acotadas, instancia el fenotipo candidato, lo entrena bajo un presupuesto fijo y registra los resultados en una base de datos local SQLite.
Fenotipo y Genoma: El fenotipo es una implementación de Transformer de PyTorch sin modificaciones, desarrollada desde cero (del proyecto train-llm-from-scratch). El genoma consta de seis genes: ancho de incrustación ( $n\_embed$ ), número de cabezales ( $n\_head$ ), número de bloques ( $n\_blocks$ ), longitud de contexto, tamaño de lote (batch size) y tasa de aprendizaje. Un operador de reparación de divisibilidad asegura que $n\_embed$ sea un múltiplo de $n\_head$ .
Hardware y Portabilidad: Todos los experimentos se ejecutaron en una única AMD Radeon RX 5700 (8 GB) bajo Windows 10 utilizando DirectML (vía torch-directml). Este dispositivo no tiene ruta CUDA ni soporte oficial para ROCm. La configuración opera en fp32 (la precisión mixta no está disponible) y gestiona las caídas de operadores (por ejemplo, el lerp fusionado de AdamW retrocediendo a la CPU) sin modificar el motor.
Función de Aptitud (Fitness): La aptitud se define como la pérdida de validación negativa en el corpus de Tiny Shakespeare a nivel de caracteres (vocabulario 65) tras exactamente 300 pasos de optimización AdamW. Este "presupuesto de pasos fijos" fue elegido para alinearse con el diseño original de GaaR, aunque el artículo señala sus implicaciones para el rendimiento (throughput).

Resultos Clave

Trayectoria de Búsqueda: En una búsqueda ilustrativa de ocho generaciones, el motor mejoró la pérdida de validación a nivel de caracteres de un valor semilla de 2.171 (perplejidad 8.8) a un campeón de 2.021 (perplejidad 7.5) con un modelo de 0.8 M de parámetros. Toda la búsqueda se completó en 3 minutos y 16 segundos de tiempo de ejecución (wall time).
Efecto del Presupuesto y Rendimiento: La búsqueda reveló un "efecto de presupuesto" donde la restricción de pasos fijos favoreció implícitamente a los genomas de "ancho-bajo y contexto corto". Estas arquitecturas convirtieron los 300 pasos fijos en un aprendizaje más efectivo debido a un mayor rendimiento de pasos (hasta 23.5 pasos/s frente a 6.1 pasos/s para modelos más profundos).
Línea Base de Búsqueda Aleatoria: Una comparación controlada de diez semillas entre la regla codiciosa (greedy) de GaaR y la búsqueda aleatoria uniforme con un presupuesto de ocho evaluaciones mostró paridad estadística (media de la mejor pérdida de validación: 2.047 para GaaR vs. 2.042 para la aleatoria; 5 victorias cada una). Esto indica que, en este paisaje específico con un presupuesto tan pequeño, la regla codiciosa no ofrece ninguna ventaja medible sobre el muestreo aleatorio.
Contraste con Paisajes Estructurados: Por el contrario, en un paisaje de simulación física más grande y estructurado de 6,000 configuraciones, la misma regla codiciosa dominó a la búsqueda aleatoria, encontrando el óptimo global exacto en el 70% de las repeticiones frente al 0% de la aleatoria.

Significancia y Reivindicaciones
El artículo afirma que la NAS trans-modal en hardware de consumo es una base práctica para una investigación de arquitectura reproducible y de bajo consumo energético. Sus principales contribuciones son:

Transferencia de Modalidad: Demostrar que el motor GaaR se transfiere de las CNN a los Transformers con solo una redefinición del genoma, ejecutándose enteramente en una GPU AMD no soportada vía DirectML.
Envolvente de Portabilidad: Definir las restricciones de la NAS en hardware de consumo AMD (solo fp32, caídas de operadores) sin requerir cambios en el motor.
Delimitación Honesta: Proporcionar una línea base controlada que define honestamente los límites de la regla de explotación codiciosa. El artículo argumenta que la explotación regulada rinde frutos en paisajes más grandes y estructurados o con suficiente profundidad secuencial, pero no ofrece ventaja sobre la búsqueda aleatoria en presupuestos trivialmente pequeños en paisajes suaves.
Reproducibilidad: Lanzamiento completo del código, registros de generación y archivos de configuración para permitir la reproducción exacta del proceso de búsqueda.

Los autores enfatizan que, si bien la calidad absoluta del modelo de lenguaje resultante (perplejidad 7.5) no es competitiva con los modelos de vanguardia, el experimento establece con éxito la factibilidad y la transferibilidad. Demuestra que el descubrimiento de arquitecturas puede realizarse de extremo a extremo en un solo dispositivo de consumo en cuestión de minutos, democratizando el acceso a la NAS para investigadores que no cuentan con recursos de centros de datos.

La historia del arquitecto de IA de bajo presupuesto

El experimento: Una pequeña obra de Shakespeare

Los Resultados: Velocidad vs. Tamaño

La Prueba de Realidad: ¿Cuándo gana realmente el robot?

Lo que esto significa para ti

Más como este