Resumen Técnico: LEMUR 2 – Desbloqueando la Diversidad de las Redes Neuronales para la IA

Declaración del Problema

Los benchmarks actuales de Búsqueda de Arquitectura Neuronal (NAS), como NAS-Bench y NATS-Bench, están limitados por su alcance estrecho. Típicamente cubren solo regiones específicas del espacio de diseño arquitectónico definidas por la tarea (por ejemplo, espacios de búsqueda basados en celdas fijas para la clasificación de imágenes) y carecen de evaluación transdominio o consciente del despliegue. Además, estos repositorios rara vez ofrecen un camino de extremo a extremo desde la especificación arquitectónica hasta el despliegue a nivel de dispositivo, lo que dificulta el estudio de las compensaciones entre precisión y latencia o la reutilización de modelos en diferentes modalidades. El campo carece de colecciones a gran escala y reutilizables de modelos de redes neuronales que permitan el descubrimiento basado en datos de regularidades estructurales y principios de diseño generalizables más allá de la intuición manual.

Metodología

LEMUR 2 extiende el marco original de LEMUR hacia un sistema modular y extensible que unifica los procesos generativos, evaluativos y de despliegue. La metodología se basa en un formato de reporte compartido que permite la integración de fuentes de generación heterogéneas y la evaluación sistemática de más de 14,000 arquitecturas distintas.

1. Estrategias Generativas

Para lograr la diversidad arquitectónica, LEMUR 2 emplea seis metodologías de generación automatizada distintas, yendo más allá de una única familia de backbones:

• Mutaciones Basadas en AST: Un rastreador simbólico (construido sobre torch.fx) modifica el código fuente de modelos existentes alterando las dimensiones de los canales de las capas convolucionales y lineales, preservando la compatibilidad de la forma de los tensores. Esto genera variantes estructuralmente consistentes.
• Aprendizaje por Refuerzo (RL): Un pipeline de RL utiliza un LLM como política para completar esqueletos de modelos "enmascarados". El LLM genera completaciones de código (acciones) para las instancias de capas faltantes. Los modelos se validan mediante compilación y pasos de propagación hacia adelante (forward passes), luego se entrenan durante un mini-época en CIFAR-10. Una recompensa compuesta (basada en el éxito de la validación y la mejora de la precisión) actualiza la política utilizando Optimización de Política Relativa de Grupo (GRPO).
• Algoritmos Genéticos: Un algoritmo genético evoluciona arquitecturas de estilo AlexNet en CIFAR-10. Explora dos espacios de búsqueda: uno restringido a hiperparámetros (conteos de filtros, tamaños de kernel) y otro que incluye elecciones estructurales a nivel de bloque (pooling, activación, normalización por lotes).
• Generación Inspirada en Fractales: Un generador construye redes multi-columna autosimilares y definidas recursivamente (estilo FractalNet) gobernadas por profundidad fractal y ancho de columna, permitiendo un crecimiento equilibrado en profundidad y anchura.
• Generación Aumentada por Recuperación (NN-RAG): Este sistema mina bases de código públicas para extraer módulos de PyTorch autónomos (subclases de torch.nn.Module). Utilizando LibCST para el análisis sintáctico y un resolvedor de dependencias sensible al alcance, crea una biblioteca de más de 900 componentes reutilizables y validados (por ejemplo, de timm, torchvision, transformers).
• Prompting de Pocos Disparos (Few-Shot Prompting): Se le proporciona a los LLM un pequeño conjunto de arquitecturas de alto rendimiento como ejemplares para generar nuevos modelos consistentes con la interfaz de LEMUR. Las arquitecturas generadas se normalizan y deduplican mediante hashing MD5 antes del entrenamiento.

2. Extensiones de Tarea

El marco soporta tareas multimodales más allá de la clasificación de imágenes estándar:

• Descripción de Imágenes (Image Captioning): Un pipeline automatizado (NN-Caption) genera arquitecturas de codificador-decodificador (acoplando CNNs con LSTMs, GRUs o Transformers) entrenadas en MS COCO.
• Texto a Imagen (Text-to-Image): Un marco unificado entrena modelos de difusión (UNet-D), GANs y CVAE-GANs condicionados por lenguaje natural, evaluados mediante similitud texto-imagen basada en CLIP.
• Texto a Texto (Text-to-Text): Modelos de lenguaje recurrentes (RNNs y LSTMs) son entrenados y evaluados en WikiText utilizando métricas de perplejidad y BLEU.
• Mezcla de Expertos (MoE): Se construyen y evalúan arquitecturas MoE tanto homogéneas como heterogéneas en CIFAR-10 para estudiar la composición de expertos y las estrategias de enrutamiento.

3. Despliegue y Benchmarking

LEMUR 2 cierra la brecha entre las métricas teóricas y el rendimiento práctico a través de dos pipelines automatizados:

• NN-Lite: Un pipeline automatizado para desplegar modelos de PyTorch en dispositivos Android. Convierte los modelos a TensorFlow Lite (manejando las disparidades de disposición NCHW a NHWC), gestiona Dispositivos Virtuales de Android (AVD), ejecuta la inferencia y recolecta métricas de latencia y recursos.
• NN-VR: Un sistema para validar y desplegar modelos en entornos de realidad virtual basados en Unity utilizando el motor de inferencia Barracuda. Perfila la memoria de la GPU, verifica la cobertura de operadores y mide la latencia de inferencia frente a un presupuesto de 90 Hz (11 ms/cuadro).

Contribuciones Clave

1. Dataset a Gran Escala: El lanzamiento de un dataset que contiene más de 14,000 arquitecturas distintas y más de 750,000 registros de entrenamiento estructurados. Estos registros documentan el rendimiento del modelo, los hiperparámetros y los resultados de las tareas a través de múltiples conjuntos de datos y tareas.
2. Marco de Generación Diverso: La introducción de un marco unificado que combina edición programática, búsqueda evolutiva, construcción fractal y síntesis impulsada por LLM (incluyendo NN-RAG) para producir corpora de modelos heterogéneos.
3. Metadatos Conscientes del Despliegue: La provisión de metadatos de rendimiento en dispositivos reales (latencia, uso de memoria) vía NN-Lite y NN-VR, cubriendo más de 7,500 modelos en Android y más de 10,000 en contextos de VR.
4. Análisis Transdominio: Soporte para tareas multimodales (descripción de imágenes, texto a imagen, modelado de lenguaje) permitiendo el estudio de la transferibilidad arquitectónica a través de dominios.
5. Pipelines de Transformación de Datos: La generación y evaluación sistemática de 6,000 pipelines de aumento de datos para guiar el preprocesamiento óptimo.

Resultados

Bajo presupuestos de entrenamiento limitados, el artículo reporta los siguientes hallazgos cuantitativos:

• Rendimiento Generativo: Los generadores guiados por optimización (Algoritmos Genéticos, Redes Fractales) produjeron los resultados de clasificación de imágenes más consistentes y de mayor rendimiento. Por ejemplo, las Redes Fractales alcanzaron una mejor precisión de 0.8018 en CIFAR-10, mientras que los Algoritmos Genéticos alcanzaron 0.8004.
• Rendimiento de LLM y RL: El prompting de pocos disparos basado en LLM y el Aprendizaje por Refuerzo (RL) mostraron una mayor varianza. El mejor modelo de pocos disparos alcanzó una precisión de 0.3874 en CIFAR-10, mientras que el enfoque basado en RL alcanzó 0.6799.
• Éxito de MoE: Un MoE homogéneo ajustado logró la mayor precisión en su categoría (93.9% en CIFAR-10), superando a todos sus backbones constituyentes entrenados individualmente.
• Resultados Específicos de la Tarea:
  • Descripción de Imágenes: La mejor variante generada (ResNet-50 + Transformer) alcanzó una puntuación BLEU-4 de 0.317.
  • Texto a Imagen: Un CVAE-GAN con codificación CLIP logró una puntuación CLIP máxima de 0.2751.
  • Aumento de Datos: Una búsqueda combinatoria de pipelines de aumento identificó una configuración usando RandomPosterize que superó a los pipelines generados por LLM, alcanzando un 61.24% de precisión en CIFAR-10.
• Despliegue: El pipeline NN-Lite procesó con éxito más de 7,500 modelos, mientras que NN-VR validó más de 10,000 modelos, con una tasa de éxito del 95% en el cumplimiento del tiempo de cuadro para aplicaciones de VR.

Significancia y Reivindicaciones

El artículo posiciona a LEMUR 2 como un recurso fundamental para el diseño de IA reproducible y basado en datos. Su principal significancia radica en:

• Desbloquear la Diversidad: Ir más allá de las colecciones "metodológicamente homogéneas" de los benchmarks tradicionales de NAS para proporcionar un corpus que abarca diversos orígenes arquitectónicos y modalidades.
• AutoML Impulsado por LLM: Establecer una base para acoplar diversos orígenes arquitectónicos con validación empírica a gran escala, apoyando el paradigma emergente de la generación y generalización arquitectónica impulsada por LLM.
• Relevancia Práctica: Al vincular los datos arquitectónicos con métricas de despliegue en dispositivos reales, el marco permite el estudio de las compensaciones entre precisión y latencia y apoya el desarrollo de arquitecturas de próxima generación adecuadas para la computación de borde (edge) e inmersiva.
• Minería de Arquitecturas Neuronales: Formalizar la extracción de primitivas neuronales con dependencias cerradas de códigos fuente dispares hacia un sustrato ejecutable estandarizado para flujos de trabajo de ML automatizados.

Los autores señalan que, si bien los generadores basados en optimización producen actualmente los resultados más fuertes, el valor del marco reside en su capacidad para explorar sistemáticamente el espacio de diseño arquitectónico y proporcionar la infraestructura de datos necesaria para futuros avances en el descubrimiento de modelos automatizados.