LLM as a Tool, Not an Agent: Code-Mined Tree Transformations for Neural Architecture Search

Resumen Técnico: LLMasTool

1. El Problema

La Búsqueda de Arquitecturas Neuronales (NAS) busca automatizar el diseño de redes neuronales profundas (DNN) de alto rendimiento. Sin embargo, existen dos enfoques principales con limitaciones significativas:

• Métodos Algorítmicos Tradicionales: Dependen de espacios de búsqueda diseñados a mano (hand-crafted) y primitivas predefinidas para garantizar la ejecutabilidad. Esto restringe la exploración abierta y sesga los descubrimientos hacia las preferencias de los diseñadores.
• Enfoques Basados en Agentes LLM: Utilizan Grandes Modelos de Lenguaje (LLM) para generar código o arquitecturas directamente. Aunque reducen la ingeniería manual, estos métodos sufren de:
  • Falta de controlabilidad y ejecutabilidad: Los LLM a menudo generan código complejo que no es ejecutable o válido estructuralmente.
  • Sesgo de entrenamiento: Las propuestas de los LLM tienden a repetir patrones observados en sus datos de entrenamiento, dificultando la exploración verdaderamente abierta y novedosa.
  • Ineficiencia: La generación de código desde cero es costosa y propensa a errores.

El objetivo de este trabajo es cerrar la brecha entre la búsqueda algorítmica confiable y la potencia de los LLM, permitiendo una evolución de modelos estable y de extremo abierto.

2. Metodología Propuesta: LLMasTool

Los autores proponen LLMasTool, un marco híbrido que no trata al LLM como un agente autónomo, sino como una herramienta dentro de un proceso de búsqueda estructurado. La metodología se basa en tres pilares fundamentales:

A. Minería de Módulos Basada en Algoritmos (Module Mining)

• En lugar de depender de la memoria del LLM, el sistema analiza automáticamente el código fuente existente (por ejemplo, de PyTorch, MMCV, timm) utilizando un algoritmo basado en reglas (no un LLM).
• Extrae clases que heredan de torch.nn.Module y construye una base de datos de módulos reutilizables.
• Para cada módulo, se extraen metadatos, argumentos del constructor (espacio de búsqueda de hiperparámetros) y el código fuente. Esto garantiza una definición del espacio de búsqueda correcta y libre de alucinaciones.

B. Representación de Arquitectura como Árbol Jerárquico

• A diferencia de los métodos tradicionales que usan grafos de flujo de datos, LLMasTool representa las arquitecturas como árboles jerárquicos orientados a la implementación ("deploy-friendly").
• La estructura del árbol abarca desde bloques conceptuales de alto nivel (ej. Backbone, Neck) hasta módulos internos y parámetros de hoja (ej. tamaño de kernel, bias).
• Esta representación facilita la reutilización directa de bloques de código humano y permite transformaciones controladas sin necesidad de reescribir el código fuente completo.

C. Evolución mediante Transformaciones de Árbol y Toma de Decisiones "Coarse-to-Fine"
El proceso de evolución no genera código libre, sino que aplica transformaciones controladas al árbol:

1. Planificación de Alto Nivel (Coarse): Un algoritmo evolutivo guiado por la diversidad decide qué tipo de operación realizar (ej. cambiar hiperparámetros, intercambiar módulo, insertar, eliminar).
   • Se utiliza Muestreo de Thompson Jerárquico (basado en modelos Bayesianos) para equilibrar la exploración y la explotación basándose en el historial de resultados.
2. Refinamiento de Bajo Nivel (Fine): Una vez decidida la operación y la ubicación, el LLM actúa como herramienta para resolver los grados de libertad restantes (ej. seleccionar el módulo específico de la base de datos y ajustar sus hiperparámetros para que sea compatible).
3. Categorías de Prompts: El sistema utiliza tres categorías de prompts para el LLM:
   • Depender del LLM: Usa el conocimiento previo del modelo.
   • Contra el LLM: Busca explícitamente opciones que el modelo no suele elegir.
   • Mínimo LLM: El algoritmo decide la mayoría de las opciones y el LLM solo ajusta detalles finos.

3. Contribuciones Clave

1. Marco Híbrido LLMasTool: Introduce un enfoque donde el LLM es una herramienta de refinamiento dentro de un marco algorítmico, evitando los problemas de control y ejecutabilidad de los agentes autónomos.
2. Representación en Árbol y Minería de Código: Permite la reutilización directa de conocimiento de código existente (módulos reales) en lugar de generarlos desde cero, facilitando la integración de arquitecturas complejas y validadas.
3. Estrategia de Decisión Jerárquica: Combina la planificación global guiada por la diversidad (algorítmica) con la toma de decisiones local asistida por LLM, superando los sesgos inherentes a los datos de entrenamiento del LLM.
4. Muestreo de Thompson Jerárquico: Una técnica eficiente para gestionar el vasto espacio de búsqueda abierto, acumulando historial en niveles superiores para guiar la búsqueda de manera eficiente.

4. Resultados Experimentales

El método fue evaluado en los benchmarks estándar NAS-Bench-201 (CIFAR-10, CIFAR-100, ImageNet16-120) y en ImageNet-100.

• Rendimiento Superior: LLMasTool superó a los métodos de estado del arte (SOTA), tanto en espacios de búsqueda diseñados a mano como en búsqueda abierta.
  • Mejoras de 0.69 puntos en CIFAR-10.
  • Mejoras de 1.83 puntos en CIFAR-100.
  • Mejoras de 2.68 puntos en ImageNet16-120.
• Comparación con Agentes LLM: Superó significativamente a métodos como NADER, LLMatic y LeMo-NADe, demostrando que la restricción algorítmica combinada con la asistencia del LLM es más efectiva que la generación libre de código.
• Estudios de Ablación: Confirmaron que la combinación de minería de módulos, representación en árbol y la estrategia coarse-to-fine es esencial. El uso exclusivo del LLM o la falta de muestreo bayesiano resultaron en un estancamiento del rendimiento.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la aplicación de la IA generativa a la investigación científica y el diseño de sistemas:

• Más allá del "Agente Autónomo": Demuestra que para tareas complejas de ingeniería (como diseñar redes neuronales), confiar ciegamente en un LLM como agente autónomo es ineficiente y propenso a errores. El enfoque de "LLM como herramienta" ofrece un equilibrio óptimo entre creatividad y rigor.
• Exploración Abierta Real: Al romper la dependencia de los sesgos de entrenamiento del LLM mediante la minería de código y la planificación algorítmica, el método puede descubrir arquitecturas que un humano o un LLM por sí solos no considerarían.
• Eficiencia y Reutilización: La capacidad de extraer y reutilizar módulos de bibliotecas existentes acelera el proceso de búsqueda y garantiza que las arquitecturas resultantes sean ejecutables y prácticas para la implementación real.

En conclusión, LLMasTool establece un nuevo estándar para la NAS abierta, demostrando que la integración estructurada de modelos de lenguaje dentro de marcos algorítmicos rigurosos es la vía más prometedora para la evolución automática de modelos de aprendizaje profundo.