Resumen Técnico: HASTE – Acumulación Jerárquica de Habilidades para la Ingeniería de ML con Transferencia Eficiente

Declaración del Problema

Los agentes actuales de Ingeniería de Aprendizaje Automático (MLE), tal como se evalúan en benchmarks como MLE-Bench, operan principalmente como "arrancados en frío" (cold starts). A pesar de la existencia de técnicas reutilizables a través de diversas competencias, los agentes reinician su estado entre tareas, lo que los obliga a redescubrir soluciones conocidas desde cero. Esta redundancia consume presupuestos computacionales significativos y depende excesivamente de modelos de frontera o de límites de tiempo extendidos para compensar la exploración repetida. Si bien trabajos recientes han explorado la transferencia entre tareas, los sistemas existentes suelen almacenar el conocimiento en depósitos planos o almacenes de vectores. Esta organización "plana" diluye la señal dentro de la ventana de contexto, lo que dificza que los agentes seleccionen el prior adecuado para una tarea específica, derivando en una exploración ineficiente y un rendimiento subóptimo.

Metodología: Arquitectura HASTE

Los autores proponen HASTE (Hierarchical Accumulation of Skills for Transfer-Efficient ML Engineering), un sistema multi-agente diseñado para organizar el conocimiento acumulado por alcance y cargarlo jerárquicamente.

1. Almacén de Habilidades Jerárquico

La innovación central es un almacén de habilidades en texto plano organizado en tres niveles de alcance, almacenado como archivos markdown con metadatos YAML:

• Nivel Global: Habilidades aplicables a todas las tareas de ML (ej. "Combinar un modelo fuerte con uno más débil puede degradar el rendimiento").
• Nivel de Dominio: Habilidades específicas de modalidades (Tabular, Visión, NLP, Audio).
• Nivel de Competencia: Habilidades ligadas a conjuntos de datos específicos o particularidades únicas de una sola competencia.

El almacén contiene tres tipos de entradas, cada una con una función distinta en el bucle del agente:

• Entradas de Técnica: Registran qué funcionó o falló (ej. "El target encoding ayuda con variables categóricas de alta cardinalidad").
• Priors de Compromiso: Identifican decisiones de diseño con alta varianza entre tareas, señalando que se requiere evidencia antes de comprometerse con una arquitectura específica.
• Pistas de Refinamiento: Especifican qué hiperparámetros o "perillas" ajustar para familias de modelos específicas.

2. Jerarquía de Agentes y Ejecución

El sistema emplea una jerarquía de dos niveles:

• Orquestador: Clasifica las competencias en dominios, programa la ejecución y gestiona la promoción de habilidades. Después de cada ronda, un LLM evalúa los nuevos aprendizajes para decidir si saltarlos, mantenerlos al nivel de la competencia, abstraerlos al nivel de dominio o promoverlos al nivel global. Los conflictos se resuelven anotando condiciones (ej. "El ensamble ayuda si la correlación < 0.95").
• Especialistas de Dominio: Agentes separados para tareas de Tabular, Visión y NLP. Cada especialista ejecuta un pipeline de cinco etapas:
  1. Perfilado de Tarea: Analiza metadatos y recursos.
  2. Pantalla de Prototipos: Propone y prueba tres enfoques de modelos diversos.
  3. Refinamiento Adaptativo: Un bucle de refinamiento lineal (Exploración → Optimización → Ajuste fino) con escalada automática y mecanismos de reversión ante regresiones.
  4. Ensamble: Combina los mejores checkpoints.
  5. Aprendizaje de Producción: Reflexiona sobre el historial de experimentos para generar nuevas habilidades.

3. Carga de Contexto Escopada

Crucialmente, los agentes no cargan todo el inventario de habilidades. El orquestador carga solo las habilidades que coinciden con el alcance del agente (Global + Dominio relevante + Específicas de la competencia). Esto mantiene el contexto enfocado, evitando la dilución de la señal y asegurando que el agente vea solo los priors relevantes.

Contribuciones Clave

1. Almacén de Habilidades de 3 Niveles: Una organización novedosa del conocimiento reutilizable por alcance de aplicabilidad (Global, Dominio, Competencia), junto con un mecanismo de promoción impulsado por LLM para abstraer aprendizajes hacia arriba.
2. Mecanismo de Carga Escopada: La primera evaluación de "carga escopada" frente a "carga plana" (volcar todas las habilidades) y "carga vacía" bajo un inventario de habilidades fijo.
3. Validación Empírica en MLE-Bench Lite: Demostración de que un modelo no de frontera (Claude Sonnet 4.6) con un presupuesto de 12 horas puede lograr un rendimiento competitivo (77.3% de tasa de medallas) mediante el aprovechamiento de conocimiento organizado, igualando a agentes que utilizan modelos más fuertes o presupuestos más largos.

Resultados Experimentales

Benchmark Principal (MLE-Bench Lite)

• Rendimiento: HASTE logró una tasa de medallas del 77.3% (17/22 competencias) utilizando Claude Sonnet 4.6 y un presupuesto de 12 horas. Esto iguala la banda de rendimiento de los agentes líderes que usan modelos de frontera (ej. Gemini-3-Pro) y presupuestos de 24 horas.
• Eficiencia de Transferencia:
  • Arrancado en Frío (Cold Start): Una ejecución de un solo paso sin habilidades acumuladas logró solo un 40.9% de tasa de medallas.
  • Arrancado en Caliente (Warm Start): Recargar las habilidades globales y de dominio elevó el mismo sistema al 77.3%, revirtiendo 8 de 13 competencias previamente fallidas a estatus de medalla.
  • Reducción de Iteraciones: Los arrancados en caliente requirieron un 52% menos de iteraciones de refinamiento (7.8 vs. 16.3) para alcanzar puntuaciones máximas.
  • Tasa de Acierto (Hit Rate): La fracción de cambios propuestos mantenidos por el agente aumentó del 42% (inventario bajo) al 85% (50+ habilidades).

Ablación Controlada (Inventario Fijo)

Para aislar el efecto de la organización del volumen de habilidades, los autores ejecutaron 8 competencias con un inventario fijo de 159 habilidades bajo tres condiciones:

• Carga por Niveles (Tiered Loading): Se cargaron solo las habilidades relevantes (10–60 por tarea). Resultado: 100% de tasa de medallas.
• Carga Plana (Flat Loading): Se cargaron las 159 habilidades (~145k caracteres). Resultado: 62.5% de tasa de medallas (igual que la carga vacía).
• Carga Vacía (Empty Loading): Sin habilidades. Resultado: 62.5% de tasa de medallas.

Hallazgos de Eficiencia:

• La carga plana consumió 2× más tokens de salida (3.78M) que la carga vacía (1.86M) para la misma tasa de medallas, y 2.7× más tokens por medalla que la carga por niveles.
• La carga plana sufrió de dilución de señal (habilidades relevantes enterradas en ruido) y desplazamiento del presupuesto de contexto (desplazamiento del razonamiento).
• La carga por niveles fue más efectiva en tareas más difíciles o de nicho (ej. Audio, tareas específicas de NLP) donde los priors de dominio y de competencia proporcionaron un punto de partida de calidad conocida.

Significado y Reivindicaciones

El artículo argumenta que una mejor organización del conocimiento puede sustituir parcialmente la fuerza del modelo y el presupuesto computacional en los agentes de ingeniería de ML. La principal reivindicación no es simplemente que acumular habilidades ayuda, sino que la estructura de esa acumulación es crítica.

• Organización sobre Volumen: La ablación demuestra que un gran volumen de habilidades es ineficaz si se cargan indiscriminadamente (carga plana). El mecanismo de carga jerárquica y escopada es la fuente de la ganancia de rendimiento.
• Eficiencia: Al estrechar el espacio de búsqueda mediante priors estructurados, los bucles de refinamiento lineal se vuelven suficientes, reduciendo la necesidad de estrategias complejas de búsqueda en árbol o evolutivas.
• Escalabilidad: El sistema utiliza almacenamiento de texto plano y concatenación simple, evitando los límites teóricos de un único embedding de vector para la recuperación condicional de múltiples campos.

Los autores concluyen que HASTE representa un cambio de las estrategias "intensivas en búsqueda" hacia las estrategias "intensivas en organización de conocimiento", permitiendo a los agentes resolver tareas de ingeniería complejas de manera más eficiente al evitar el redescubrimiento de hechos conocidos.