Staged Factorial Screening for Budget-Constrained Micro-Pretraining

Resumen Técnico: Cribado Factorial Escalonado para el Micro-preentrenamiento con Presupuesto Limitado

Planteamiento del Problema
En los bucles de investigación automatizados para el entrenamiento de modelos de lenguaje, los investigadores se enfrentan frecuentemente a escenarios de "micro-preentrenamiento" con presupuesto limitado, donde se deben triar muchos candidatos a recetas en aceleradores compartidos antes de comprometer presupuestos de búsqueda mayores. Si bien las trayectorias de "mejor hasta ahora" (por ejemplo, búsqueda codiciosa o aleatoria) pueden identificar configuraciones de hiperparámetros mejoradas, a menudo fallan en atribuir las ganancias de rendimiento a factores específicos (por ejemplo, profundidad, anchura, tamaño de lote) o a sus interacciones. Esta falta de atribución obstaculiza la comprensión estructural del comportamiento inicial del entrenamiento. El artículo aborda la cuestión de si un flujo de trabajo de cribado factorial escalonado y compacto puede identificar direcciones de penalización estables bajo presupuestos estrictos de tiempo de ejecución (2 a 10 minutos) y si estas señales siguen siendo lo suficientemente robustas como para soportar un flujo de trabajo práctico de "cribado y refinamiento".

Metodología
El estudio emplea un diseño experimental escalonado sobre un bucle de entrenamiento de un solo GPU fijo derivado de autorecherche (host Windows A100, con replicación limitada en Linux L40S). El flujo de trabajo consta de diez etapas:

1. Cribado Piloto: Se utilizó un diseño factorial fraccionario regular $2^{(5-1)}$ (Resolución V) para cribar cinco factores: Profundidad (A), Relación de Aspecto (B), Tasa de Aprendizaje de Matriz (C), Tamaño de Lote Total (D) y Ratio de Warmdown (E). Esto se ejecutó con presupuestos de 2, 5 y 10 minutos.
2. Reejecuciones de Cribado Completo con Semillas: Para adjuntar la incertidumbre de la semilla a las estimaciones de efectos principales, se volvió a ejecutar el diseño de cribado de 16 condiciones con cinco semillas independientes por condición a los 5 y 10 minutos (160 ejecuciones en total).
3. Análisis Estadístico:
   • Efectos Principales: Se ajustaron modelos de Mínimos Cuadrados Ordinarios (OLS) para cada presupuesto. Los efectos se probaron para significancia utilizando valores p de dos colas e intervalos de Wald del 95%.
   • Corrección de Pruebas Múltiples: Dentro de cada familia de cinco efectos predeclarada para un presupuesto fijo, se aplicó el control de la tasa de falso descubrimiento de Benjamini-Hochberg (BH) ($q=0.05$).
   • Análisis de Seguimiento: Un seguimiento D-fijo analizó las interacciones dentro de un conjunto de factores reducido utilizando datos de semilla fija heredados.
   • Decomposición de Varianza: Las ejecuciones de confirmación de semilla dirigidas (90 filas) utilizaron ANOVA de Tipo II para cuantificar las participaciones de la varianza entre el presupuesto, la condición y la identidad de la semilla.
4. Líneas Base y Comparaciones:
   • Búsqueda Codiciosa (Greedy): Se ejecutaron líneas base codiciosas en el mismo host para comparar las trayectorias de "mejor hasta ahora" contra el cribado estructurado.
   • Búsqueda Aleatoria: Una línea base aleatoria de costo igualado (80 ejecuciones, 16 extracciones por lote) probó si se podían encontrar competidores competitivos por azar sin atribución estructurada.
   • Paquete Bridge: Un paquete de 60 minutos probó cuatro anclas predeclaradas (mejor cribado, mejor bridge, mejor greedy, control) para ver si los rankings de espacio reducido se mantenían en horizontes más largos.
   • Continuaciones en Diferentes Hosts: Se ejecutaron continuaciones de 12 y 24 horas tanto en hosts Windows (A100) como Linux (L40S) utilizando tres anclas (bridge, greedy, control) para probar la estabilidad de la señal centrada en el bridge.

Resultos Clave

• Penalizaciones Dependientes del Presupuesto: Las penalizaciones de efecto principal de Tamaño de Lote Total (D) y Tamaño del Modelo (A/B) dominan el comportamiento inicial del entrenamiento, pero se relajan sustancialmente a medida que el presupuesto aumenta de 2 a 10 minutos.
  • A los 5 y 10 minutos, los factores D, A, B y C retuvieron estimaciones no nulas tras la corrección BH-FDR.
  • El factor E (Ratio de Warmdown) no retuvo una estimación no nula en ninguno de los presupuestos con semilla, lo que indica que la señal inicial era probablemente ruido.
• Estructura de Interacción: En el seguimiento D-fijo, las interacciones (por ejemplo, A:B) permanecieron presentes pero fueron secundarias en magnitud absoluta comparadas con los efectos principales. Su saliencia relativa aumentó a medida que los efectos principales se redujeron, pero no dominaron la estructura del efecto.
• Búsqueda Aleatoria vs. Cribado: La búsqueda aleatoria pudo alcanzar competidores fuertes en este espacio de 32 condiciones. Sin embargo, estos éxitos no estuvieron dispersos; los ganadores aterrizaron consistentemente en la misma región de baja penalización (específicamente $A=-1, D=-1$) identificada por el cribado diseñado. La búsqueda aleatoria carecía de atribución de factores, mientras que el cribado escalonado proporcionó comprensión estructural.
• Refinamiento del Bridge:
  • Al minuto 10, el extremo mejor cribado (profundidad 6) fue el mejor performer.
  • Al minuto 60, el bridge de anchura centrada (profundidad 8, relación de aspecto 64) superó al extremo cribado y al incumbente codicioso, convirtiéndose en el mejor performer medio.
  • Esto sugiere que, si bien los presupuestos cortos favorecen modelos más pequeños debido a las penalizaciones de profundidad, los presupuestos más largos permiten que los modelos más grandes alcancen sus ventajas de capacidad.
• Estabilidad entre Hosts:
  • El ancla centrada en el bridge mantuvo consistentemente la media de muestra más baja en ambos hosts Windows y Linux, a través de los horizontes de 4, 10, 60, 12 y 24 horas.
  • Sin embargo, la jerarquía completa de anclas no fue invariante al host. En Linux, el control predeclarado no se mantuvo como el peor performer (ocupó el segundo lugar), y el ancla codiciosa a veces tuvo un desempeño peor que el control. Solo la superioridad del ancla bridge fue direccionalmente estable entre hosts.

Significancia y Reivindicaciones
El documento presenta una conclusión metodológica acotada en lugar de una reivindicación de optimalidad universal o de ranking invariante al hardware.

1. Recomendación de Flujo de Trabajo: Los autores abogan por un flujo de trabajo escalonado: usar cribados diseñados de corto plazo para identificar direcciones de alta penalización, confirmar regiones de anclas prometedoras con ejecuciones repetidas y luego refinar localmente dentro del espacio reducido. Este enfoque proporciona una atribución directa de factores que las trayectorias de "mejor hasta ahora" carecen.
2. Atribución sobre Calidad de Incumbente: El estudio demuestra que, si bien la búsqueda aleatoria o codiciosa puede encontrar recetas buenas, estas no explican por qué son buenas ni separan el refinamiento del flujo de trabajo de las ventajas de capacidad del modelo. El cribado escalonado aísla las "direcciones de alta penalización" (Lote y Profundidad) tempranamente.
3. Validez Acotada: La evidencia respalda una recomendación centrada en el bridge a través de 24 horas en dos hosts, pero los autores declaran explícitamente que esto no establece una optimalidad global de largo horizonte, ni estructuras de ranking invariantes al hardware, ni una superioridad general en la optimización de hiperparámetros. Los resultados son específicos para el régimen de micro-preentrenamiento y el bucle de entrenamiento utilizado.
4. Utilidad Práctica: El valor principal es la interpretabilidad y la reducción del espacio de búsqueda. Al identificar que factores como el Ratio de Warmdown (E) son insignificantes al principio y que las penalizaciones de Lote/Profundidad se relajan con el tiempo, los investigadores pueden tomar decisiones informadas sobre dónde asignar mayores presupuestos de búsqueda.

El artículo concluye que el flujo de trabajo escalonado recupera con éxito la estructura de efecto temprana estable bajo presupuestos estrictos, permitiendo una estrategia de "cribar-confirmar-refinar" que es más informativa que la búsqueda no estructurada, siempre que los resultados se interpreten dentro de los límites del régimen experimental específico.