Knowing in Advance When an Evolutionary Outer Loop Will Not Help: A Pre-Registered Cheap-Baseline Screening Rule

Resumen Técnico: Saber de antemano cuándo un bucle externo evolutivo no será de ayuda

Planteamiento del problema
Los "bucles externos" evolutivos, basados en poblaciones y de ciclo de vida que buscan sobre parámetros, máscaras, rutas o estructuras de redes neuronales, se proponen a menudo para optimizar objetivos que los bucles "internos" basados en gradientes no pueden servir directamente. Sin embargo, estos bucles externos son computacionalmente costosos, costando típicamente entre $10^2$ y $10^3$ veces más que el bucle interno que envuelven. El desafío práctico crítico para los laboratorios de investigación no es determinar si un bucle externo puede ayudar, sino determinar de antemano y de forma barata si valdrá la pena la inversión. Actualmente, esta determinación suele realizarse solo después de haber incurrido en el gasto significativo de la implementación y la ejecución.

Metodología: La Puerta de Cribado de Fase 0
El artículo introduce un procedimiento de decisión prospectivo y prerregistrado llamado Puerta de Falsificación de Línea Base Barata de Fase 0 (Phase-0 Cheap-Baseline-Falsification Gate). Este protocolo se ejecuta antes de que comience cualquier implementación del bucle externo.

1. Procedimiento: El laboratorio enumera las explicaciones no mecánicas más plausibles y baratas para el efecto esperado. Estas incluyen:

   • Líneas base aleatorias (baselines).
   • Heurísticas de disparo único (ej. estadísticas de gradiente o curvatura).
   • Métodos estáticos/no evolutivos.
   • Adaptación completa sin enmascaramiento.
     Estas líneas base se ejecutan sobre la métrica exacta que el proyecto pretende usar, partiendo de una línea base "cálida" (sin mayor adaptación).

2. La Regla de Cribado: El protocolo calcula una única razón de recuperación, $R$:
   $$R = s / G$$
   Donde:

   • $s$ es la ganancia lograda por la mejor estadística de gradiente/curvatura de disparo único.
   • $G$ es la frontera alcanzable, definida como la máxima ganancia lograda por cualquier método barato evaluado en la puerta (incluyendo la estadística de disparo único, la aleatoria y las líneas base estáticas).

3. Umbral de Decisión: Si $R \ge 90\%$, la regla prescribe saltarse el bucle externo. La lógica es que si un método barato de disparo único ya recupera el 90% de la mejor ganancia encontrada por cualquier método barato, es poco probable que el ciclo de vida evolutivo proporcione una mejora detectable sobre el sustrato estático. El umbral del 90% es una convención conservadora elegida para evitar saltarse erróneamente un bucle potencialmente útil, situada por debajo de los puntos de "muerte" observados en los datos de los autores.

Contribuciones Clave

• Una Regla de Decisión Prerregistrada: A diferencia del trabajo previo que utiliza líneas base baratas como comparadores post-hoc para desmentir métodos después de haber sido construidos, este artículo propone una puerta de "sí/no" pre-construcción con un umbral comprometido y falsable.
• Operacionalización de la "Inutilidad": La regla proporciona una métrica concreta ($R$) para cuantificar cuándo una búsqueda costosa es innecesaria porque una computación estática barata ya ha capturado el efecto.
• Validación en un Corpus Intra-Laboratorio: Los autores aplican esta regla a su propio trabajo, reportando dos casos analizados y un "archivo de cajón" (file drawer) de otros intentos fallidos.

Resultidos
La regla fue validada en una serie de proyectos dentro de su laboratorio:

• Caso 1 (Ciclo de Vida MoE): Un proyecto que investigaba señales de aptitud (fitness) alineadas con leave-one-out (LOO) en un ciclo de vida de Mezcla de Expertos (MoE) evolutivo. La puerta de Fase 0 mostró que un cambio estático en el sustrato del enrutador capturaba el efecto ($R \approx 1.0$). Una descomposición factorial complementaria confirmó que el ciclo de vida evolutivo no aportaba ninguna ganancia detectable; la victoria aparente se debió enteramente al cambio del sustrato estático. El bucle externo fue abandonado.
• Caso 2 (Rescate de Máscara): Un proyecto para probar si las máscaras de mutabilidad dispersa heredables podían rescatar adaptadores LoRA pre-calentados con gradientes.
  • Prueba de Herencia: Un control de $\kappa$-aleatorio sin ciclo de vida (máscaras aleatorias cada época) superó al bucle de rescate heredable ($0.906$ vs $0.805$ de preservación). El contenido evolutivo (heredabilidad/selección) no añadió valor.
  • Prueba de Identidad de Máscara: La mejor estadística de disparo único (norma de gradiente) alcanzó la frontera ($R \approx 1.0$) incluso frente a la adaptación completa sin enmascarar. No había "margen" para que una máscara evolucionada explotara.
  • Resultado: El bucle externo no se construyó.
• Ahorro de Costes: Para el estudio de identidad de máscara, la puerta de Fase 0 costó $\sim 50\text{--}70$ horas de GPU. Filtró un estimado de $\sim 400+$ horas de GPU (solo la primera celda) además de semanas de implementación, lo que representa un ahorro de $6\text{--}8\times$.
• Búsqueda de la Condición Negativa: Los autores intentaron encontrar una tarea del mundo real donde $R < 90\%$ (indicando una posible necesidad de un bucle externo). En una tarea de selección de conjuntos de ejemplos de aprendizaje en contexto (in-context learning), la construcción codiciosa/beam barata recuperó el $97\%$ de la frontera alcanzada por la búsqueda aleatoria ($R_{screen} \approx 97\%$), haciendo que la puerta se activara nuevamente. El único caso en que un bucle externo superó a un método de disparo único fue un control sintético alineado con un oráculo ($R \approx 0.004$), no una tarea real.

Significado y Reivindicaciones
El artículo enmarca explícitamente su contribución como metodológica, no algorítmica.

• Reivindicaciones Modestas: Los autores no afirman que los bucles externos evolutivos nunca ayuden. Establecen que los resultados negativos individuales (que los métodos estáticos suelen ser suficientes) no son sorpresivos dada la literatura existente sobre objetivos suaves y poda (pruning).
• Valor Central: La novedad reside en el procedro de decisión empaquetado, evidenciado y prospectivamente falsable. Reencuadra el error recurrente y costoso de construir bucles externos sobre espacios que ya son servidos por optimizadores internos en un chequeo previo y barato.
• Falsabilidad: La regla es explícamente falsable. Una tarea del mundo real con $R < 90\%$ donde el bucle externo aún así no logre superar a la línea base de disparo único refutaría la regla. Por el contrario, la regla no es refutada si una tarea con $R < 90\%$ tiene éxito; tal caso simplemente validaría la condición bajo la cual se deben construir los bucles externos.
• Limitaciones: Los autores reconocen que los resultados no son replicaciones independientes (mismo laboratorio/instinto de diseño), la "condición positiva" (cuando los bucles externos sí ayudan) es actualmente una hipótesis con solo evidencia sintética, y la regla se valida solo en trabajos de escala LoRA/MoE de LLM.

En resumen, el artículo proporciona un protocolo riguroso y de bajo coste para evitar el desperdicio de recursos computacionales en bucles externos evolutivos cuando una línea base estática o de disparo único ya ha alcanzado la frontera de rendimiento.