Knowing in Advance When an Evolutionary Outer Loop Will Not Help: A Pre-Registered Cheap-Baseline Screening Rule

Résumé Technique : Savoir à l'avance quand une boucle externe évolutionnaire ne sera pas utile

Énoncé du problème
Les « boucles externes » évolutionnaires, basées sur des populations ou des cycles de vie, qui effectuent une recherche sur les paramètres, les masques, les routes ou les structures des réseaux de neurones, sont souvent proposées pour optimiser des objectifs que les « boucles internes » basées sur le gradient ne peuvent pas servir directement. Cependant, ces boucles externes sont coûteuses en termes de calcul, coûtant typiquement de $10^2$ à $10^3$ fois plus que la boucle interne qu'elles enveloppent. Le défi pratique critique pour les laboratoires de recherche n'est pas de déterminer si une boucle externe peut aider, mais de déterminer à l'avance et de manière peu coûteuse si l'investissement en vaut la peine. Actuellement, cette détermination n'est généralement faite qu'après que l'importante dépense d'implémentation et d'exécution a été engagée.

Méthodologie : La porte de filtrage de Phase 0
Le document introduit une procédure de décision prospective et pré-enregistrée appelée Porte de falsification par ligne de base peu coûteuse de Phase 0 (Phase-0 Cheap-Baseline-Falsification Gate). Ce protocole est exécuté avant tout début d'implémentation de la boucle externe.

1. Procédure : Le laboratoire énumère les explications non mécanistes les plus plausibles et les moins coûteuses pour l'effet attendu. Celles-ci incluent :

   • Des lignes de base aléatoires (random baselines).
   • Des heuristiques à coup unique (single-shot heuristics, ex: statistiques de gradient ou de courbure).
   • Des méthodes statiques ou non évolutionnaires.
   • Une adaptation complète sans masque.
     Ces lignes de base sont exécutées sur la métrique exacte que le projet entend utiliser, en partant d'une ligne de base « chaude » (sans adaptation supplémentaire).

2. La règle de filtrage : Le protocole calcule un ratio de récupération unique, $R$ :
   $$R = s / G$$
   Où :

   • $s$ est le gain réalisé par la meilleure statistique de gradient/courbure à coup unique.
   • $G$ est la frontière atteignable, définie comme le gain maximum réalisé par n'importe quelle méthode peu coûteuse évaluée à la porte (incluant la statistique à coup unique, le hasard et les lignes de base statiques).

3. Seuil de décision : Si $R \ge 90\%$, la règle prescrit de sauter la boucle externe. La logique est la suivante : si une méthode simple à coup unique récupère déjà 90 % du meilleur gain trouvé par n'importe quelle méthode peu coûteuse, la boucle de cycle de vie évolutionnaire est peu susceptible d'apporter une amélioration détectable par rapport au substrat statique. Le seuuil de 90 % est une convention conservatrice choisie pour éviter de sauter par erreur une boucle potentiellement utile, située en dessous des points de « mort » observés dans les données des auteurs.

Contributions clés

• Une règle de décision pré-enregistrée : Contrairement aux travaux précédents qui utilisent des lignes de base peu coûteuses comme comparateurs a posteriori pour infirmer des méthodes après leur construction, ce papier propose une porte de passage (go/no-go) avant la construction, avec un seuil engagé et falsifiable.
• Opérationnalisation de l'« inutilité » : La règle fournit une métrique concrète ($R$) pour quantifier quand une recherche coûteuse est inutile parce qu'un calcul statique peu coûteux a déjà capturé l'effet.
• Validation sur un corpus intra-laboratoire : Les auteurs appliquent cette règle à leurs propres travaux, rapportant deux cas analysés et un « tiroir de fichiers » (file drawer) des autres tentatives échouées.

Résultats
La règle a été validée sur une série de projets au sein de leur laboratoire :

• Cas 1 (MoE-Lifecycle) : Un projet étudiant les signaux de fitness alignés sur le principe du « leave-one-out » (LOO) dans un cycle de vie évolutif de type Mixture-of-Experts (MoE). La porte de Phase 0 a montré qu'un changement statique du routeur-substrat capturait l'effet ($R \approx 1,0$). Une décomposition factorielle compagne a confirmé que le cycle de vie évolutionnaire n'apportait aucun gain détectable ; la victoire apparente était entièrement due au changement de substrat statique. La boucle externe a été abandonnée.
• Cas 2 (Mask-Rescue) : Un projet testant si des masques de mutabilité parcimonieuse héritables pouvaient sauver des adaptateurs LoRA réchauffés par le gradient.
  • Test d'héritabilité : Un contrôle de type $\kappa$-aléatoire sans cycle de vie (masques aléatoires à chaque époque) a surpassé la boucle de sauvetage héritée ($0,906$ contre $0,805$ de préservation). Le contenu évolutionnaire (héritabilité/sélection) n'ajoutait aucune valeur.
  • Test d'identité du masque : La meilleure statistique à coup unique (norme de gradient) a atteint la frontière ($R \approx 1,0$), même face à une adaptation complète sans masque. Il n'y avait pas de « marge de progression » (headroom) exploitable par un masque évolué.
  • Résultat : La boucle externe n'a pas été construite.
• Économies de coûts : Pour l'étude d'identité du masque, la porte de Phase 0 a coûté environ $50\text{--}70$ heures-GPU. Elle a permis d'écarter un estimé de plus de $400$ heures-GPU (première cellule seulement) ainsi que des semaines d'implémentation, représentant une économie de $6\text{--}8\times$.
• Recherche de condition négative : Les auteurs ont tenté de trouver une tâche réelle où $R < 90\%$ (indiquant un besoin potentiel pour une boucle externe) : dans une tâche de sélection d'exemplaires pour l'apprentissage en contexte, la construction gourmande/beam peu coûteuse a récupéré $97\%$ de la frontière atteinte par la recherche aléatoire ($R_{screen} \approx 97\%$), provoquant à nouveau le déclenchement de la porte. Le seul cas où une boucle externe a battu une méthode à coup unique était un contrôle synthétique aligné sur un oracle ($R \approx 0,004$), et non une tâche réelle.

Signification et affirmations
Le papier cadre explicitement sa contribution comme étant méthodologique, et non algorithmique.

• Revendications modestes : Les auteurs ne prétendent pas que les boucles externes évolutionnaires n'aident jamais. Ils affirment que les résultats négatifs individuels (le fait que les méthodes statiques suffisent souvent) ne sont pas surprenants compte tenu de la littérature existante sur les objectifs lisses et l'élagage (pruning).
• Valeur centrale : La nouveauté réside dans la procédure de décision packagée, documentée et prospectivement falsifiable. Elle recadre l'erreur récurrente et coûteuse consistant à construire des boucles externes sur des espaces déjà servis par des optimiseurs internes en un contrôle préalable et peu coûteux.
• Falsifiabilité : La règle est explicitement falsifiable. Une tâche réelle avec $R < 90\%$ où la boucle externe échouerait malgré tout à battre la ligne de base à coup unique infirmerait la règle. Inversement, la règle n'est pas infirmée si une tâche avec $R < 90\%$ réussit ; un tel cas validerait simplement la condition sous laquelle les boucles externes devraient être construites.
• Limites : Les auteurs reconnaissent que les résultats ne sont pas des réplications indépendantes (même laboratoire/instinct de conception), que la « condition positive » (quand les bouettes externes aident) est actuellement une hypothèse avec seulement des preuves synthétiques, et que la règle est validée uniquement sur des travaux de type LLM (LoRA/MoE).

En résumé, ce papier fournit un protocole rigoureux et peu coûteux pour éviter le gaspillage de ressources de calcul sur des boucles externes évolutionnaires lorsque une ligne de base statique ou à coup unique a déjà atteint la frontière de performance.