Résumé technique : Menaces sur la validité de la recherche sur les modèles de fondation

Énoncé du problème

L'avènement des modèles de fondation a considérablement augmenté le coût computationnel de l'entraînement des systèmes d'apprentissage automatique de pointe, nécessitant souvent des dizaines de milliers de GPU. Par conséquent, l'expérience contrôlée idéale — entraîner plusieurs modèles avec des recettes variées pour isoler les effets causaux — est prohibitive en termes de calcul. Pour contourner ces coûts, la communauté de recherche a adopté des stratégies d'approximation, notamment les expériences par procuration (utilisation de modèles plus petits ou de traitements moins coûteux), les études observationnelles (analyse de métadonnées publiques) et les conceptions à passage unique (exploitation de la variation interne au sein d'un seul cycle d'entraînement).

Le problème central abordé dans ce travail est que ces stratégies d'économie de coûts introduisent des menaces sur la validité : des hypothèses cachées et parfois invérifiables. Lorsque ces hypothèses sont violées, les affirmations de recherche concernant le comportement des modèles, les hyperparamètres optimaux ou la composition des données peuvent devenir fondamentalement incorrectes ou inapplicables. Les auteurs soutiennent qu'il n'y a « pas de repas gratuit » (no free lunch) dans l'approximation des expériences à grande échelle ; les économies de calcul se font inévitablement au détriment de la validité.

Méthodologie

Le papier propose un cadre d'évaluation qui formalise la recherche sur les modèles de fondation comme un problème d'inférence causale. L'objectif est d'approximer l'« expérience idéale » qui identifie l'effet de traitement spécifique à la recette, défini par :
$$\tau(a, y; \psi) = E[y(a) | \psi] - E[y(\emptyset) | \psi]$$
où $\psi$ est la recette d'entraînement, $a$ est un traitement (changement de la recette), et $y$ est le résultat.

Le cadre décompose l'analyse en deux couches :

1. Stratégies de recherche : Les auteurs catégorisent les pratiques actuelles en trois stratégies principales :

   • L'approche par procuration (Proxy) : Mener des expériences sur des proxys moins coûteux (modèles plus petits, traitements de substitution comme le fine-tuning au lieu du pré-entraînement, ou résultats de substitution comme la perte de validation) et extrapoler vers l'échelle cible.
   • L'approche observationnelle : Analyser les métadonnées des modèles publics existants pour inférer les relations entre les choix d'entraînement et les résultats sans nouveaux cycles d'entraînement.
   • L'approche à passage unique (Single-Run) : Simuler plusieurs expériences au sein d'un seul cycle d'entraînement en traitant les points de données ou les sous-mots comme des unités indépendantes ou en utilisant des contrôles théoriques (ex: fonctions d'influence, données canaris).

2. Types de validité : Adaptant une taxonomie issue des sciences sociales empiriques, le cadre évalue les stratégies à travers quatre prismes :

   • Validité statistique : Fiabilité des estimations compte tenu d'échantillons finis et bruités.
   • Validité interne : Si une estimation reflète un véritable effet causal plutôt qu'une simple association.
   • Validité externe : Si les conclusions se généralisent du proxy ou de l'échantillon vers la recette d'entraînement cible (ex: à travers les échelles ou les familles de modèles).
   • Validité de construit : Si l'opérationnalisation du traitement et du résultat reflète fidèlement la question de recherche initiale.

Contributions clés et résultats

1. Caractérisation des profils de validité

Le papier synthétise les menaces de validité inhérentes à chaque stratégie en un « profil de validité », classant les menaces comme « peu affectées », « nécessitant une attention particulière » ou « menace majeure ».

• Modèles de procuration (Proxy Models) :
  • Forces : Préservent généralement la validité statistique et interne (si des expériences contrôlées sont utilisées) ainsi que la validité de construit (si le traitement/résultat original est utilisé).
  • Menace majeure : Validité externe. L'hypothèse que les effets de traitement passent à l'échelle de manière prévisible (ex: via les lois d'échelle) est souvent non vérifiée. La prévisibilité s'effondre à travers différentes recettes d'entraînement ou lors de l'apparition de comportements émergents.
• Traitements et résultats de procuration (Proxy Treatments and Outcomes) :
  • Forces : Ne menacent pas intrinsèquement la validité statistique, interne ou externe concernant le modèle cible.
  • Menace majeure : Validité de construit. Substituer le traitement (ex: le fine-tuning au lieu du pré-entraînement) ou le résultat (ex: sous-ensembles de benchmarks) modifie souvent fondamentalement l'estimand causal. Par exemple, les proxys de fine-tuning peuvent surestimer la fuite de confidentialité en raison de dynamiques de mémorisation différentes par rapport à un pré-entraînement à un seul passage (single-epoch).
• Approche observationnelle :
  • Forces : Conserve des preuves à l'échelle cible et peut offrir une haute validité statistique en regroupant des données à travers plusieurs familles.
  • Menace majeure : Validité interne. L'approche repose sur l'hypothèse invérifiable d'échangeabilité (absence de confusion). Les facteurs de confusion comme le « temps calendaire » (où les modèles plus récents bénéficient à la fois d'avancées architecturales et de mélanges de données plus curatés) peuvent induire des associations spécieuses. De plus, la validité externe est menacée par l'hétérogénéité des effets entre les familles de modèles ; le regroupement des données lisse ces différences, occultant potentiellement les effets spécifiques aux recettes.
• Approche à passage unique (Single-Run Approach) :
  • Forces : Peut fournir des informations fines et maintenir la validité statistique avec de larges populations intra-cycle.
  • Menace majeure : Validité interne due à l'interférence. L'hypothèse selon laquelle traiter une unité (ex: un point de donnée) n'affecte pas les autres est mise à mal car toutes les unités partagent les mêmes paramètres du modèle ; l'entraînement sur le point $i$ met à jour les paramètres utilisés pour le point $j$. De plus, la validité externe à travers les unités est menacée si les effets sont hétérogènes.

2. Identification des menaces sous-traitées

L'analyse révèle des menaces de validité spécifiques qui ont reçu trop peu d'attention dans la littérature :

• La violation de l'échangeabilité dans les études observationnelles due à la confusion par le temps calendaire et la composition des données.
• L'interférence entre les unités dans les conceptions à passage unique, ce qui viole l'hypothèse de stabilité de la valeur de traitement des unités (SUTVA).
• Le changement fondamental de validité de construit lorsque des traitements de procuration (comme le fine-tuning multi-époques) sont utilisés pour approximer les dynamiques de pré-entraînement.

3. Boîte à outils pratique

Le papier fournit une matrice (Tableau 1) servant de boîte à outils pratique pour les chercheurs et les relecteurs. Elle leur permet de :

• Identifier explicitement quels types de validité sont à risque pour un design donné.
• Rendre explicites les hypothèses cachées.
• Comprendre les compromis nécessaires lors de la combinaison de stratégies (ex: une étude observationnelle utilisant un traitement de procuration accumule les menaces de validité).

Signification et affirmations

Les auteurs affirment que leur cadre fournit un langage commun pour discuter de la validité dans la recherche sur les modèles de fondation, comblant le fossé entre la théorie de l'inférence causale et la pratique empirique de l'apprentissage automatique.

• Pour les auteurs : Le cadre offre un vocabulaire pour défendre les compromis nécessaires et rendre les hypothèses cachées explicites, garantissant que les affirmations sont alignées avec les menaces de validité actives du design choisi.
• Pour les relecteurs : Il fournit une base structurée pour évaluer si les conclusions d'un article sont soutenues par sa méthodologie sous-jacente, particulièrement lorsque plusieurs stratégies d'approximation sont combinées.
• Pour le domaine : Le papier soutient que bien que l'expérience idéale soit souvent irréalisable, les chercheurs doivent être conscients que « les économies de calcul se font au prix de menaces sur la validité ». Le cadre ne propose pas de solution unique pour éliminer ces menaces, mais plutôt une méthode systématique pour les scruter, suggant que des conclusions robustes peuvent nécessiter la poursuite de plusieurs stratégies en parallèle ou le recours à la connaissance scientifique accumulée sur la fiabilité de menaces spécifiques.

L'ouvrage souligne que la validité n'est pas une propriété binaire mais un spectre de risques qui doit être géré par une conception rigoureuse et une reconnaissance explicite des hypothèses.