Résumé technique : Lois d'échelle pour le transfert de connaissances dans l'imagerie médicale 3D

Énoncé du problème

L'entraînement de modèles fondationnels médicaux 3D unifiés nécessite de mélanger des domaines d'imagerie hétérogènes (par exemple, CT, IRM, TEP) possédant des physiques d'acquisition, des résolutions et des signaux cliniques distincts. Bien que les architectures et les objectifs auto-supervisés aient été largement étudiés, la conception optimale du mélange de données reste une question ouverte. Les pratiques actuelles reposent sur des stratégies heuristiques, telles que l'échantillonnage uniforme ou l'échantillonnage proportionnel aux données, qui traitent tous les domaines d'imagerie comme interchangeables. Cependant, ces approches ne tiennent pas compte de deux observations empiriques critiques :

1. Échelle hétérogène : Différents domaines médicaux présentent des taux d'amélioration variables (mise à l'échelle) à mesure que les données d'entraînement augmentent.
2. Transfert asymétrique : Le transfert de connaissances entre les domaines est directionnel ; l'entraînement sur un domaine peut bénéficier considérablement à un autre, tandis que le transfert inverse peut être négligeable.

Le défi central consiste à déterminer l'allocation optimale d'un budget fixe de tokens de pré-entraînement à travers ces domaines hétérogènes afin de minimiser la perte de reconstruction et de maximiser les performances des tâches en aval, sans recourir à des études d'ablation de mélange exhaustives et computationally prohibitives.

Méthodologie

Les auteurs formulent la conception du mélange de données médicales 3D comme un problème d'optimisation de loi d'échelle conscient du transfert. La méthode repose sur un objectif proxy contrôlé — la perte de reconstruction par auto-encodage masqué (MAE) — appliquée de manière cohérente à travers des domaines 3D hétérogènes.

1. Loi d'échelle consciente du transfert

Les auteurs dérivent un modèle de substitution sous forme fermée pour prédire la perte de validation MAE ($L_i$) pour un domaine cible $i$ sous un mélange de données spécifique $h$ et un budget total $T$. Le modèle combine deux composantes :

• Auto-mise à l'échelle spécifique au domaine : Chaque domaine $i$ suit une loi de puissance lorsqu'il est entraîné de manière isolée :
  $$L_i(T) = E_i + \frac{C_i}{T^{\beta_i}}$$
  Où $E_i$ est le plancher de perte asymptotique, $C_i$ contrôle la perte réductible, et $\beta_i$ est l'exposant d'échelle. Crucialement, $\beta_i$ varie considérablement d'un domaine à l'autre (plage observée : 0,21 à 0,76), indiquant que certains domaines bénéficient de données supplémentaires beaucoup plus rapidement que d'autres.

• Transfert inter-domaines dirigé : Les auteurs introduisent une matrice de transfert asymétrique $\tau \in [0, 1]^{K \times K}$, où $\tau_{ij}$ quantifie dans quelle mesure l'entraînement sur le domaine source $j$ contribue à la réduction de la perte du domaine cible $i$.

  • $\tau_{ii} = 1$ par définition.
  • Pour $i \neq j$, $\tau_{ij}$ dévalue le budget source. $T$ échantillons du domaine $j$ sont équivalents à $\tau_{ij}T$ échantillons effectifs pour le domaine $i$.

Le budget effectif ($T_{eff, i}$) atteignant le domaine cible $i$ sous le mélange $h$ est la somme des contributions directes et transférées :
$$T_{eff, i}(h, T) = \sum_{j=1}^{K} \tau_{ij} h_j T$$

Le substitut prédictif final pour la perte sur le domaine $i$ est :
$$\hat{L}_i(h, T) = E_i + \frac{C_i}{(T_{eff, i}(h, T))^{\beta_i}}$$

2. Estimation et optimisation

Le cadre fonctionne en deux étapes pour éviter une recherche exhaustive :

1. Ajustement des paramètres : En utilisant de petites exécutions « proxy » (entraînement en domaine pur et entraînement dirigé source-à-cible), les auteurs ajustent les paramètres $\{E_i, C_i, \beta_i\}$ et les coefficients de transfert $\{\tau_{ij}\}$. Cela nécessite $K^2$ configurations (36 exécutions pour 6 domaines) avec de petits budgets (10k à 100k volumes).
2. Optimisation du mélange : Une fois les paramètres estimés, les poids de mélange optimaux $h^*$ sont trouvés en minimisant la somme pondérée des pertes prédites à travers tous les domaines cibles, sous réserve des contraintes de budget ($\sum h_j = 1, h_j \geq \epsilon$). Cela est résolu par une optimisation contrainte basée sur le gradient (SLSQP).

Contributions clés

1. Formulation de l'allocation de données : L'article formule l'allocation de données inter-domaines en imagerie médicale 3D comme un problème d'optimisation de loi d'échelle, utilisant la perte de reconstruction MAE comme proxy contrôlé à travers six domaines hétérogènes (CT/IRM abdominale, IRM T1/T2 cérébrale, CT/TEP tête-et-cou).
2. Loi d'échelle consciente du transfert : Une loi novatrice qui modélise conjointement les exposants d'échelle hétérogènes ($\beta_i$) et une matrice de transfert asymétrique ($\tau_{ij}$). Cela produit un substitut sous forme fermée pour l'optimisation de mélange dépendante du calcul, dérivé de petites exécutions proxy.
3. Découverte de la structure « Hub et Île » : Les allocations apprises révèlent une structure interprétable où :
   • Hubs : Les domaines avec un transfert sortant large (par exemple, ABD-CT) agissent comme des hubs ; allouer un budget ici bénéficie simultanément à plusieurs autres domaines.
   • Îles : Les domaines avec un transfert entrant faible (par exemple, HN-PET) agissent comme des îles ; ils nécessitent un investissement direct car les connaissances des hubs ne peuvent pas leur être transférées efficacement.
4. Validation empirique : L'allocation « Consciente du transfert » dérivée surpasse les heuristiques standard (Uniforme, Proportionnelle aux données, et Naïve vis-à-vis du transfert) et s'extrapole avec précision à des budgets non vus.

Résultats

Performance de la loi d'échelle

• Réduction de la perte : L'allocation Consciente du transfert atteint la perte MAE la plus faible sur tous les budgets testés (10k à 200k). À un budget de 50k, elle surpasse l'échantillonnage proportionnel aux données de 58 % en perte MAE moyenne.
• Extrapolation : Le modèle ajusté sur des budgets jusqu'à 100k s'extrapole à un budget retenu de 200k avec une grande précision (perte prédite : 0,0227 vs observée : 0,0224 ; corrélation $r=0,989$).
• Efficacité : La méthode ne nécessite que 36 exécutions proxy pour l'estimation, contre des milliers d'exécutions requises pour une recherche exhaustive sur le simplexe de mélange.

Tâches cliniques en aval

Les encodeurs pré-entraînés ont été affinés sur des tâches supervisées incluant la segmentation d'organes/lésions et la classification de maladies.

• Segmentation : Le pré-entraînement Conscient du transfert a produit les meilleurs scores Dice sur les six benchmarks de segmentation (AMOS, BraTS, HECKTOR, BHSD), surpassant les bases de référence proportionnelles aux données de 0,6 à 4,7 points.
• Classification : La méthode a atteint la précision et l'AUC les plus élevées sur les tâches de classification IRM cérébrale (OASIS-1), TEP cérébrale (SynBrain-PET) et CT abdominale (OrganMNIST3D).
• Corrélation : L'ordre des performances dans les tâches en aval reflétait l'ordre des pertes proxy MAE, validant l'objectif proxy.

Insights structurels

• Asymétrie : La matrice de transfert est hautement asymétrique. Par exemple, ABD-CT transfère fortement vers ABD-MRI ($\tau=0,56$) mais faiblement vers HN-PET ($\tau=0,04$).
• Déplacement d'allocation : La stratégie optimale concentre le budget sur le « Hub » (ABD-CT, ~24 %) et l'« Île » (HN-PET, ~56 %), tandis que l'échantillonnage proportionnel aux données alloue en fonction de la taille du jeu de données, et l'échantillonnage uniforme alloue de manière égale.
• Amplification : Les domaines avec une allocation directe faible (les domaines « plancher ») ont obtenu une amplification de budget effectif de 3,7 à 6,1 fois grâce au transfert inter-domaines, tout en surpassant toujours les bases de référence.

Importance et revendications

L'article revendique que l'allocation des données est un axe de conception clé pour les modèles fondationnels médicaux 3D évolutifs. En passant de choix de mélange heuristiques à un cadre d'optimisation analytique et conscient du transfert, les praticiens peuvent :

1. Réduire les coûts de calcul : Éliminer le besoin d'études d'ablation de mélange exhaustives en utilisant de petites exécutions proxy pour prédire des mélanges optimaux à grande échelle.
2. Améliorer les représentations : Générer des représentations pré-entraînées plus robustes qui se transfèrent plus efficacement vers diverses tâches cliniques (segmentation et classification) à travers les modalités.
3. Comprendre les relations entre domaines : Révéler la topologie intrinsèque « Hub et Île » des domaines d'imagerie médicale, fournissant des orientations actionnables sur quels domaines servent de sources universelles de connaissances et lesquels nécessitent une collecte de données dédiée.

Les auteurs maintiennent une modestie concernant les limites, notant que la composition linéaire des contributions de transfert peut ne pas capturer les interactions synergiques à plus grande échelle, et que la matrice de transfert est actuellement traitée comme statique plutôt que dépendante du budget. Cependant, les résultats suggèrent que le transfert du premier ordre domine dans les contextes médicaux 3D actuels, rendant le cadre proposé un outil pratique et efficace pour optimiser les mélanges de données médicales hétérogènes.