Résumé Technique : Modélisation Explorative

1. Énoncé du Problème

La révolution de l'apprentissage profond a établi que l'entraînement de bout en bout (apprendre une tâche directement à partir des données sans étapes intermédiaires conçues à la main) surpasse les pipelines décomposés par étapes. Cependant, la modélisation générative demeure une exception notable. Malgré les capacités des modèles modernes tels que la Diffusion et les réseaux autorégressifs, ils ne sont pas entraînés de bout en bout.

Le problème central est que la modélisation générative implique la gestion de distributions de probabilité multimodales (des distributions possédant de nombreux pics ou modes distincts). Les approches scalables existantes (par exemple, la Diffusion, l'Autorégression) évitent le problème du « flou de mode » (mode blurring) — où un modèle prédit la moyenne de plusieurs modes valides, résultant en un échantillon qui ne correspond à aucun point de donnée réel — en factorisant la procédure de génération. Elles décomposent la génération en de nombreuses petites étapes quasi unimodales (par exemple, des étapes de débruitage ou une prédiction jeton par jeton). Bien qu'efficace, cette factorisation crée un décalage entre l'entraînement et l'inférence :

• Entraînement : Le modèle prédit une étape unique conditionnée par une trajectoire spécifique ou des données partielles.
• Inférence : Le modèle est déroulé sur des centaines ou des milliers d'étapes.

Ce décalage entraîne un biais d'exposition (exposure bias), où les erreurs se cumulent à mesure que le modèle s'éloigne de la distribution d'entraînement, empêchant une véritable génération de bout en bout.

Les lois de mise à l'échelle actuelles se concentrent sur deux axes : les paramètres (capacité du modèle) et les données (volume d'entraînement). L'article soutient que ces axes omettent un troisième axe critique de capacité : l'Expressivité Générative (le nombre de modes distincts qu'un objectif d'entraînement de modèle lui permet de capturer). Dans les modèles de reconstruction standard, l'expressivité générative est fixée par l'objectif d'entraînement (souvent effectivement $E=1$ pour une régression directe), provoquant des goulots d'étranglement de performance quel que soit l'accroissement de la taille des modèles et des données.

2. Méthodologie : Modélisation Explorative

Les auteurs introduisent la Modélisation Explorative (XM), un nouveau paradigre qui factorise la boucle d'entraînement plutôt que la procédure de génération.

Mécanisme Central

Au lieu de forcer une génération unique à correspondre à une cible (ce qui mène à la moyenne), les XM introduisent une étape d'exploration pendant l'entraînement :

1. Génération de Candidats : À chaque étape d'entraînement, le modèle génère $K$ échantillons candidats ($\hat{y}_1, \dots, \hat{y}_K$) à partir du même intrant latent (par exemple, du bruit).
2. Sélection : Le modèle identifie le candidat le plus proche des données de vérité terrain $x$ en utilisant une perte de reconstruction $J$.
3. Optimisation : Le modèle est mis à jour uniquement sur la meilleure correspondance, minimisant la perte sur le candidat sélectionné.

Formellement, pour un échantillon de données $x$, l'objectif est :
$$L(\theta) = \min_{i \in \{1, \dots, K\}} J(\hat{y}_i, x)$$

Variantes

L'article définit deux directions pour l'exploration :

• XM Direct (Forward XM) : Fixe la cible de données $x$ et explore $K$ candidats générés. C'est une approche de « couverture de masse » (mass-covering, privilégiant le rappel) mais elle est coûteuse en calcul car elle nécessite $K$ passages avant par étape.
• XM Inverse (Reverse XM) : Fixe un échantillon généré unique $\hat{y}$ et explore $K$ cibles de données issues du jeu de données. C'est une approche de « recherche de mode » (mode-seeking, privilégiant la précision) et elle est moins coûteuse en calcul (un seul passage avant), bien qu'elle risque l'effondrement de mode sans contraintes d'entropie.

Implications Théoriques

• Expressivité Générative : L'exploration augmente l'expressivité générative du modèle de 1 à au moins $K$. En sélectionnant la meilleure correspondance parmi $K$ candidats, le minimiseur de la perte passe de la moyenne floue des données aux modes réels des données.
• Substituabilité : L'article postule que la factorisation de la boucle d'entraînement (via l'exploration) est substituable à la factorisation de la procédure de génération. À mesure que l'exploration ($K$) augmente, le nombre optimal d'étapes de génération (sauts) diminue, permettant aux modèles de devenir plus end-to-end.

3. Contributions Clés

1. Nouveau Paradigme : Introduction de la Modélisation Explorative, qui factorise la boucle d'entraînement pour gérer les distributions multimodales, permettant une génération de bout en bout.
2. Troisième Axe de Pré-entraînement : Démonstration que l'exploration est un axe scalable aux côtés des paramètres et des données. Contrairement aux deux autres, elle augmente directement l'expressivité générative.
3. Reconstruction de Bout en Bout : Preuve que les XM peuvent fonctionner comme des modèles génératifs de bout en bout autonomes, égalant les performances de la diffusion sur des tâches de contrôle avec nettement moins d'étapes d'inférence.
4. Compromis Calcul-Généralisation : Preuve que dépenser du calcul supplémentaire sur l'exploration améliore directement la généralisation en réduant le surapprentissage et le biais d'exposition.

4. Résultats Expérimentaux

Les auteurs ont évalué les XM à travers des domaines continus (images, vidéo) et discrets (langage), en ajoutant l'exploration aux lignes de base existantes (Diffusion, Flow Matching, modèles Jumpy, Masked Diffusion Language Models).

Gains d'Efficacité

• Efficacité FLOP : Améliorée de 4,1× (comparé au baseline RAE) et jusqu'à 52 % (comparé au baseline SiT).
• Efficacité d'Échantillonnage : Améliorée de 6,2× (atteignant la performance du baseline avec 6,2× moins de données).
• Efficacité de Paramètres : Un grand modèle explorant 5 modes a surpassé un modèle XLarge possédant 47 % de paramètres en plus mais sans exploration.
• Tendances de Mise à l'Échelle (Scaling) : Les gains d'efficacité augmentent avec l'échelle. Lorsque le calcul a été triplé (passage de SiT à des configurations RAE), les gains d'efficacité ont plus que doublé.

Améliorations de Performance

• Génération d'Images : Le XRAE (Explorative RAE) a atteint un score FID de 1,43 sur ImageNet (256x256) sans guidage, surpassant les baselines guidées des recettes SOTA précédentes.
• Génération de Vidéo : L'augmentation de l'exploration a amélioré de manière monotone les scores FVD.
• Langage : L'application de l'exploration aux modèles de langage de diffusion masqués (XMDLM) a amélioré la frontière Perplexité-Entropie de manière globale.
• Généralisation : Sur les tâches de génération vidéo, l'augmentation de l'exploration a réduit le surapprentissage, atteignant un minimum de FVD meilleur (30,0 contre 37,5 sans exploration).

Capacités de Bout en Bout

• Robotique (Apprentissage par Imitation) : Une politique explorative a égalé la Diffusion Policy sur les tâches Robomimic en utilisant 100× moins de calcul d'inférence (1 passage avant contre 100 étapes).
• Modèles de Monde : Un Modèle de Monde Exploratif a égalé Diffuser sur les tâches Maze2D en utilisant 16 à 256× moins de calcul d'inférence.

Lois de Mise à l'Échelle (Scaling Laws)

• Mise à l'échelle des Données : Les gains de performance issus de l'exploration sont passés de 7 % à 36 % à mesure que l'échelle des données augmentait.
• Mise à l'échelle des Modèles : Les gains sont passés de 13 % à 23 % à mesure que la taille du modèle augmentait.
• Transition vers le Bout en Bout : À mesure que l'exploration augmentait, les modèles avec moins d'étapes de génération (plus end-to-end) devenaient plus performants, confirmant que l'exploration peut substituer la factorisation de la génération.

5. Signification et Revendications

L'article affirme que la Modélisation Explorative répond à un goulot d'étranglement fondamental de l'IA générative : l'incapacité de mettre à l'échelle l'expressivité générative.

• Au-delà de la Vraisemblance (Likelihood) : Les auteurs soutiennent que optimiser uniquement la vraisemblance est insuffisant si l'expressivité du modèle est plafonnée à 1 (prédiction de la moyenne). Les XM optimisent la capacité à capturer des modes distincts.
• Véritable Apprentissage de Bout en Bout : En factorisant la boucle d'entraînement, les XM permettent aux modèles d'échantillonner lors de l'inférence exactement comme ils le font pendant l'entraînement, éliminant ainsi le biais d'exposition et le décalage entraînement-inférence qui affectent les modèles de diffusion et autorégressifs actuels.
• Scalabilité : Les résultats suggèrent que les modèles de fondation actuels, entraînés sans exploration, sont de plus en plus éloignés d'une performance optimale en termes de calcul. L'article pose comme hypothèse qu'à mesure que les modèles croissent, le goulot d'étranglement passe des paramètres/données à l'expressivité générative, faisant de l'exploration une composante nécessaire pour les futures mises à l'échelle.
• Revendications Modestes : Les auteurs reconnaissent des limites, notamment le fait que le Forward XM est très coûteux en calcul pour des données hautement multimodales (comme les images brutes) et que les LLM autorégressifs sont plus difficiles à intégrer à l'exploration en raison des défis d'injection de variables latentes. Ils notent que le Reverse XM pourrait être une solution plus scalable pour les tâches de haute multimodalité à l'avenir.

En résumé, l'article établit que mettre à l'échelle ce que les modèles peuvent générer (via l'exploration) est aussi crucial que de mettre à l'échelle ce qu'ils peuvent représenter (paramètres) ou apprendre (données), offrant une voie vers une modélisation générative pleinement de bout en bout.