Résumé Technique : Les idées de la mise à l'échelle lors de l'inférence peuvent bénéficier aux algorithmes de pré-entraînement génératif

Énoncé du Problème

Le domaine du pré-entraînement génératif est actuellement entravé par une « fausse dichotomie » conceptuelle qui catégorise strictement les modèles soit comme autorégressifs (pour les signaux discrets), soit comme de diffusion (pour les signaux continus). Les auteurs soutiennent que cette distinction est trompeuse car elle confond les familles de modèles avec les représentations de données, les objectifs d'apprentissage et les procédures d'inférence.

Le problème central identifié est que le progrès algorithmique actuel stagne car les chercheurs privilégient souvent les objectifs d'apprentissage (par exemple, l'entropie croisée par rapport au score matching de débruitage) sans s'assurer au préalable que la procédure d'inférence est capable de passer à l'échelle de manière efficace. Plus précisément, l'article soutient que :

1. La capacité d'inférence est souvent limitée : Les objectifs d'apprentissage ne peuvent pas compenser des cartes d'inférence qui omettent des arguments nécessaires (par exemple, les pas de temps cibles) ou imposent des hypothèses de factorisation incorrectes (par exemple, l'indépendance naïve dans la prédiction multi-tokens).
2. Mise à l'échelle mal alignée : Le domaine manque d'un cadre unifié pour la « mise à l'échelle lors de l'inférence », qui devrait être vue selon deux axes distincts : l'expansion de séquence (agrandir la sortie) et l'affinement de l'état (réviser l'état actuel).

Méthodologie et Cadre

L'article propose un nouveau cadre analytique qui donne la priorité à la conception de la procédure d'inférence avant l'objectif d'apprentissage. Il définit deux axes principaux de mise à l'échelle lors de l'inférence :

1. Expansion de Séquence : Augmenter le nombre de tokens, de positions ou d'étapes de raisonnement générés. C'est le principal mécanisme de mise à l'échelle pour les modèles autorégressifs (ex: LLM), où le calcul augmente avec la longueur de la génération.
2. Affinement de l'État : Mettre à jour de manière répétée un objet existant sans nécessairement augmenter sa longueur. C'est le principal mécanisme de mise à l'échelle pour les modèles de diffusion, où le calcul augmente avec le nombre d'étapes de débruitage ou de solveur pour réduire l'erreur de discrétisation.

Les auteurs soutiennent que ces axes ne sont pas exclusifs à des familles de modèles spécifiques. Au lieu de cela, le contraste significatif se situe entre les tokens discrets appris avec l'entropie croisée versus les tokens continus appris avec des objectifs de type diffusion, combinés aux algorithmes d'inférence spécifiques utilisés pour les échantillonner.

Analyses Techniques Clés

L'article applique ce prisme de « l'inférence d'abord » à trois domaines spécifiques pour démontrer comment les méthodes actuelles échouent ou réussissent en fonction de leur paramétrage d'inférence :

1. Limites de DDIM et l'Argument du Temps Cible

• Le Problème : Les échantillonneurs de type DDIM standard (sous des formulations de flux rectifié) définissent une mise à jour en une étape $x_s = x_t + (s-t)v_\theta(x_t, t)$. Le réseau de vélocité $v_\theta$ ne reçoit généralement que l'état actuel $x_t$ et le temps source $t$.
• La Faille : Le réseau manque du temps cible $s$ en tant qu'entrée. Mathématiquement, la dérivée partielle $\frac{\partial DDIM}{\partial s} = v_\theta(x_t, t)$ est indépendante de $s$. Cela signifie que le modèle n'a pas la capacité d'apprendre une fonction qui mappe $x_t$ vers un $s$ spécifique en une seule étape, quel que soit l'objectif d'apprentissage (même avec l'entraînement de cohérence/consistency training).
• La Solution : Injecter le temps cible $s$ dans les entrées du réseau permet au modèle d'approximer le saut direct vers la solution. Cette modification simple, combinée à l'Induction de l'Appariement de Moments (IMM), permet des algorithmes à étape unique stables qui surpassent les modèles de diffusion en qualité, tout en étant un ordre de grandeur plus efficaces.

2. Prédiction Multi-Tokens (MTP) et Distributions Jointes

• Le Problème : La MTP vise à réduire la latence en prédisant plusieurs tokens en parallèle. Cependant, les implémentations actuelles échantillonnent souvent ces tokens indépendamment (hypothèse de Bayes naïf), échouant à représenter la distribution jointe des tokens.
• La Faille : L'échantillonnage indépendant ignore les corrélations entre les tokens (par exemple, dans une liste de mains de poker, « carte haute » et « paire » sont valides, mais « maison haute » ne l'est pas). Cela crée une limite de capacité où le modèle ne peut pas générer de combinaisons valides même si les probabilités marginales sont correctes.
• Contournements Actuels : Des méthodes comme le décodage auto-spéculatif ou l'abandon des têtes MTP lors de l'inférence tentent de « corriger » cette limite de capacité de manière heuristique.
• L'Implication : Une véritable efficacité nécessite un algorithme d'inférence qui tient compte des dépendances entre tokens, potentiellement par une auto-révision douce ou en prédisant directement les dépendances de tokens, plutôt que de compter sur l'échantillonnage par rejet ou des corrections post-hoc.

3. Cartes de Flux et Inférence à Longue Portée

• Le Changement : La littérature récente (ex: Flow Map Matching par Boffi et al.) suggère qu'une génération efficace en peu d'étapes doit apprendre une carte de transport à deux temps (de $t$ à $s$) plutôt que de simplement apprendre un champ de vélocité infinitésimal.
• L'Intuition : Au lieu d'intégrer numériquement un champ vectoriel local, le modèle devrait directement paramétrer des mouvements d'inférence à longue portée. Cela inclut des méthodes telles que les Modèles de Raccourci (Shortcut Models), les Flux Moyens (Mean Flows) et l'Appariement de Distribution de Trajectoire (TDM).
• Le Principe : Ces méthodes partagent une forme d'inférence commune : elles apprennent le transport fini induit par la dynamique locale directement, rendant les grands sauts traçables au sein de la classe de modèles.

Contributions Clés

1. Recadrage de la Dichotomie : L'article établit que le contraste fondamental dans l'IA générative n'est pas « autorégressif vs diffusion », mais plutôt l'interaction entre la représentation des données (discrète/continue), l'objectif d'apprentissage (entropie croisée/diffusion) et la procédure d'inférence (expansion/affinement).
2. Principe de Conception « Inférence d'Abord » : Il soutient que les méthodes d'apprentissage ne peuvent pas réparer les défauts fondamentaux de la carte d'inférence. Si l'échantillonneur omet des arguments nécessaires (comme la variable de temps cible) ou impose des factorisations incorrectes, aucun objectif d'apprentissage ne pourra pleinement résoudre les limites de capacité résultantes.
3. Axes de Mise à l'Échelle Unifiés : Il introduit « l'expansion de séquence » et « l'affinement de l'état » comme mesures universelles pour évaluer les algorithmes de pré-entraînement génératif, applicables aux domaines discrets et continus.
4. Diagnostic Technique : Il fournit des diagnostics mathématiques précis expliquant pourquoi les échantillonneurs DDIM standards échouent dans la génération en peu d'étapes sans conditionnement par le temps cible, et pourquoi la prédiction multi-tokens naïve échoue à capturer les distributions jointes.

Résultats et Preuves

L'article ne présente pas de nouveaux résultats expérimentaux générés par les auteurs, mais synthétise les preuves de la littérature récente pour soutenir ses affirmations :

• Induction de l'Appariement de Moments (IMM) : Cite [ZES25] pour montrer que l'ajout du temps cible $s$ en entrée et l'utilisation de l'appariement de moments crée un algorithme à étape unique qui est >10x plus efficace à l'inférence que la diffusion standard tout en maintenant la qualité d'échantillonnage.
• Littérature sur les Cartes de Flux : Cite les travaux de Boffi, Albergo et Vanden-Eijnden [BAVE24, BAVE25] et d'autres pour démontrer que l'apprentissage de cartes de transport à deux temps (flow maps) est un objet plus naturel pour la génération en peu d'étapes que l'intégration de champs de vélocité locaux.
• Limites du Décodage Parallèle : Cite [KGO+25, ZGZ+26] pour montrer que le décodage parallèle dans les LLM de diffusion dégrade souvent la qualité dans les cas à forte dépendance en raison des approximations factorisées, validant le besoin d'algorithmes d'inférence respectant les dépendances de tokens.

Signification et Revendications

L'article affirme que le domaine doit déplacer son attention de l'optimisation des objectifs d'apprentissage isolés vers la conception de procédures d'inférence qui soient scalables et expressives.

• Revendication Modeste : Les auteurs ne prétendent pas avoir résolu tous les problèmes génératifs. Ils soutiennent plutôt que « le progrès algorithmique devrait prioriser l'efficacité lors de l'inférence le long de deux axes : l'expansion de séquence et l'affinement de l'état. »
• Impératif de Conception : L'idée centrale est que les algorithmes de pré-entraînement doivent être conçus en tenant compte de la procédure d'inférence en premier lieu. Si une carte d'inférence est structurellement incapable de représenter la distribution cible (par exemple, en omettant la variable de temps cible ou en supposant l'indépendance là où elle n'existe pas), l'apprentissage ne pourra pas compenser.
• Direction Future : L'article préconise que les futurs algorithmes de pré-entraînement génératif soient jugés par leur capacité à monter en échelle efficacement le long des axes d'expansion de séquence et d'affinement de l'état, et par la capacité de leurs paramétrages d'inférence à représenter des mouvements de long terme stables et efficaces dans leur espace d'état choisi.

En résumé, l'article pose que la prochaine génération de modèles génératifs ne proviendra pas simplement du passage à l'échelle des architectures de diffusion ou autorégressives actuelles, mais de la réingénierie de la mécanique d'inférence pour permettre des transitions d'état et des expansions de séquence efficaces et à longue portée.