💻 computer science

Proprio: Latent Self-Scoring and Inference-Time Refinement for Physically Plausible Video Generation

Proprio est un cadre sans entraînement qui améliore la plausibilité physique des générateurs vidéo figés en exploitant leurs résidus de flux internes sous perturbations latentes comme signal d'auto-évaluation pour le raffinement et la sélection au moment de l'inférence.

Auteurs originaux : Mariam Hassan, Kaouther Messaoud, Wuyang Li, Alexandre Alahi

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mariam Hassan, Kaouther Messaoud, Wuyang Li, Alexandre Alahi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un artiste magique capable de peindre des images animées (vidéos) à partir de rien. Cet artiste est incroyablement talentueux pour rendre les choses belles et réalistes. Cependant, il a un angle mort : il ne comprend pas toujours comment fonctionne le monde réel. Il pourrait peindre une balle qui flotte vers le haut au lieu de tomber, ou une tasse qui se brise avant de toucher le sol.

Pendant longtemps, pour corriger ces erreurs, les gens ont essayé d'embaucher un « professeur de physique » (une intelligence artificielle externe ou un humain) pour surveiller l'artiste et dire : « Non, c'est faux. » Mais l'article soutient que cela revient à demander à une personne différente de corriger les devoirs de l'artiste. Le professeur pourrait avoir ses propres biais, ou il pourrait ne pas parler le même « langage » que l'artiste, ce qui entraîne des malentendus.

Voici « Proprio ».

Les auteurs proposent une nouvelle façon d'aider l'artiste à corriger ses propres erreurs sans embaucher de professeur. Ils appellent cette méthode Proprio, du nom du sens biologique de la proprioception — la capacité que vous avez de savoir où se trouve votre bras sans le regarder. Tout comme vous pouvez sentir votre propre mouvement, Proprio permet au générateur de vidéo de « sentir » sa propre création pour vérifier si elle a du sens.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Test de secousse » (Auto-évaluation)

Imaginez que l'artiste vient de terminer une peinture. Au lieu de demander à un professeur de la regarder, l'artiste donne à la peinture une secousse douce et contrôlée.

La logique : Si la peinture est physiquement correcte (comme une balle qui tombe), une petite secousse ne déstabilisera pas l'artiste. Les règles internes de l'artiste concernant le mouvement des choses tiendront toujours.
Le dysfonctionnement : Si la peinture est incorrecte (comme une balle qui flotte), cette petite secousse fera trébucher la logique interne de l'artiste. L'artiste sera confus quant à la façon de « corriger » l'image, car les lois de la physique sont brisées.
Le score : Proprio mesure cette confusion. Il calcule un « score » basé sur la façon dont l'artiste trébuche lorsque la vidéo est légèrement perturbée. Un score faible signifie que la vidéo est stable et physiquement plausible. Un score élevé signifie que la vidéo est instable et probablement incorrecte.

2. Le « Projecteur » (Masquage dynamique)

Toutes les parties d'une vidéo n'ont pas besoin d'être vérifiées de la même manière. Si une vidéo montre une personne assise immobile, il n'y a rien à vérifier. Mais si une voiture percute un obstacle, c'est là que la physique compte.
Proprio utilise un projecteur dynamique (un masque) pour se concentrer uniquement sur les parties en mouvement de la vidéo. Il ignore l'arrière-plan statique et zoome sur l'action, en demandant : « Est-ce que ce mouvement spécifique a du sens ? » Cela rend le « Test de secousse » beaucoup plus précis.

3. Deux façons de corriger l'art

Une fois que l'artiste a un score, Proprio offre deux façons d'améliorer la vidéo :

La recherche « Meilleur des N » (Choisir le gagnant) :
Imaginez que l'artiste peigne 16 versions différentes de la même scène. Proprio agit comme un juge rapide, attribuant un score de « Test de secousse » à chaque version. Il choisit ensuite celle avec le score le plus bas (la moins confuse) et déclare : « C'est le gagnant. » C'est comme lancer un dé 16 fois et choisir le meilleur lancer.
L'« Auto-affinement » (Polir l'art) :
Au lieu de simplement choisir un gagnant, Proprio peut réellement ajuster la vidéo. Il revient au tout début — au « bruit » ou aux ingrédients bruts que l'artiste a utilisés pour commencer la peinture. Il ajuste légèrement ces ingrédients et demande à l'artiste de repeindre la scène, espérant réduire le score de confusion. C'est comme un sculpteur qui enlève un tout petit morceau de pierre pour que la statue se tienne plus naturellement, sans changer les outils ni la formation du sculpteur.

Pourquoi cela compte

L'article montre que cette méthode d'« auto-vérification » fonctionne mieux que de demander à des enseignants IA externes (comme les grands modèles de langage) de juger les vidéos.

C'est natif : L'artiste juge son propre travail en utilisant ses propres règles internes, il n'y a donc pas de barrière linguistique.
C'est sans entraînement : Vous n'avez pas besoin de réentraîner l'artiste ni de lui enseigner une nouvelle physique. Vous utilisez simplement le cerveau existant de l'artiste pour trouver et corriger les erreurs.
Les résultats : Lorsqu'il a été testé sur des vidéos de balles roulant, d'objets entrant en collision et de liquides se versant, Proprio a réussi à sélectionner et à créer des vidéos que les humains ont jugées plus réalistes sur le plan physique.

En résumé : Proprio donne au générateur de vidéo un « instinct » concernant son propre travail. En secouant doucement ses créations et en mesurant la confusion, il peut soit choisir la meilleure version, soit ajuster subtilement les ingrédients pour que la physique semble juste, le tout sans avoir besoin d'un professeur extérieur.

Résumé technique : Proprio : Auto-évaluation latente et raffinement au moment de l'inférence pour la génération de vidéos physiquement plausibles

1. Énoncé du problème

Les modèles génératifs vidéo modernes, en particulier les architectures basées sur la diffusion, ont atteint une fidélité visuelle remarquable. Cependant, ils violent fréquemment des principes physiques fondamentaux, produisant des vidéos avec des collisions irréalistes, des interactions d'objets impossibles ou des dynamiques incohérentes. Ces échecs limitent leur utilité en tant que modèles du monde fiables pour des applications en aval telles que la robotique et la simulation.

Les solutions existantes à ce problème reposent généralement sur des mécanismes de feedback externes :

Interventions au moment de l'entraînement : Injection de priors physiques ou utilisation de jeux de données curatés (par exemple, [35, 24]).
Évaluateurs externes au moment de l'inférence : Utilisation de modèles vision-langage (VLM) ou de modèles du monde latents pré-entraînés (par exemple, V-JEPA [37, 41]) pour noter ou guider la génération.

Les auteurs identifient deux limitations critiques dans le paradigme du feedback externe :

Biais et désalignement : Les VLM confondent souvent la plausibilité physique avec l'alignement texte-image ou l'esthétique visuelle. Les modèles du monde pré-entraînés opèrent dans leurs propres espaces de représentation, créant un décalage avec l'espace latent du générateur.
Absence de cohérence intrinsèque : Les évaluateurs externes sont entraînés avec des objectifs différents et ne s'alignent pas sur les dynamiques de débruitage spécifiques du générateur, risquant ainsi de manquer des incohérences spécifiques au générateur à travers les étapes d'échantillonnage.

L'article pose une question centrale : Un générateur vidéo peut-il exploiter ses propres dynamiques de débruitage comme un signal autonome pour évaluer et améliorer la plausibilité physique de ses sorties ?

2. Méthodologie : Proprio

Les auteurs proposent Proprio, un cadre sans entraînement, au moment de l'inférence, qui permet à un générateur vidéo figé d'évaluer et de raffiner ses propres sorties. Inspiré par la proprioception biologique (le sens de son propre mouvement), la méthode traite le résidu de flux interne du modèle sous des perturbations contrôlées comme un signal d'auto-évaluation.

2.1 Concept central : Les résidus de flux comme auto-évaluation

La méthode repose sur l'observation que les échantillons cohérents avec la distribution apprise par le générateur (c'est-à-dire les dynamiques naturelles) devraient induire des résidus plus petits et plus stables lorsqu'ils sont perturbés.

Perturbation : Pour une vidéo latente générée $z_0$ , la méthode construit des latents perturbés $z_t$ à divers pas de temps du planificateur $t$ en utilisant un bruit contrôlé $\epsilon$ .
Calcul du résidu : Le modèle prédit un champ de flux $\hat{v}_\theta(z_t, t, c)$ . Le transport cible est $v^*(z_0, \epsilon) \approx \epsilon - z_0$ . Le résidu de flux est l'écart :
$r(z_0, \epsilon, t; c) = \hat{v}_\theta(z_t, t, c) - v^*(z_0, \epsilon)$
Notation : La norme au carré de ce résidu sert de score local. Des résidus plus faibles indiquent que le modèle peut mieux « expliquer » l'échantillon sous perturbation, impliquant une plausibilité physique plus élevée.

2.2 Agrégation du signal et raffinement

Pour créer un score robuste, Proprio agrège les résidus sur plusieurs dimensions :

Multi-perturbation et multi-pas de temps : Le score est moyenné sur plusieurs réalisations de bruit et pas de temps pour réduire la sensibilité à des instances de bruit spécifiques.
Pondération par l'inverse de la variance : Les pas de temps présentant une variance élevée dans les résidus (estimations instables) sont sous-pondérés, tandis que les pas de temps stables sont prioritaires.
Masquage dynamique spatio-temporel : Un masque $\mathcal{M}$ $M$ est appliqué pour concentrer le score sur les régions pertinentes pour le mouvement, filtrant le bruit de fond statique moins informatif pour la plausibilité physique. Trois stratégies de masquage sont explorées :
- Masque de mouvement : Basé sur les différences temporelles dans les images décodées.
- Masque conscient du texte : Basé sur les changements d'attention croisée entre les latents et les jetons de l'invite.
- Masque basé sur l'attention : Basé sur les changements des caractéristiques d'auto-attention.

2.3 Stratégies au moment de l'inférence

Proprio utilise le score calculé $S(z_0)$ dans deux modes principaux :

Recherche Best-of-N : Génération de $N$ latents candidats et sélection de celui ayant le score d'auto-évaluation le plus faible.
Auto-raffinement : Au lieu de réentraîner le générateur, la méthode optimise le bruit d'échantillonnage initial. Elle paramètre le bruit comme $\zeta = \mu + \sigma \odot \zeta_0$ (où $\zeta_0$ est le bruit de base) et utilise la descente de gradient pour mettre à jour $\mu$ et $\sigma$ afin de minimiser le score Proprio. Un régularisateur de divergence KL assure que le bruit optimisé reste proche de la prior gaussienne originale.

3. Contributions clés

Auto-évaluation native du générateur : Introduction d'un cadre sans entraînement qui réutilise le résidu de débruitage d'un générateur figé comme proxy intrinsèque de la plausibilité physique, éliminant le besoin de modèles de récompense externes.
Auto-alignement au moment de l'inférence : Un mécanisme pour transformer ce score d'auto-évaluation en un objectif d'optimisation, raffinant les sorties en mettant à jour uniquement les paramètres du bruit initial tout en maintenant les poids du générateur fixes.
Validation empirique : Démonstration d'améliorations constantes sur les benchmarks Text-to-Video (T2V) et Image-to-Video (I2V), montrant qu'un seul générateur figé peut agir à la fois comme échantillonneur et auto-évaluateur.

4. Résultats expérimentaux

Les auteurs évaluent Proprio sur les benchmarks VideoPhy2 (T2V) et Physics-IQ (I2V), en comparaison avec une sélection aléatoire, des notateurs basés sur des VLM (Qwen-7B) et des modèles de base de modèles du monde externes (WMReward).

Gains de performance :
- Sur TurboWan2.2, Proprio améliore Physics-IQ de 32,2 à 37,5 (+16,5 %) et le bon sens physique difficile de VideoPhy2 de 45,6 à 55,0 (+20,6 %).
- Proprio surpasse constamment le notage basé sur les VLM et dépasse souvent WMReward, en particulier dans les métriques de bon sens physique (PC).
- Une approche de notation hybride (combinant des scores globaux et sensibles au mouvement) offre le meilleur équilibre entre adhérence sémantique et cohérence physique.
Évaluation humaine :
- Dans des comparaisons par paires, les évaluateurs humains ont préféré les vidéos sélectionnées ou raffinées par Proprio pour la plausibilité physique dans environ 67 % des cas.
- La qualité visuelle a été largement préservée, les évaluateurs ne montrant aucune préférence forte contre la ligne de base dans de nombreux cas, indiquant que les améliorations ne se font pas au détriment de l'esthétique.
Insights des ablations :
- Niveaux de bruit : Les signaux de notation les plus informatifs proviennent d'un bruit de niveau moyen (0,3–0,6 des étapes d'échantillonnage). Un faible bruit est trop local, tandis qu'un bruit élevé perd la structure spécifique à l'échantillon.
- Pondération par la variance : La pondération par l'inverse de la variance améliore considérablement les performances sur les modèles non distillés en priorisant les pas de temps stables.
- Recherche vs Raffinement : La recherche (Best-of-N) est très efficace pour le T2V en raison de la grande diversité des scènes. Pour l'I2V, où les candidats sont ancrés à la même image, le raffinement joue un rôle plus dominant.

5. Importance et affirmations

L'article affirme que les générateurs vidéo figés contiennent des signaux internes actionnables pour évaluer et améliorer la plausibilité physique. En réinterprétant les résidus de flux propres du modèle comme un signal de préférence de vraisemblance, Proprio démontre que :

Les évaluateurs externes ne sont pas strictement nécessaires pour l'alignement physique ; les dynamiques internes du générateur sont suffisantes.
Le passage à l'échelle au moment de l'inférence (recherche et raffinement) peut produire des gains substantiels sans réentraînement.
La méthode offre un changement de perspective : les systèmes futurs pourront de plus en plus exploiter les signaux internes du générateur pour l'auto-évaluation plutôt que de compter uniquement sur une supervision externe ou des modèles de récompense auxiliaires.

Limitations reconnues :

Proprio est limité par les connaissances encodées dans le générateur de base ; il ne peut pas récupérer des dynamiques que le modèle n'a pas apprises.
Il augmente le coût de l'inférence en raison de la nécessité de multiples étapes de notation et de raffinement de candidats.
Le raffinement basé sur le gradient repose actuellement sur des modèles distillés pour la faisabilité computationnelle, car la rétropropagation à travers de longues trajectoires de débruitage dans de grands modèles reste coûteuse.