Résumé Technique : Au-delà des décalages temporels : Adapter l'Omni-LLM comme évaluateur sans référence pour les modèles génératifs audio-visuels

1. Énoncé du problème

Alors que les modèles génératifs audio-visuels (AV) évoluent vers des « simulateurs de monde », l'évaluation de la cohérence des dynamiques cross-modales devient critique. Cependant, les métriques d'évaluation existantes font face à un décalage fondamental avec les productions génératives modernes :

• Échec des hypothèses structurelles : Les métriques traditionnelles (ex. : synchronisation basée sur les onsets, similitude contrastive cross-modale) présupposent que l'audio et la vidéo sont structurellement corrects et nécessitent seulement un alignement temporel. Elles ne parviennent pas à détecter les hallucinations structurelles (ex. : une tasse en plastique qui tombe produisant un son de verre qui se brise), les relations asymétriques (actions visuelles sans audio correspondant) et les événements temporellement diffus (verser un liquide de manière continue où la hauteur tonale ne correspond pas au niveau du fluide).
• Le paradoxe de l'annotation : L'évaluation de ces erreurs complexes nécessite la cognition humaine. Cependant, les évaluateurs humains s'appuient naturellement sur des comparaisons relatives (juger lequel de deux résultats imparfaits est le meilleur), alors que les métriques automatisées déployables doivent être sans référence (reference-free), produisant un score scalaire absolu pour une paire générée unique.
• Limites des juges IA actuels : Les approches existantes de type « LLM-as-Judge » reposent souvent sur des catégories textuelles discrètes ou des mesures de fidélité unimodales, ce qui introduit des artefacts de quantification et échoue à capturer la cohérence sémantique-causale fine requise pour la synchronisation AV.

2. Méthodologie

Les auteurs proposent un cadre en trois étapes pour résoudre le paradoxe entre la perception humaine relative et le scoring automatisé absolu, transformant un Omni-LLM en un évaluateur continu et sans référence.

2.1 Dataset SynthSync

Pour ancrer l'évaluation dans des échecs génératifs authentiques plutôt que dans des décalages temporels artificiels, les auteurs ont construit SynthSync :

• Construction : Des clips vidéo réels sont traités par 10 modèles de fondation Video-to-Audio (V2A) de pointe pour générer plusieurs pistes acoustiques distinctes par vidéo.
• Annotation : Des experts effectuent des comparaisons par paires ($a_i$ vs $a_j$) par rapport à une ancre visuelle fixe pour déterminer quel audio correspond le mieux à la vidéo.
• Résultat : Cela produit un classement ordinal robuste et global basé sur des taux de victoire empiriques, capturant des modes d'échec complexes tels que les hallucinations sémantiques et les omissions causales.

2.2 Architecture Omni-LLM Continue

Les auteurs adaptent un Omni-LLM (spécifiquement Qwen2.5-Omni-3B) pour contourner le décodage de tokens discrets :

• Projection Latente : La tête de langage discrète est remplacée par une tête de projection continue (MLP) qui mappe la représentation cachée du modèle d'un token spécial [SCORE] directement vers une valeur scalaire $s \in \mathbb{R}$.
• Objectif : Cette conception élimine la stochasticité de la génération de langage, créant une mise en correspondance entièrement différentiable optimisée pour une mise à l'échelle continue relative.

2.3 Paradigme d'entraînement en deux étapes

Le processus d'entraînement aligne l'estimateur continu avec les préférences humaines via deux étapes distinctes :

Étape I : Alignement des préférences latentes (Apprentissage curriculaire)

• Fonction de perte : Le modèle est entraîné en utilisant la formulation Bradley-Terry-Luce (BTL) pour minimiser la perte sur les frontières de décision des logits pour les préférences par paires ($a_i \succ_v a_j$).
• Rythme curriculaire : Pour éviter l'effondrement du gradient dû à la variance des types d'erreurs, l'entraînement commence par des paires ayant de grands écarts de rang (ex. : le meilleur vs le pire) et décroît progressivement le seuil pour exposer le modèle à des comparaisons microscopiques plus fines.

Étape II : Topologies causales via R-GRPO

• Problème : L'apprentissage par paire assure des marges locales mais ne garantit pas une transitivité globale ou une distribution de score cohérente.
• Solution : Les auteurs introduisent l'Optimisation de Politique Relative de Groupe à Valeurs Réelles (R-GRPO).
  • Reparamétrage stochastique : La sortie scalaire déterministe est traitée comme la moyenne ($\mu_\theta$) d'une politique gaussienne, injectant l'incertitude nécessaire pour l'optimisation par gradient de politique.
  • Rollouts exploratoires : Le modèle échantillonne $N$ chemins d'exécution parallèles en perturbant les scores à l'intérieur d'une variance désignée $\sigma^2$.
  • Récompense composite : Une fonction de récompense holistique évalue l'ensemble de la distribution de la liste par rapport à la topologie de vérité terrain, optimisant l'atténuation structurelle, l'ordre monotone et le bornage cible extrême.
  • Objectif : La politique est mise à jour à l'aide d'une perte de substitut découpée (clipped surrogate loss) avec une pénalité de divergence KL pour maintenir la proximité avec le backbone de référence.

3. Contributions clés

1. SynthSync : Le premier dataset dédié aux échecs de synchronisation générative authentiques, allant au-delà des benchmarks de décalage temporel artificiel pour capturer les erreurs sémantiques et causales.
2. Évaluateur Omni-LLM Continu : Une architecture novatrice qui détourne les modèles de fondation multimodaux pour le scoring de cohérence causale continue et sans référence, évitant les biais de quantification des sorties de texte discrètes.
3. Cadre R-GRPO : Un algorithme d'apprentissage par renforcement scalable qui aligne les politiques latentes continues avec les préférences humaines discrètes, établissant un nouveau standard pour l'évaluation ancrée physiquement.
4. SyncBench & Alignement SOTA : L'établissement d'un benchmark standardisé (SyncBench) et la démonstration d'un alignement de pointe (SOTA) avec les préférences humaines dans l'évaluation causale.

4. Résultats expérimentaux

• Performance du Benchmark : Sur le benchmark SynthSync, la méthode proposée atteint des performances de pointe en alignement avec les préférences humaines. Elle surpasse les Omni-LLM prêts à l'emploi, les métriques traditionnelles non-LLM (ex. : AV-Align, DeSync) et les autres évaluateurs LLM entraînés.
  • Métriques clés : Le modèle complet (avec R-GRPO) atteint une précision par paire de 72,38 %, une précision Top-1 de 61,40 % et un tau de Kendall de 0,4899, surpassant nettement les bases de référence.
• Évaluation SyncBench : Appliquée à l'évaluation de six modèles de génération AV de pointe (incluant Sora-2, Veo-3.1 et LTX-2), la métrique parvient à stratifier les performances, identifiant les leaders de l'industrie là où les métriques traditionnelles produisent des classements volatils et contradictoires.
• Mise à l'échelle au temps de test (Test-Time Scaling) : Lorsqu'elle est déployée comme signal de récompense pour l'échantillonnage Best-of-N (BoN), la métrique démontre une supériorité de généralisation cross-métrique, surpassant la sélection aléatoire et d'autres signaux de récompense pour améliorer la qualité des modèles à travers des métriques d'évaluation indépendantes.
• Études d'ablation :
  • Représentation : Le classement scalaire continu surpasse significativement la régression scalaire et le décodage textuel (CE/KL), confirmant qu'éviter les tokens discrets préserve l'ordre topologique relatif.
  • Composants : L'ablation incrémentale montre que le dataset SynthSync et l'étape R-GRPO sont tous deux critiques, R-GRPO apportant les gains les plus importants en corrélation de rang.
  • Formulation de la récompense : Une stratégie de « Double Récompense » (combinant les contraintes par paire et par liste) offre des performances optimales, équilibrant la cohérence structurelle globale et la précision comparative locale.
  • Variance d'exploration : Une variance d'exploration intermédiaire ($\sigma=2.5$) de la politique gaussienne offre le meilleur équilibre entre l'exploration des topologies globales et le maintien de la stabilité de la politique.

5. Signification et affirmations

L'article affirme résoudre un goulot d'étranglement critique dans la génération AV : l'absence de métriques capables de comprendre les interactions physiques complexes entre la vue et le son. En déplaçant le paradigme d'évaluation de la simple corrélation de signaux de bas niveau vers une causalité visuellement ancrée, le cadre proposé :

• Réduit le fossé Humain-Machine : Il parvient à distiller le jugement humain complexe et comparatif en une métrique automatisée continue, sans référence et globalement cohérente.
• Permet un benchmarking fiable : Il fournit au domaine un outil standardisé (SyncBench) pour évaluer l'ancrage physique des simulateurs de monde naissants, distinguant les modèles qui alignent simplement des signaux de ceux qui comprennent les dynamiques causales.
• Offre une double utilité : L'estimateur sert non seulement d'évaluateur fiable, mais aussi de signal de récompense exploitable pour l'entraînement et la mise à l'échelle au temps de test, faisant progresser le développement de modèles génératifs plus physiquement cohérents.