Résumé Technique : Annotations en tant que Rollouts (OraRL)

Énoncé du Problème

La perception vidéo unifiée nécessite que les modèles de langage de grande taille multimodaux (MLLM) accomplissent des tâches fines telles que la localisation temporelle, le positionnement spatial, le suivi d'objets et la segmentation. Bien que les récents MLLM généralistes intègrent ces capacités, ils sont souvent moins performants que les spécialistes de tâches spécifiques, ce qui suggère que l'échelle du modèle seule est insuffisante et que l'alignement post-entraînement est le goulot d'étranglement critique.

Les paradigmes actuels de post-entraînement font face à deux limitations principales :

1. Ajustement Supervisé (SFT) : Le SFT traite les annotations comme des cibles de maximum de vraisemblance, imposant des formats de sortie mais échouant à distinguer les prédictions presque correctes des prédictions clairement incorrectes. Il manque de supervision au niveau de la tâche pour guider le modèle vers des intervalles ou des masques précis.
2. Apprentissage par Renforcement (RL) avec l'Optimisation de Politique Relative au Groupe (GRPO) : Les méthodes de RL vidéo existantes (ex. : GRPO) échantillonnent plusieurs rollouts on-policy par prompt et comparent leurs récompenses. Cependant, ces méthodes reposent uniquement sur la qualité du groupe de rollouts on-policy échantillonné. Or, les rollouts on-policy parviennent rarement à récupérer les intervalles, boîtes ou masques précis spécifiés par les annotations de vérité terrain (GT), de sorte que de nombreux groupes d'entraînement manquent d'un ancrage positif fiable.
3. Limitations de la Chaîne de Pensée (CoT) : Bien que la génération de CoT soit utilisée pour améliorer le raisonnement, elle rallonge les rollouts, augmentant les coûts d'entraînement et d'inférence sans garantir de gains de performance dans les tâches de perception fine.

Une tentative directe d'incorporer les annotations GT dans le groupe de rollouts RL en tant que rollouts « oracle » échoue en raison de l'inversion d'avantage. Lorsqu'un oracle à haute récompense est inclus dans la normalisation du groupe, cela augmente la récompense de référence (baseline). Par conséquent, les rollouts on-policy qui sont meilleurs que la politique originale (mais moins bons que l'oracle) reçoivent des avantages négatifs, ce qui supprime l'exploration utile et provoque un effondrement de l'apprentissage vers une simple imitation.

Méthodologie : OraRL

Le document présente OraRL (Annotation-as-Rollout Reinforcement Learning), un paradigme qui traite chaque annotation comme une cible positive fiable (un « oracle rollout ») tout en empêvant le décalage de la ligne de base qui cause l'inversion d'avantage.

Mécanismes Fondamentaux

1. Construction de l'Annotation-en-tant-que-Rollout :
   Au lieu d'utiliser les annotations simplement comme références de score, OraRL sérialise chaque annotation $y$ dans le format de réponse du modèle pour créer un rollout oracle $o_{gt}$. Cet oracle est ajouté au groupe de $n$ rollouts on-policy, créant un groupe augmenté de taille $n+1$. Cela fournit une cible positive fiable pour chaque requête sans réduire l'exploration on-policy.

2. Estimation Découplée de l'Avantage :
   Pour résoudre le problème d'inversion d'avantage, OraRL découple le calcul de l'avantage :

   • Ligne de Base de la Politique : La moyenne $\mu_{op}$ et l'écart-type sont calculés uniquement à partir des récompenses on-policy, en excluant l'oracle. Cela garantit que tout rollout on-policy surpassant la politique actuelle reçoit un avantage non négatif.
   • Gain Directionnel : L'écart entre la récompense de l'oracle et la distribution on-policy est encodé sous la forme d'un gain directionnel $g_q$. Ce gain met à l'échelle les avantages des rollouts on-policy qui sont au-dessus de la moyenne on-policy, amplifiant le signal lorsque l'oracle est nettement meilleur que la politique actuelle.
   • Avantage de l'Oracle Détaché : Un terme d'avantage distinct et borné $A_{gt}$ est calculé pour le rollout de l'oracle lui-même. Son échelle est calibrée par un poids $w_q$ (basé sur l'écart restant entre la politique et l'oracle) et plafonnée par le signal on-policy le plus fort pour éviter que l'oracle ne domine la mise à jour.

3. Élagage Équilibré par Signe :
   Pour améliorer l'efficacité, OraRL élague le groupe de rollouts avant la rétropropagation. Contra à un élagage basé uniquement sur la magnitude (qui pourrait ne conserver que des échantillons positifs ou négatifs), OraRL utilise un élagage équilibré par signe :

   • L'oracle est toujours conservé.
   • Les emplacements restants sont comblés en conservant les rollouts on-policy positifs et négatifs les plus forts, garantissant que la mise à jour du gradient préserve à la fois les signaux de renforcement et de suppression.
   • Une correction de moment post-sélection est appliquée pour recentrer les avantages et les remettre à l'échelle afin de correspondre aux statistiques pré-élagage, évitant ainsi un biais dans l'amplitude de la mise à jour.

4. Efficacité :
   En élaguant le groupe (par exemple, en conservant 4 rollouts sur 9) et en évitant la génération de CoT, OraRL atteint un temps par étape de seulement $2,2\times$ celui du SFT, contre $4,9\times$ pour GRPO avec CoT.

Contributions Clés

1. Annotation-en-tant-que-Rollout : Un mécanisme indépendant des tâches qui convertit les annotations en rollouts oracle, fournissant une supervision positive fiable sans nécessiter de CoT ni sacrifier l'exploration on-policy.
2. Analyse de l'Inversion d'Avantage : Identification du phénomène d'« inversion d'avantage » dans le mélange naïf d'oracles et une solution via l'estimation d'avantage découplée qui sépare les avantages de la politique de la guidance de l'oracle.
3. Élagage Équilibré par Signe : Une stratégie d'élagage qui conserve à la fois les signes d'avantage et l'oracle, couplée à une correction de moment, offrant une accélération de $1,48\times$ par rapport à l'optimisation de groupe complet.
4. Video-ORA : Un modèle de perception vidéo unifié entraîné avec OraRL, démontrant des améliorations constantes à travers différentes échelles de modèles (0,8B à 9B) et de budgets de données.

Résultats Expérimentaux

Les auteurs ont entraîné Video-ORA (basé sur les architectures Qwen3.5) et l'ont évalué à travers sept familles de tâches : positionnement temporel, positionnement spatial, segmentation, suivi visuel, positionnement spatio-temporel, vidéo QA et intelligence spatiale.

• Gains de Performance :

  • Positionnement Temporel : Video-ORA-9B a atteint un mIoU de 61,8, 63,6 et 72,5 sur les trois benchmarks TimeLens, surpassant le spécialiste temporel TimeLens2-8B et des modèles propriétaires comme GPT-5 et Gemini-3-Pro.
  • Suivi Visuel : Sur GOT-10k, Video-ORA-9B a atteint un chevauchement moyen (AO) de 78,2, surpassant le meilleur modèle open-source précédent (OneThinker-8B) de 5,2 points.
  • Segmentation : Il a obtenu des scores de pointe sur RefCOCO (cIoU 79,4) et MeViS (J&F 61,3).
  • Intelligence Spatiale : Sur VSI-Bench, Video-ORA-9B a obtenu 73,1, surpassant GPT-5 (55,0) et Gemini-3-Pro (55,1).
  • Vidéo QA : Il s'est classé premier parmi les modèles open-source sur cinq des sept benchmarks de Vidéo QA.

• Passage à l'Échelle et Efficacité :

  • Mise à l'échelle du Modèle : Video-ORA s'améliore par rapport à son backbone à toutes les échelles (0,8B, 2B, 4B, 9B), les gains moyens augmentant avec la taille du modèle.
  • Mise à l'échelle des Données : OraRL surpasse GRPO et SFT sur des budgets de données allant jusqu'à 100k prompts.
  • Latence d'Inférence : Sans CoT, la latence médiane de bout en bout de Video-ORA-9B sur des vidéos de 10 minutes est passée de 29,0s (backbone avec CoT) à 24,3s.

Signification et Revendications

Le papier affirme que OraRL établit l'« annotation-en-tant-que-rollout » comme un principe d'apprentissage par renforcement efficace et scalable pour la perception vidéo unifiée. Les auteurs soutiennent que :

• La précision fine dans la perception vidéo est déterminée principalement par l'ajustement post-entraînement aligné sur la tâche plutôt que par l'échelle du modèle seule.
• L'intégration directe de l'oracle, lorsqu'elle est gérée correctement (via des avantages découplés), fournit une cible positive fiable qui surmonte la rareté des rollouts on-policy de haute qualité.
• Le raisonnement CoT n'est pas nécessaire pour ces tâches ; la supervision directe de l'oracle produit une meilleure précision et une meilleure efficacité.
• La méthode est généralisable à différentes familles de backbones (Qwen3-VL, Qwen3.5) et types de tâches (localisation, suivi, QA, raisonnement spatial).

Les auteurs notent des limitations, spécifiquement le fait que la formulation actuelle suppose que les annotations peuvent être sérialisées comme des rollouts oracle valides et évaluées par des récompenses scalaires, et que le comportement sous une supervision ambiguë ou bruitée n'a pas été évalué. Ils reconnaissent également que bien que Video-ORA soit en tête de nombreux comparatifs open-source, certaines tâches de raisonnement spatial complexes restent en retrait par rapport aux modèles propriétaires les plus puissants.