APPO: Attention-guided Perception Policy Optimization for Video Reasoning

Cet article présente APPO, un algorithme d'optimisation de politique guidé par l'attention qui améliore la perception fine des modèles de raisonnement vidéo en utilisant des récompenses denses au niveau des tokens, démontrant ainsi que l'optimisation de la perception est plus cruciale et rentable que l'augmentation de la capacité de raisonnement pure.

L'essentiel

🎬 Le Problème : Le Chef d'Orchestre aveugle

Imaginez que vous avez un chef d'orchestre très intelligent (c'est l'intelligence artificielle, ou "IA"). Ce chef est capable de composer des symphonies complexes, de raisonner et de résoudre des énigmes difficiles. C'est un génie de la logique.

Mais il y a un petit souci : ce chef est un peu malvoyant.

• Si on lui demande : "Que fait le petit chaton quand le chat bleu tourne la tête pour la deuxième fois ?", il va essayer de déduire la réponse par la logique pure.
• Le problème ? S'il n'a pas bien vu le chaton dormir ou sauter au moment précis, sa logique, aussi brillante soit-elle, va le mener à une mauvaise conclusion. Il va dire : "Le chaton doit être en train de jouer, car c'est logique !", alors qu'en réalité, il dormait.

Les chercheurs ont découvert quelque chose de surprenant : améliorer la logique du chef ne l'aide pas beaucoup s'il ne voit pas bien. En revanche, si on lui donne des lunettes de meilleure qualité (améliorer sa "perception"), ses performances explosent, même si sa logique reste la même.

🔍 La Découverte : Regarder avant de penser

L'équipe derrière l'article a fait une expérience simple : ils ont mélangé différents niveaux de "vision" et de "raisonnement".

• Résultat : Passer d'un raisonneur moyen à un génie de la logique ne change presque rien si la vision est mauvaise.
• Mais : Passer d'une vision floue à une vision nette (même avec un raisonneur moyen) fait faire un bond géant aux résultats.

La leçon ? Pour comprendre une vidéo, il faut d'abord voir les détails, pas juste réfléchir.

💡 La Solution : APPO (L'Entraîneur à la loupe)

C'est ici qu'intervient APPO (Optimisation de la Politique de Perception Guidée par l'Attention).

Imaginez que vous entraînez ce chef d'orchestre avec une méthode traditionnelle. Vous lui montrez une vidéo, il donne une réponse, et vous lui dites simplement : "Bravo, c'est juste !" ou "Non, c'est faux !". C'est comme donner une note globale à un élève sans lui dire où il a fait l'erreur. Il ne sait pas s'il a raté le chaton, le chat, ou le timing.

APPO change la donne en agissant comme un entraîneur très précis :

1. Le Détective de l'Attention :
   APPO regarde exactement où le chef d'orchestre a posé son regard (son "attention") dans la vidéo.

   • Si la réponse est bonne, APPO se dit : "Ah ! Il a bien regardé le chaton dormir. C'est un bon moment, il faut le retenir."
   • Si la réponse est mauvaise, APPO se dit : "Oups ! Il a regardé le plafond au lieu du chaton. Il faut qu'il apprenne à regarder le chaton la prochaine fois."

2. Le Groupe de Travail (La "Groupe") :
   L'algorithme prend plusieurs tentatives de réponse (disons 8 versions différentes). Il les regroupe.

   • Il identifie les moments clés (les "trous" dans la vidéo) que les bonnes réponses ont vus, mais que les mauvaises ont ignorés.
   • Il dit au modèle : "Toi, qui as raté le coup, tu dois apprendre spécifiquement à regarder ces moments précis, comme le font tes camarades qui ont réussi."

3. La Récompense par Pixel (ou par Mot) :
   Au lieu de donner une note globale, APPO donne une récompense précise à chaque mot de la réponse.

   • Si le mot "dormir" apparaît au bon moment (quand le modèle a bien regardé le chat), il reçoit une grosse récompense.
   • Si le mot "jouer" apparaît alors que le modèle regardait le mauvais endroit, il reçoit une pénalité.

🚀 Pourquoi c'est génial ?

• Pas besoin de manuels de correction coûteux : Habituellement, pour apprendre à une IA à bien voir, il faut des humains annoter chaque seconde de vidéo (ce qui coûte très cher). APPO apprend tout seul en observant les différences entre les bonnes et les mauvaises réponses. C'est comme si l'IA apprenait à regarder en se corrigeant elle-même.
• Moins cher, plus efficace : Cela permet d'améliorer considérablement la capacité de l'IA à comprendre les vidéos complexes (comme des scènes d'action ou des interactions subtiles) sans dépenser une fortune en annotations humaines.

🏁 En Résumé

L'article APPO nous dit : "Arrêtez de forcer l'IA à réfléchir plus fort, aidez-la d'abord à mieux voir."

C'est comme si vous appreniez à un enfant à jouer au football. Au lieu de lui expliquer la théorie tactique pendant des heures (le raisonnement), vous lui montrez exactement où il doit regarder le ballon et quand il doit courir (la perception). Grâce à cette méthode, l'IA devient non seulement plus intelligente, mais surtout beaucoup plus précise dans ce qu'elle voit.

Résumé technique

1. Problématique et Contexte

Le raisonnement vidéo complexe repose souvent davantage sur la perception fine (détecter des actions subtiles, des objets spécifiques, des séquences temporelles) que sur des capacités de raisonnement de niveau expert. Les auteurs observent que l'amélioration des modèles de raisonnement (par exemple, passer de Qwen3-8B à OpenAI-o3) n'apporte qu'un gain marginal (0,7 %) si la capacité de perception reste fixe. En revanche, une augmentation modeste de l'échelle du modèle de perception (de 7B à 32B) peut améliorer les performances de 1,4 %.

Cependant, les méthodes d'apprentissage par renforcement avec récompenses vérifiables (RLVR) actuelles, comme GRPO et DAPO, peinent à améliorer la perception fine car :

• Elles utilisent des récompenses de résultat éparses (basées uniquement sur la réponse finale), qui ne fournissent pas de signaux de guidage granulaires pour les étapes intermédiaires.
• L'annotation fine (frame par frame) est coûteuse et difficile à obtenir à grande échelle.

La question centrale est donc : Comment améliorer la capacité de perception fine d'un modèle lors du processus de raisonnement, sans dépendre d'annotations coûteuses ni de modèles de récompense supplémentaires ?

2. Méthodologie : APPO (Attention-guided Perception Policy Optimization)

Pour répondre à ce défi, les auteurs proposent APPO, un algorithme qui optimise la perception fine en exploitant les signaux de raisonnement existants. L'idée centrale est d'identifier et d'optimiser les tokens de perception intra-groupe (les tokens provenant de différentes réponses qui se concentrent sur les mêmes images vidéo cruciales).

L'algorithme se déroule en deux étapes principales :

A. Sélection de trames guidée par l'attention (Attention-guided Frame Selection)

L'objectif est de transformer les récompenses de résultat éparses en signaux de guidage denses au niveau des trames.

1. Regroupement : Un groupe de $G$ réponses est divisé en deux ensembles ($S_1$ et $S_2$) basés sur un seuil de récompense $\tau$ (réponses à haute récompense vs faible récompense).
2. Analyse de l'attention : L'algorithme calcule les poids d'attention des tokens de réponse vers les tokens visuels (trames vidéo).
3. Identification des trames critiques :
   • Les trames sur lesquelles les réponses à haute récompense se concentrent sont identifiées comme potentiellement correctes.
   • Les trames ignorées par les réponses à faible récompense mais pertinentes pour les réponses à haute récompense sont ciblées.
4. Stratégies de sélection : Trois stratégies sont proposées pour définir l'ensemble final des trames cibles $\psi'$ :
   • Hard : Uniquement les trames vues par les bonnes réponses et ignorées par les mauvaises.
   • Soft : Toutes les trames vues par les bonnes réponses.
   • All : L'union des trames vues par les deux groupes.

B. Re-pesage des tokens de perception intra-groupe (Intra-group Perception Tokens Re-weighting)

Une fois les trames critiques identifiées, l'algorithme regroupe les tokens de différentes réponses qui se focalisent sur la même trame (tokens de perception intra-groupe).

1. Mesure de la divergence : La divergence de Kullback-Leibler (KL) est utilisée pour mesurer la différence de distribution de probabilité entre les tokens d'une même trame provenant de réponses à haute et basse récompense.
2. Calcul des poids : Les tokens provenant de réponses à haute récompense reçoivent un poids d'apprentissage plus élevé, tandis que ceux des réponses à faible récompense sont supprimés ou pénalisés.
3. Fonction de perte : Une nouvelle fonction de perte $L_{APPO}$ est définie qui intègre ces poids de token ($W$) pour moduler l'optimisation, encourageant le modèle à apprendre les tokens de perception pertinents.

3. Contributions Clés

• Analyse Perception vs Raisonnement : Grâce à une stratégie "diviser pour régner" (combinant différents modèles de perception et de raisonnement), les auteurs quantifient et démontrent empiriquement que l'amélioration de la perception est plus critique pour les performances en raisonnement vidéo que l'amélioration pure du raisonnement.
• Algorithme APPO : Proposition d'une méthode novatrice qui génère des signaux de récompense granulaires au niveau des tokens directement à partir de récompenses de résultat éparses, sans annotation fine ni modèle de récompense externe.
• Optimisation ciblée : Introduction du concept de "tokens de perception intra-groupe" pour aligner l'apprentissage sur les moments clés de la vidéo.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks vidéo (SEED-Bench-R1, Perception Test, NExT-GQA, VSI-Bench, MVBench, NExT-QA) avec des modèles de différentes tailles (Qwen2.5-VL-3B et 7B).

• Performance globale : APPO surpasse systématiquement les méthodes de base (GRPO, DAPO) et le fine-tuning supervisé (SFT). Les gains varient de 0,5 % à 4 % selon le benchmark et la taille du modèle.
• Amélioration de la perception fine : Sur le benchmark NExT-GQA (mesurant la perception spatio-temporelle fine via mIoU), APPO montre des améliorations significatives (ex: +1,0 % sur le modèle 3B par rapport à GRPO/DAPO), prouvant sa capacité à mieux ancrer les réponses sur les bonnes trames.
• Généralisation (OOD) : APPO démontre une meilleure capacité de généralisation sur des données hors distribution (Level-2 et Level-3 de SEED-Bench-R1), avec des gains supérieurs à ceux observés sur les données in-distribution.
• Efficacité des données : Entraîné sur un sous-ensemble de seulement 34K échantillons, APPO surpasse des modèles entraînés sur des ensembles de données beaucoup plus vastes (jusqu'à 310K), démontrant l'efficacité de l'approche.
• Stabilité de l'entraînement : L'analyse montre que APPO maintient une entropie de génération et une norme de gradient plus élevées, indiquant un espace d'exploration plus large et une meilleure stabilité par rapport à GRPO et DAPO.

5. Signification et Impact

Ce travail est significatif car il redéfinit la priorité dans l'optimisation des modèles multimodaux pour la vidéo. Il démontre que la perception est le goulot d'étranglement du raisonnement vidéo complexe.

En proposant une méthode faible coût (pas d'annotation manuelle fine, pas de modèle de récompense externe) pour améliorer la perception via le raisonnement, APPO offre une voie prometteuse pour déployer des modèles vidéo performants dans des scénarios diversifiés. Cela ouvre la voie à une nouvelle génération d'algorithmes de RLVR qui intègrent la perception et le raisonnement de manière conjointe plutôt que séparée.