Résumé technique : IAPO : Optimisation de politique sensible à l'attribution d'entrée pour l'utilisation d'outils par des petits agents multimodaux

Énoncé du problème

L'article traite du défi consistant à entraîner des agents basés sur des petits modèles de langage (SLM) pour utiliser efficacement des outils dans des scénarios multimodaux, plus précisément pour le questionnement visuel (VQA) impliquant des graphiques et des tableaux. Bien que les méthodes d'apprentissage par renforcement (RL) comme le Proximal Policy Optimization (PPO) et le Group Relative Policy Optimization (GRPO) aient amélioré les performances des agents, elles font face à des limitations significatives lorsqu'elles sont appliquées aux SLM multimodaux :

1. Conception de récompense inadéquate pour les tâches multimodales : Les méthodes existantes reposent souvent sur une correspondance exacte avec les trajectoires d'outils de vérité terrain ou sur des formats prédéfinis. Cependant, les tâches multimodales admettent fréquemment de multiples chemins d'utilisation d'outils valides (par exemple, le surlignage, le masquage ou le dessin de boîtes englobantes peuvent tous être valides pour se concentrer sur des régions pertinentes d'un graphique). Les vérifications de format rigides ne parviennent pas à capturer cette flexibilité.
2. Récompenses éparses et fragiles : Les approches actuelles utilisent généralement des récompenses binaires basées sur le résultat (correct/incorrect pour la réponse finale). Celles-ci fournissent un feedback parcimonieux et ne parviennent pas à guider le processus de prise de décision intermédiaire du modèle. Par conséquent, les SLM peuvent apprendre à exploiter des raccourcis accidentels ou des corrélations superficielles pour obtenir une réponse finale correcte sans réellement apprendre des politiques de sélection d'outils robustes fondées sur des preuves visuelles pertinentes.
3. Performance sous-optimale du GRPO classique : Même avec le GRPO classique, les SLM multimodaux continuent de produire un nombre substantiel d'appels d'outils mal utilisés, indiquant que les algorithmes de RL standards sont insuffisants pour apprendre la prise de décision nuancée requise pour l'utilisation d'outils multimodaux.

Méthodologie : Optimisation de politique sensible à l'attribution d'entrée (IAPO)

Pour répondre à ces problèmes, les auteurs proposent IAPO, un algorithme de RL qui aligne l'attribution d'entrée du modèle étudiant sur celle d'un modèle enseignant plus fort. L'idée centrale est que la contribution de composants d'entrée spécifiques à un appel d'outil généré est fortement corrélée à la correction de l'appel d'outil.

Composants clés :

1. Scores de Gradient Intégré (IG) :

   • Le prompt d'entrée est décomposé en blocs sémantiques : contexte de texte pur ($P$), requête utilisateur ($R$), espace réservé d'image ($I$) et définitions d'outils ($T$).
   • La méthode calcule les scores de Gradient Intégré pour quantifier la contribution de chaque bloc sémantique à la log-probabilité de la séquence d'appel d'outil générée.
   • Plus précisément, pour une séquence d'appel d'outil $y'$, le score est $s(E)$, la log-probabilité sous la politique actuelle. Le gradient de ce score par rapport aux embeddings d'entrée est calculé, et l'attribution au niveau du token est définie comme la norme du produit élément par élément du gradient et de l'embedding ($o_i = \|g_i \odot e_i\|_2$).
   • Ces attributions par token sont agrégées pour produire des scores par bloc ($O_k$) pour chaque type sémantique.

2. Pénalité basée sur l'attribution :

   • Un modèle enseignant plus fort (un SLM plus grand ou un modèle entraîné par RL) génère des scores IG de référence ($\hat{b}$) pour la même entrée.
   • Les scores IG du modèle étudiant ($\hat{a}$) sont comparés à ceux de l'enseignant en utilisant la divergence de Kullback-Leibler pour former une pénalité d'attribution : $P_A = D_{KL}(\hat{b} \parallel \hat{a})$.
   • Cette pénalité encourage l'étudiant à se concentrer sur les mêmes composants d'entrée (par exemple, des définitions d'outils spécifiques ou des parties de la requête) que l'enseignant juge pertinents.

3. Fonction de récompense modifiée :

   • La récompense finale pour une trajectoire $i$ combine la récompense standard basée sur le résultat ($R_{out}$) avec la pénalité d'attribution :
     $$R_{IAPO}^i = R_{out}^i - \lambda P_A^i$$
   • Ici, $\lambda$ contrôle la force de l'alignement de l'attribution. Ce signal dense guide la politique non seulement pour maximiser la précision de la tâche, mais aussi pour aligner son processus de décision interne avec les schémas d'attribution de l'enseignant.

4. Cadre d'entraînement :

   • La méthode utilise un déroulement en deux tours : le modèle génère des appels d'outils pour éditer une image, puis raisonne sur l'image éditée pour produire une réponse finale.
   • L'entraînement utilise l'objectif GRPO mais utilise le $R_{IAPO}$ modifié pour calculer les avantages relatifs au groupe.

Contributions clés

1. Nouveaux scores de Gradient Intégré : L'article introduit une méthode pour quantifier la contribution de différents blocs sémantiques d'entrée (texte, image, définitions d'outils) à la génération d'appels d'outils, fournissant un signal de supervision dense.
2. Algorithme IAPO : Les auteurs proposent le premier algorithme de RL spécifiquement conçu pour l'utilisation d'outils par les SLM qui utilise des pénalités basées sur l'attribution. En comparant les scores IG de l'étudiant et de l'enseignant via la divergence KL, IAPO transfère la capacité d'appel d'outils et la logique de prise de décision de l'enseignant vers l'étudiant.
3. Validation empirique : L'article démontre que le GRPO classique conduit à une mauvaise utilisation persistante des outils dans les SLM multimodaux. Il montre également que l'adaptation des conceptions de récompenses des modèles textuels seuls est insuffisante, tandis qu'IAPO améliore considérablement les performances en alignant l'attribution d'entrée.

Résultats expérimentaux

La méthode a été évaluée sur des tâches de questionnement visuel en utilisant le modèle Qwen2.5-VL-3B comme politique et un Qwen2.5-VL-7B (entraîné avec GRPO) comme enseignant.

• Gains de performance : IAPO a amélioré la précision du questionnement visuel de 3 % en moyenne sur six ensembles de tests (incluant ChartQA, VWTQ et CharXiv) par rapport aux travaux existants sur l'utilisation d'outils visuels (VTool-R1, TRM, ToRL).
• Précision de la sélection d'outils : Des études de cas ont révélé que même après 100 étapes d'entraînement GRPO classique, le SLM commettait des erreurs significatives de sélection d'outils (par exemple, appliquer des outils basés sur les lignes à des graphiques divisibles en colonnes). IAPO a considérablement réduit ces erreurs, le taux de réussite des appels d'outils du modèle approchant les 100 % lors des phases ultérieures d'entraînement.
• Alignement de l'attribution : L'étude a montré que les scores IG pour les parties d'entrée correctes augmentaient pendant l'entraînement et finissaient par dépasser ceux des parties mal utilisées, corrélant avec la réduction de la mauvaise utilisation des outils. Le modèle enseignant 7B présentait une séparation plus claire dans les scores IG entre les entrées correctes et incorrectes, validant l'utilisation d'un enseignant plus fort pour la guidance.
• Généralisation : IAPO a démontré une généralisation supérieure sur des benchmarks hors distribution (CharXiv), suggérant que l'alignement de l'attribution aide à prévenir le surapprentissage des corrélations superficielles du prompt.

Signification et affirmations

L'article affirme qu'IAPO fournit un cadre plus efficace pour entraîner des agents SLM multimodaux que les méthodes de RL existantes. Sa signification réside dans :

• Combler le fossé pour les SLM : Il répond à la difficulté spécifique des SLM à apprendre à partir de récompenses binaires et éparses en introduisant un signal de supervision dense au niveau du processus, dérivé de l'attribution d'entrée.
• Dépasser les récompenses binaires : Il remet en question la dépendance à la correspondance exacte ou aux récompenses de résultat binaires dans les contextes multimodaux, proposant plutôt que l'alignement de la manière dont un modèle prête attention à l'entrée (l'attribution) est crucial pour une utilisation robuste des outils.
• Distillation enseignant-étudiant dans le RL : Il exploite avec succès un modèle enseignant plus fort non seulement pour l'imitation de sortie, mais aussi pour guider le processus de décision interne (schémas d'attribution) d'un modèle étudiant plus petit lors de l'entraînement RL en ligne.

Les auteurs concluent que bien que les modèles plus grands présentent naturellement de meilleures capacités de sélection d'outils et de schémas d'attribution, IAPO transfère efficacement ces capacités aux modèles plus petits, leur permettant de prêter attention aux preuves d'entrée les plus pertinentes et d'atteindre des performances de pointe dans les tâches d'utilisation d'outils multimodaux.