💻 computer science

Vision-EKIPL: External Knowledge-Infused Policy Learning for Visual Reasoning

L'article propose Vision-EKIPL, un cadre d'apprentissage par renforcement novateur qui améliore les capacités de raisonnement visuel des grands modèles de langage multimodaux en intégrant des actions de haute qualité issues de modèles auxiliaires externes durant l'entraînement, élargissant ainsi l'espace d'exploration, accélérant la convergence et permettant d'obtenir une amélioration des performances allant jusqu'à 5 % par rapport aux méthodes de l'état de l'art.

Auteurs originaux : Chaoyang Wang, Zeyu Zhang, Meng Meng, Xu Zhou, Haiyun Jiang

Publié 2026-05-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chaoyang Wang, Zeyu Zhang, Meng Meng, Xu Zhou, Haiyun Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant très intelligent (le Modèle de Politique) comment résoudre des énigmes visuelles complexes, comme compter des objets dans une scène 3D ou déterminer comment des formes se déplacent.

Le Problème : Le Piège de la « Chambre d'Écho »

Traditionnellement, lorsque nous formons ces étudiants en utilisant une méthode appelée Apprentissage par Renforcement (RL), nous leur demandons de générer un ensemble de réponses par eux-mêmes. Nous récompensons ensuite les meilleures et punissons les mauvaises.

L'article soutient que cela revient à demander à un étudiant de réviser pour un examen en ne lisant que ses propres notes. Ils pourraient s'améliorer dans la répétition de ce qu'ils savent déjà, mais ils atteignent un « plafond ». Ils ne peuvent pas découvrir de nouvelles et ingénieuses façons de résoudre des problèmes car ils sont coincés dans une chambre d'écho, ne puisant des idées que dans leur propre cerveau limité. Cela rend l'entraînement lent et limite le niveau d'intelligence qu'ils peuvent éventuellement atteindre.

La Solution : Vision-EKIPL (L'Approche du « Panel d'Experts »)

Les auteurs proposent un nouveau cadre appelé Vision-EKIPL. Imaginez cela comme engager un panel d'experts externes (comme GPT-4 ou Gemini) pour aider l'étudiant à réviser.

Voici comment cela fonctionne, étape par étape :

La Séance de Travail de Groupe : Au lieu que seul l'étudiant génère des réponses, le système rassemble un groupe de réponses potentielles provenant de deux sources :
- Les propres tentatives de l'étudiant.
- Des réponses de haute qualité générées par les « experts externes » (les modèles auxiliaires).
La Notation : Un enseignant (la fonction de récompense) note toutes ces réponses. L'étudiant a-t-il trouvé le bon nombre de sphères ? A-t-il utilisé le bon format ?
La Sélection : Le système choisit les réponses les plus performantes de ce groupe mixte. Crucialement, si un modèle expert a trouvé une solution ingénieuse que l'étudiant a manquée, cette solution est incluse dans les « meilleures sélections ».
La Leçon : L'étudiant apprend de ce groupe du « meilleur du meilleur ». Il n'apprend pas seulement de ses propres erreurs ; il est imprégné des connaissances et des stratégies de raisonnement des experts.

L'Analogie : Le Joueur d'Échecs

Imaginez un joueur d'échecs essayant de s'améliorer.

Ancienne Méthode (RL Standard) : Le joueur joue 100 parties contre lui-même, en gagne quelques-unes, et essaie de comprendre ce qu'il a fait de bien. Il pourrait se retrouver coincé à jouer les mêmes coups sûrs et ennuyeux car il n'a jamais vu un coup brillant et risqué qui aurait pu lui faire gagner.
Vision-EKIPL : Le joueur joue 10 parties contre lui-même, mais a aussi la possibilité de voir 10 parties jouées par des Grands Maîtres. Le système sélectionne les meilleurs coups à la fois du joueur et des Grands Maîtres. Le joueur étudie ensuite ces meilleurs coups. Il apprend non seulement son propre style, mais aussi les stratégies brillantes et complexes des experts, repoussant ainsi son propre plafond de compétences beaucoup plus haut.

Ce Que l'Article a Découvert

Les auteurs ont testé cette méthode sur des tâches de raisonnement visuel (comme compter des objets, comprendre la géométrie et suivre des formes en mouvement). Ils ont constaté :

Des Résultats Plus Intelligents : Le modèle entraîné avec Vision-EKIPL a résolu les énigmes mieux que les modèles entraînés avec des méthodes standard, battant l'état de l'art précédent d'environ 5 %.
Un Apprentissage Plus Rapide : Parce que le modèle peut « voir » de bonnes réponses d'experts immédiatement, il ne perd pas de temps à deviner. Il apprend plus vite et converge (termine l'entraînement) plus efficacement.
La Rupture du Plafond : La découverte la plus importante est que cette méthode a effectivement élargi la frontière de raisonnement du modèle. Alors que les méthodes RL standard ont parfois rendu les modèles moins créatifs (en s'en tenant uniquement à des chemins sûrs et connus), Vision-EKIPL a aidé le modèle à découvrir de nouvelles et complexes façons de résoudre des problèmes qu'il ne pouvait pas trouver seul.

En Résumé

Vision-EKIPL est une méthode d'entraînement qui empêche les modèles d'IA d'apprendre dans le vide. En mélangeant leurs propres idées avec des idées de haute qualité provenant de modèles d'IA « experts », elle leur apprend à penser plus profondément, à résoudre des énigmes visuelles plus difficiles et à apprendre beaucoup plus vite.

Résumé Technique : Vision-EKIPL

Énoncé du Problème

Le raisonnement visuel est une capacité cognitive critique pour l'Intelligence Artificielle Générale, essentielle pour des applications allant de la navigation autonome à la compréhension de scènes. Bien que les Modèles de Langage Multimodaux (MLLM) aient progressé grâce au Finetuning Supervisé (SFT) et à l'Apprentissage par Renforcement (RL), les approches actuelles basées sur le RL (par exemple, l'Optimisation de Politique Relative par Groupe ou GRPO) rencontrent des limitations significatives. Plus précisément, ces méthodes échantillonnent des groupes d'actions exclusivement à partir du modèle de politique lui-même. Cet échantillonnage autoréférentiel restreint l'espace d'exploration du modèle à ses propres capacités inhérentes, conduisant potentiellement à une « frontière de raisonnement » qui ne s'étend pas au-delà du modèle de base pré-entraîné. De plus, les méthodes RL existantes souffrent souvent de taux de convergence lents et d'une faible efficacité d'entraînement, car elles reposent sur la capacité du modèle à découvrir des chemins de raisonnement complexes sans guidance externe.

Méthodologie : Vision-EKIPL

Pour pallier ces limitations, les auteurs proposent Vision-EKIPL (Apprentissage de Politique Infusé par Connaissance Externe), un cadre RL novateur qui intègre des actions de haute qualité provenant de modèles auxiliaires externes dans le processus d'optimisation de la politique.

Cadre Principal

Le cadre fonctionne sur le principe d'infusion de connaissances externes durant la boucle d'entraînement RL pour guider le modèle de politique ( $\pi_\theta$ ). Le processus comprend les étapes suivantes :

Échantillonnage d'Actions Multi-Sources :
Contrairement au GRPO traditionnel qui échantillonne des actions uniquement à partir de la politique actuelle, Vision-EKIPL échantillonne un groupe d'actions combiné $O$ à partir de :
- Le modèle de politique actuel $\pi_\theta$ .
- $M$ modèles auxiliaires externes (par exemple, GPT-4o, Gemini-1.5-Pro), notés $\pi_{\phi_j}$ .
Pour un état donné $s = (x, q)$ (encodage visuel et question), le système échantillonne $N$ actions à partir de la politique et $N$ actions à partir de chacun des $M$ modèles auxiliaires.
Calcul de la Récompense :
Toutes les actions échantillonnées sont évaluées à l'aide d'une fonction de récompense $R(o_i)$ comprenant deux composantes :
- Récompense de Format ( $R_{format}$ ) : Garantit que la sortie respecte un format structuré (par exemple, un raisonnement dans des balises <thought> et des réponses dans des balises <answer>).
- Récompense de Précision ( $R_{acc}$ ) : Attribue une récompense positive si la réponse finale est correcte, sinon zéro.
Sélection d'Actions de Haute Qualité :
Le pool combiné d'actions est trié par valeurs de récompense. Les $G$ meilleures actions sont sélectionnées pour former un groupe d'actions de haute qualité $T$ . Ce groupe sert de base de connaissances « experte » pour l'étape d'entraînement actuelle.
Optimisation de la Politique (GRPO) :
Le modèle de politique est mis à jour en utilisant l'algorithme d'Optimisation de Politique Relative par Groupe (GRPO). Le score d'avantage $A_i$ pour chaque action dans le groupe sélectionné est calculé par rapport à la moyenne et à l'écart-type des récompenses du groupe. Les paramètres de la politique $\theta$ sont mis à jour pour maximiser l'avantage attendu tout en maintenant une pénalité de divergence KL pour rester proche d'une distribution de référence.

Évolution Dynamique

L'article note un changement dynamique dans la source des actions durant l'entraînement. Initialement, le modèle de politique dépend fortement des actions provenant des modèles externes car ses propres capacités de raisonnement sont plus faibles. À mesure que l'entraînement progresse et que le modèle de politique s'améliore, la proportion d'actions sélectionnées à partir du modèle de politique lui-même augmente, lui permettant de tirer parti de ses propres stratégies apprises tout en bénéficiant toujours de la guidance externe initiale.

Contributions Clés

Cadre RL Novateur : La proposition de Vision-EKIPL, qui est la première méthode à exploiter des actions de haute qualité provenant de modèles auxiliaires externes pour guider l'optimisation du modèle de politique dans le raisonnement visuel.
Extension de la Frontière de Raisonnement : Démonstration que l'intégration d'actions externes élargit efficacement l'espace d'exploration des actions du modèle de politique, lui permettant de découvrir des chemins de raisonnement qu'un modèle de politique unique pourrait négliger, étendant ainsi la frontière de raisonnement.
Efficacité et Performance Améliorées : Validation par des expériences extensives montrant que le cadre accélère considérablement la convergence de l'entraînement et améliore les performances globales de raisonnement par rapport aux références de l'état de l'art.

Résultats Expérimentaux

Les auteurs ont évalué Vision-EKIPL sur le Benchmark Reason-RFT-CoT, couvrant trois catégories de tâches : Comptage Visuel, Perception de la Structure et Transformation Spatiale.

Gains de Performance : Vision-EKIPL a atteint une amélioration de performance allant jusqu'à 5 % par rapport aux méthodes de l'état de l'art (SOTA) sur le benchmark.
Résultats en Domaine (ID) :
- Sur le Comptage Visuel, les méthodes basées sur le RL (y compris Vision-EKIPL) ont systématiquement surpassé les méthodes basées sur le SFT et les modèles de base sur les échelles de 2B et 7B paramètres.
- Sur la Transformation Spatiale, Vision-EKIPL a atteint les performances les plus élevées, surpassant tous les modèles de base, y compris les modèles propriétaires comme GPT-4o et Gemini-1.5-Pro sur des métriques spécifiques de généralisation hors domaine.
Généralisation Hors Domaine (OOD) :
- Vision-EKIPL a démontré une généralisation supérieure par rapport aux méthodes SFT. Par exemple, sur le modèle 7B, il a surpassé ANS-SFT de 19 % sur le Comptage Visuel.
- Dans la Transformation Spatiale, le modèle Vision-EKIPL 2B a dépassé GPT-4o de 34 % et Gemini-1.5-Pro de 47 % sur les tâches OOD.
Efficacité d'Entraînement :
- Vision-EKIPL a démontré une haute efficacité des données, atteignant les performances de Reason-RFT en utilisant uniquement 12 % à 25 % des données d'entraînement requises par la référence.
Analyse de la Frontière de Raisonnement :
- L'analyse Pass@K a révélé que, tandis que le RL traditionnel (Reason-RFT) finissait par être dépassé par le modèle de base à mesure que $K$ augmentait (suggérant une surexploitation des chemins connus), Vision-EKIPL a maintenu des performances supérieures sur toutes les valeurs de $K$ , confirmant sa capacité à repousser la frontière du raisonnement.

Importance et Revendications

L'article revendique que Vision-EKIPL offre un nouveau paradigme efficace pour la recherche en raisonnement visuel en surmontant les limitations inhérentes des méthodes RL traditionnelles. En traitant les modèles externes comme des « experts » fournissant des cibles de supervision distillées, le cadre permet au modèle de politique d'apprendre des stratégies de raisonnement diverses et nouvelles qui seraient autrement inaccessibles par un échantillonnage autonome seul.

Les auteurs positionnent cette approche comme un paradigme hybride combinant des éléments de finetuning supervisé (via la distillation de connaissances à partir d'actions externes) et d'apprentissage par renforcement. Ils affirment que cette méthode améliore non seulement considérablement les performances de raisonnement visuel des MLLM, mais accélère également substantiellement la convergence de l'entraînement. Bien que la validation principale porte sur des tâches de raisonnement visuel, les auteurs suggèrent que le cadre possède une généralité et pourrait théoriquement être appliqué à des tâches linguistiques et autres tâches multimodales.