💬 NLP

Training Data Efficiency in Multimodal Process Reward Models

Cet article traite des coûts d'entraînement élevés des modèles de récompense de processus multimodaux en introduisant un cadre théorique et la méthode du Balanced-Information Score (BIS), qui exploite les signaux de déploiement existants pour sélectionner des sous-ensembles de données hautement informatifs qui atteignent les performances de l'ensemble des données avec seulement 10 % du corpus d'entraînement.

Auteurs originaux : Jinyuan Li, Chengsong Huang, Langlin Huang, Shaoyang Xu, Haolin Liu, Wenxuan Zhang, Jiaxin Huang

Publié 2026-02-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jinyuan Li, Chengsong Huang, Langlin Huang, Shaoyang Xu, Haolin Liu, Wenxuan Zhang, Jiaxin Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot très intelligent comment résoudre des énigmes visuelles complexes, comme des problèmes mathématiques avec des diagrammes. Pour ce faire, vous ne lui montrez pas seulement la réponse finale ; vous voulez qu'il apprenne de chaque étape qu'il franchit. C'est ici qu'entrent en jeu les Modèles de Récompense de Processus Multimodaux (MPRM). Ils agissent comme un professeur strict, donnant un « pouce levé » ou un « pouce baissé » pour chaque étape intermédiaire franchie par le robot.

Cependant, créer un tel professeur coûte cher. Traditionnellement, pour entraîner ce professeur, les chercheurs génèrent d'énormes quantités de problèmes d'entraînement (appelés « rollouts ») et utilisent un ordinateur pour simuler des milliers de résultats possibles pour chaque étape afin de déterminer si l'étape était bonne ou mauvaise. Cela crée un ensemble de données massif, mais l'article soutient que ce jeu de données est principalement rempli d'espaces perdus.

Voici la décomposition simple de ce que l'article a découvert et proposé :

1. Le Problème : La « aiguille dans une botte de foin » n'est en fait qu'une grande quantité de foin

Les chercheurs ont commencé par tester une idée simple : et si nous jetions simplement 75 % des données d'entraînement de manière aléatoire ?

Le Résultat : Étonnamment, le robot ne s'est pas beaucoup dégradé dans la résolution d'énigmes.
L'Analogie : Imaginez que vous essayez d'apprendre à faire un gâteau en lisant 1 000 livres de cuisine. Vous réalisez que 90 % des pages ne font que répéter les mêmes instructions que vous connaissez déjà. Si vous ne lisez que les 100 pages les plus uniques, vous pouvez toujours réussir à faire un gâteau parfait. L'article a découvert que les données d'entraînement actuelles sont comme ces 900 pages répétitives — elles sont redondantes.

2. La Découverte : Toutes les étapes « mauvaises » ne se valent pas

Les chercheurs ont réalisé que pour bien enseigner au robot, il faut deux types spécifiques d'exemples, et non n'importe quels exemples :

La Leçon « Mixte » : Vous avez besoin d'exemples où le robot fait certaines bonnes étapes et certaines mauvaises étapes dans le même problème. Si un problème est 100 % parfait ou 100 % erroné, il est ennuyeux et apprend très peu au robot. Le robot apprend mieux lorsqu'il voit un mélange de bons et de mauvais mouvements.
La Leçon « Fiable » : Vous devez être sûr que les étapes « bonnes » le sont réellement. Parfois, une simulation informatique peut dire qu'une étape est « bonne » simplement par chance (comme deviner la bonne réponse à un QCM). Ce sont des positifs « bruyants » ou « faux ». Le robot s'y confond.

3. La Solution : Le « Score d'Information Équilibrée » (BIS)

Pour corriger cela sans avoir besoin de plus d'ordinateurs ou d'argent, les auteurs ont créé un système de notation simple appelé BIS. Considérez cela comme un filtre de qualité pour les données d'entraînement.

Comment ça marche : Avant d'entraîner le robot, le BIS examine chaque problème d'entraînement et pose deux questions :
1. Ce problème contient-il un mélange de bonnes et de mauvaises étapes ? (Mélange)
2. Les étapes « bonnes » sont-elles réellement fiables, ou étaient-elles simplement dues à la chance ? (Fiabilité)
La Sélection : Il choisit les 10 % de problèmes qui obtiennent les scores les plus élevés sur cette échelle « Équilibrée ». Il ignore les problèmes ennuyeux, répétitifs et confus.

4. Le Résultat : Moins de Données, de Meilleurs Résultats

L'article a testé cela sur deux cerveaux de robots différents (InternVL et Qwen).

La Magie : En utilisant le filtre BIS, ils ont entraîné le robot en utilisant seulement 10 % des données originales.
L'Issue : Ce minuscule 10 % soigneusement sélectionné a obtenu des résultats aussi bons que (et parfois meilleurs que) l'entraînement avec 100 % des données originales et désordonnées.
La Comparaison : S'ils avaient simplement choisi 10 % des données de manière aléatoire (comme lancer des fléchettes sur une cible), le robot aurait été nettement moins performant. Le filtre BIS a fait la différence entre un étudiant médiocre et un étudiant de haut niveau.

Analogie de Synthèse

Imaginez que vous êtes un entraîneur formant un athlète.

L'Ancienne Méthode : Vous faites courir 1 000 tours à l'athlète. 900 d'entre eux sont sur une piste plate et vide (ennuyeux/redondant), et 100 d'entre eux présentent des nids-de-poule et des panneaux déroutants (bruyants/confus).
La Méthode de l'Article : Vous utilisez un Score BIS pour choisir les 100 meilleurs tours. Vous choisissez des tours qui ont un mélange de collines et de plats (pour enseigner l'équilibre) et vous vous assurez que la piste est exempte de panneaux déroutants (fiabilité).
Résultat : L'athlète devient plus en forme et plus intelligent en 1/10ème du temps, en utilisant les séances d'entraînement les plus utiles.

L'Essentiel : Cet article prouve que nous n'avons pas besoin de plus de données pour entraîner ces modèles d'IA ; nous avons juste besoin de données plus intelligentes. En filtrant la redondance et le bruit, nous pouvons économiser des quantités massives de puissance de calcul et d'énergie tout en obtenant de meilleurs résultats.

Résumé technique : Efficacité des données d'entraînement pour les modèles de récompense de processus multimodaux

1. Énoncé du problème

Les modèles de récompense de processus multimodaux (MPRM) sont essentiels pour fournir une supervision au niveau des étapes lors des tâches de raisonnement visuel pour les grands modèles de langage multimodaux (MLLM). Cependant, l'entraînement des MPRM repose généralement sur de vastes corpus de déroulements annotés par la méthode de Monte Carlo (MC) (par exemple, VisualPRM400K-v1.1 avec 565K déroulements et 3,17M d'étapes annotées). Ce processus engendre des coûts de calcul substantiels.

Le papier identifie un goulot d'étranglement pratique : l'efficacité des données d'entraînement. Des observations préliminaires suggèrent que la performance des MPRM sature rapidement lorsque les données sont échantillonnées de manière aléatoire, ce qui indique une redondance significative dans les corpus existants annotés par MC. Les questions de recherche centrales sont :

Comment la performance du MPRM évolue-t-elle en fonction du budget de déroulement ?
Comment sélectionner des sous-ensembles de données informatifs qui préservent ou dépassent la performance des données complètes sans engendrer de coûts supplémentaires d'annotation ou d'appel de modèle ?

2. Méthodologie

2.1 Étude préliminaire empirique

Les auteurs ont mené des expériences préliminaires en utilisant le jeu de données VisualPRM400K-v1.1 et l'architecture de base InternVL2.5-8B.

Observation de la redondance : Le sous-échantillonnage aléatoire (par exemple, ne conserver que 25 % des déroulements) a entraîné une performance qui plafonnait rapidement, restant proche de la performance des données complètes même avec beaucoup moins de mises à jour. Cela suggère que l'augmentation de la taille du jeu de données produit des rendements décroissants en raison du bruit d'étiquetage et de la redondance des données.
Analyse heuristique : Les auteurs ont comparé différentes stratégies de sélection de sous-ensembles :
- Aléatoire (Random) : Référence (baseline).
- Low-MC : Sélection des déroulements ayant les scores MC moyens les plus bas (ratios d'étapes d'erreur les plus élevés). Cela a introduit de nombreux étiquettes « pseudo-positives » (étapes étiquetées positives malgré un taux de succès très faible), ce qui a nui à la performance.
- Mixte (Mixed) : Sélection de déroulements contenant à la fois des étapes correctes et incorrectes. Cela a surpassé la sélection aléatoire mais restait sous-optimal par rapport à une approche équilibrée.

2.2 Cadre théorique

Pour expliquer ces résultats empiriques, les auteurs ont formalisé un cadre d'abstraction Enseignant-Étudiant :

Modèle Enseignant : Un modèle idéal connaissant la véritable correction au niveau de l'étape ( $q^*$ ).
Modèle Étudiant : Le MPRM appris sur des étiquettes annotées par MC bruitées.
Analyse du gradient : Les auteurs ont modélisé le bruit d'estimation MC via un modèle probabiliste d'inversion d'étiquette (label-flip). Ils ont dérivé que le signal de gradient informatif dépend de deux facteurs multiplicatifs :
1. Mélange d'étiquettes (Incertitude) : Le terme $q^*(1-q^*)$ est maximisé lorsque l'enseignant est incertain (c'est-à-dire que le déroulement contient un mélange d'étapes positives et négatives). Les déroulements purement positifs ou purement négatifs fournissent des signaux faibles.
2. Fiabilité de l'étiquette (Niveau de bruit) : Le taux de bruit effectif $\eta$ est élevé pour les étapes ayant des scores MC extrêmement bas qui sont néanmoins étiquetées comme positives (pseudo-positives). Ces étapes agissent comme des échantillons d'étiquettes inversées, ajoutant de la variance plutôt que du signal.
Conclusion : Les déroulements informatifs sont ceux qui sont mixtes (incertitude élevée) mais fiables (faible bruit dans les étiquettes positives).

2.3 Solution proposée : Score d'Information Équilibré (BIS)

Guidés par les intuitions théoriques, les auteurs proposent le Score d'Information Équilibré (BIS), un mécanisme de notation au niveau du déroulement qui ne nécessite aucun appel de modèle ou supervision supplémentaire. Il utilise uniquement les scores MC déjà stockés dans le jeu de données.

Pour un déroulement $x$ avec $n$ étapes :

Mélange d'étiquettes ( $p_{pos}$ ) : Le ratio d'étapes positives dans le déroulement. Le terme de mélange est $p_{pos}(1 - p_{pos})$ , qui est maximisé lorsque le déroulement contient un équilibre entre étapes positives et négatives.
Fiabilité ( $R(x)$ ) : Le score MC moyen des étapes positives du déroulement. Un $R(x)$ élevé indique que les étapes positives sont réellement fiables (faible bruit).
Formule BIS :
$BIS(x) = (p_{pos}(1 - p_{pos}) + \alpha) \times R(x)$
Où $\alpha$ est une petite constante de lissage pour éviter les poids nuls pour les déroulements à faible mélange.

Processus de sélection : Les déroulements sont classés par leur score BIS au sein de chaque jeu de données source, et la fraction supérieure $\rho$ est sélectionnée pour former le sous-ensemble d'entraînement.

3. Résultats clés

Les expériences ont été menées sur VisualProcessBench en utilisant deux architectures : InternVL2.5-8B et Qwen2.5-VL-7B.

Efficacité des données : Les sous-ensembles sélectionnés par BIS ont systématiquement égalé ou surpassé la performance des données complètes en utilisant nettement moins de déroulements.
- InternVL2.5-8B : Un sous-ensemble BIS-10% (utilisant seulement 10 % des données) a atteint un micro-F1 global de 65,46 %, égalant la performance des données complètes et surpassant la référence Random-10% de +2,6 points.
- Qwen2.5-VL-7B : Le modèle a montré des gains encore plus importants dans les régimes à faible budget, le BIS-5% surpassant le Random-5% de +10,9 points.
Reclassement Best-of-N : Dans les scénarios de reclassement pratiques (sélection de la meilleure réponse parmi 16 candidats), les MPRM entraînés sur des sous-ensembles BIS-25% ont obtenu les meilleures performances sur quatre benchmarks (MM-K12, OlympiadBench, MathVerse, MathVista), surpassant à la fois les modèles Random-25% et Full-Data.
Études d'ablation :
- Le retrait de l'un ou l'autre des composants de mélange ou de fiabilité (par exemple, en utilisant uniquement des sous-ensembles "Mixtes" ou uniquement "Fiables") a entraîné une performance inférieure, confirmant que les deux facteurs sont nécessaires.
- La méthode est robuste au paramètre de lissage $\alpha$ , avec $\alpha=0,05$ qui donne les meilleurs résultats.
- L'utilisation d'étiquettes MC "douces" (soft) s'est avérée inférieure aux étiquettes binaires "dures", probablement en raison du bruit dans les estimations MC.

4. Signification et affirmations

Le papier affirme fournir une recette pratique pour réduire le coût de calcul de l'entraînement des MPRM sans sacrifier la performance du modèle.

Intuition théorique : Il établit que l'entraînement des MPRM est principalement limité par le bruit de gradient (causé par le bruit d'étiquetage et le manque de mélange) plutôt que par la rareté des données.
Efficacité : La méthode BIS permet d'entraîner avec seulement 10 % des données originales tout en maintenant la performance des données complètes, économisant ainsi environ 90 % du coût de calcul associé au traitement des données et aux étapes d'entraînement.
Sélection sans coût : Contrairement à l'apprentissage actif ou à d'autres méthodes de sélection de données, le BIS repose entièrement sur les signaux MC existants, n'impliquant aucun coût supplémentaire pour l'inférence de modèle ou l'annotation.
Généralisabilité : L'approche est indépendante du modèle et a démontré son efficacité sur différentes architectures de base (séries InternVL et Qwen).

Les auteurs concluent que les futurs corpus de MPRM devraient être organisés selon ces principes de "mélange et fiabilité" plutôt que par simple augmentation de l'échelle, offrant ainsi un principe centré sur les données pour un raisonnement multimodal efficace.