💬 NLP

Test-Time Scaling for Small VLMs on Multilingual Visual MCQ

Cet article démontre que pour les petits modèles de vision-langage multilingues, les gains de mise à l'échelle au moment du test sont principalement tirés par l'assurance de la capacité d'analyse des invites et de budgets de décodage suffisants plutôt que par des mécanismes complexes de recherche ou de vérification, le modèle de politique sous-jacent étant le facteur le plus significatif pour atteindre des performances de pointe sur les benchmarks visuels à choix multiples.

Auteurs originaux : Spiros Baxevanakis, Peng-Jian Yang

Publié 2026-07-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Spiros Baxevanakis, Peng-Jian Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle complexe et multilingue où les indices sont cachés à l'intérieur d'images. Vous avez une équipe de petits robots intelligents (appelés Modèles Vision-Langage) pour vous aider. Pendant longtemps, les gens ont pensé que le secret pour résoudre ces puzzles était de construire une machine super complexe capable de vérifier chaque étape du raisonnement du robot, ou de demander au robot de réécrire ses propres réponses jusqu'à ce qu'elles soient parfaites.

Mais cet article, écrit par des chercheurs de l'Université d'Amsterdam pour le concours ImageCLEF 2026, dit : « Holtez-vous ! Le secret n'est pas une machine sophistiquée ; c'est simplement de donner aux robots plus de temps pour finir leurs phrases. »

La grande découverte : Plus de mots, moins de réflexion

Les chercheurs ont testé un ensemble de différentes stratégies sur un ensemble massif de questions d'examen (11 langues différentes, 20 sujets) pour voir ce qui aide réellement ces petits robots à mieux raisonner. Ils ont découvert que la chose la plus importante n'était pas la clarté de la méthode de recherche, mais la durée pendant laquelle le robot est autorisé à parler avant de devoir s'arrêter.

Imaginez cela comme un étudiant passant un examen.

L'ancienne méthode : Vous dites à l'étudiant : « Réfléchis très fort, vérifie ton travail et écris une dissertation parfaite », mais vous ne lui donnez que 1 000 mots pour le faire. Il peut trouver la bonne réponse dans sa tête, mais il manque d'espace avant de pouvoir écrire la lettre finale (A, B, C, D ou E). Son raisonnement est juste, mais il échoue à l'examen parce qu'il n'a jamais pu s'engager sur une réponse.
La nouvelle méthode : Vous dites à l'étudiant : « Écris simplement tes pensées, mais tu peux utiliser jusqu'à 2 048 mots ». Soudain, il a assez de place pour terminer son histoire et réellement écrire la lettre de la réponse.

Les chercheurs ont mesuré cela avec précision. Lorsqu'ils ont doublé la limite de mots de 1 000 à 2 048 jetons (tokens), la précision a bondi de 3,7 points de pourcentage. C'est une victoire énorme ! Mais lorsqu'ils ont essayé d'obtenir plus de réponses en demandant au robot de générer 16 chaînes de pensée différentes au lieu de 8 (doubler le nombre de tentatives), le score n'a augmenté que de 0,15 point de pourcentage. C'est comme demander à un étudiant d'écrire la même dissertation 16 fois au lieu d'une seule ; cela n'aide pas beaucoup si l'étudiant était déjà bloqué par la limite de mots.

Ce qui n'a pas fonctionné (les idées « cool » qui ont échoué)

Les chercheurs ont essayé des astuces très sophistiquées qui semblent fonctionner en théorie, mais les données ont montré le contraire.

Le coach « étape par étape » : Ils ont essayé d'utiliser un modèle de récompense de processus (PRM) spécial pour agir comme un coach, vérifiant chaque étape du raisonnement du robot et le guidant comme une recherche en faisceau (beam search). Ils pensaient que cela serait meilleur que de laisser le robot deviner librement. Résultat : Cela a en fait donné de pires résultats que la méthode simple, faisant chuter le score de 0,39 point de pourcentage tout en coûtant 8,7 fois plus de puissance de calcul. Il s'avère que le coach était confus par les images et ne pouvait pas ramener le robot sur la bonne voie.
Le robot « juge » : Ils ont essayé d'ajouter un second robot pour agir comme un juge, lisant toutes les réponses et choisissant la meilleure. Ils ont testé deux types : un entraîné à être un critique et un autre qui était simplement un modèle génératif intelligent. Résultat : Aucun n'a battu la méthode simple du « vote à la majorité » (choisir la réponse qui apparaît le plus souvent). En fait, avec le robot le plus intelligent, les juges ont en réalité légèrement aggravé les choses. L'article suggère que c'est parce que les juges ne pouvaient pas faire la différence entre une bonne réponse et une mauvaise quand les réponses étaient proches.
L'auto-correction : Ils ont regardé si laisser le robot corriger ses propres erreurs aidait. Résultat : Non. À cette échelle, laisser le robot réécrire ses propres réponses nuisait souvent au résultat.

Le vrai héros : Le robot lui-même

Le plus grand bond ne venait pas d'une nouvelle stratégie du tout, mais du remplacement du robot. Lorsqu'ils sont passés d'un modèle plus ancien (Qwen2.5-VL-7B) à un nouveau modèle plus petit (Qwen3.5-4B), le score a bondi de 11,4 points de pourcentage. Cela suggère que posséder un « cerveau » plus intelligent (le modèle de politique) compte bien plus que d'avoir un processus de réflexion sophistiqué (la méthode de recherche).

L'astuce de « réparation »

Il y avait un petit problème technique : parfois, même avec assez de mots, le robot écrivait une excellente explication mais oubliait d'écrire la lettre finale (A, B, C, etc.). Les chercheurs ont trouvé une astuce simple de « réparation guidée » : si le robot n'écrivait pas de lettre, ils le forçaient simplement à dire « Réponse : [A/B/C/D/E] » pour un seul jeton. Cela a réglé le problème pour les 2,67 % de questions restantes qui échouaient, comblant ainsi l'écart.

Le score final

En combinant le nouveau robot (Qwen3.5-4B), en lui accordant une limite de mots généreuse (2 048 jetons), en demandant 16 tentatives différentes et en utilisant la simple astuce de « réparation », l'équipe a atteint 84,1 % de précision sur le test final. Cela leur a permis de prendre la première place sur le classement.

Ce qu'il faut retenir

La leçon principale est que pour les petits modèles vision-langage, les détails d'ingénierie comptent plus que les algorithmes complexes. Si vous donnez au modèle assez d'espace pour terminer sa pensée (le budget de jetons) et un prompt qui le force à s'engager sur une réponse, vous obtenez de meilleurs résultats qu'en essayant de construire un système complexe pour vérifier son travail. L'article suggère que tant que nous n'avons pas de meilleurs modèles, la meilleure stratégie consiste simplement à laisser le modèle parler plus longtemps et à corriger son formatage, plutôt que d'essayer de le surpasser avec des arbres de recherche ou des juges compliqués.

Résumé technique : Nika à la tâche ImageCLEF 2026 sur le raisonnement multimodal

1. Énoncé du problème

Le papier traite du défi consistant à appliquer la mise à l'échelle au moment de l'inférence (Test-Time Scaling - TTS) à de petits modèles de vision-langage (VLM) à poids ouverts (open-weight) (≤7B de paramètres) sur des questions à choix multiples (QCM) visuelles multilingues. Bien que le TTS se soit avéré efficace pour les grands modèles de langage textuels, son efficacité pour les VLM ouverts sous des contraintes de calcul strictes (un seul GPU A40) reste incertaine. Les auteurs étudient si des techniques d'inférence avancées — telles que la recherche structurée, les modèles de récompense de processus (PRM) et les critiques génératifs — peuvent surpasser les stratégies simples d'échantillonnage parallèle sur le benchmark EXAMS-V, qui couvre 13 langues et 20 matières scolaires.

2. Méthodologie

Les auteurs ont évalué deux politiques à poids ouverts : Qwen2.5-VL-7B-Instruct et le nouveau modèle plus petit, Qwen3.5-4B. Ils ont comparé deux pipelines principaux à travers deux axes de mise à l'échelle (nombre de chaînes parallèles et budget de jetons par chaîne) :

Auto-cohérence simple (Self-Consistency - SC) : Le modèle génère $N$ chaînes de raisonnement indépendantes conditionnées par un prompt de Chaîne de Pensée (Chain-of-Thought - CoT) se terminant par un indice de réponse standardisé (MMMU closer). La réponse finale est déterminée par un vote majoritaire, avec un départage par probabilité logarithmique.
Recherche structurée (Décrire puis Raisonner avec PRM) : Un pipeline où le modèle génère d'abord des descriptions ancrées dans l'image, suivies d'un raisonnement étape par étape guidé par une recherche par faisceau guidée par PRM (PRM-guided beam search - PRM-BAS). Le PRM (Qwen-VL-PRM-7B) évalue les étapes de raisonnement tout en conservant l'accès à l'image originale.
Sélecteurs : Des méthodes de sélection a posteriori ont été testées contre le vote majoritaire, incluant un critique génératif sans entraînement et un PRM discriminatif (évaluation en un seul coup/one-shot).
Interventions d'ingénierie :
- Format de prompt : Passage à un indice de réponse standard pour réduire les échecs d'analyse syntaxique (parsing).
- Réparation guidée : Un mécanisme pour forcer la génération d'une lettre de réponse via des contraintes de guided_choice lorsque les chaînes ne parviennent pas à s'engager sur une réponse.
- Mise à l'échelle (Scaling) : Variation systématique du nombre de chaînes ( $N \in \{8, 16\}$ ) et du budget de jetons (1k vs 2k jetons).

Toutes les expériences ont utilisé vLLM pour le décodage parallèle par lots sur un seul GPU A100-40 GB, respectant les contraintes de la tâche partagée ImageCLEF 2026.

3. Principaux résultats et conclusions

La dominance de l'ingénierie et de la politique sur la recherche

La conclusion la plus significative est que les détails d'ingénierie et le choix de la politique dominent les stratégies de recherche.

Analysabilité (Parseability) : Un format de prompt précoce a causé l'échec de la production d'une lettre de réponse pour environ 9 % des chaînes de raisonnement. Le passage à un indice standard et l'implémentation d'une étape de réparation guidée ont réduit les échecs d'analyse à presque zéro, récupérant ainsi une précision significative.
Budget de jetons vs Nombre de chaînes : Augmenter le budget de jetons par chaîne de 1 000 à 2 048 jetons a généré un gain de +3,7 points de pourcentage (pp). En revanche, doubler le nombre de chaînes de 8 à 16 n'a ajouté que +0,15 pp. Les auteurs concluent que garantir que les chaînes disposent d'un budget suffisant pour terminer le raisonnement est bien plus critique que de sampler davantage de chaînes.
Mise à niveau de la politique : Passer de Qwen2.5-VL-7B à Qwen3.5-4B a entraîné un gain de +11,4 pp, le plus grand facteur unique de l'étude.

Inefficacité de la recherche complexe et des sélecteurs

Recherche structurée : La recherche par faisceau guidée par PRM (PRM-BAS) a sous-performé l'auto-cohérence simple de -0,39 pp tout en coûtant 8,7 fois plus de calcul. L'évaluation par étape du PRM sature rapidement, entraînant une faible diversité dans la recherche par faisceau (71,9 % des questions présentaient des faisceaux s'accordant tous sur la même lettre), rendant la recherche inefficace.
Sélecteurs : Ni le critique génératif sans entraînement ni le PRM discriminatif n'ont surpassé le vote majoritaire simple. Sur les pools de haute performance (Q3.5), les deux sélecteurs ont produit des résultats négatifs ou nuls, corrigeant souvent moins d'erreurs qu'ils n'en introduisaient.

Performance stratifiée

Langues : Les gains de précision liés à l'augmentation du budget de jetons se sont concentrés sur l'anglais (+17,3 pp) et le chinois (+8,5 pp). Les langues présentant un accord élevé entre les chaînes (ex: le chinois, où 22,3 % des questions présentaient un accord unanime de 8/8) ont vu l'auto-cohérence régresser ou stagner car le vote majoritaire amplifie les erreurs partagées plutôt que de corriger les erreurs indépendantes.
Matières : Les matières STEM ont le plus bénéficié du TTS, tandis que les matières riches en texte (ex: Études Islamiques) ont montré peu d'amélioration, suggérant un goulot d'étranglement lié aux connaissances de domaine plutôt qu'à la diversité du raisonnement.

4. Performance finale

La meilleure configuration — Qwen3.5-4B avec Auto-cohérence ( $N=16$ ), un budget de 2 048 jetons et une réparation guidée — a obtenu :

81,64 % sur l'ensemble de validation EXAMS-V.
84,06 % sur le split de test réservé d'ImageCLEF 2026.
Première place sur le classement des QCM visuels, se classant premier sur les six langues de test.

5. Signification et affirmations

Le papier affirme que pour les petits VLM ouverts sous des budgets de calcul contraints :

Le TTS est efficace mais spécifique : Les bénéfices du TTS proviennent principalement de l'autorisation des chaînes à se terminer (augmentation du budget de jetons) et de l'amélioration de la fiabilité de l'extraction (analysabilité), et non d'algorithmes de recherche complexes ou de sélecteurs externes.
Le substrat de la politique est la clé : La mise à niveau du modèle de base produit des gains plus importants que toute stratégie d'inférence.
Limites des PRM : Les PRM actuels entraînés sur les mathématiques ou des domaines spécifiques peuvent mal se généraliser au raisonnement multimodal et multilingue, particulièrement lorsqu'ils ne parviennent pas à distinguer les étapes de raisonnement correctes des incorrectes avec un signal suffisant pour guider la recherche.
L'ingénierie prime l'algorithme : À l'échelle $\le$ 7B, le "substrat d'ingénierie" (formats de prompts, budgets de décodage) et le choix du modèle sont plus impactants que la recherche sophistiquée ou les mécanismes de vérification.

Les auteurs concluent que les travaux futurs devraient se concentrer sur le découplage de la perception et du raisonnement, ainsi que sur l'entraînement de PRM mieux calibrés sur du contenu multilingue et non mathématique, plutôt que de compter sur les méthodes actuelles de mise à l'échelle basées sur la recherche.