Résumé technique : DV-SFT (Supervision visuelle directe pour la compréhension visuelle fine)

Énoncé du problème

Les modèles de langage multimodaux de grande taille (MLLM) sont généralement entraînés de bout en bout en utilisant un objectif de prédiction du token suivant, où les signaux de supervision sont appliqués exclusivement aux tokens textuels. Par conséquent, les tokens visuels — principaux porteurs d'informations visuelles — ne sont optimisés que de manière implicite dans le cadre du contexte. Ce manque de guidance sémantique directe conduit à une compréhension visuelle grossière, où les détails fins sont souvent négligés ou hallucinés.

Les tentatives existantes pour améliorer la précision visuelle en supervisant les tokens visuels se heurtent à des limitations significatives :

1. Indirectité : Les méthodes reposant sur des signaux de récompense ou un alignement de représentations fournissent une supervision grossière ou bruitée.
2. Inadéquation des objectifs : Des approches comme la prédiction du token visuel suivant ou la reconstruction au niveau des pixels sont souvent en décalage avec l'objectif de la compréhension visuelle.
3. Complexité architecturale : La plupart des méthodes nécessitent des composants supplémentaires (par exemple, décodeurs, tokeniseurs) ou des passes avant supplémentaires, ce qui entrave leur applicabilité pratique et maintient un paradigme d'entraînement unifié.

Il subsiste un besoin ouvert pour une forme de supervision visuelle directe, intuitive et architecturalement simple, qui s'intègre de manière transparente dans l'entraînement standard des MLLM.

Méthodologie : Affinage supervisé par vision directe (DV-SFT)

Les auteurs proposent le DV-SFT, une méthode qui construit une supervision explicite au niveau des tokens pour les tokens visuels en utilisant le même objectif de prédiction du token suivant que pour le texte. L'hypothèse centrale est que les mots décrivant le contenu d'un patch d'image peuvent servir d'étiquettes directes pour les tokens visuels correspondants.

Composants clés

1. Construction des étiquettes visuelles :
   Pour relever le défi de l'étiquetage des tokens visuels, les auteurs exploitent la correspondance directe vision-texte dans les scénarios liés à la reconnaissance optique de caractères (OCR) en utilisant deux pipelines :

   • Image vers Étiquette : Utilise des modèles de détection et de reconnaissance de texte pour extraire les mots et leurs emplacements spatiaux. Les mots sont alignés sur le token visuel correspondant à leur coin inférieur droit.
   • Étiquette vers Image : Utilise des outils de dessin pour rendre des documents issus de jeux de données unimodaux sur une grille de patches d'image vierges, assurant un alignement précis entre les mots et les tokens visuels.
   • Filtrage : Les mots présentant des longueurs de tokenisation excessives ou des hauteurs importantes sont écartés pour garantir la précision de l'annotation.

2. Objectif d'entraînement :
   Le DV-SFT traite le MLLM comme une boîte noire, ne nécessitant aucune modification architecturale. La fonction de perte totale combine la supervision textuelle standard ($L_t$) avec la supervision visuelle directe ($L_v$) :
   $$L = L_t + \lambda L_v$$
   Où $L_v$ est la perte d'entropie croisée calculée sur les tokens visuels en utilisant leurs étiquettes de mots correspondantes. Pour assurer un entraînement parallèle, seul le premier token de l'étiquette visuelle est utilisé pour le calcul de la perte.

3. Lissage visuel :
   Étant donné que les encodeurs visuels possèdent des caractéristiques bidirectionnelles (contrairement à la nature causale du LLM), un seul token visuel peut contenir des informations sémantiques issues des tokens suivants. Pour remédier à cela, les auteurs introduisent le Lissage visuel, inspiré du lissage d'étiquettes. Cela permet à un token visuel d'apprendre sa propre étiquette tout en apprenant également d'autres étiquettes visuelles présentes dans l'image, évitant ainsi une restriction de l'information.

Contributions clés

1. Paradigme d'entraînement novateur : La proposition du DV-SFT, qui permet une supervision directe au niveau des tokens sur les tokens visuels sans modifier l'architecture du modèle ni les passes avant, maintenant un paradigme d'entraînement entièrement unifié et de bout en bout.
2. Pipeline de construction d'étiquettes : La conception d'un pipeline hors ligne exploitant l'OCR et des outils de dessin pour générer une supervision fine au niveau des tokens pour les tokens visuels.
3. Validation empirique : Des expériences extensives démontrant que le DV-SFT améliore significativement les capacités visuelles et surpasse l'affinage supervisé (SFT) standard ainsi que les bases de référence fondées sur les représentations (par exemple, BASIC) sur plusieurs benchmarks.

Résultats expérimentaux

Les auteurs ont évalué le DV-SFT sur trois modèles de base (Qwen3-VL-2B, Qwen3-VL-8B et Qwen3-1.7B) à travers huit benchmarks.

• Performance en domaine : Le DV-SFT a obtenu des avantages constants par rapport au SFT standard sur les tâches de compréhension de documents et de graphiques (DocVQA, InfographicVQA, SQuAD). Notamment, il a surpassé la méthode BASIC, qui a souffert d'une dégradation du modèle sur les plus petits modèles en raison d'une qualité de représentation sous-optimale.
• Généralisation hors domaine : Le DV-SFT a démontré une forte généralisation sur des tâches telles que ChartQA, OCRBench, OCRVQA et TextVQA. Les gains de performance étaient plus prononcés sur les tâches hors domaine (amélioration moyenne de 1,6 %) par rapport aux tâches en domaine (0,74 %), suggérant une amélioration authentique de la compréhension visuelle plutôt qu'un surajustement spécifique à la tâche.
• Alignement multimodal : L'analyse du processus d'entraînement a montré que la supervision visuelle accélère l'apprentissage des caractéristiques visuelles, en particulier dans les premières étapes de l'entraînement et pour les modèles unimodaux apprenant à partir de zéro.
• Reconnaissance de caractères : Le DV-SFT a amélioré la précision de la reconnaissance de caractères sur les tâches de reconnaissance de texte contextuelles et non contextuelles (sémantiquement dénuées de sens), confirmant l'amélioration de la compréhension visuelle fine.
• Capacité visuelle générale : L'évaluation sur le benchmark MME (perception et cognition visuelle générale) a indiqué que la supervision visuelle basée sur le texte ne dégrade pas les capacités visuelles générales ; au contraire, elle améliore légèrement les performances globales, suggérant que les mécanismes appris se généralisent aux scénarios non textuels.

Importance et affirmations

L'article affirme que le DV-SFT offre une solution pratique et efficace au problème de la compréhension visuelle grossière dans les MLLM. En traitant la supervision visuelle comme une tâche standard de prédiction du token suivant, la méthode :

• Élimine la surcharge architecturale : Elle ne nécessite ni décodeurs supplémentaires, ni tokeniseurs, ni passes avant supplémentaires, la rendant facilement applicable à n'importe quel pipeline MLLM existant.
• Améliore la compréhension fine : La supervision directe force le modèle à aligner les tokens visuels avec un contenu sémantique spécifique, réduisant les hallucinations et améliorant la précision.
• Améliore l'efficacité de l'alignement : La méthode atteint une efficacité d'alignement multimodal supérieure par rapport aux méthodes de supervision indirecte.

Les auteurs concluent que, bien que leur implémentation actuelle repose sur des scénarios d'OCR pour la construction d'étiquettes, le principe de la supervision visuelle directe constitue une étape nécessaire vers un entraînement plus robuste des MLLM, des travaux futurs étant prévus pour étendre ces méthodes à des domaines visuels plus larges au-delà du texte.