Résumé technique : Cadre Once-For-All (OFA) pour l'ajustement d'instructions multimodal

1. Énoncé du problème

L'ajustement d'instructions multimodal est devenu le paradigme standard pour adapter les modèles vision-langage (VLM) à des tâches en aval. Cependant, les ensembles de données d'instructions à grande échelle (par exemple, LLaVA-665K, Vision-Flan) sont souvent massifs, redondants et contiennent occasionnellement des échantillons annotés incorrectement. Bien que des méthodes de sélection de données existent pour améliorer l'efficacité de l'entraînement, les approches actuelles souffrent de deux limitations critiques :

1. Coût computationnel : Les méthodes basées sur le gradient nécessitent le calcul du gradient par échantillon sur l'ensemble du pool de candidats, ce qui est prohibitivement coûteux.
2. Manque de réutilisabilité : Les méthodes basées sur le score et pilotées par la complexité sont étroitement couplées au modèle cible spécifique ou à l'ensemble de données utilisé lors de la génération du signal. Par conséquent, chaque fois que l'architecture du modèle cible ou l'ensemble de données candidat change, les critères de sélection doivent être recalculés à partir de zéro, souvent à un coût comparable à l'entraînement lui-même.

Cela crée un goulot d'étranglement où la sélection de données devient impraticable dans des environnements réels dynamiques où les ensembles de données et les modèles changent fréquemment.

2. Méthodologie : Le cadre Once-For-All (OFA)

OFA propose un cadre « entraîner une fois, sélectionner à tout moment » qui découple le processus de sélection de données du VLM cible. L'idée centrale est qu'un sélecteur réutilisable peut être entraîné sur un espace de représentations figé pour identifier des échantillons informatifs en fonction de leur difficulté ou de leur ambiguïté inhérentes, indépendamment du modèle étant affiné.

Le cadre fonctionne en trois étapes principales :

A. Représentation multimodale et clustering

• Encodage figé : Tous les paires image-instruction sont encodées à l'aide d'un modèle CLIP figé (ViT-B/32). L'image et le texte sont encodés séparément puis concaténés pour former un vecteur de caractéristiques multimodal conjoint, qui est ensuite normalisé selon la norme $\ell_2$.
• Clustering : Le clustering K-Means est appliqué à ces caractéristiques figées pour partitionner les données en $K$ clusters sémantiques. Cela révèle la structure sémantique sous-jacente de l'ensemble de données sans impliquer aucun VLM cible.

B. Étiquetage pseudo basé sur les clusters et entraînement du sélecteur

• Construction de l'ensemble de base : Un « ensemble de base » ($D_{core}$) est formé en sélectionnant des échantillons situés dans un rayon spécifique ($\gamma$) de leurs centroïdes de cluster. Ces échantillons se voient attribuer des pseudo-étiquettes correspondant à leurs indices de cluster.
• Sélecteur léger : Un réseau de neurones léger (le sélecteur) est entraîné sur $D_{core}$ pour prédire les pseudo-étiquettes de cluster. Crucialement, ce sélecteur est entraîné pendant seulement quelques époques (par exemple, 3) et est délibérément arrêté prématurément avant la convergence.
• Le signal : Les auteurs émettent l'hypothèse qu'un sélecteur partiellement entraîné deviendra rapidement confiant sur les échantillons « typiques » (redondants/faciles) mais restera incertain sur les échantillons « atypiques » (informatifs/difficiles).

C. Sélection par faible confiance

• Notation : Le sélecteur entraîné est figé et appliqué à l'ensemble de données candidat complet. Pour chaque échantillon, le sélecteur produit un score de confiance défini comme la probabilité de classe maximale ($F(x_i) = \max_c p_{i,c}$).
• Filtrage : Les échantillons avec une faible confiance (en dessous d'un seuil par cluster $\tau_k$) sont conservés comme sous-ensemble informatif, tandis que les échantillons à haute confiance (redondants) sont écartés.
• Transférabilité : Parce que le sélecteur repose uniquement sur la représentation CLIP figée et non sur les gradients ou les paramètres du VLM cible, le même sélecteur figé peut être appliqué à :
  1. Ensembles de données inédits : Des ensembles de données non présents lors de l'entraînement du sélecteur.
  2. Architectures inédites : Des modèles cibles de différentes échelles et architectures.

3. Contributions clés

1. Cadre OFA : Un cadre de sélection de données qui entraîne un sélecteur réutilisable une seule fois sur un espace de représentations figé, éliminant le besoin de recalcul lorsque les ensembles de données ou les modèles cibles changent.
2. Signal transférable : Identification de la faible confiance du sélecteur sur les représentations CLIP figées comme un signal généralisable pour l'informativité des échantillons. Ce signal dépend uniquement de la distribution des données, et non du modèle cible.
3. Validation empirique : Démonstration qu'un seul sous-ensemble sélectionné, dérivé d'un ensemble de données (LLaVA-665K), affine efficacement à la fois l'ensemble de données source et des ensembles de données inédits (Vision-Flan-186K) ainsi que différentes architectures (Qwen2.5-VL-3B, LLaVA-v1.5-7B) sans nouvelle sélection.

4. Résultats expérimentaux

Des expériences ont été menées sur LLaVA-665K et Vision-Flan-186K, en affinant des VLMs sur 15 % des données par rapport à des bases de référence avec données complètes.

• Performance sur l'ensemble de données source (LLaVA-665K) :

  • OFA a atteint 98,3 % de la performance des données complètes sur 10 benchmarks, surpassant des bases de référence de l'état de l'art telles que PreSel, CoIDO et XMAS.
  • Notamment, OFA a surpassé le modèle avec données complètes sur les benchmarks d'hallucinations (POPE : 87,5 contre 86,4), suggérant que les échantillons à faible confiance sélectionnés suppriment efficacement les hallucinations.

• Transfert inter-ensemble de données (Vision-Flan-186K) :

  • Un sélecteur entraîné uniquement sur LLaVA-665K a été appliqué directement à Vision-Flan-186K sans réentraînement.
  • OFA a atteint 110,6 % de performance relative par rapport à l'entraînement avec données complètes sur Vision-Flan, surpassant toutes les bases de référence et le modèle avec données complètes lui-même. Cela indique la présence d'un bruit/redondance significatif dans Vision-Flan que OFA a filtré avec succès.

• Transfert inter-architecture :

  • Un sous-ensemble sélectionné à partir de LLaVA-665K a été utilisé pour affiner Qwen2.5-VL-3B, un modèle structurellement différent.
  • OFA a atteint 102,1 % de performance relative, surpassant à la fois la sélection aléatoire et l'entraînement avec données complètes pour cette architecture.

• Efficacité :

  • OFA a réduit considérablement le coût computationnel total. Alors que l'affinement complet nécessitait 76,0 heures GPU, OFA (incluant la sélection et l'affinement) n'a requis que 20,0 heures GPU.
  • Le processus de sélection lui-même n'a pris que 9,0 heures GPU, nettement plus rapide que des méthodes telles que Self-Filter (73,5 heures GPU) et COINCIDE (55,5 heures GPU).

5. Signification et affirmations

L'article affirme que OFA répond à une limitation pratique fondamentale dans l'ajustement d'instructions multimodal : la non-réutilisabilité des signaux actuels de sélection de données. En découplant le processus de sélection du modèle cible, OFA fournit une solution unique et réutilisable efficace sur divers ensembles de données et architectures de modèles.

Les auteurs soulignent que le signal de « faible confiance » dérivé d'un sélecteur délibérément sous-entraîné sur des caractéristiques CLIP figées se généralise à des distributions de données et des architectures jamais vues lors de l'entraînement. Cette approche « Once-For-All » transforme la sélection de données d'un calcul coûteux, spécifique à chaque tâche, en un investissement ponctuel, permettant un entraînement efficace et robuste des VLMs dans des environnements contraints en ressources ou dynamiques.