Résumé technique : DeltaPrompts – Échapper au piège du zéro-delta dans la distillation multimodale

Énoncé du problème

La distillation de connaissances est devenue un mécanisme pivot pour doter les modèles vision-langage (VLM) compacts de fortes capacités de raisonnement en s'appuyant sur des modèles enseignants plus performants. Cependant, les pratiques actuelles reposent fortement sur des datasets prêts à l'emploi (par exemple, ChartQA, SciVQA) où les prompts sont sélectionnés via des heuristiques simples ou agrégés à partir de pools existants. Les auteurs identifient une inefficacité critique dans cette approche : une part significative de ces prompts sont « zéro-delta ».

Un prompt est défini comme zéro-delta lorsque les modèles enseignant et étudiant induisent exactement la même distribution de réponses pour une entrée donnée. Dans de tels cas, le signal de distillation offre une valeur d'apprentissage minimale car l'étudiant n'est pas exposé à un écart de capacités qu'il doit combler. L'article révèle que jusqu'à 69 % des prompts dans les datasets standards de raisonnement sur graphiques et documents sont effectivement zéro-delta. L'entraînement sur ces prompts provoque une saturation rapide des performances de l'étudiant, indépendamment de l'échelle des données. De plus, filtrer simplement les datasets existants pour ne conserver que les prompts non zéro-delta est sous-optimal, car cela réduit drastiquement la diversité des données d'entraînement (jusqu'à 29,4 %), conduisant à un compromis où la divergence est acquise au détriment de la généralisation.

Méthodologie

Pour remédier au piège du zéro-delta, les auteurs proposent un passage d'une curation passive des données à une synthèse active de prompts guidée par le principe de divergence de réponse ($\Delta$).

1. Définition de la divergence de réponse

Au lieu de mesurer une divergence au niveau des séquences (qui est bruyante et computationnellement intraitable en raison des sorties de longueur variable), les auteurs définissent la divergence de réponse sur l'espace discret des réponses finales.

• Métrique : $\Delta(x) = D_{KL}(P_\theta(\cdot|x) \parallel P_T(\cdot|x))$, où $P_\theta$ et $P_T$ sont les distributions empiriques de réponses de l'étudiant et de l'enseignant, respectivement.
• Estimation : Les distributions sont approximées en échantillonnant $K=16$ trajectoires depuis les deux modèles. Un juge LLM (Qwen3-32B) regroupe les réponses sémantiquement équivalentes pour gérer les variations de surface, permettant un calcul robuste de la divergence même pour des réponses ouvertes.

2. Le pipeline de synthèse DELTAPROMPTS

Les auteurs proposent un pipeline de synthèse en plusieurs étapes qui réutilise les datasets existants comme graines plutôt que comme ressources d'entraînement directes. Le pipeline se compose de trois étapes :

• Étape 1 : Génération guidée par les graines : Les paires image-prompt existantes sont utilisées comme exemples few-shot pour inciter le modèle enseignant à générer de nouveaux problèmes plus difficiles pour de nouvelles images. Cela élargit le pool de candidats.
• Étape 2 : Génération guidée par les compétences : Pour cibler explicitement les modes d'échec de l'étudiant, le pipeline extrait des « compétences » en contrastant les trajectoires de l'enseignant (correctes) avec celles de l'étudiant (incorrectes) pour des prompts à divergence non nulle. Ces compétences (par exemple, « interpoler des échelles logarithmiques ») sont ensuite utilisées pour conditionner le générateur de données, le forçant à créer des prompts qui requièrent ces capacités manquantes spécifiques.
• Étape 3 : Rejet du zéro-delta : Tous les prompts générés sont évalués pour leur divergence de réponse. Les prompts où l'enseignant et l'étudiant s'accordent (zéro-delta) sont rejetés. Seuls les prompts avec une forte cohérence de l'enseignant et une divergence non nulle sont conservés.

Ce processus aboutit à DELTAPROMPTS, un dataset de 200 000 problèmes de raisonnement synthétiques et à haute divergence couvrant le raisonnement sur graphiques/documents et le raisonnement centré sur la perception en haute résolution.

Contributions clés

1. Identification du piège du zéro-delta : L'article démontre empiriquement que les datasets standards de raisonnement multimodal sont dominés par des prompts zéro-delta, qui entraînent une saturation précoce des performances de l'étudiant lors de la distillation.
2. La divergence de réponse comme métrique fondée sur des principes : Les auteurs introduisent la divergence de réponse comme une métrique traitable et critique pour quantifier l'écart de capacités entre enseignant et étudiant, montrant qu'elle est un prédicteur plus fort de la réussite de la distillation que l'échelle brute des données ou la diversité seule.
3. Un pipeline de synthèse en deux étapes : Une méthode novatrice pour générer des données d'entraînement de haute qualité qui cherche activement les modes d'échec de l'étudiant via une génération guidée par les compétences, plutôt que de filtrer passivement les données existantes.
4. Dataset DELTAPROMPTS : Un dataset à grande échelle et diversifié de 200 000 prompts spécifiquement conçus pour maximiser la divergence de réponse, surpassant les mélanges existants tant sur les métriques de divergence que de diversité.

Résultats expérimentaux

Les auteurs évaluent DELTAPROMPTS dans trois configurations distinctes en utilisant les familles de modèles Qwen3-VL et GLM-4 :

• Distillation On-Policy : Lors de la distillation d'un étudiant (Qwen3-VL-8B-Thinking) à partir d'un enseignant (Qwen3-VL-235B-Thinking), DELTAPROMPTS produit jusqu'à 15 % d'amélioration relative sur 10 benchmarks (incluant ChartQA, InfoVQA et RealWorldQA), même lorsque l'étudiant de base est déjà un modèle de raisonnement hautement optimisé.
• Transfert inter-familles : Le dataset se généralise à une famille de modèles différente (GLM-4.1V-9B-Thinking) sans régénérer les données, simplement en re-filtrant pour une divergence non nulle sous la nouvelle paire.
• Affinement hors politique (SFT) : Lorsqu'il est utilisé pour un affinement supervisé standard sur un modèle non dédié au raisonnement (Qwen3-VL-8B-Instruct), DELTAPROMPTS surpasse nettement le SFT sur les mélanges de données existants et montre une meilleure rétention sur des tâches hors domaine (Mathématiques, Logique, STEM) par rapport au SFT standard.
• Études d'ablation :
  • Divergence vs Diversité : En contrôlant la diversité, l'entraînement sur des prompts delta ($\Delta > 0$) continue d'améliorer les performances avec la taille des données, tandis que les prompts zéro-delta ($\Delta = 0$) saturent immédiatement.
  • Filtrage par cohérence : Les prompts où l'enseignant est incohérent (difficiles à résoudre même pour l'enseignant) dégradent les performances, validant la nécessité d'un filtrage basé sur la cohérence dans le pipeline de synthèse.

Importance et affirmations

L'article affirme que le goulot d'étranglement central dans la distillation multimodale n'est pas l'agrégation de plus de prompts ou de trajectoires, mais la construction de prompts où l'enseignant et l'étudiant divergent de manière significative.

En déplaçant l'accent de la quantité de données vers la qualité de la divergence, les auteurs démontrent que la synthèse ciblée de prompts peut produire des gains substantiels avec nettement moins de données par rapport à l'agrégation heuristique de datasets existants. Le travail suggère que la divergence de réponse est une propriété fondamentale pour une mise à l'échelle efficace de la distillation, offrant une voie pour entraîner plus efficacement des modèles compacts capables. Les auteurs positionnent DELTAPROMPTS non pas seulement comme un dataset, mais comme une preuve de concept pour une approche plus fondée sur des principes et centrée sur les données de la distillation, ciblant activement les écarts de capacités spécifiques du modèle étudiant.