Résumé Technique : RoCo-ACE

Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) nécessitent des mises à jour pour absorber de nouvelles connaissances factuelles ou spécifiques à un domaine après leur déploiement. Cependant, les stratégies classiques d'injection de connaissances font face à un compromis injection-rétention fondamental :

• Ajustement Direct (SFT/LoRA) : L'optimisation directe sur des réponses faisant autorité améliore la précision des connaissances injectées, mais provoque souvent une dérive significative des comportements non mis à jour (ex. : ancrage visuel, sécurité, raisonnement général) en raison de l'imitation de réponses complètes et du surapprentissage de style.
• Mises à jour Contraintes : Les méthodes qui restreignent l'espace de mise à jour (ex. : variantes de LoRA, contraintes d'espace nul) limitent la dérive mais échouent souvent à localiser la supervision sur des unités factuelles spécifiques, ce qui entraîne une sous-injection des faits cibles.
• Distillation en Ligne : L'entraînement sur des déploiements (rollouts) générés par le modèle plutôt que sur des cibles fixes maintient les mises à jour proches de la politique actuelle. Cependant, la distillation par conditionnement de référence uniforme fournit une supervision grossière. Elle alloue la masse de gradient de manière indistincte aux formulations génériques, aux détails visuels non ciblés et au style de réponse, tout en sous-estimant les jetons (tokens) soutenus par la référence et en ne fournissant qu'une supervision indirecte pour les faits omis de la génération actuelle.

Le défi central est d'obtenir une supervision fine capable de mettre à jour des ancres factuelles spécifiques sans forcer le modèle à cloner l'intégralité de la réponse de référence ou à dégrader ses capacités générales.

Méthodologie : RoCo-ACE

Les auteurs proposent RoCo-ACE, un objectif de distillation en ligne conditionné par le déploiement (rollout), conçu pour injecter un contenu factuel épars tout en préservant la rétention. La méthode opère sur un ensemble de données composé de prompts ($x_i$), d'images ($I_i$) et de réponses de référence faisant autorité ($a_i$). Pour chaque exemple, le modèle étudiant $p_\theta$ génère un déploiement on-policy $y_i$.

L'objectif combine deux composantes complémentaires :

1. RoCo : Distillation en Ligne Contrastive Conditionnée par le Déploiement

RoCo traite le problème de la granularité de la supervision pour les jetons déjà présents dans le déploiement de l'étudiant. Il utilise un modèle enseignant $q_\phi$ (une moyenne mobile exponentielle de l'étudiant) pour évaluer le même préfixe de déploiement sous deux conditions :

• Vue de Base ($q_{base}$) : Prompté avec uniquement l'entrée utilisateur et l'image.
• Vue de Référence ($q_{ref}$) : Prompté avec l'entrée utilisateur, l'image et la réponse de référence faisant autorité.

La méthode calcule un contraste de vraisemblance ($\Delta_{i,t}$) pour chaque jeton $t$ dans le déploiement :
$$\Delta_{i,t} = \log q_{ref}(y_{i,t} | \dots) - \log q_{base}(y_{i,t} | \dots)$$
Les jetons présentant un contraste positif (c'est-à-dire dont la vraisemblance augmente significativement lorsque la référence est disponible) sont identifiés comme soutenus par la référence. RoCo réalloue un poids de distillation supplémentaire à ces jetons, tandis que les jetons génériques ou non soutenus ne reçoivent qu'un signal de distillation de "plancher". Cela garantit que le modèle apprend à aligner des segments factuels spécifiques avec la référence sans imposer une imitation uniforme de tout le style de réponse.

2. ACE : Entropie Croisée Ancrée

RoCo ne peut pas superviser les faits qui sont omis du déploiement de l'étudiant. ACE remédie à cette lacune de couverture en appliant une correction supervisée parcimonieuse aux ancres faisant autorité extraites (ex. : entités, dates, nombres) de la réponse de référence.

• Score de Couverture : Le système calcule un score de couverture $\rho_i(s, y_i)$ pour chaque segment factuel $s$ de la référence par rapport au déploiement de l'étudiant.
• Correction Pondérée : Les segments manquants ou faiblement couverts reçoivent des poids plus élevés. La perte est calculée comme une entropie croisée pondérée sur uniquement les jetons d'ancres de la référence :
  $$L_{ACE} = - \sum_{k \in A_i} u_{i,k} \log p_\theta(a_{i,k} | \dots)$$
  où $u_{i,k}$ est le poids de l'ancre. Cela fournit une supervision directe pour les faits manquants sans traiter la réponse complète comme une cible d'imitation au niveau du jeton.

Objectif Global

La perte finale combine la distillation de déploiement pondérée et la correction d'ancre parcimonieuse :
$$L = \frac{1}{|B|} \sum_{i \in B} (\lambda_{RoCo} L_{RoCo}^{(i)} + \lambda_{ACE} L_{ACE}^{(i)})$$

Contributions Clés

1. Identification de la Granularité de la Supervision : L'article identifie que la distillation en ligne uniforme ne parvient pas à distinguer les jetons factuels soutenus par la référence des formulations génériques, menant à une injection et une rétention sous-optimales.
2. Cadre RoCo-ACE : L'introduction d'un système à double objectif :
   • RoCo : Utilise le contraste de vraisemblance sur le même déploiement pour repondérer les jetons soutenus par la référence, renforçant l'alignement factuel on-policy.
   • ACE : Ajoute une correction d'ancre parcimonieuse pour les faits faisant autorité omis, assurant la couverture sans clonage de la réponse complète.
3. Validation Empirique : Des expériences approfondies à travers trois contextes d'injection de connaissances (EVOKE, VP, Sci) et six benchmarks de rétention démontrent que RoCo-ACE atteint une précision de connaissance injectée supérieure tout en maintenant des niveaux de rétention proches du modèle de base et des bases de distillation en ligne.

Résultats Expérimentaux

Les auteurs ont évalué RoCo-ACE en utilisant Qwen3-VL-8B (et Qwen3-VL-30B dans les annexes) contre des bases incluant SFT, LoRA, KORE, SDFT et diverses méthodes de mise à jour contrainte.

• Précision de l'Injection : RoCo-介ACE a obtenu la précision de connaissance injectée la plus élevée dans tous les contextes. Sur le benchmark EVOKE, il a atteint une précision de 27,6 %, surpassant la forte base contrainte KORE (25,2 %) et l'ajustement direct SFT (20,1 %).
• Rétention : Crucialement, RoCo-ACE a maintenu une Ret. Avg. (moyenne de rétention sur six benchmarks) de 56,5 %, ce qui est nettement supérieur à SFT (31,8 %) et KORE (47,0 %), et comparable au modèle de base (57,2 %) et à la base de distillation en ligne SDFT (55,1 %).
• Études d'Ablation :
  • Le retrait de la pondération contrastive (RoCo) et l'utilisation de poids uniformes ont réduit la précision de l'injection.
  • Le retrait de la correction d'ancre (ACE) a entraîné une précision d'injection plus faible, particulièrement pour les faits omis.
  • L'utilisation de l'entropie croisée de la référence complète (SFT) aux côtés de la distillation a amélioré l'injection de manière moins efficace que l'ACE et a dégradé la rétention plus sévment, confirmant que la correction d'ancre parcimonieuse est supérieure à l'imitation de la réponse complète.
• Analyse Qualitative : Les études de cas ont montré que RoCo met l'accent sur le contenu on-policy utile (ex. : "street art", "Amsterdam") tandis qu'ACE corrige les ancres spécifiques manquantes (ex. : "Musée STRAAT", dates spécifiques) que le déploiement avait initialement omises.

Signification et Revendications

L'article affirme que RoCo-ACE résout efficacement le compromis injection-rétention en déplaçant l'accent de l'apprentissage de comportement vers l'alignement factuel. En découplant la supervision des jetons de déploiement soutenus par la référence de la correction des ancres omises, la méthode injecte un contenu factuel épars sans transformer la réponse de référence complète en une cible d'apprentissage de comportement.

Les auteurs positionnent RoCo-ACE comme une approche complémentaire aux contraintes d'espace de paramètres ; plutôt que de restreindre où le modèle peut changer, elle améliore comment le modèle est supervisé pendant la mise à jour. La méthode est conçue spécifiquement pour les contextes où les mises à jour sont accompagnées de références en langage naturel faisant autorité, ce qui la rend adaptée à l'injection de connaissances (entités, événements et domaines spécifiques) dans les MLLM. L'article note modestement que la rétention est évaluée empiriquement sur des benchmarks non utilisés et ne fournit pas de garanties formelles pour toutes les capacités non mises à jour.