Résumé Technique : FRISM

Énoncé du Problème

Les modèles vision-langage (VLM) ont obtenu des succès remarquables dans les tâches de perception, mais manquent souvent des capacités de raisonnement complexe présentes dans les modèles de raisonnement à grande échelle (LRM). Bien que la fusion de modèles offre un moyen efficace en paramètres d'injecter des capacités de raisonnement dans les VLM sans post-entraînement coûteux, les méthodes existantes opèrent au niveau grossier des couches. Ces approches traitent généralement des couches entières comme des unités atomiques, ce qui entraîne un compromis significatif : l'amélioration du raisonnement dégrade souvent les capacités de perception visuelle, et vice versa. Les stratégies actuelles de fusion au niveau des couches (par exemple, FRANK, IP-Merging) peinent à dissocier les représentations de raisonnement et visuelles au sein d'une même couche, résultant en des performances sous-optimales sur les deux fronts.

Méthodologie

Les auteurs proposent FRISM (Injection de raisonnement à granularité fine par fusion de modèles au niveau des sous-espaces), un cadre qui déplace le paradigme de fusion du niveau des couches vers le niveau des sous-espaces.

Hypothèse de Base

FRISM est motivé par l'observation que les capacités de raisonnement et les représentations visuelles résident dans des sous-espaces distincts au sein de l'espace des paramètres, même au sein d'une seule couche. Par conséquent, un coefficient d'échelle uniforme au niveau des couches est insuffisant ; il couple inévitablement le raisonnement bénéfique (qui peut nécessiter une magnitude élevée) avec le bruit visuel.

Cadre Technique

FRISM opère en deux étapes :

1. Décomposition et Initialisation (Étape 1) :

   • Au lieu de traiter le vecteur de tâche du LRM ($\tau_{lrm}$) comme une mise à jour monolithique, FRISM le décompose en sous-espaces orthogonaux en utilisant la Décomposition en Valeurs Singulières (SVD) : $U, S, V^\top = \text{SVD}(\tau_{lrm})$.
   • Les vecteurs singuliers ($U, V$) et les valeurs singulières ($S$) sont figés pour préserver la direction sémantique de la tâche de raisonnement.
   • Un paramètre de commutation (gating) léger et apprenable $g$ est introduit pour chaque sous-espace afin de moduler de manière adaptative l'intensité de l'injection. Les valeurs singulières effectives sont calculées comme suit : $S_{eff} = \text{Sigmoid}(g) \odot S$.
   • La couche fusionnée est formulée comme suit : $\theta_{merged} = \theta_{vlm} + \lambda_{lrm} \cdot U (S_{eff}) V^\top$.

2. Injection et Entraînement (Étape 2) :

   • FRISM emploie une stratégie d'auto-distillation sans étiquettes avec une fonction d'optimisation à double objectif, éliminant ainsi le besoin de jeux de données de raisonnement multimodaux rares.
   • Préservation Visuelle ($L_{distill}$) : Minimise la divergence de Kullback-Leibler (KL) entre les distributions de sortie du VLM original (enseignant) et du modèle fusionné (élève) sur des données de perception visuelle non étiquetées (par exemple, VizWiz). Cela garantit que le modèle fusionné conserve une compréhension visuelle robuste.
   • Maximisation du Raisonnement ($L_{inject}$) : Maximise la magnitude spectrale des sous-espaces injectés ($-\sum \|S_{eff}\|^2$). Ce terme encourage l'absorption des priors de raisonnement définis par les vecteurs de tâche du LRM.
   • Objectif Total : $L = L_{distill} + \alpha \cdot L_{inject}$. Cela agit comme un filtre spectral, découvrant automatiquement les sous-espaces offrant le compromis optimal entre l'injection de raisonnement et la préservation visuelle.

Contributions Clés

1. Paradigme de Fusion au Niveau des Sous-espaces : L'article repense la fusion de modèles en passant d'opérations au niveau des couches à granularité grossière à une modulation au niveau des sous-espaces à granularité fine. Cela permet l'identification et l'intégration précises des composants dominants en raisonnement sans perturber les capacités visuelles.
2. Modulation Adaptative par SVD : FRISM est le premier à proposer la décomposition des vecteurs de tâche des LRM via SVD pour l'injection de raisonnement, permettant un rééquilibrage adaptatif des sous-espaces sous un objectif de préservation visuelle.
3. Auto-distillation Sans Étiquettes : Les auteurs conçoivent une stratégie d'entraînement qui repose sur une optimisation à double objectif (minimisation de la divergence KL et maximisation de la magnitude spectrale) pour réaliser un transfert de raisonnement stable sans nécessiter de jeux de données de raisonnement VL étiquetés.
4. Efficacité Plug-and-Play : La méthode est hautement efficace en paramètres, ne nécessitant que l'entraînement des paramètres de commutation tout en maintenant le modèle de base et les vecteurs singuliers décomposés figés.

Résultats Expérimentaux

Des expériences extensives ont été menées sur diverses échelles de modèles (3B, 7B, 32B) et architectures (Qwen2.5-VL, ThinkLite-VL, InternVL) sur des benchmarks diversifiés.

• Performance de Raisonnement : FRISM surpasse constamment les bases de fusion existantes (Task Arithmetic, Ties-Merging, DARE, IP-Merging) et dépasse souvent significativement le VLM de base. Par exemple, à l'échelle 7B, FRISM a obtenu un score de raisonnement moyen de 49,4, surpassant le VLM de base de 2,0 points et s'approchant des performances de modèles post-entraînés à haut coût comme ThinkLite-VL-7B.
• Préservation Visuelle : Contrairement à d'autres méthodes qui souffrent d'une dégradation des performances dans les tâches de perception visuelle, FRISM préserve largement, voire améliore légèrement, les capacités visuelles. Sur les benchmarks de perception VL, FRISM a montré la plus faible baisse de performance parmi toutes les méthodes.
• Efficacité : FRISM est hautement efficace, ne nécessitant que 0,53M de paramètres entraînables et 0,49 heure de temps d'entraînement sur un seul GPU. Cela est significativement plus efficace que les méthodes de post-entraînement comme DRIFT, qui nécessitent ~7000M de paramètres et ~2 heures, tout en atteignant des performances de raisonnement comparables ou supérieures.
• Études d'Ablation : Les expériences ont confirmé que le processus de décomposition SVD et le terme de perte de maximisation du raisonnement sont tous deux critiques. Le retrait de la SVD (retour à une approche au niveau des couches) ou le retrait de la perte d'injection a entraîné des performances proches du VLM de base, validant la nécessité d'un contrôle fin des sous-espaces et d'une injection active de raisonnement.

Importance et Revendications

L'article revendique que FRISM comble efficacement le fossé entre les LRM puissants et les VLM en résolvant le conflit inhérent entre l'injection de raisonnement et la préservation de la perception visuelle. En traitant l'injection de raisonnement comme un problème de filtrage au niveau des sous-espaces plutôt que comme un équilibrage au niveau des couches, FRISM offre une solution polyvalente et plug-and-play compatible avec diverses architectures VLM.

Les auteurs soulignent que leur approche fournit une alternative efficace aux post-entraînements gourmands en ressources, atteignant des performances de raisonnement de l'état de l'art tout en maintenant une robustesse visuelle sans nécessiter de jeux de données de raisonnement étiquetés coûteux. Le travail suggère que les capacités des modèles ne sont pas uniformément distribuées mais sont encodées de manière distincte au sein de sous-espaces de rang spécifiques, une découverte qui permet une fusion de modèles plus précise et efficace.

Note : L'article reconnaît des limitations, notamment une augmentation du temps d'inférence due à des séquences de sortie plus longues (sur-réflexion) et l'incapacité actuelle à généraliser à travers des modèles de tailles ou de structures différentes. Il note également que l'objectif de raisonnement repose sur un proxy (magnitude du sous-espace) plutôt que sur une supervision directe en raison de la rareté des données.