Résumé Technique : Adaptation de Représentation Multi-échelle Guidée par le Texte (FreqAdapter)

1. Énoncé du Problème

Les méthodes existantes de fine-tuning économe en paramètres (PEFT) pour les modèles fondateurs multimodaux (par exemple, CLIP, LLaVA) rencontrent deux limitations principales :

1. Redondance du Domaine Spatial : La plupart des méthodes opèrent directement dans le domaine spatial, où les caractéristiques visuelles contiennent une redondance d'information significative, pouvant entraîner un surapprentissage sous des budgets de fine-tuning limités.
2. Adaptation Uniforme : Les approches actuelles utilisent généralement des prompts fixes ou des couches d'adaptation qui ajustent l'ensemble des caractéristiques de manière uniforme. Elles ne tiennent pas compte des caractéristiques multi-échelles inhérentes des signaux, où différentes bandes de fréquence correspondent à différentes granularités sémantiques (par exemple, structure globale vs détails locaux).

Les auteurs postulent que l'ajustement des informations d'image dans le domaine fréquentiel peut offrir une représentation plus compacte et désintriquée, facilitant une optimisation stable et une meilleure alignement cross-modal.

2. Méthodologie : FreqAdapter

L'article propose FreqAdapter, un cadre qui effectue un fine-tuning multi-échelle guidé par le texte des embeddings visuels dans le domaine fréquentiel. Le flux de travail principal implique :

2.1 Transformation dans le Domaine Fréquentiel

Les embeddings visuels ($E_v$) et les embeddings textuels ($E_t$) sont d'abord extraits par l'encodeur CLIP. Les deux sont transformés du domaine spatial au domaine fréquentiel en utilisant la Transformée en Cosinus Discrète (DCT), produisant des représentations fréquentielles $X_v$ et $X_t$. Les auteurs démontrent empiriquement que l'information sémantique est fortement concentrée dans les composantes de basse fréquence, permettant une adaptation compacte.

2.2 Stratégie d'Adaptation Multi-échelle

Pour capturer des champs récepteurs diversifiés, FreqAdapter emploie une stratégie multi-échelle. La séquence de fréquence visuelle est remodelée et sous-échantillonnée à $N$ échelles différentes. À chaque échelle $n$, deux modules légers opèrent :

• Adaptateur de Fréquence Globale Multi-échelle (MGFA) : Un module de calibration globale qui applique une transformation de goulot d'étranglement légère pour ajuster chaque canal de fréquence globalement. Cela assure une adaptation stable et cohérente à travers les échelles, empêchant un désalignement d'échelle causé par des coefficients de fréquence couplés.
• Adaptateur de Fréquence Cross-Modal Multi-échelle (MCFA) : Un module de raffinement guidé par le texte. Il prédit des paramètres de modulation ($\gamma, \beta$) à partir des embeddings textuels ($X_t$) en utilisant un MLP léger. Ces paramètres sont appliqués aux caractéristiques visuelles via une multiplication et une addition élément par élément ($C_n = \gamma \odot X_{v,n} + \beta$), permettant un alignement cross-modal fin.

2.3 Reconstruction

Les caractéristiques fréquentielles affinées de toutes les échelles sont agrégées (moyennées) et suréchantillonnées pour restaurer les dimensions spatiales originales. Une Transformée en Cosinus Discrète Inverse (IDCT) convertit les caractéristiques fréquentielles adaptées de retour dans le domaine spatial ($\tilde{E}_v$), qui sont ensuite alimentées dans l'encodeur en aval (par exemple, pour LLaVA) ou utilisées pour des tâches de recherche.

2.4 Entraînement

L'adaptateur est optimisé en utilisant la perte de contraste CLIP sur des données image-texte appariées. La méthode est plug-and-play, ne nécessitant aucune modification à l'architecture du modèle de base.

3. Contributions Clés

1. Cadre FreqAdapter : La proposition d'un nouvel adaptateur qui ajuste l'information visuelle dans le domaine fréquentiel conditionné par l'information textuelle, abordant les problèmes de redondance du fine-tuning dans le domaine spatial.
2. Stratégie d'Adaptation Multi-échelle : La conception d'une stratégie qui effectue des ajustements à travers plusieurs échelles de fréquence, intégrant à la fois la calibration globale (MGFA) et le raffinement guidé par le texte (MCFA) pour améliorer la capacité de représentation.
3. Validation Empirique : Des expériences extensives sur des modèles multimodaux (CLIP et LLaVA) démontrant que FreqAdapter améliore significativement les performances et l'efficacité avec une surcharge de paramètres minimale.

4. Résultats Expérimentaux

Les auteurs ont évalué FreqAdapter sur des tâches de recherche image-texte et de Réponse aux Questions Visuelles (VQA).

• Recherche Image-Texte (CLIP) : Sur les ensembles de données COCO 2017 et Flickr30K, FreqAdapter a atteint des performances de pointe parmi les méthodes économes en paramètres. Par exemple, sur CLIP-L/14 pour la recherche texte-vers-image sur COCO, il a amélioré le score R@1 jusqu'à 4,9 % par rapport à des bases de référence comme CoOp et MaPLe. Il a également démontré une généralisation zero-shot supérieure sur Flickr30K.
• Réponse aux Questions Visuelles (LLaVA) : Lorsqu'il est intégré dans LLaVA (versions 7B et 13B), FreqAdapter a surpassé les bases de référence (y compris CLIP-Adapter et les méthodes basées sur des prompts) sur les ensembles de données MM-Vet et LLaVA-Bench. L'analyse qualitative a montré que FreqAdapter pouvait identifier avec précision des valeurs numériques spécifiques et effectuer un raisonnement arithmétique là où d'autres modèles échouaient.
• Efficacité : FreqAdapter introduit environ 476k paramètres (0,11 % du modèle total), ce qui est inférieur à de nombreux adaptateurs existants (par exemple, MaPLe). La surcharge computationnelle (GFLOPs) reste presque identique à la base de référence, car les opérations DCT/IDCT sont négligeables par rapport au modèle de base.
• Convergence : Le modèle converge rapidement, souvent en une seule époque, et présente des courbes d'entraînement plus stables avec moins de surapprentissage par rapport aux adaptateurs du domaine spatial (SpatialAdapter).

5. Signification et Revendications

L'article revendique que FreqAdapter offre une perspective unique pour le fine-tuning économe en paramètres en déplaçant l'espace d'adaptation du domaine spatial redondant vers le domaine fréquentiel structuré.

• Stabilité et Généralisation : Les auteurs attribuent les gains de performance à la nature "désintriquée" des représentations fréquentielles, où les structures de basse et haute fréquence sont séparées et le bruit est réduit. Cela conduit à des mises à jour de paramètres plus propres et à une trajectoire d'optimisation plus fluide, résultant en des capacités de généralisation plus fortes.
• Intégration Multi-échelle : En modélisant explicitement des champs récepteurs multi-échelles dans le domaine fréquentiel, la méthode intègre efficacement des informations fines et grossières sans sacrifier la généralisation, une faiblesse commune des adaptateurs spatiaux traditionnels.
• Limites Modestes : Les auteurs reconnaissent que, bien que les résultats empiriques soient solides, la profondeur théorique concernant l'adaptation dans le domaine fréquentiel nécessite une exploration ultérieure. Ils notent également que les études actuelles sont limitées à des paramètres basés sur CLIP avec des échelles de paramètres relativement petites, suggérant que les travaux futurs devraient investiguer la mise à l'échelle de ces approches vers de plus grands modèles de langage multimodaux.

En conclusion, l'article soutient que l'adaptation dans le domaine fréquentiel offre un biais inductif stable pour l'apprentissage de représentations cross-modal, atteignant des performances d'ajustement supérieures et des vitesses d'adaptation plus rapides par rapport aux alternatives du domaine spatial.