Fourier-Attentive Representation Learning: A Fourier-Guided Framework for Few-Shot Generalization in Vision-Language Models

Ce papier propose FARL, un cadre novateur qui améliore la généralisation en peu d'exemples des modèles vision-langage en utilisant l'analyse de Fourier pour désenchevêtrer explicitement les structures et les styles visuels via un mécanisme d'attention croisée dual.

L'essentiel

🎨 FARL : Apprendre à une IA à voir l'essentiel, pas juste les détails

Imaginez que vous essayez d'enseigner à un enfant à reconnaître des animaux en lui montrant seulement trois photos de chaque espèce. C'est ce qu'on appelle l'apprentissage "few-shot" (peu d'exemples).

Les modèles d'intelligence artificielle modernes (comme CLIP) sont très forts, mais ils ont un gros défaut : ils sont trop sensibles aux détails superficiels.

🌪️ Le Problème : L'IA est distraite par le décor

Si vous montrez à l'IA trois photos de chats, et que les trois sont sur un tapis vert, l'IA va penser : "Ah ! Un chat, c'est un animal avec du poil ET un tapis vert en dessous."
Si vous lui montrez ensuite un chat sur un tapis rouge, elle sera perdue. Elle a appris la "texture" (le tapis vert) au lieu de la "forme" (le chat).

En langage technique, on dit que l'IA se focalise sur le spectre d'amplitude (les couleurs, les textures, la lumière) et oublie le spectre de phase (la forme, les contours, la structure géométrique). C'est comme si elle lisait un livre en se concentrant uniquement sur la couleur de l'encre, sans lire les mots.

💡 La Solution : FARL (L'Apprentissage par l'Attention Fourier)

Les auteurs de cet article proposent une méthode appelée FARL. Pour faire simple, imaginez que FARL est un chef d'orchestre qui apprend à l'IA à séparer la musique du bruit de fond.

Voici comment cela fonctionne, étape par étape :

1. La "Recette" Magique (La Transformation de Fourier)
Imaginez que chaque photo est un gâteau.

• La forme du gâteau (le dessin du chat, les contours) est la "Phase". C'est ce qui définit ce qu'est l'objet.
• La décoration (la couleur du glaçage, la texture du biscuit) est l'"Amplitude". C'est le style.

Normalement, l'IA mange le gâteau tout entier et ne fait pas la différence. FARL, lui, utilise une technique mathématique (la Transformée de Fourier) pour séparer le gâteau de sa décoration. Il crée deux versions de l'image :

• Une version "fantôme" qui ne garde que les contours (la structure).
• Une version "floue" qui ne garde que les couleurs et textures (le style).

2. Le Duo d'Enquêteurs (L'Attention Double)
FARL envoie deux petits détecteurs (des "tokens") pour analyser ces deux versions séparément :

• Le Détecteur de Structure : Il regarde uniquement la forme. "Tiens, c'est un chat, peu importe la couleur du tapis."
• Le Détecteur de Style : Il regarde la texture. "Ah, ce chat est sur un tapis vert."

Ces deux détecteurs travaillent ensemble pour créer une description très précise, mais sans se mélanger les pinceaux.

3. L'Injection Asymétrique (Le Secret de la Méthode)
C'est ici que ça devient brillant. FARL ne donne pas la même information aux deux parties du cerveau de l'IA :

• Au côté "Texte" (la description) : Il injecte l'information complète (forme + style). Cela permet à l'IA de dire : "C'est un chat, et il est sur un tapis vert." Cela rend la description riche et adaptée à l'image précise.
• Au côté "Image" (la reconnaissance) : Il injecte seulement l'information de base (la forme), en gardant le style de côté. Pourquoi ? Pour forcer l'IA à rester concentrée sur l'essentiel (le chat) et ne pas se laisser distraire par le tapis vert. C'est comme mettre des lunettes de soleil pour ne voir que la silhouette.

🏆 Pourquoi ça marche si bien ?

Grâce à cette méthode, l'IA devient beaucoup plus robuste.

• Si elle voit un chat sur un tapis rouge, elle ne panique pas, car elle a appris que le "tapis vert" n'est pas essentiel pour définir un chat.
• Elle généralise mieux : elle peut reconnaître de nouveaux chats ou de nouveaux objets même avec très peu d'exemples.

Les tests sur 15 jeux de données différents (comme reconnaître des fleurs, des voitures ou des paysages) montrent que FARL bat les méthodes précédentes. Il réussit là où les autres échouent : apprendre la structure profonde d'un objet plutôt que de mémoriser son apparence superficielle.

En résumé

FARL, c'est comme apprendre à un enfant à reconnaître un ami non pas par la couleur de son t-shirt (qui change tous les jours), mais par la forme de son visage. C'est une méthode qui apprend à l'IA à ignorer le bruit pour mieux voir l'essentiel.

Résumé technique

1. Problématique : Le Biais Spectral dans l'Adaptation Few-Shot

Les modèles Vision-Langage (VLM) pré-entraînés à grande échelle, comme CLIP, possèdent d'excellentes capacités de transfert en zero-shot et few-shot. Cependant, les méthodes d'adaptation actuelles (apprentissage par prompt, adaptateurs légers) présentent une fragilité fondamentale dans les régimes à peu de données.

• Le problème de l'entrelacement : Les méthodes existantes apprennent des représentations holistiques où la structure invariante au domaine (géométrie, forme) est implicitement mélangée avec le style spécifique au domaine (texture, couleur, éclairage).
• Le biais spectral : Les réseaux de neurones ont tendance à apprendre des « raccourcis » basés sur les statistiques de surface (amplitude du spectre de Fourier) plutôt que sur la structure sémantique profonde (phase du spectre).
• Conséquence : En few-shot, les modèles s'adaptent trop aux statistiques d'amplitude spécifiques au jeu de données d'entraînement (ex: un fond vert pour tous les chiens), ce qui nuit à la généralisation vers de nouvelles classes ou de nouveaux domaines où ces statistiques changent.

2. Méthodologie : FARL (Fourier-Attentive Representation Learning)

FARL propose un cadre novateur qui intègre directement l'analyse de Fourier dans le processus d'apprentissage des représentations pour désentrelacer explicitement la structure et le style.

A. Décomposition de Fourier et Extraction de Caractéristiques

Le modèle décompose chaque image d'entrée $I$ en deux composantes distinctes via la Transformée de Fourier Rapide (FFT) :

1. Image de Phase ($I_{phase}$) : Conserve le spectre de phase original tout en fixant l'amplitude à 1. Elle capture la structure, les contours et la géométrie (invariants au domaine).
2. Image d'Amplitude ($I_{amp}$) : Conserve le spectre d'amplitude original tout en fixant la phase à zéro. Elle capture le style, la texture et la couleur (spécifiques au domaine).
   Ces deux images sont ensuite traitées par des CNN légers pour extraire des séquences de patch tokens ($F_{phase}$ et $F_{amp}$).

B. Mécanisme d'Attention Croisée Duale (Dual Cross-Attention)

Au lieu de traiter l'image comme un tout, FARL introduit des tokens de représentation apprenables ($R$) qui agissent comme des requêtes. Un module d'attention croisée double permet à ces tokens de sonder séparément les deux flux :

• Un flux s'attarde sur les caractéristiques de phase (structure).
• Un flux s'attarde sur les caractéristiques d'amplitude (style).
  Les résultats sont fusionnés via un MLP et combinés avec les tokens originaux pour créer des tokens enrichis et désentrelacés ($R_{fused}$).

C. Stratégie d'Injection Asymétrique

C'est une contribution architecturale clé. FARL injecte les tokens de manière différente dans les encodeurs du VLM :

• Côté Texte (Encodeur de texte) : On injecte les tokens enrichis ($R_{fused}$). Cela permet au prompt textuel de devenir spécifique à l'instance, intégrant dynamiquement les informations de structure et de style de l'image pour mieux aligner le langage avec la vision.
• Côté Image (Encodeur d'image) : On injecte les tokens originaux ($R$), sans la fusion spécifique. Cela agit comme une régularisation, empêchant l'encodeur d'image puissant de s'adapter excessivement aux statistiques d'amplitude (style) du petit jeu de données, préservant ainsi ses capacités de généralisation pré-entraînées.

D. Stratégie d'Inférence Découplée

• Pour les classes de base (observées) : La prédiction combine les caractéristiques de classe et les caractéristiques de représentation enrichie.
• Pour les classes nouvelles (non observées) : La prédiction repose uniquement sur la caractéristique de classe ($f_v$), qui conserve la robustesse du modèle pré-entraîné, évitant ainsi le surapprentissage aux styles spécifiques.

3. Contributions Clés

1. Reformulation du problème : Identification du « biais spectral » (surapprentissage aux statistiques d'amplitude) comme cause principale de la fragilité des adaptateurs VLM en few-shot.
2. FARL : L'un des premiers cadres d'apprentissage par prompt à intégrer la désentrelacement basé sur Fourier directement dans la boucle d'apprentissage des représentations, plutôt que comme simple augmentation de données.
3. Injection Asymétrique : Une stratégie novatrice qui guide l'adaptation textuelle avec des informations désentrelacées tout en régularisant l'encodeur visuel pour éviter le dérive vers un sous-espace spécifique au domaine.

4. Résultats Expérimentaux

Les auteurs ont évalué FARL sur 15 jeux de données (classification d'images, généralisation de domaine, transfert inter-jeux de données) avec un protocole 16-shot.

• Généralisation Base-vers-Nouveau : FARL surpasse systématiquement les méthodes de l'état de l'art (CoOp, CoCoOp, MaPLe, MMRL, etc.) sur 11 jeux de données standards (ImageNet, OxfordPets, Flowers, etc.).
  • Exemple : Sur ImageNet, FARL atteint un Harmonic Mean (HM) de 81.57% contre 80.65% pour le précédent meilleur (MMRL).
• Généralisation de Domaine : Sur des variantes hors distribution d'ImageNet (Sketch, V2, A, R), FARL démontre une robustesse supérieure, confirmant sa capacité à ignorer les changements de style (amplitude) et à se focaliser sur la structure.
• Analyse Qualitative : Les cartes d'attention montrent que le flux de phase se concentre sur les contours géométriques (oreilles, forme du véhicule), tandis que le flux d'amplitude capture la texture. Cela confirme la désentrelacement effectif.
• Études d'ablation :
  • Retirer le flux de phase fait chuter drastiquement la performance sur les classes nouvelles (-4.44%), prouvant que la structure est cruciale pour la généralisation.
  • L'utilisation de l'injection symétrique (enrichir les deux encodeurs) dégrade les performances, validant l'approche asymétrique.

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'adaptation des VLM :

• Au-delà de l'augmentation de données : Au lieu d'utiliser Fourier uniquement pour générer des données d'entraînement (comme dans les méthodes DG classiques), FARL l'utilise comme un mécanisme structurel interne pour guider l'apprentissage.
• Robustesse intrinsèque : En forçant le modèle à séparer explicitement le « quoi » (forme/phase) du « comment » (style/amplitude), FARL résout le problème de surapprentissage aux biais de domaine, offrant une voie prometteuse pour des modèles VLM plus robustes et généralisables avec très peu de données.

En résumé, FARL démontre que l'intégration de principes fondamentaux de traitement du signal (analyse de Fourier) directement dans l'architecture d'apprentissage profond est une stratégie efficace pour surmonter les limitations actuelles de l'apprentissage few-shot en vision par ordinateur.