Résumé Technique : Construire la Couche Ph(ysique) de l'Intelligence Machine

Énoncé du Problème

Les modèles de fondation actuels atteignent la généralisation principalement par des paradigmes pilotés par l'échelle, s'appuyant sur de vastes quantités de données multimodales appariées et diversifiées pour apprendre des corrélations statistiques. Bien qu'efficaces au sein de leurs distributions d'entraînement, ces modèles font face à des limitations significatives lorsqu'il s'agit de transférer vers des domaines véritablement inédits, particulièrement lorsque les données d'entraînement appariées sont indisponibles. Les auteurs soutiennent que cette dépendance à la corrélation statistique échoue à capturer les lois physiques fondamentales qui régissent les données structurées à travers différentes modalités. Le défi central consiste à développer un modèle de fondation capable de généraliser à travers les domaines (par exemple, des signaux radiofréquences vers l'audio, les images, le texte) sans ajustement fin (fine-tuning) sur le domaine cible, en encodant des principes physiques universels plutôt que des statistiques spécifiques à un domaine.

Méthodologie : PlanFormer

Les auteurs proposent PlanFormer, un modèle de fondation piloté par les principes, conçu pour encoder des principes de la théorie du signal — spécifiquement la décomposition de Fourier, la conservation de l'énergie et la symétrie — plutôt que d'apprendre des corrélations statistiques non ancrées. La méthodologie repose sur l'hypothèse que les domaines diffèrent non pas par leur physique fondamentale, mais par des transformations apprenables du temps, de la fréquence, de l'amplitude ou de la phase.

1. Domaine d'Entraînement et Données

Le modèle est entraîné exclusivement sur des données Radiofréquences (RF). Ce domaine a été sélectionné pour sa diversité de signaux exceptionnelle (contenu fréquentiel de kHz à GHz, dynamiques temporelles complexes et diverses formes de transformations comme les décalages Doppler) et sa distance contextuelle par rapport aux cibles d'évaluation (images, parole, sismologie, texte). Cette configuration sert de test rigoureux de transfert cross-modal, forçant le modèle à apprendre des propriétés de signal générales plutôt que des raccourcis spécifiques aux jeux de données.

2. Architecture Co-conçue (PlanFormer)

L'architecture est co-conçue avec les fonctions de perte pour garantir la cohérence physique. Les composants clés incluent :

• Traitement à Double Domaine : Les signaux sont traités simultanément dans les domaines temporel et fréquentiel. Les entrées réelles sont converties en représentations analytiques à valeurs complexes via la transformation de Hilbert et représentées sous forme de paires en phase/quadrature (I/Q) entrelacées.
• Pooling Préservant la Fréquence : Pour éviter le biais spectral et la perte d'informations de haute fréquence (critiques pour l'apprentissage de l'équivariance de translation de fréquence), le modèle applique un pooling moyen directement sur les spectres à valeurs complexes dans le domaine fréquentiel, plutôt que dans le domaine temporel/spatial.
• Parseval Transformer : Le mécanisme d'attention central est le Multi-Head Parseval Focus.
  • Scaled Covariance Focus : Remplace l'attention standard par produit scalaire par une attention basée sur la covariance pour capturer les relations fonctionnelles (tendances, co-variation) plutôt que la similitude instantanée.
  • Attention Cross-Domaine Bidirectionnelle : Modélise les relations entre les jetons (tokens) temporels et fréquentiels dans les deux sens (Temps $\rightarrow$ Fréquence et Fréquence $\rightarrow$ Temps).
  • Cohérence de Parseval : Impose la conservation de l'énergie entre les domaines en utilisant la distance de Jensen-Shannon (JSD) comme régularisation et mécanisme de porte dynamique. Si une caractéristique du domaine temporel porte attention à une caractéristique fréquentielle, la relation inverse doit être tenue avec une force équivalente.
  • Focus Dynamique : Un mécanisme qui aigucit l'attention de manière adaptative en fonction de la distinction des jetons, inspiré de la charge neurocognitive dans les environnements à faible rapport signal sur bruit (SNR).
• Noise Sink (Puits de Bruit) : Un module explicite qui estime et élimine le bruit non corrélé en utilisant une convolution de type blindspot et des contraintes de décorrélation de Pearson, permettant l'apprentissage dans des régimes de SNR négatif.

3. Fonctions de Perte Co-conçues

Les objectifs d'entraînement sont explicitement conçus pour imposer des symétries physiques :

• IsoFICReg (Isotropic Focal Invariance Covariance Regularization) : Une extension de VICReg qui impose l'invariance à travers de multiples observations bruitées du même émetteur (intégration cohérente) tout en utilisant un repondérage focal pour accentuer les échantillons à faible SNR.
• LED (Latent Equivariant Differences) : Apprend explicitement comment les représentations doivent changer de manière prévisible sous des transformations (décalages de fréquence, décalages temporels, rotations de phase). Le modèle est entraîné pour garantir que l'application d'une transformation à l'entrée produit la même différence latente que l'application d'une transformation correspondante à l'entrée propre.
• Objectifs Complémentaires : Inclut la séparation de sources au niveau des jetons et des pertes de reconstruction à double domaine pour préserver les détails spécifiques aux instances.

Contributions Clés

1. Généralisation Cross-Modale Zero-Shot : Les auteurs démontrent que l'entraînement sur un seul domaine riche en signaux (RF) permet un transfert significatif vers des domaines divers et inédits (audio, images, texte, vidéo) en utilisant des représsentations gelées (sans fine-tuning de l'encodeur).
2. Conception Pilotée par les Principes : Introduction de PlanFormer, qui intègre des principes de la théorie du signal (décomposition de Fourier, théorème de Parseval, symétrie) tant dans l'architecture (pooling préservant la fréquence, traitement à double domaine) que dans les fonctions de perte (IsoFICReg, LED).
3. Établissement de la Frontière Physique-Sémantique : L'évaluation systématique révèle un écart de performance distinct : le modèle atteint une précision élevée sur les tâches ancrées physiquement (84,5 % top-1) mais une précision plus faible sur les tâches sémantiques (70,0 % top-1). Les auteurs posent cela comme une caractéristique, et non un défaut, délimitant la frontière où le traitement du signal physique se termine et l'abstraction sémantique commence.

Résultats

Le modèle a été évalué via un linear probing sur des représentations gelées à travers 15 tâches diverses.

• Performance :
  • Tâches Physiques : A atteint une précision moyenne top-1 de 84,5 % (96,3 % top-3) sur des tâches telles que la reconnaissance de locuteur, la détection d'événements sismiques et la signature RF.
  • Tâches Sémantiques : A atteint une précision moyenne top-1 de 70,0 % sur des tâches telles que la classification de genres musicaux et la reconnaissance de la langue.
  • Global : 77,7 % de précision moyenne top-1 (91,9 % top-3) sur l'ensemble des 15 tâches.
• Efficacité : Avec seulement 1,99 M de paramètres, PlanFormer est 76 fois plus petit que CLIP ViT-B/32 et 11 fois plus petit que DinoV3 ViT-S. Il atteint des performances compétitives sur les tâches physiques (84,5 % contre 87,7 % pour CLIP) avec un coût de calcul nettement inférieur (158 fois moins de FLOPs que CLIP).
• Comparaison avec les Caractéristiques Expertes : Sur les tâches sémantiques comme la reconnaissance de la langue (69,8 %) et le genre musical (64,1 %), PlanFormer égale ou dépasse les performances des caractéristiques conçues par des experts (ex: MFCC), malgré l'absence d'exposition préalable à ces domaines spécifiques.
• Reconstruction Zero-Shot : Malgré un entraînement uniquement sur des données RF 1D, le modèle peut effectuer une reconstruction d'image zero-shot qui préserve la cohérence structurelle et les relations spatiales, confirmant l'apprentissage de caractéristiques physiques transférables.

Signification et Revendications

L'article affirme établir une nouvelle voie, économiquement efficiente, pour les modèles de fondation qui complète l'approche prédominante pilotée par l'échelle. En ancrant les modèles dans les principes de la théorie du signal, les auteurs soutiennent que :

1. Les principes physiques permettent un transfert cross-modal efficace : L'apprentissage des règles de transformation sur un domaine (RF) permet de généraliser à n'importe quel domaine partageant la même structure mathématique, sans nécessole de jeux de données appariés massifs.
2. Une architecture hiérarchique pour l'IA est en train d'émerger : Les résultats suggèrent une division du travail où les "modèles de fondation physiques" fournissent une couche de base capturant la structure causale et les propriétés invariantes au domaine. Le raisonnement sémantique peut ensuite être construit sur cette couche physique.
3. Définir les limites du traitement du signal : La dégradation systématique des performances sur les tâches sémantiques (vs les tâches physiques) valide empiriquement la frontière entre la compréhension physique (capturée par l'apprentissage de la théorie du signal) et la compréhension sémantique (qui nécessite une abstraction supplémentaire).

Les auteurs soulignent que leur objectif n'est pas de surpasser tous les benchmarks existants sur chaque tâche, mais de démontrer que le transfert piloté par la physique est possible et compétitif, offrant une alternative viable aux paradigmes gourmands en données et pilotés par l'échelle.