🤖 machine learning

Physical Foundation Models: Fixed hardware implementations of large-scale neural networks

Ce papier propose les « Modèles de Fondation Physiques » (PFM), un paradigme où de grands réseaux de neurones sont directement réalisés sous forme d'implémentations matérielles fixes exploitant des dynamiques physiques naturelles pour atteindre une efficacité énergétique, une vitesse et une densité de paramètres sans précédent pour des modèles d'IA à l'échelle du trillion.

Auteurs originaux : Logan G Wright, Tianyu Wang, Tatsuhiro Onodera, Peter L. McMahon

Publié 2026-05-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Logan G Wright, Tianyu Wang, Tatsuhiro Onodera, Peter L. McMahon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Du Couteau Suisse à l'Outil Sur Mesure

Imaginez que vous possédez un couteau suisse. Il est incroyablement polyvalent ; il peut couper, visser, ouvrir des bouteilles et scier. Mais parce qu'il doit tout faire, il n'est absolument pas le meilleur pour une tâche unique. Il est aussi lourd et prend de la place dans votre poche.

Les modèles d'IA actuels (comme ceux qui alimentent ChatGPT ou Gemini) sont comme ce couteau suisse. Ce sont d'immenses « Modèles de Fondation » à usage général, entraînés pour faire presque n'importe quoi. Pour les exécuter, nous utilisons des puces informatiques puissantes et programmables (GPU) qui agissent comme un atelier rempli d'outils. Ces puces sont flexibles, mais elles sont aussi gourmandes en énergie et lentes, car elles doivent constamment récupérer des instructions et des données, les faisant aller et venir comme un chef courant entre le réfrigérateur et la cuisinière.

Les auteurs proposent une idée radicalement nouvelle : Au lieu de construire un atelier flexible, pourquoi ne pas construire une machine sur mesure, à usage unique, pour chaque modèle d'IA spécifique ?

Ils appellent cela des Modèles de Fondation Physiques (PFM).

L'Analogie : La Sculpture « Gelée »

Pensez à une puce informatique standard comme à une sculpture en argile. Vous pouvez la modeler, la remodeler et la changer à tout moment. C'est excellent pour la flexibilité, mais cela prend du temps et de l'effort de la remodeler chaque fois que vous voulez faire quelque chose de nouveau.

Les auteurs suggèrent d'arrêter d'utiliser l'argile et de commencer à utiliser du verre gelé.

L'Ancienne Façon : Nous entraînons un modèle d'IA dans un logiciel, puis nous essayons de fabriquer une puce capable de simuler ce modèle. La puce doit être programmée pour agir comme le modèle.
La Nouvelle Façon (PFM) : Nous prenons le modèle d'IA final et entraîné et nous le sculptons littéralement dans le matériel lui-même avant même que la puce ne soit fabriquée. Le « cerveau » de l'IA n'est pas un ensemble d'instructions ; c'est la forme physique du matériau.

Une fois la puce fabriquée, l'IA est « câblée en dur » dans la physique du dispositif. Vous ne pouvez pas changer le modèle sans fondre le verre et en fabriquer un nouveau. Mais parce que le modèle est le matériel, il n'a pas besoin de « réfléchir » ou de « récupérer » des données. Il laisse simplement l'entrée s'écouler, et la physique du matériau produit naturellement la réponse.

Comment Cela Fonctionne : Le Tube Lumineux

Le papier utilise la lumière comme exemple principal. Imaginez un long tube transparent fait d'un verre spécial.

L'Entrée : Vous projetez un motif de lumière dans une extrémité du tube.
Le « Cerveau » : À l'intérieur du tube, le verre n'est pas lisse. Il possède de minuscules bosses et courbes microscopiques (structures à l'échelle nanométrique) qui ont été sculptées exactement pour correspondre à un modèle d'IA spécifique.
Le Processus : Alors que la lumière voyage à travers le tube, elle rebondit, se courbe et interfère avec elle-même en fonction de ces minuscules bosses. Ce n'est pas un ordinateur qui calcule des nombres ; c'est la lumière faisant ce que la lumière fait naturellement.
La Sortie : Lorsque la lumière atteint l'autre extrémité, le motif a changé. Ce nouveau motif est la réponse à votre question.

Parce que la lumière se déplace à la vitesse de la lumière et que le « calcul » se produit simplement par le déplacement de la lumière, ce processus est incroyablement rapide et utilise presque pas d'électricité par rapport à un ordinateur numérique.

Pourquoi Faire Cela ? (Les Trois Grands Gains)

Les auteurs soutiennent que si nous pouvons construire ces machines « gelées », nous obtenons trois avantages massifs :

Efficacité Énergétique : Un ordinateur numérique est comme une personne courant d'avant en arrière vers une bibliothèque pour lire un livre, écrire une note et courir en arrière. Un PFM est comme avoir le livre imprimé directement sur le mur devant vous. Vous le regardez simplement. Cela économise une énorme quantité d'énergie.
Vitesse : Puisque le « calcul » n'est que le mouvement physique de la lumière ou des électrons à travers un matériau, cela se produit presque instantanément, limité uniquement par la vitesse du signal, et non par la vitesse d'un processeur.
Taille et Échelle : Les ordinateurs numériques ont besoin de beaucoup d'espace pour stocker des données et les déplacer. Les PFM peuvent emballer une quantité massive de « puissance cérébrale » dans un tout petit espace car les données sont stockées dans la structure 3D du matériau lui-même.

Le Problème du « Pour Toujours »

Il y a un hic, que le papier admet ouvertement. Parce que ces machines sont « gelées » dans le matériel, elles ne peuvent pas apprendre de nouvelles choses.

Si vous voulez mettre à jour l'IA pour qu'elle connaisse un nouvel événement survenu hier, vous ne pouvez pas simplement télécharger une mise à jour logicielle. Vous devez jeter l'ancien tube en verre et en fabriquer un tout nouveau avec le nouveau design sculpté dedans.

Les auteurs suggèrent que c'est en fait acceptable car :

Les modèles de fondation (comme GPT-5 ou Llama 4) ne sont mis à jour qu'une fois par an environ.
Nous pourrions construire des usines qui produisent ces « tubes d'IA » sur un calendrier annuel, tout comme nous lançons de nouveaux modèles de téléphones.
Pour les tâches spécifiques pour lesquelles ils sont construits, ils seront largement supérieurs à tout ce que nous avons aujourd'hui.

La Vision du Futur

Le papier imagine un avenir où :

Les Centres de Données utilisent ces énormes tubes matériels fixes pour faire fonctionner l'IA pour le monde entier, en utilisant une fraction de l'électricité actuelle.
Les Appareils de Bord (comme votre téléphone, un robot ou une voiture) pourraient avoir leurs propres minuscules tubes d'IA personnalisés intégrés directement, leur permettant d'être incroyablement intelligents sans avoir besoin de se connecter à Internet.
Des Modèles Immenses : Nous pourrions être capables de construire des modèles d'IA avec des billions, voire des quadrillions de paramètres (connexions), ce qui est actuellement impossible à exécuter sur des ordinateurs numériques car cela nécessiterait trop d'énergie et de mémoire.

Résumé

Le papier propose un passage des ordinateurs programmables (flexibles mais inefficaces) aux machines physiques (rigides mais incroyablement efficaces). En sculptant directement l'IA dans la physique de matériaux comme le verre ou le silicium, nous pourrions créer des « Modèles de Fondation Physiques » qui sont plus rapides, plus petits et utilisent moins d'énergie que tout ce que nous avons aujourd'hui, ouvrant potentiellement la voie à la construction de systèmes d'IA d'une échelle que nous pouvons à peine imaginer pour le moment.

1. Énoncé du problème

L'article aborde les coûts croissants en calcul, en énergie et en capital associés à l'entraînement et au déploiement de grands modèles de fondation (foundation models) en IA (par exemple, GPT-4, Gemini, Llama 4).

Crise énergétique et financière : Les charges de travail actuelles des centres de données pour l'IA consomment environ 44 GW d'énergie, avec une projection dépassant 150 GW d'ici 2030, et des coûts en capital dépassant 5 000 milliards de dollars.
Le goulot d'étranglement de Von Neumann : Les architectures numériques traditionnelles séparent la mémoire et le traitement, entraînant des pénalités massives en énergie et en latence dues au déplacement des données (déplacement des poids et des activations).
Limites de l'évolutivité : Le matériel numérique actuel peine à prendre en charge des modèles nettement plus grands que $10^{12}$ paramètres. Un modèle hypothétique de $10^{18}$ paramètres nécessiterait des exaoctets de mémoire et des décennies pour être lu via les bandes passantes mémoire actuelles, rendant l'inférence sur des architectures à mémoire séparée peu pratique.
Contraintes de périphérie : La forte demande énergétique empêche le déploiement de grands modèles de fondation sur des appareils périphériques (robots, capteurs, mobiles) aux ressources énergétiques limitées.

2. Méthodologie et concept central

Les auteurs proposent les Modèles de Fondation Physiques (PFM), une refonte radicale de l'implémentation matérielle de l'IA.

Définition : Les PFM sont des dispositifs matériels fixes et à usage unique où l'architecture du réseau neuronal et ses paramètres sont « câblés en dur » directement dans le substrat physique (par exemple, verre nanostructuré, semi-conducteurs) au moment de la fabrication.
Distinction clé : Contrairement aux puces numériques programmables (GPU) ou même aux ASIC numériques à poids fixes (comme le HC1 de Taalas), les PFM effectuent des calculs en utilisant la dynamique physique naturelle du matériel (par exemple, propagation de la lumière, flux d'électrons) plutôt que de simuler des opérations mathématiques via une logique numérique.
Philosophie : Cette approche fusionne « l'abondance d'espace en bas » de Feynman (fabrication à l'échelle nanométrique) avec « l'abondance d'espace en haut » de Leiserson (élimination des couches d'abstraction). Elle traite le matériel lui-même comme le logiciel, optimisant directement le système physique pour la tâche d'inférence.
Compromis : Les PFM sacrifient la programmabilité (la capacité de mettre à jour les poids après la fabrication) pour obtenir des gains massifs en densité de paramètres, en efficacité énergétique et en vitesse. Ils sont conçus pour être fabriqués selon un rythme d'environ un an, correspondant au cycle de publication des nouveaux modèles de fondation.

3. Contributions clés

Cadre conceptuel : Introduction du paradigme PFM, soutenant que pour les modèles de fondation (qui sont statiques après l'entraînement), le matériel fixe est la solution optimale.
Calculs de l'enveloppe : Les auteurs réalisent une analyse de mise à l'échelle pour un PFM optique spécifique (un milieu en verre nanostructuré 3D) et le comparent aux GPU numériques de pointe (par exemple, classe NVIDIA B200).
Exploration de plateformes : Discussion des réalisations potentielles au-delà de l'optique, incluant la nanoélectronique (réseaux croisés, fils résistifs conçus par inversion, semi-conducteurs) et la mécanique.
Feuille de route de la recherche : Identification des défis critiques nécessaires à la réalisation des PFM, notamment la conception inverse physique à grande échelle, les stratégies d'entraînement pour un matériel fixe et la gestion de la variabilité de fabrication.

4. Résultats et estimations de performance

En utilisant un exemple de PFM optique 3D (verre nanostructuré avec des variations d'indice de réfraction codant les paramètres), les auteurs estiment les performances pour des modèles allant de $10^{12}$ à $10^{18}$ paramètres :

Métrique	PFM Optique ( $10^{12}$ paramètres)	PFM Optique ( $10^{18}$ paramètres)	Référence GPU Numérique ( $10^{12}$ paramètres)
Volume	$\sim (1 \text{ mm})^2 \times 1 \text{ m}$	$\sim (10 \text{ cm})^2 \times 100 \text{ m}$	$\sim (17 \text{ cm})^3$
Énergie/Inférence	$\sim 100 \, \mu\text{J}$	$\sim 10 \text{ mJ}$	$\sim 1 \text{ J}$
Temps/Inférence	$\sim 100 \text{ ns}$	$\sim 10 \, \mu\text{s}$	$\sim 25 \text{ ms}$

Efficacité énergétique : Les PFM offrent une énergie par inférence $10^4$ à $10^8$ fois inférieure à celle du matériel numérique. Même un PFM de $10^{18}$ paramètres consommerait environ 100 fois moins d'énergie qu'un système numérique de $10^{12}$ paramètres.
Vitesse : La latence d'inférence est réduite de $10^3$ à $10^5$ fois (nanosecondes/microsecondes contre millisecondes).
Mise à l'échelle : Contrairement aux systèmes numériques où l'énergie évolue linéairement avec les paramètres ( $E \propto P$ ), l'énergie du PFM optique évolue selon $E \propto P^{1/3}$ en raison de la nature volumétrique 3D de la propagation de la lumière et de la capacité d'augmenter les dimensions d'entrée/sortie sans augmenter le nombre de paramètres.
Faisabilité : Les calculs suggèrent que des modèles de $10^{18}$ paramètres pourraient physiquement tenir dans des volumes gérables (par exemple, un tube de 100 m de long) et être alimentés par des sources d'énergie portables, permettant une IA « à trillion de paramètres » sur des appareils périphériques.

5. Importance et perspectives futures

Permettre des modèles ultra-grands : Les PFM offrent une voie plausible pour construire des systèmes d'IA avec $10^{15}$ à $10^{21}$ paramètres, potentiellement approchant ou dépassant la complexité du cerveau humain ( $10^{14}$ synapses), ce qui est actuellement impossible avec le matériel numérique.
Révolution de l'IA périphérique : En réduisant drastiquement la consommation d'énergie, les PFM pourraient permettre aux modèles de fondation de s'exécuter localement sur des robots, des voitures et des capteurs, éliminant les problèmes de latence et de confidentialité associés à l'inférence dans le cloud.
Nouveau programme de recherche : L'article décrit un défi de recherche massif : la Conception Inverse Physique. Cela implique d'entraîner des réseaux neuronaux directement sur les paramètres physiques du matériel (par exemple, motifs d'indice de réfraction) plutôt que sur des poids abstraits.
Défis identifiés :
- Entraînement : Comment entraîner des systèmes physiques de $10^{18}$ paramètres sans les simuler numériquement (ce qui est trop coûteux). Les solutions proposées incluent les « réseaux de réseaux » (Mélange de PFM) et l'utilisation de modèles « gestionnaires » numériques.
- Variabilité de fabrication : Puisque chaque PFM fabriqué présentera de légères différences physiques, le système doit être robuste aux défauts ou utiliser un réglage post-fabrication (par exemple, de petits compensateurs numériques).
- Non-linéarité : Implémenter les fonctions d'activation non linéaires nécessaires dans des milieux physiques (par exemple, via les effets Kerr optiques) sans dégradation catastrophique du signal.
- Goulots d'étranglement E/S : La vitesse de conversion des entrées numériques en signaux physiques analogiques (et inversement) reste un goulot d'étranglement potentiel.

Conclusion :
L'article soutient que l'ère des modèles de fondation nécessite un passage du matériel programmable à usage général vers un matériel physique fixe et spécialisé. En exploitant la physique naturelle des matériaux (optique, électronique) pour effectuer des calculs, les PFM pourraient surmonter les limites fondamentales du calcul numérique, permettant une nouvelle génération d'IA plus rapide, plus économe en énergie et capable d'échelles auparavant considérées comme impossibles.