Physical Foundation Models: Fixed hardware implementations of large-scale neural networks
Dieser Artikel schlägt „Physikalische Foundation Models" (PFMs) vor, ein Paradigma, bei dem großskalige neuronale Netze direkt als feste Hardware-Implementierungen realisiert werden, die natürliche physikalische Dynamik nutzen, um beispiellose Energieeffizienz, Geschwindigkeit und Parameterdichte für KI-Modelle im Billionen-Bereich zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Vom Schweizer Taschenmesser zum maßgeschneiderten Werkzeug
Stellen Sie sich ein Schweizer Taschenmesser vor. Es ist unglaublich vielseitig; es kann schneiden, schrauben, Flaschen öffnen und sägen. Aber weil es alles tun muss, ist es bei keiner einzelnen Aufgabe absolut das Beste. Es ist auch schwer und nimmt Platz in Ihrer Hosentasche ein.
Aktuelle KI-Modelle (wie die, die ChatGPT oder Gemini antreiben) sind wie dieses Schweizer Taschenmesser. Es sind riesige, universell einsetzbare „Foundation Models", die darauf trainiert wurden, fast alles zu tun. Um sie auszuführen, nutzen wir leistungsstarke, programmierbare Computerchips (GPUs), die wie eine Werkstatt voller Werkzeuge funktionieren. Diese Chips sind flexibel, aber sie sind auch energiehungrig und langsam, weil sie ständig Anweisungen und Daten holen müssen und diese hin und her bewegen, wie ein Koch, der zwischen Kühlschrank und Herd hin und her läuft.
Die Autoren schlagen eine radikale neue Idee vor: Anstatt eine flexible Werkstatt zu bauen, warum nicht für jedes spezifische KI-Modell eine maßgeschneiderte, einzweckbestimmte Maschine bauen?
Sie nennen diese Physical Foundation Models (PFMs).
Die Analogie: Die „eingefrorene" Skulptur
Stellen Sie sich einen herkömmlichen Computerchip als Lehm-Skulptur vor. Sie können ihn formen, umgestalten und jederzeit ändern. Das ist großartig für Flexibilität, aber es kostet Zeit und Mühe, ihn jedes Mal neu zu formen, wenn Sie etwas Neues tun wollen.
Die Autoren schlagen vor, aufhören, Lehm zu verwenden, und stattdessen eingefrorenes Glas zu verwenden.
- Der alte Weg: Wir trainieren ein KI-Modell in Software und versuchen dann, einen Chip zu bauen, der dieses Modell simulieren kann. Der Chip muss so programmiert werden, dass er sich wie das Modell verhält.
- Der neue Weg (PFM): Wir nehmen das fertige, trainierte KI-Modell und meißeln es buchstäblich in die Hardware selbst, noch bevor der Chip hergestellt wird. Das „Gehirn" der KI ist keine Reihe von Anweisungen; es ist die physische Form des Materials.
Sobald der Chip hergestellt ist, ist die KI in die Physik des Geräts „eingehärtet". Sie können das Modell nicht ändern, ohne das Glas zu schmelzen und ein neues herzustellen. Aber da das Modell die Hardware ist, muss es nicht „nachdenken" oder Daten „holen". Es lässt den Input einfach durchfließen, und die Physik des Materials erzeugt natürlich die Antwort.
Wie es funktioniert: Das Lichtrohr
Das Papier verwendet Licht als Hauptbeispiel. Stellen Sie sich ein langes, klares Rohr aus speziellem Glas vor.
- Der Input: Sie werfen ein Muster von Licht auf das eine Ende des Rohrs.
- Das „Gehirn": Im Inneren des Rohrs ist das Glas nicht glatt. Es hat winzige, mikroskopische Erhebungen und Kurven (nanoskalige Strukturen), die exakt so gemeißelt wurden, dass sie einem bestimmten KI-Modell entsprechen.
- Der Prozess: Während das Licht durch das Rohr reist, prallt es ab, biegt sich und interferiert mit sich selbst, basierend auf diesen winzigen Erhebungen. Dies ist kein Computer, der Zahlen berechnet; es ist Licht, das tut, was Licht natürlich tut.
- Der Output: Wenn das Licht das andere Ende erreicht, hat sich das Muster verändert. Dieses neue Muster ist die Antwort auf Ihre Frage.
Da sich das Licht mit Lichtgeschwindigkeit bewegt und die „Berechnung" einfach durch das Reisen des Lichts geschieht, ist dieser Prozess unglaublich schnell und verbraucht im Vergleich zu einem digitalen Computer fast keinen Strom.
Warum dies tun? (Die drei großen Gewinne)
Die Autoren argumentieren, dass wir, wenn wir diese „eingefrorenen" Maschinen bauen können, drei massive Vorteile erhalten:
- Energieeffizienz: Ein digitaler Computer ist wie eine Person, die hin und her zu einer Bibliothek läuft, um ein Buch zu lesen, eine Notiz zu schreiben und zurückzulaufen. Eine PFM ist wie ein Buch, das direkt an der Wand vor Ihnen gedruckt ist. Sie schauen es sich einfach an. Das spart eine enorme Menge an Energie.
- Geschwindigkeit: Da die „Berechnung" nur die physikalische Bewegung von Licht oder Elektronen durch ein Material ist, geschieht sie fast augenblicklich, begrenzt nur durch die Geschwindigkeit des Signals, nicht durch die Geschwindigkeit eines Prozessors.
- Größe und Skalierung: Digitale Computer benötigen viel Platz, um Daten zu speichern und sie zu bewegen. PFMs können eine enorme Menge an „Intelligenz" in einen winzigen Raum packen, da die Daten in der 3D-Struktur des Materials selbst gespeichert sind.
Das „Ewigkeits"-Problem
Es gibt einen Haken, den das Papier offen zugibt. Da diese Maschinen in die Hardware „eingefroren" sind, können sie keine neuen Dinge lernen.
Wenn Sie die KI aktualisieren wollen, damit sie über ein Ereignis Bescheid weiß, das gestern passiert ist, können Sie nicht einfach ein Software-Update herunterladen. Sie müssen das alte Glasrohr wegwerfen und ein brandneues mit dem neuen Design, das hineingemeißelt ist, herstellen.
Die Autoren schlagen vor, dass dies eigentlich in Ordnung ist, weil:
- Foundation Models (wie GPT-5 oder Llama 4) nur etwa einmal im Jahr aktualisiert werden.
- Wir Fabriken bauen könnten, die diese „KI-Rohre" nach einem jährlichen Zeitplan produzieren, genau wie wir neue Telefonmodelle veröffentlichen.
- Für die spezifischen Aufgaben, für die sie gebaut wurden, werden sie unseren heutigen Möglichkeiten weit überlegen sein.
Die Zukunftsvision
Das Papier stellt sich eine Zukunft vor, in der:
- Rechenzentren diese riesigen, feststehenden Hardware-Rohre nutzen, um KI für die ganze Welt auszuführen, und dabei nur einen Bruchteil des aktuellen Stromverbrauchs benötigen.
- Edge-Geräte (wie Ihr Telefon, ein Roboter oder ein Auto) ihre eigenen winzigen, maßgeschneiderten KI-Rohre direkt eingebaut haben könnten, was es ihnen ermöglicht, unglaublich intelligent zu sein, ohne eine Verbindung zum Internet zu benötigen.
- Riesige Modelle: Wir könnten KI-Modelle mit Billionen oder sogar Billiarden von Parametern (Verbindungen) bauen, die derzeit auf digitalen Computern unmöglich auszuführen sind, da sie zu viel Leistung und Speicher benötigen würden.
Zusammenfassung
Das Papier schlägt einen Wechsel von programmierbaren Computern (flexibel, aber ineffizient) zu physischen Maschinen (starr, aber unglaublich effizient) vor. Indem wir die KI direkt in die Physik von Materialien wie Glas oder Silizium meißeln, könnten wir „Physical Foundation Models" schaffen, die schneller, kleiner und energieeffizienter sind als alles, was wir heute haben, und potenziell die Fähigkeit freisetzen, KI-Systeme in einem Maßstab zu bauen, den wir uns derzeit kaum vorstellen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.