🤖 machine learning

Building The Ph(ysical)AI Layer Of Machine Intelligence

Dit artikel stelt een op principes gebaseerd fundamenteel model voor dat uitsluitend is getraind op radiofrequentiegegevens met behulp van signaaltheoretische principes, wat effectieve zero-shot cross-modale transfer bereikt naar diverse domeinen zoals audio, afbeeldingen en tekst zonder fijnafstemming, waarmee wordt aangetoond dat het coderen van natuurkundige wetten efficiënte generalisatie mogelijk maakt terwijl er een onderscheid wordt gemaakt tussen fysiek en semantisch begrip.

Oorspronkelijke auteurs: Ulbert Jose Botero, Liam Smith, Brooks Olney, Pooya Khorrami, Steven Kusiak, Watson Jia, Sage Trudeau, Daniel Capecci

Gepubliceerd 2026-06-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ulbert Jose Botero, Liam Smith, Brooks Olney, Pooya Khorrami, Steven Kusiak, Watson Jia, Sage Trudeau, Daniel Capecci

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij de wereld moet begrijpen.

De meeste moderne AI-robots leren door voorbeelden te memoriseren. Je laat ze miljoenen foto's van katten, honden en auto's zien, en ze leren deze te herkennen door statistische patronen te spotten. Als je ze dan een foto van een "kat" laten zien die ze nog nooit eerder hebben gezien, kunnen ze in de war raken omdat het patroon niet perfect overeenkomt met hun geheugen. Ze zijn geweldig in het herkennen van wat ze al hebben gezien, maar slecht in het begrijpen van de regels van hoe dingen werken.

De onderzoekers in dit artikel (van MIT Lincoln Laboratory) probeerden een andere aanpak. In plaats van voorbeelden te memoriseren, leerden ze hun robot de fundamentele natuurwetten die alle signalen beheersen.

Hier is de eenvoudige uitleg van wat ze deden en wat ze vonden:

1. Het idee van de "Universele Vertaler"

Beschouw alle data in de wereld — muziek, spraak, afbeeldingen, radiogolven, aardbevingen — als verschillende soorten muziek.

Spraak is een lied dat wordt gezongen door een mens.
Radiogolven zijn een lied dat wordt gespeerd door een machine.
Aardbevingen zijn een lied dat wordt gespeeld door de grond.

Hoewel deze "liederen" er anders uitzien, volgen ze allemaal dezelfde wiskundige regels van de natuurkunde. Ze hebben allemaal ritme (tijd), toonhoogte (frequentie) en volume (energie).

De onderzoekers stelden de hypothese dat als ze een AI zouden leren deze universele muzikale regels te begrijpen, het er niet toe zou doen welk instrument het lied speelt. De AI zou in staat moeten zijn om de "muziek" van een radiogolf te begrijpen en die kennis te gebruiken om de "muziek" van een menselijke stem of een afbeelding te begrijpen, zonder dat er ooit een afbeelding of een stem aan de AI is getoond.

2. De Training: Leren van "Radiostoring"

Om dit te testen, lieten ze de AI geen foto's van katten of boeken zien. Ze trainden het uitsluitend op Radio Frequentie (RF) data.

Waarom Radio? Radiosignalen zijn ongelooflijk complex. Ze kaatsen tegen gebouwen aan, veranderen van snelheid en worden ruisachtig. Het is also�lijk een muzikant trainen door hem urenlang naar een chaotische, ruisende radiozender te laten luisteren. Als hij de melodie uit die chaos kan filteren, is hij een zeer goede muzikant.
Het Resultaat: De AI leerde deze radiosignalen af te breken tot hun basisbouwstenen (frequentie, tijd, energie) met behulp van strikte wiskundige regels (zoals de Fourier-transformatie, wat gewoon een chique manier is om te zeggen: "een complexe klank afbreken in eenvoudige noten").

3. De Magische Truc: Zero-Shot Transfer

Zodra de AI getraind was op radiogolven, bevroren de onderzoekers het brein. Ze lieten het niets nieuws leren. Vervolgens vroegen ze de AI om taken uit te voeren die de AI nog nooit eerder had gezien:

Sprekers herkennen (Is dit een mannen- of vrouwenstem?).
Muziekinstrumenten identificeren (Is dit een gitaar of een piano?).
Afbeeldingen classificeren (Is dit een kat of een hond?).
Aardbevingen detecteren (Is dit een tremor of een passerende vrachtwagen?).

De Verrassing: Ondanks dat de AI tijdens de training nooit een afbeelding of een menselijke stem heeft gezien, presteerde het verrassend goed:

Het was uitstekend in taken gebaseerd op fysieke structuur (zoals het herkennen van een specifieke radiozender of een specifieke aardbeving). Het behaalde een nauwkeurigheid van ongeveer 84,5%.
Het was goed, maar niet perfect, in taken gebaseerd op menselijke betekenis (zoals het raden van het genre van een lied of het onderwerp van een tekst). Het behaalde een nauwkeurigheid van ongeveer 70%.

4. De Grote Ontdekking: De Grens tussen "Fysiek" en "Betekenis"

Het artikel maakt een cruciaal punt over waarom de AI op sommige zaken goed presteerde en op andere niet.

Fysieke Taken (Het "Hoe"): De AI leerde de natuurkunde van het signaal. Het weet dat een specifiek type aardbeving een specifiek trillingspatroon creëert, net zoals een specifieke radio een specifiek signaalpatroon creëert. Omdat de natuurwetten overal hetzelfde zijn, kon de AI deze kennis perfect overdragen.
Semantische Taken (Het "Wat"): De AI had moeite met zaken die menselijke context vereisen. Bijvoorbeeld, weten dat een lied "Jazz" is, gaat niet alleen over de geluidsgolven; het gaat over menselijke cultuur en geschiedenis. De AI leerde de vorm van het geluid, maar niet het verhaal erachter.

De Analogie:
Stel je voor dat de AI een meester-architect is.

Als je het een blauwdruk van een huis laat zien (Radio data), leert het de regels van zwaartekracht, balken en fundamenten.
Als je het vervolgens een blauwdruk van een brug (Aardbeving data) of een dam (Seismologie) laat zien, kan het direct begrijpen hoe het gebouwd moet worden, omdat de natuurkunde hetzelfde is.
Echter, als je het vraagt om een huis te ontwerpen dat "Victoriaans" of "Modern" oogt, kan het moeite hebben. Het weet hoe het de structuur moet bouwen, maar het begrijpt niet de stijl of de culturele betekenis van die woorden.

5. Waarom dit ertoe doet

De onderzoekers bouwden een nieuw type AI genaamd PlanFormer.

Efficiëntie: Het is klein vergeleken met andere beroemde AI-modellen (zoals CLIP). Het heeft 76 keer minder parameters (hersencellen), maar presteert net zo goed op fysieke taken.
De "Fysieke Laag": Ze stellen voor dat we AI in lagen moeten opbouwen. Bouw eerst een "Fysieke Laag" die de wetten van het universum begrijpt (energie, symmetrie, golven). Bouw daarna een "Semantische Laag" bovenop om de menselijke betekenis te begrijpen.

Samenvatting

Het artikel beweert dat je een AI niet miljoenen foto's hoeft te tonen om hem te leren hoe hij moet kijken. Als je de AI de wiskundige wetten van hoe signalen werken leert (met behulp van radiogolven als trainingsgrond), kan het vanzelf de fysieke structuur van afbeeldingen, geluiden en trillingen begrijpen.

Het is alsof je iemand leert zwemmen door hem te laten oefenen in een zwembad met specifieke stromingen. Zodra hij de fysica van water beheerst, kan hij zwemmen in de oceaan, een meer of een rivier, zelfs als hij die watermassa's nog nooit eerder heeft gezien. Hij heeft alleen een beetje extra hulp nodig om de "cultuur" van de oceaan te leren (de semantiek), maar het zwemmen (de fysica) komt vanzelf.

Technische Samenvatting: Het bouwen van de Fysieke (Ph) AI-laag van Machine Intelligentie

Probleemstelling

Huidige fundamentenmodellen bereiken generalisatie primair via schaalgedreven paradigma's, waarbij ze vertrouwen op enorme hoeveelheden diverse, gepaarde multi-modale trainingsdata om statistische correlaties te leren. Hoewel deze modellen effectief zijn binnen hun trainingsdistributies, kampen ze met significante beperkingen bij het overdragen naar werkelijk ongeziene domeinen, met name wanneer gepaarde trainingsdata niet beschikbaar is. De auteurs stellen dat deze afhankelijkheid van statistische correlatie faalt in het vastleggen van de fundamentele natuurkundige wetten die gestructureerde data over verschillende modaliteiten heen beheersen. De kernuitdaging is het ontwikkelen van een fundamentenmodel dat kan generaliseren over domeinen (bijv. van radiofrequente signalen naar audio, afbeeldingen en tekst) zonder fine-tuning op het doeldomein, door universele fysische principes te coderen in plaats van domeinspecifieke statistiek.

Methodologie: PlanFormer

De auteurs stellen PlanFormer voor, een op principes gebaseerd fundamentenmodel ontworpen om signaaltheoretische principes te coderen — specifiek Fourier-decompositie, energiebehoud en symmetrie — in plaats van het leren van ongetemde statistische correlaties. De methodologie is gebouwd op de hypothese dat domeinen niet verschillen in fundamentele fysica, maar in leerbare transformaties van tijd, frequentie, amplitude of fase.

1. Trainingsdomein en Data

Het model wordt exclusief getraind op Radiofrequentie (RF) data. Dit domein werd gekozen vanwege de uitzonderlijke signaaldiversiteit (frequentiegehalte van kHz tot GHz, complexe temporele dynamiek en diverse transformatietypes zoals Doppler-verschuivingen) en de contextuele afstand tot de evaluatietargets (afbeeldingen, spraak, seismologie, tekst). Deze opzet dient als een strenge test voor cross-modale transfer, waarbij het model wordt gedwongen algemene signaal eigenschappen te leren in plaats van dataset-specifieke shortcuts.

2. Co-ontworpen Architectuur (PlanFormer)

De architectuur is co-ontworpen met verliesfuncties om fysische consistentie te waarborgen. Belangrijke componenten zijn:

Dual-Domain Verwerking: Signalen worden gelijktijdig verwerkt in zowel het tijdsdomein als het frequentiedomein. Real-waardige inputs worden via Hilbert-transformatie omgezet in complexe-waardige analytische representaties en gerepresenteerd als geïnterleaved In-phase/Quadrature (IQ) paren.
Frequentie-behoudende Pooling: Om spectrale bias en het verlies van hoogfrequente informatie te voorkomen (wat cruciaal is voor het leren van frequentie-translatie-equivariantie), past het model gemiddelde pooling direct toe op complexe-waardige spectra in het frequentiedomein, in plaats van in het tijd-/ruimtelijke domein.
Parseval Transformer: Het kernmechanisme van de aandacht is de Multi-Head Parseval Focus.
- Geschaalde Covariantie Focus: Vervangt standaard dot-product aandacht door covariantie-gebaseerde aandacht om functionele relaties (trends, co-variatie) te vangen in plaats van instantane gelijkenis.
- Bidirectionele Cross-Domain Aandacht: Modelleert relaties tussen tijd- en frequentietokens in beide richtingen (Tijd $\rightarrow$ Frequentie en Frequentie $\rightarrow$ Tijd).
- Parseval Consistentie: Dwingt energiebehoud tussen domeinen af met behulp van de Jensen-Shannon Afstand (JSD) als regularisatieverlies en dynamisch gating-mechanisme. Als een feature in het tijdsdomein aandacht schenkt aan een feature in het frequentiedomein, moet de omgekeerde relatie met evenveel kracht standhouden.
- Dynamische Focus: Een mechanisme dat de aandacht adaptief verscherpt op basis van de onderscheidbaarheid van tokens, geïnspireerd door neurocognitieve belasting in omgevingen met een lage SNR (signaal-ruisverhouding).
Noise Sink: Een expliciet module die ongecorreleerde ruis schat en verwijdert met behulp van een blindspot-convolutie en Pearson-decorrelatie-beperkingen, wat leren in negatieve SNR-regimes mogelijk maakt.

3. Co-ontworpen Verliesfuncties

De trainingsdoelstellingen zijn expliciet ontworpen om fysische symmetrieën af te dwingen:

IsoFICReg (Isotropic Focal Invariance Covariance Regularization): Een uitbreiding van VICReg die invariantie afdwingt over meerdere ruizige observaties van dezelfde emitter (coherente integratie), terwijl het gebruik maakt van focal reweighting om de nadruk te leggen op lage-SNR samples.
LED (Latent Equivariant Differences): Leert expliciet hoe representaties voorspelbaar moeten veranderen onder transformaties (frequentieverschuivingen, tijdsverschuivingen, fase-rotaties). Het model wordt getraind om te garanderen dat het toepassen van een transformatie op de input leidt tot dezelfde latente verschil als het toepassen van een corresponderende latente transformatie op de schone input.
Complementaire Doelstellingen: Omvat token-niveau bron-scheiding en dual-domain reconstructieverlies om instantie-specifieke details te behouden.

Belangrijkste Bijdragen

Zero-Shot Cross-Modal Generalisatie: De auteurs demonstreren dat training op één enkel, signaalrijk domein (RF) betekenisvolle transfer mogelijk maakt naar diverse, ongeziene domeinen (audio, afbeeldingen, tekst, video) met behulp van frozen representaties (geen encoder fine-tuning).
Op Principes Gebaseerd Ontwerp: Introductie van PlanFormer, dat signaaltheoretische principes (Fourier-decompositie, Parseval's stelling, symmetrie) integreert in zowel de architectuur (frequentie-behoudende pooling, dual-domain verwerking) als de verliesfuncties (IsoFICReg, LED).
Het Vaststellen van de Fysisch-Semantische Grens: Systematische evaluatie onthult een duidelijke prestatiekloof: het model behaalt een hoge nauwkeurigheid op fysisch-gegronde taken (84,5% top-1) maar een lagere nauwkeurigheid op semantische taken (70,0% top-1). De auteurs stellen dat dit een kenmerk is, geen fout, wat de grens markeert waar fysische signaalverwerking eindigt en semantische abstractie begint.

Resultaten

Het model werd geëvalueerd via lineaire probing op frozen representaties over 15 diverse taken.

Prestaties:
- Fysische Taken: Behaalde een gemiddelde 84,5% top-1 nauwkeurigheid (96,3% top-3) op taken zoals spraakherkenning, seismische gebeurtenisdetectie en RF-fingerprinting.
- Semantische Taken: Behaalde een gemiddelde 70,0% top-1 nauwkeurigheid op taken zoals muziekgenreclassificatie en taalherkenning.
- Totaal: 77,7% gemiddelde top-1 nauwkeurigheid (91,9% top-3) over alle 15 taken.
Efficiëntie: Met slechts 1,99M parameters is PlanFormer 76× kleiner dan CLIP ViT-B/32 en 11× kleiner dan DinoV3 ViT-S. Het behaalt concurrerende prestaties op fysische taken (84,5% vs. 87,7% voor CLIP) met aanzienlijk lagere computationele kosten (158× minder FLOPs dan CLIP).
Vergelijking met Expert Features: Op semantische taken zoals taalherkenning (69,8%) en muziekgenre (64,1%) evenaart of overtreft PlanFormer de prestaties van door experts vervaardigde features (bijv. MFCC's), ondanks het feit dat het geen eerdere blootstelling had aan deze specifieke domeinen.
Zero-Shot Reconstructie: Ondanks dat het alleen op 1D RF-data is getraind, kan het model zero-shot beeldreconstructie uitvoeren die structurele coherentie en ruimtelijke relaties behoudt, wat bevestigt dat het overdraagbare fysische kenmerken heeft geleerd.

Betekenis en Claims

Het artikel beweert een nieuwe, hulpbron-efficiënte route voor fundamentenmodellen te hebben gevestigd die de heersende schaalgedreven aanpak aanvult. Door modellen te funderen in signaaltheoretische principes, stellen de auteurs:

Fysische principes maken efficiënte cross-modale transfer mogelijk: Het leren van transformatieregels op één domein (RF) maakt generalisatie mogelijk naar elk domein dat dezelfde wiskundige structuur deelt, zonder de noodzaak voor enorme gepaarde datasets.
Er ontstaat een hiërarchische architectuur voor AI: De resultaten suggereren een taakverdeling waarbij "fysische fundamentenmodellen" een basislaag bieden die causale structuren en domein-invariante eigenschappen vastlegt. Semantisch redeneren kan vervolgens worden gebouwd op deze fysische laag.
Het definiëren van de grenzen van signaalverwerking: De systematische degradatie in prestaties op semantische taken (vs. fysische taken) valideert empirisch de grens tussen fysisch begrip (gevangen door signaaltheoretisch leren) en semantisch begrip (dat verdere abstractie vereist).

De auteurs benadrukken dat hun doel niet is om alle bestaande benchmarks op elke taak te overtreffen, maar om aan te tonen dat physics-driven transfer mogelijk en concurrerend is, wat een levensvatbaar alternatief biedt voor de data-hongerige, schaalgedreven paradigma's.