The Bioelectrical Information Theory: Investigating the theoretical compression limit of bioelectrical signals under artificial intelligence

Technische Samenvatting: De Bio-elektrische Informatietheorie

Probleemstelling
Bio-elektrische signalen worden steeds vaker verworven op schalen die de bandbreedte-, opslag- en energiebeperkingen van praktische sensoren overstijgen, met name bij hoog-densiteit neurale sondes en corticale micro-elektrode arrays. Huidige compressiestrategieën worden voornamelijk geformuleerd als problemen van golfvormbehoud, beperkt door de entropie van het ruwe signaal zelf. Deze benadering behandelt compressie als een technische handigheid voor datatransport in plaats van een fundamentele vereiste voor het inzetten van fysiologische intelligentie onder beperkte vermogens- en latentiebudgetten. Het artikel betoogt dat het formuleren van compressie uitsluitend rond signaalfiedelheid faalt om de effectieve informatie-inhoud van bio-elektrische data te verklaren, welke wordt bepaald door fysiologische structuur, modelcapaciteit en eisen van downstream-taken.

Methodologie: Een Hiërarchisch Raamwerk op Drie Niveaus
De auteurs stellen een informatie-theoretisch raamwerk voor dat bio-elektrische compressie herdefinieert als een hiërarchisch proces van informatie-reductie, bestaande uit drie progressieve niveaus:

1. Signaalniveau-zuivering (Signal-Level Purification):
   Het ruwe multichannelsignaal ($Z_{raw}$) wordt gemodelleerd als een ruizige superpositie van latente fysiologische bronnen ($Z_{sig}$) en ruis ($N$), uitgedrukt als $Z_{raw} = AZ_{sig} + N$. Het doel in deze fase is niet om de ruwe golfvorm te behouden, maar om te isoleren welke informatie de observatie draagt over de latente bron. De effectieve informatie-inhoud wordt gekwantificeerd met behulp van de Gaussische vector-kanaal wederzijdse informatie, $I(Z_{raw}; Z_{sig})$, die meet welk deel van het signaal informatief is ten opzichte van de totale entropie van de meting.

2. Fysiologisch Niveau-abstractie (Physiological-Level Abstraction):
   Zodra de bron is gezuiverd, wordt de latente bron in kaart gebracht naar een compacte, gestructureerde en gekwantiseerde representatie ($Z_{phys}$) met behulp van parametrische encoders (bijv. vector-gekwantiseerde autoencoders). Deze fase verschuift het doel van golfvormreconstructie naar het behoud van saillante fysiologische dynamiek. Entropiereductie wordt bereikt via twee mechanismen:

   • Dimensiereductie: Het verlagen van de effectieve dimensie $d$ van de representatie.
   • Resolutie-grovere stapeling (Resolution Coarsening): Het vergroten van de kwantisatiestap $\delta$.
     De resulterende entropie wordt benaderd als $H(Q_{\delta}(Z)) \approx h(Z) + d \log_2(1/\delta)$, waarbij de reductie afhangt van het vermogen van de encoder om signaal-niveau redundantie weg te gooien terwijl de fysiologische structuur behouden blijft.

3. Semantisch Niveau-conditionering (Semantic-Level Conditioning):
   De laatste laag brengt de gestructureerde fysiologische representatie in kaart naar een taak-relevante semantische code ($Z_{sem}$). Dit niveau opereert op het uitgangspunt dat niet alle variabiliteit in $Z_{phys}$ noodzakelijk is voor een specifieke downstream-taak $T$ met doelstelling $Y_T$.

   • Taakrelevantie: Het verwijdt "semantische hinderlijke" componenten, en behoudt enkel de wederzijdse informatie $I(Z_{phys}; Y_T)$.
   • Causale Modellering: Het maakt gebruik van causale en contextuele afhankelijkheden binnen de gestructureerde representatie. In tegen tegenstelling tot conventionele marginale codering (bijv. Huffman), die steunt op gedeelde priors, maakt dit niveau gebruik van deep learning-modellen (specifiek large language models of world models, aangeduid als $M_\theta$) om langetermijn-afhankelijkheden te modelleren. Dit maakt het mogelijk om de marginale entropie te reduceren tot conditionele entropie: $H(Z_{sem}) = \sum H_{M_\theta}(n_i | n_{<i})$.

Belangrijkste Bijdragen

• Theoretische Herformulering: Het artikel vestigt een theoretisch raamwerk waarin de compressiegrens van bio-elektrische signalen geen vaste eigenschap van de golfvorm is, maar een model- en taak-geconditioneerde grootheid.
• Hiërarchische Decompositie: Het formaliseert bio-elektrische compressie als een driefasig raamwerk (Signaal $\to$ Fysiologisch $\to$ Semantisch), wat een conceptuele decompositie biedt van de totale entropiereductie (Vergelijking 7).
• Rol van Generatieve Modellen: Het stelt dat large language models en world models de effectieve entropie aanzienlijk kunnen verlagen door gestructureerde fysiologische componenten te voorspellen op basis van causale-semantische context, waardoor de transmissie van marginale data wordt vervangen door de transmissie van de residuele informatie die nodig is voor taak-niveau interpretatie.

Resultaten en Claims
Het artikel presenteert geen specifieke experimentele datasets of empirische prestatie-indicatoren (zoals specifieke compressieratio's of reconstructiefout-percentages). In plaats daarvan zijn de "resultaten" theoretisch en conceptueel:

• De afleiding van de wederzijdse informatie-grens voor signaalniveau-zuivering.
• De formulering van de entropiereductie-vergelijkingen voor fysiologische abstractie en semantische conditionering.
• De conceptuele demonstratie dat extreme entropiereductie mogelijk is als het systeem prioriteit geeft aan taak-relevante informatie en causale voorspelbaarheid boven ruwe golfvormfidelity.

Betekenis
De auteurs beweren dat dit perspectief het paradigma van bio-elektrische compressie fundamenteel verschuift van "signaalbehoud" naar "semantische codering". Door expressieve modellen te integreren met bio-elektronische systemen, hoeft het systeem niet het volledige signaal te verzenden, maar enkel de residuele informatie die nodig is om een gedeelde structuur bij te werken richting de juiste taak-niveau interpretatie. Deze benadering suggereert dat naarmiddelen meer geïntegreerd raken met bio-elektronische systemen, compressie een aanzienlijk lagere entropie kan bereiken terwijl de hoog-niveau informatie behouden blijft die noodzakelijk is voor neurale communicatieprothesen, gezondheidsmonitoring en closed-loop controle. Het raamwerk biedt een theoretische basis voor het overstijgen van de beperkingen van ruwe signaalentropie in het ontwerp van toekomstige fysiologische intelligentiesystemen.