💻 computer science

Predicting Functions, Not Features: KANs with Function-Space Joint-Embedding Predictive Learning for Medical Image Segmentation

Dit artikel introduceert Function-Space Joint-Embedding Predictive Learning (FS-JEPA), een nieuw raamwerk dat Kolmogorov–Arnold-netwerken (KANs) voor medische beeldsegmentatie verbetert door op een gemaskeerde zelfgesuperviseerde wijze gestructureerde multi-radius signaturen van individuele randfuncties te voorspellen, waarmee het een state-of-the-art prestatie bereikt over vijf benchmarks.

Oorspronkelijke auteurs: Yungeng Liu, Xuanzi Fang, Yuge Zhang, Shuqi Ren, Haijin Zeng, Yongyong Chen

Gepubliceerd 2026-08-13

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yungeng Liu, Xuanzi Fang, Yuge Zhang, Shuqi Ren, Haijin Zeng, Yongyong Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om een afbeelding van een hart te schilderen op basis van een röntgenfoto. Dit is de wereld van medische beeldsegmentatie, een tak van kunstmatige intelligentie waarbij computers leren om nauwkeurige contouren te tekenen rond organen, tumoren of weefsels in medische scans. Het is een lastige klus omdat medische beelden vaak wazig zijn, de grenzen tussen gezond en ziek weefsel vaag zijn, en de robot ongelooflijk nauwkeurig moet zijn om artsen te kunnen helpen.

Om dit te doen, gebruikt moderne AI "neurale netwerken", die lijken op gigantische webben van wiskundige verbindingen. Lange tijd gebruikten deze netwerken vaste regels (zoals een lichtschakelaar die altijd aan of uit staat) om informatie te verwerken. Maar een nieuwere, flitsende soort netwerk genaamd een Kolmogorov–Arnold Network (KAN) is gearriveerd. In plaats van vaste regels, gebruikt een KAN "leerbare functies" op elke individuele verbinding. Denk hierover als volgt: in een normaal netwerk is elke draad een stijve buis. In een KAN is elke draad een rekbare, vormveranderende rubberband die het netwerk kan afstemmen om golvend, recht of gebogen te zijn, afhankelijk van wat het nodig heeft. De grote vraag die onderzoekers stellen is: Hoe leren we deze rubberbanden om op de perfecte manier te rekken?

Hier komt een nieuwe studie aan de orde. De onderzoekers ontdekten dat hoewel KANs krachtig zijn, de standaard manier van trainen een beetje lijkt op het beoordelen van een muzikant enkel op de uiteindelijke klank van het hele orkest, zonder ooit naar de individuele violisten te luisteren. Ze realiseerden zich dat de "rubberbanden" (de functies) niet genoeg specifieke feedback kregen over hoe ze zich gedroegen voordat hun geluiden werden samengevoegd. Om dit op te lossen, hebben ze een nieuwe trainingsmethode uitgevonden genaamd FS-JEPA. In plaats van alleen naar het eindresultaat te kijken, laat men de AI de "vorm" van het gedrag van elke rubberband van tevoren voorspellen. Door dit te testen op vijf verschillende medische beelddatasets, toonden ze aan dat deze methode de AI helpt om veel scherpere, nauwkeurigere contouren te tekenen dan eerdere KAN-gebaseerde methoden, waarbij de gemiddelde nauwkeurigheidsscore met 2,25 procentpunt wordt verbeterd.

Het Probleem: Het "Orkest" versus de "Solist"

Laten we in de mechanica duiken. In een standaard KAN bestaat het netwerk uit lagen. Elke laag neemt inputs en stuurt deze door deze speciale "rubberband"-functies om outputs te creëren. Het probleem is dat het netwerk meestal wordt getraind door naar de uiteindelijke output te kijken—het "lied" van het orkest. Als het lied goed klinkt, krijgt het netwerk een gouden ster. Als het slecht klinkt, krijgt het een rood licht.

Maar hier is de crux: veel verschillende combinaties van rubberbanden kunnen dezelfde uiteindelijke song produceren. Misschien is één rubberband te ver uitgerekt, maar wordt deze gecompenseerd door een andere die precies goed is samengedrukt. Het netwerk krijgt de gouden ster, maar de individuele rubberbanden leren nooit waarom ze op die manier waren uitgerekt. Ze blijven gissen, zonder duidelijk doel voor hun eigen specifieke gedrag. Het is also wordt een dirigent die tegen een violist zegt: "De muziek klinkt goed," zonder ooit te vertellen of de specifieke noot van de violist zuiver was.

De Oplossing: Het Voorspellen van de "Vorm" van de Rubberband

De auteurs van dit paper, onder leiding van Yungeng Liu en Xuanzi Fang, besloten de regels te veranderen. Ze vroegen zich af: "Wat als we de AI kunnen leren om het gedrag van elke rubberband te voorspellen voordat deze wordt gemengd in het uiteindelijke lied?"

Ze creëerden een systeem genaamd Function-Space Joint-Embedding Predictive Learning (FS-JEPA). Zo werkt het, met behulp van een speelse analogie:

Stel je voor dat je een magische rubberband hebt (een KAN edge function). Op de oude manier keek je alleen naar de rubberband wanneer deze tot één specifiek punt was uitgerekt. Maar een rubberband kan heel anders reageren als hij slechts een klein beetje naar links of rechts verschuift van dat punt. Misschien is hij daar stijf, of misschien is hij juist super rekbaar.

De nieuwe methode, FS-JEPA, kijelt niet naar slechts één punt. Het vraat de AI om een "multi-radius signature" te voorspellen. Denk hierbij aan het maken van een snapshot van de vorm van de rubberband, niet alleen in het midden, maar op zes verschillende plekken eromheen (als een kleine halo van metingen). Deze "handtekening" vertelt de AI precies hoe de rubberband lokaal gedraagt.

Het trainingsproces werkt als een spel van "Raad de Vorm":

De Masked Online Branch: De AI krijgt een "gemaskeerde" versie van het gedrag van de rubberband te zien (sommige delen zijn verborgen). Het moet de volledige "signature" (de vorm op alle zes de plekken) raden.
De Target Branch: Een "leraar"-versie van de AI (die langzaam en gestaag beweegt, als een kalme mentor) kijkt naar de volledige, niet-gemaskeerde rubberband en genereert de correcte signature.
De Match: De student-AI probeert de signature van de leraar te matchen. Als de AI de vorm goed raadt, leert hij.

Cruciaal is dat de AI niet alleen de vorm raadt; de AI houdt ook bij welke rubberband hij bekijkt. Omdat er duizenden rubberbanden zijn, gebruikt het systeem "coördinaten" om er zeker van te zijn dat de student de vorm voorspelt van dezelfde rubberband die de leraar laat zien. Dit zorgt ervoor dat het leren nauwkeurig is en niet door elkaar wordt gehusseld.

De Resultaten: Scherpere Contouren, Betere Scores

De onderzoekers testten deze nieuwe methode op vijf verschillende medische beelddatasets, waaronder echografiebeelden van borstafwijkingen, schildklierscans en histologiebeelden van klieren. Ze vergeleken hun FS-JEPA-methode met de beste bestaande KAN-gebaseerde modellen en andere standaard medische AI-modellen.

De resultaten waren duidelijk:

Betere Nauwkeurigheid: De FS-JEPA-methode behaalde de hoogste gemiddelde Dice-score van 83,37% en een IoU van 75,04% over alle vijf de datasets.
De Concurrentie Verslaan: Het presteerde beter dan de sterkste concurrerende KAN-gebaseerde methode (UUEKAN) met +2,25 procentpunt in Dice-score.
Geen Extra Kosten: Het beste deel is dat dit "predictive learning" alleen plaatsvindt tijdens de training. Zodra de AI is getraind, worden de extra "raad-onderdelen" verwijderd. Het uiteindelijke model is even groot en even snel als het origineel, maar het is slimmer omdat het betere gewoontes heeft geleerd tijdens de training.

Waarom Dit Belangrijk Is

Het paper suggereert dat door de leerdoelstelling te verplaatsen van de uiteindelijke "orkestklank" naar de specifieke "vorm" van elk individueel instrument, we deze flexibele netwerken veel effectiever kunnen trainen. De auteurs ontdekten dat het simpelweg voorspellen van één enkel punt niet genoeg was; de AI had de "lokale variaties" (de multi-radius signature) nodig om de functie echt te begrijpen.

In de experimenten sloten ze andere ideeën uit, zoals het voorspellen van enkel de uiteindelijke feature of het voorspellen van een enkele respons van de rubberband. Die methoden werkten minder goed, wat suggereert dat het vastleggen van het lokale gedrag van de functie de sleutel is tot het ontsluiten van het volledige potentieel van KANs.

Uiteindelijk laat dit onderzoek zien dat we medische AI-modellen niet groter of complexer hoeven te maken om betere resultaten te krijgen. In plaats daarvan, door te veranderen in hoe we ze onderwijzen—door hen te vragen de gedetailleerde vorm van hun eigen interne functies te voorspellen—kunnen we hen helpen om scherpere, nauwkeurigere grenzen te trekken rond de zaken die er in de geneeskunde echt toe doen.

Technische Samenvatting: Functies voorspellen, geen kenmerken – KANs met Function-Space Joint-Embedding Predictive Learning

Probleemstelling

Medische beeldsegmentatie staat voor uitdagingen zoals zwak contrast, ambigue grenzen en grote variaties in uiterlijk. Hoewel encoder-decoder architecturen (bijv. U-Net varianten) dit aanpakken via multi-schaal fusie, vertrouwen zij op scalaire gewichten en vaste activaties, waardoor niet-lineaire transformaties impliciet gedefinieerd blijven.

Kolmogorov–Arnold Networks (KANs) bieden een expliciete functionele representatie door netwerkranden te parametriseren als leerbare univariate functies ( $\phi_{j,i}$ ). Bestaande KAN-gebaseerde segmentatiemodellen (bijv. U-KAN) optimaliseren deze randfuncties echter alleen via doelstellingen die gedefinieerd zijn na de aggregatie van de randen. Dit creëert twee primaire beperkingen:

Gebrek aan Expliciete Pre-Aggregatie Doelstellingen: De supervisie beperkt de som van de inkomende randresponsen, waardoor verschillende configuraties van randfuncties identieke knoopoutputs kunnen produceren. Bijgevolg ontbreekt een expliciet leerdoel voor individuele randfuncties vóór aggregatie.
Onvoldoende Karakterisering van Lokaal Gedrag: Tijdens een forward pass wordt een functie slechts geëvalueerd op één enkele, input-afhankelijke ankerpunt. Functies met identieke responsen op dit punt kunnen nabijgelegen verschillende lokale gedragingen vertonen, terwijl deze variaties impliciet worden beperkt door de downstream taak.

Bestaande Joint-Embedding Predictive Learning (JEPA) methoden opereren op feature-, token- of beeldembeddings, maar behandelen leerbare neurale functies niet als voorspellingsdoelen. Het uitbreiden van JEPA naar de KAN-functieruimte is niet triviaal omdat een enkele randrespons het lokale gedrag niet kan karakteriseren, en gesamplede randen expliciet tussen takken uitgelijnd moeten blijven.

Methodologie: FS-JEPA

De auteurs stellen Function-Space Joint-Embedding Predictive Learning (FS-JEPA) voor, een framework dat voorspellend leren verschuift naar de pre-aggregatie functieruimte van KANs.

Kernframework

De architectuur bestaat uit een standaard U-vormig KAN segmentatienetwerk en een enkel tijdens de training gebruikte voorspellende tak.

Target Branch: Een volledige-context Exponential Moving Average (EMA) branch genereert target signatures.
Online Branch: Een gemaskeerde branch ontvangt een gedeeltelijk gemaskeerde tokensequentie en voorspelt de target signatures.
Edge Correspondence: Beide branches delen dezelfde gesamplede randindices om ervoor te zorgen dat voorspellingen corresponderen met dezelfde input-output randfuncties.

Kerncomponenten

1. Rand Sampling en Selectie
Om de prohibitieve kosten van het berekenen van responsen voor alle $O(BN d_{in} d_{out})$ randen te vermijden, samplet het framework willekeurig $K$ input-output randparen. Een geselecteerde-rand operator ( $\Phi_S$ ) evalueert alleen deze specifieke randen door hun spline-parameters en knot-grids te verzamelen, wat de hulp-activatiekosten reduceert tot $O(BNK)$.

2. Multi-Radius Edge Function Signature
In plaats van een enkele geïsoleerde respons te voorspellen, representeert de methode elke gesamplede randfunctie met een multi-radius signature.

Voor een rand met ankerinput $u$ , wordt een set lokale offsets $\mathcal{D} = \{-0.10, -0.05, -0.025, 0.025, 0.05, 0.10\}$ gedefinieerd.
De signature $s_e$ is de vector van functie-evaluaties bij deze offsets: $s_e = [\phi_e(u+\Delta)]_{\Delta \in \mathcal{D}}$ .
Deze gestructureerde representatie legt lokale functionele variaties vast die een evaluatie op één enkel punt niet kan vangen.

3. Deterministische Rand-correspondentie
Om het probleem van stochastische sampling op te lossen, worden de bron- en doelknoopposities van een gesamplede rand $(i, j)$ gecodeerd als deterministische coördinaten $(p_i, p_j)$ . Deze coördinaten worden geconcateneerd met de functiesignature en dienen als condities voor de signature predictor, wat zorgt voor consistente correspondentie zonder leerbare parameters.

4. Gezamenlijke Optimalisatie
Het framework optimaliseert gezamenlijk de segmentatiefout ( $L_{seg}$ ) en de functie-ruimte voorspellingsfout ( $L_{sig}$ ).

Voorspellingsfout: Gedefinieerd als $L_{sig} = \text{SmoothL1}(\hat{s}_e, s^+_e)$ , waarbij $\hat{s}_e$ de voorspelling is van de online branch en $s^+_e$ de target van de EMA branch.
Training: De totale loss is $L_{total} = L_{seg} + \lambda_{deep}L_{deep} + \lambda_{sig}\sum L^{(b)}_{sig}$ .
Inference: Alle voorspellende componenten (online branch, EMA branch, signature predictor) worden verwijderd, waardoor het oorspronkelijke segmentatiepad ongewijzigd blijft.

Belangrijkste Bijdragen

Function-Space JEPA: De formulering van joint-embedding predictive learning in de natuurlijke pre-aggregatie functieruimte van KANs, waarbij de voorspelling verschuift van feature embeddings naar gestructureerde rand-functie signatures.
Multi-Radius Signature Representatie: De introductie van een representatie die het lokale functionele gedrag van KAN randfuncties vastlegt, wat een effectief voorspellingsdoel biedt voor function-space learning.
Training-Only Predictive Framework: Een methode die KAN rand-functie signatures en representaties gezamenlijk leert vanuit een willekeurige initialisatie, terwijl de rand-correspondentie behouden blijft, zonder extra parameters of computationele kosten tijdens inference.

Experimentele Resultaten

De methode werd geëvalueerd op vijf medische beeldsegmentatie benchmarks: BUSI (echografie), DDTI (echografie), TN3K (schildklier), CVC-ClinicDB (poliepen) en GlaS (klieren).

Prestaties: FS-JEPA behaalde de hoogste gemiddelde Dice score (83,37%) en IoU (75,04%) over de vijf datasets.
Vergelijking: Het presteerde beter dan de sterkste concurrerende KAN-gebaseerde methode (UUEKAN) met +2,25 procentpunt in Dice.
Ablatie:
- Vergeleken met een gematchte scaffold getraind zonder FS-JEPA, verbeterde de voorgestelde methode de gemiddelde Dice met 0,85 procentpunt.
- Ablatie op voorspellingsdoelen toonde aan dat het voorspellen van multi-radius edge-function signatures (0,7926 Dice) significant beter presteerde dan het voorspellen van enkele randresponsen (0,7771 Dice) of token/node features.
- Mechanistische analyse bevestigde dat FS-JEPA een expliciet pre-aggregatie leer-signaal biedt dat direct de KAN edge-functie representaties vormgeeft, waardoor ze gevoelig worden voor edge-niveau variaties die een standaard segmentatieverlies mist.

Betekenis en Claims

Het artikel claimt dat FS-JEPA de effectiviteit aantoont van het uitbreiden van voorspellend leren voorbij conventionele feature embeddings naar de gestructureerde representaties van leerbare neurale functies. Door multi-radius functie-signatures vóór aggregatie te voorspellen, maakt de methode directe representatie-lering over KAN edge-functies mogelijk. De auteurs stellen dat de prestatieverbeteringen voortkomen uit deze function-space voorspellende supervisie in plaats van een verhoogde modelcapaciteit, aangezien het aantal parameters tijdens de inference identiek blijft aan de baseline scaffold. Het framework biedt een manier om het functionele gedrag van individuele KAN edges expliciet te beperken, waarmee een fundamentele beperking in bestaande KAN-gebaseerde visiemodellen wordt aangepakt.