🤖 machine learning

ProtoSSL: Interpretable Prototype Learning from Unlabeled Time-Series Data

ProtoSSL is een nieuw raamwerk dat interpreteerbare, op projectie gebaseerde prototypes leert uit ongelabelde tijdreeksdata via zelftoezichtende motiefontdekking, waarna deze efficiënt kunnen worden afgestemd op downstream-taken om een superieure label-efficiëntie en door mensen gewenste verklaringen te bereiken in vergelijking met toezichtgebaseerde benchmarks.

Oorspronkelijke auteurs: Steven Song, Sahil Sethi, Brett Beaulieu-Jones, Robert L. Grossman

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Steven Song, Sahil Sethi, Brett Beaulieu-Jones, Robert L. Grossman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren verschillende soorten hartslagen (ECG's) of geluiden (audio) te herkennen. Om dit goed te doen, heb je meestal twee dingen nodig: een enorme bibliotheek met gelabelde voorbeelden (bijvoorbeeld "deze hartslag is normaal", "deze is gevaarlijk") en een manier om uit te leggen waarom de computer zijn beslissing heeft genomen.

Diep leermodellen zijn uitstekend in het vinden van patronen, maar ze zijn vaak "zwarte dozen". Je kunt niet gemakkelijk zien waar ze naar kijken. Aan de andere kant zijn "prototype"-modellen als een detective die zegt: "Ik denk dat dit een hartaanval is, omdat het er precies zo uitziet als dit specifieke voorbeeld van een hartaanval dat ik eerder heb gezien." Deze zijn makkelijk te begrijpen, maar ze vereisen meestal een enorme hoeveelheid gelabelde data om die specifieke voorbeelden in de eerste plaats te leren kennen. Als je de taak verandert (bijvoorbeeld van het detecteren van hartaanvallen naar het detecteren van een andere aandoening), moet je vaak helemaal opnieuw beginnen en alles vanaf nul opnieuw leren.

Hier komt ProtoSSL: de "Universele Patroonverzamelaar".

De auteurs van dit artikel hebben een nieuw systeem ontwikkeld dat ProtoSSL heet en dat deze problemen oplost door het leerproces op te splitsen in twee distincte stappen. Denk hierbij aan een bibliothecaris die eerst boeken ordent op basis van hun fysieke vorm en kleur, en pas later beslist tot welk genre de boeken behoren.

Stap 1: De "Vormverzamelaar" (Ongelabeld Leren)

Eerst bekijkt ProtoSSL een enorme stapel ongelabelde data (duizenden hartslagen of geluiden zonder bijgevoegde labels). Het geeft nog niets om de diagnose; het wil gewoon terugkerende patronen vinden.

De Analogie: Stel je een kind voor dat speelt met een doos met door elkaar gehusselde LEGO-blokjes. Het kind weet nog niet wat een "auto" of een "huis" is. Het sorteert de blokjes gewoon op kleur, grootte en vorm. Het bouwt een "bank" van interessante, herbruikbare blokpatten.
Wat ProtoSSL doet: Het gebruikt een zelftoezichtmethode om deze terugkerende "motieven" (patronen) in de data te vinden en slaat ze op in een Prototypebank. Het leert: "Oh, deze specifieke krul komt vaak voor," of "Dit specifieke ritme herhaalt zich." Cruciaal is dat dit gebeurt zonder te weten wat deze patronen medisch of taalkundig betekenen.

Stap 2: De "Labeltoewijzer" (Taakadaptatie)

Zodra de bibliotheek met patronen is opgebouwd, kun je deze gebruiken voor een specifieke taak. Je brengt een kleine hoeveelheid gelabelde data aan (bijvoorbeeld "deze krullen betekenen 'hartaanval'").

De Analogie: Nu neemt de bibliothecaris de vooraf gesorteerde LEGO-blokjes en zegt: "Oké, voor dit specifieke project vertegenwoordigen de rode 2x4-blokjes 'auto's', en de blauwe 2x2-blokjes 'huizen'."
Wat ProtoSSL doet: Het koppelt de patronen die het al heeft gevonden op een efficiënte manier aan de nieuwe labels. Het vraagt zich af: "Welk van mijn vooraf geleerde patronen vertegenwoordigt het beste een 'hartaanval'?" Het "verankert" deze patronen vervolgens door te verwijzen naar de werkelijke wereldvoorbeelden in de data die ermee overeenkomen.

Waarom is dit een grote doorbraak?

1. Het is ongelooflijk efficiënt met data.
Normaal gesproken heb je duizenden gelabelde voorbeelden nodig om een slim, verklaarbaar model te trainen. ProtoSSL kan een uitstekende prestatie leveren met slechts 256 gelabelde voorbeelden.

De Metafoor: In plaats van een hele bibliotheek met gelabelde boeken nodig te hebben om een student te leren, heb je slechts een paar voorbeelden nodig om hen te laten zien welke vooraf gesorteerde hoofdstukken tot welk vakgebied behoren. Het zware werk van het vinden van de hoofdstukken was al gedaan.

2. Het is herbruikbaar.
Als je een standaardmodel traint op hartdata, kan dit niet eenvoudig worden gebruikt voor audiodata. Maar omdat ProtoSSL eerst de vormen van de data leert, kun je diezelfde "Patroonbank" gebruiken voor volledig verschillende taken (zoals overschakelen van hartslagen naar spraakherkenning) zonder het hele systeem opnieuw te moeten trainen.

3. Mensen vinden de uitleg echt goed.
De onderzoekers hebben dit getest met medische studenten. Ze toonden hen uitleg gegenereerd door ProtoSSL en uitleg van standaardmodellen die zwaar leunen op labels.

Het Resultaat: Hoewel de standaardmodellen soms iets beter waren in het krijgen van het juiste antwoord, gaven de medische studenten de voorkeur aan de ProtoSSL-uitleg. Ze vonden dat de voorbeelden die ProtoSSL koos "betere voorbeelden" waren van de diagnose.
De Metafoor: Een standaardmodel zou kunnen zeggen: "Dit is een hartaanval vanwege deze kleine, rare piek." ProtoSSL zegt: "Dit is een hartaanval omdat het er precies zo uitziet als dit klassieke, leerboekvoorbeeld van een hartaanval." Mensen vinden het leerboekvoorbeeld veel overtuigender en betrouwbaarder.

Samenvatting

ProtoSSL is een raamwerk dat leert hoe dingen eruitzien voordat het leert wat dingen betekenen. Door de ontdekking van patronen te scheiden van de toewijzing van labels, creëert het een herbruikbaar, zeer efficiënt en mensvriendelijk systeem dat goed werkt, zelfs wanneer je maar weinig gelabelde voorbeelden hebt. Het werkt voor hartdata (ECG's) en is ook aangetoond dat het werkt voor audiodata, wat bewijst dat het een flexibel instrument is voor tijdsreeksanalyse.

Technische Samenvatting: ProtoSSL

Probleemstelling

In domeinen met tijdreeksen, zoals analyse van klinische golfvormen en audioclassificatie, bereiken diepe neurale netwerken vaak hoge voorspellende prestaties maar missen ze interpretatievermogen. Hoewel projectiegebaseerde prototypenetwerken (bijv. ProtoPNet) inherent interpreteerbaar zijn door voorspellingen te gronden in redenering van het type "dit lijkt op dat" — waarbij invoer wordt vergeleken met representatieve trainingsvoorbeelden — lijden bestaande benaderingen onder twee kritieke beperkingen:

Labelafhankelijkheid: Prototypen worden geleerd via toezichtdoelen die gekoppeld zijn aan specifieke klassenstructuren, wat grote gelabelde datasets vereist.
Gebrek aan herbruikbaarheid: Omdat prototypen zijn geoptimaliseerd voor een specifieke taak, kunnen ze niet eenvoudig worden overgebracht naar nieuwe downstream-taken of datasets met verschillende labelruimtes, wat hertraining vanaf nul noodzakelijk maakt.

Daarentegen kan zelftoezichtleren (SSL) overdraagbare structuren leren uit ongelabelde data, maar werkt het doorgaans in de latente ruimte, waardoor het geen door mensen controleerbare, projectiegegronde verklaringen produceert. De centrale uitdaging is hoe prototypen te leren die zowel overdrachtbaar zijn tussen taken als inherent interpreteerbaar, zonder te vertrouwen op taakspecifieke labels tijdens de initiële leerfase.

Methodologie: ProtoSSL-raamwerk

ProtoSSL lost dit op door motiefontdekking te ontkoppelen van labeluitlijning. Het raamwerk werkt in twee distincte fasen:

1. Zelftoezicht Pretraining (Motiefontdekking)

ProtoSSL leert een herbruikbare bank met prototypen uit ongelabelde tijdreeksdata.

Architectuur: Een encoder $f_\theta$ beeldt invoer-tijdreeksen $x$ af op een representatie $h$ . Een set van leerbare prototypen $P$ wordt gedefinieerd.
Activering: Prototypenactiveringen $a(x)$ worden berekend als de gelijkenis tussen de encoderoutput en elke prototype $p_k$ .
Doel: Een zelftoezicht contrastief doel (SimCLR/NT-Xent) wordt direct toegepast op de geprojecteerde prototypenactiveringen $z = r_\phi(a(x))$ . Dit dwingt het model om invoer voor te stellen als wegingen van prototypen op basis van dataconsistentie over versterkte weergaven, zonder enige labeltoezicht.
Regularisatie: KoLeo-regularisatie wordt toegepast op de prototypenvectoren om ervoor te zorgen dat ze verspreid liggen in de latente ruimte, wat instorting voorkomt.
Resultaat: Een "prototypebank" $P$ die terugkerende, overdraagbare patronen (motieven) in de dataverdeling vastlegt, onafhankelijk van een specifieke downstream-taak.

2. Doeladaptatie (Labeluitlijning)

Zodra een downstream-taak met gelabelde data beschikbaar komt, worden de voorgeprende prototypen uitgelijnd met de nieuwe taak zonder de prototypebank opnieuw te trainen.

Toewijzing: Een nieuwe, trainingsvrije, niet-parametrische toewijzingsprocedure beeldt prototypen uit de bank af op downstream-labels. Dit wordt geformuleerd als een rechthoekig lineair toewijzingsprobleem (LAP), oplosbaar in polynomiale tijd.
- Een associatiescorematrix $Q$ wordt berekend op basis van prototypenactiveringsstatistieken (vergelijking van activatie op positieve versus negatieve samples voor elk label, genormaliseerd door variantie).
- De LAP-oplosser wijst de meest discriminerende prototypen toe aan elke labelslot.
Projectie: De toegewezen prototypen worden geprojecteerd op echte, representatieve trainingsvoorbeelden uit de doeldataset die het overeenkomstige label bezitten. Deze stap grondbt de prototypen in concrete signaalsegmenten, waardoor het interpreteerbaarheidsvermogen behouden blijft.
Classificatie: Een logistische regressieclassificator wordt getraind op de geprojecteerde prototypenactiveringen. De encoder en prototypen kunnen bevroren blijven (lineaire probing) of worden fijnge tuned met labeltoezicht.

Belangrijkste Bijdragen

Nieuw Raamwerk: ProtoSSL is het eerste raamwerk dat projectiegegronde, interpreteerbare prototypen leert uit ongelabelde data en deze aanpast aan downstream-taken via een expliciete toewijzings- en projectieprocedure.
Scheiding van Belangen: Door motiefontdekking (zelftoezicht) te scheiden van labeluitlijning (toewijzing), maakt het raamwerk hergebruik van prototypen over datasets en labelruimtes mogelijk zonder de kernrepresentatie opnieuw te leren.
Labelefficiëntie: Het raamwerk verbetert de labelefficiëntie aanzienlijk en blijft effectief met slechts 256 gelabelde voorbeelden, en presteert beter dan toezichtprototypen-baselines in regimes met weinig data.
Menselijke Interpretatieerbaarheid: Een menselijke evaluatiestudie toont aan dat prototypen die zonder taaklabels zijn geleerd, worden beoordeeld als representatievere en aanvaardbaardere voorbeelden van diagnoses dan die welke via direct labeltoezicht zijn geleerd, ondanks dat laatstgenoemde in sommige gevallen een hogere voorspellende nauwkeurigheid hebben.
Generaliseerbaarheid: De benadering gaat verder dan ECG en omvat audioclassificatie, waarmee de scheiding van motiefontdekking en labeluitlijning wordt gevalideerd over verschillende tijdreeksdomeinen.

Experimentele Resultaten

De auteurs hebben ProtoSSL geëvalueerd over zes ECG-datasets en drie audiodatasets.

ECG-prestaties:
- Volledige Data: Met fijn tuning presteert ProtoSSL beter dan toezichtprototypen-baselines (SupProto Direct) en bereikt het concurrerende prestaties ten opzichte van blackbox-fondamentmodellen.
- Weinig Data: In regimes met weinig data (tot 256 samples) presteert ProtoSSL (bevroren probing) consequent beter dan zowel toezichtbaselines als blackbox-modellen. Opmerkelijk is dat ProtoSSL met slechts 4.000 samples de prestaties van toezichtbaselines die zijn getraind op volledige datasets (64.000+ samples) evenaart op bepaalde taken.
- Generalisatie: ProtoSSL generaliseert goed naar taken buiten het domein waar labelruimtes verschillen, terwijl labeltoezichtpretraining (SupProto HEEDB) niet effectief overdraagt naar taken met niet-overlappende labels.
Audio-prestaties:
- ProtoSSL, voorgeprent op AudioSet, draagt effectief over naar UrbanSound8K, IEMOCAP en VoxCeleb1. Het presteert beter dan toezichtbaselines op taken met minimale labeloverlapping, wat de robuustheid van de motiefontdekkingsfase aantoont.
Menselijke Evaluatie:
- In een geblindeerde studie met medische studenten werden ProtoSSL-prototypen significant hoger beoordeeld op "aanvaardbaarheid" (91,4% vs. 66,4%) en kwaliteit van uitleg (82,9% vs. 67,9%) in vergelijking met direct toezichtprototypen. Dit suggereert dat zelftoezichtontdekking patronen oplevert die consistenter worden waargenomen als representatieve klinische voorbeelden.
Efficiëntie:
- De toewijzingsstap is computationeel efficiënt en lost het lineaire toewijzingsprobleem op in seconden, terwijl alternatieve parametrische toewijzingsmethoden (bijv. aangepast ProtoPool) een orde van grootte trager zijn.

Betekenis en Claims

Het artikel beweert dat ProtoSSL het paradigma voor interpreteerbare tijdreeksmodellering fundamenteel verschuift door aan te tonen dat interpreteerbare prototypen kunnen worden geleerd voordat de downstream-labelruimte bekend is.

Ontkoppeling: Het bewijst dat het redeneermechanisme "dit lijkt op dat" geen end-to-end labeltoezicht vereist om nuttige patronen te ontdekken.
Herbruikbaarheid: Het vestigt een pad voor het creëren van herbruikbare, interpreteerbare modelcomponenten die snel kunnen worden aangepast aan nieuwe klinische of industriële taken met minimale gelabelde data.
Kwaliteit van Bewijs: De auteurs stellen dat zelftoezichtmotiefontdekking representatievere casusgebaseerde bewijzen kan opleveren dan toezichtleren, dat mogelijk discriminerende kenmerken prioriteert die voor menselijke experts minder intuïtief "prototypisch" zijn.

Het werk positioneert ProtoSSL als een fundament voor studies in domeinen met een tekort aan data (zoals geneeskunde), waar het verkrijgen van grote gelabelde datasets moeilijk is, maar waar interpreteerbaarheid essentieel is voor klinisch vertrouwen en adoptie.