Applicability of memorization indicators for early spotting of overfitting while recalibrating sEMG-decoders on low sample sizes

Technische Samenvatting: Bruikbaarheid van Memorisatie-indicatoren voor Vroege Detectie van Overfitting in sEMG-decoders

Probleemstelling
Deep learning-modellen voor oppervlakte-elektromyografie (sEMG) vereisen onderdaerspecifieke herkalibratie om rekening te houden met individuele variaties in factoren zoals leeftijd, geslacht en elektrodeplaatsing. Echter, praktische beperkingen beperken het aantal bewegingsherhalingen dat een gebruiker tijdens kalibratie kan uitvoeren, wat leidt tot een regime met weinig samples. In deze setting zijn standaard technieken voor het beperken van overfitting, zoals vroegtijdig stoppen op basis van een validatieset, vaak onhaalbaar omdat het verwerven van extra gehouden data het kalibratieproces verlengt of niet beschikbaar is. Bijgevolg bestaat het risico dat het finetunen van een vooraf getrainde decoder op beperkte data leidt tot overfitting, wat potentieel de prestaties verslechtert ten opzichte van het ongekalibreerde model. Het artikel adresseert de behoefte aan indicatoren die onsuccesvol leren of overfitting kunnen detecteren met behulp van enkel de bestaande trainingsdata, zonder dat extra validatiesamples nodig zijn.

Methodologie
De auteurs voerden een transfer learning-experiment uit met de NinaPro Database 2 (49 bewegingsklassen, 12 kanalen). Het experimentele ontwerp bestond uit twee fasen:

1. Pre-training: Een compacte 1D Convolutional Neural Network (CNN) werd vooraf getraind op data van 20 proefpersonen. De architectuur bestond uit drie 1D-CNN blokken gevolgd door drie volledig verbonden (fully connected) ReLU-lagen, ontworpen om lichtgewicht genoeg te zijn voor inferentie op edge-hardware.
2. Finetuning (Kalibratie): De vooraf getrainde model werd gefinetuned op data van 10 nieuwe proefpersonen (21–30). Om de condities met weinig samples te simuleren, werd het model getraind op 1 tot 4 herhalingen per proefpersoon. Twee strategieën voor finetuning werden vergeleken:
   • Partiële hertraining: Alleen de laatste twee volledig verbonden lagen werden ontdoordraaid (unfrozen).
   • Volledige hertraining: Alle modelparameters werden opnieuw getraind (verondersteld gevoeliger voor overfitting te zijn).

Memorisatie-indicatoren
In plaats van de validatieverlies (validation loss) te monitoren, volgde de studie de activatiestatistieken van de Rectified Linear Units (ReLU) in de laatste verborgen laag (256 neuronen) met behruik van enkel de trainingsdata. De primaire metriek was de Mean Activation Rate (MAR), berekend als de proportie samples waarbij de output van een neuron groter dan nul was. Aanvullende distributiemetrieken werden geïntroduceerd, inclusief de 25e, 50e (mediaan) en 75e percentielen van de activatiesnelheden, evenals de coëfficiënt van variatie. Deze metrieken werden berekend op de eerste batch (64 samples) van elke epoch tijdens de finetuning.

Belangrijkste Resultaten

• Baseline Prestaties: Het vooraf getrainde model bereikte een testnauwkeurigheid van 0,34 op de proefpersonen uit de pre-training fase, maar daalde naar 0,065 op onbekende proefpersonen, wat de noodzaak van herkalibratie bevestigt.
• Differentiatie van Leersresultaten: De studie observeerde een duidelijke divergentie in activatiegedrag tussen succesvolle en onsuccesvolle finetuning:
  • Succesvolle Kalibratie: Modellen die de testnauwkeurigheid verbeterden (meestal die waarbij alleen de laatste lagen werden ontdoord), vertoonden een lichte positieve of stabiele verandering in MAR tijdens de initiële epochs.
  • Onsuccesvolle Kalibratie (Overfitting): Modellen die niet generaliseerden of in prestatie achteruitgingen (meestal die waarbij alle lagen opnieuw werden getraind), vertoonden een significante en consistente afname in MAR.
• Correlatie: Er werd een sterke kwalitatieve relatie gevonden waarbij een daling in de testnauwkeurigheid tijdens de finetuning gepaard ging met een reductie in de activatiesnelheden van de laatste verborgen laag. Deze trend was al waarneembaar vanaf 5 epochs.
• Distributiemetrieken: Hoewel MAR een duidelijke scheiding bood, boden de coëfficiënt van variatie en kwantieldistributies aanvullende inzichten. De coëfficiënt van variatie nam toe tijdens overfitting-scenario's, terwijl deze aanvankelijk daalde in succesvolle modellen voordat deze steeg naarmate de generalisatiekloof groter werd.

Betekenis en Claims
Het artikel beweert de eerste empirische bewijsvoering te leveren dat activatie-gebaseerde memorisatie-indicatoren kunnen dienen als een betrouwbaar instrument voor de vroege detectie van overfitting in scenario's met weinig samples voor sEMG-kalibratie. De primaire betekenis ligt in het feit dat deze indicatoren:

1. Geen Validatiedata Vereisen: Ze worden uitsluitend berekend vanuit de trainingsdata, wat ze ideaal maakt voor scenario's waarin het verkrijgen van extra herhalingen onpraktisch is.
2. Vroege Detectie Bieden: Veranderingen in activatiesnelheden gaan vooraf aan of gaan samen met prestatievermindering, wat mogelijk maakt om vroegtijdig te stoppen of in te grijpen.
3. Lichtgewicht Zijn: De metrieken zijn computationeel onbeduidend, wat geschikt is voor real-time monitoring op edge-apparaten.

De auteurs hanteren een bescheiden toon met betrekking tot hun bevindingen, waarbij zij opmerken dat de absolute schaal van MAR afhankelijk is van de eigenschappen van de dataset (bijv. aantal klassen, opnameopstelling) en de architectuur. Daarom stellen zij geen universele drempelwaarden voor, maar demonstreren zij de haalbaarheid van het gebruik van deze statistieken als relatieve, binnen-experimentele indicatoren. Het werk suggereert dat hoewel de huidige resultaten veelbelovend zijn voor compacte architecturen, verder onderzoek nodig is om deze indicatoren te valideren over grotere, diepere netwerken en diverse datasets om gestandaardiseerde referentiebereiken vast te stellen.