Entropy-driven adaptive neural architecture search for cell segmentation on edge devices

Technische Samenvatting: Entropie-gestuurde Adaptieve Neurale Architectuurzoektocht voor Celsegmentatie op Edge-apparaten

Probleemstelling
Nauwkeurige, real-time segmentatie van cellen in microscopische beelden is essentieel voor biomedisch onderzoek, met name voor het monitoren van dynamische cellulaire processen zoals migratie en proliferatie. Hoewel deep learning de segmentatienauwkeurigheid heeft verbeterd, vormt het implementeren van deze modellen op edge-apparaten (bijv. incubator-microscopen) een aanzienlijke uitdaging. Edge-apparaten hebben beperkte rekenkracht, geheugen en energiebronnen. Bovendien is het handmatig ontwerpen van optimale netwerkarchitecturen voor diverse celtypen en kleuringsmethoden tijdrovend en vereist het expertise. Bestaande methoden voor Neural Architecture Search (NAS) houden vaak geen rekening met specifieke hardwarebeperkingen, wat resulteert in architecturen die te complex of te geheugenintensief zijn voor edge-implementatie. Daarnaast zijn standaard hardware-bewuste NAS-methoden vaak afgestemd op beeldclassificatie en missen ze de multiscale feature-extractiecapaciteiten die vereist zijn voor hoogresolutie microscopie-segmentatie.

Methodologie
De auteurs stellen een hardware-bewuste NAS-framework voor op basis van een U-Net backbone, specifiek ontworpen voor live-celsegmentatie op hulpbronnenbeperkte apparaten. De methode bestaat uit drie kerncomponenten:

1. Constructie van de Zoekruimte:

   • Topologie: Het framework maakt gebruik van een U-Net structuur met encoder-decoder paden. In tegenstelling tot eerdere methoden die repetitieve blokken gebruiken, construeert deze aanpak het netwerk met niet-repetitieve bouwblokken, waardoor Basic Operations (BO's) binnen elk blok kunnen verschillen voor flexibele feature-capturing.
   • Operaties: De zoekruimte omvat een gecureerde set van BO's (Convolution, Atrous Convolution, Shuffle Convolution, Depthwise-separable Convolution, Squeeze-and-Excitation, Identity, en "None"). De "None"-operator stelt nodes in staat om te worden overgeslagen, wat structurele sparsiteit mogelijk maakt.
   • Pruning: Upsampling en downsampling operaties (Max Pooling en Transposed Convolution) zijn vastgezet om de zoekruimte te verkleinen, terwijl de zoektocht zich richt op de interne compositie van encoder/decoder eenheden.

2. Hardware-bewuste Zoekstrategie:

   • Multi-objective Optimalisatie: De zoektocht minimaliseert een samengestelde verliesfunctie: $L_{total} = w_1 \cdot L_{ce} + w_2 \cdot \text{Latency} + w_3 \cdot \text{Memory} - w_4 \cdot H$.
   • Latency en Geheugen Schatting: Om de prohibitieve kosten van het uitvoeren van elke kandidaat-architectuur op doelhardware te vermijden, gebruikt de methode apparaatspecifieke Look-Up Tables (LUT's). Deze LUT's slaan de latency en het geheugengebruik van individuele BO's op die gemeten zijn op specifieke edge-apparaten (Jetson Nano, PYNQ-Z2, ZUBoard-1CG, Raspberry Pi 5, en Raspberry Pi 5 met HAILO-8).
   • Zachte Constraints: In plaats van harde afkapwaarden die architecturen die de limieten licht overschrijden direct verwerpen, past de methode kwadratische straftermen toe voor overtredingen van latency- ($T_{latency}$) en geheugenlimieten ($T_{memory}$). Dit stelt de zoektocht in staat om nabij-haalbare oplossingen te verkennen terwijl onhaalbare oplossingen worden ontmoedigd.

3. Entropie-gestuurde Optimalisatie:

   • Om de potentiële afname in segmentatienauwkeurigheid door agressieve hardwarebeperkingen (die kunnen leiden tot overly sparse netwerken) tegen te gaan, introduceren de auteurs een entropie-gestuurd mechanisme.
   • Informatie-entropie ($H$) wordt berekend op basis van de differentiële entropie van de feature map activaties (uitgaande van een Gaussische distributie).
   • Het maximaliseren van entropie dient als een beloningsterm, die het netwerk aanmoedigt om diverse en informatieve feature-representaties te behouden, zelfs wanneer het wordt beperkt door hardware. Dit voorkomt dat het model instort naar overly eenvoudige configuraties die de prestaties verslechteren.

Belangrijkste Bijdragen

• Hardware-bewuste NAS voor Microscopie: Het artikel presenteert een NAS-methode die specifiek is afgestemd op celsegmentatie, waarbij de multiscale feature-eisen van microscopische beelden worden geadresseerd die generieke hardware-bewuste NAS-methoden vaak over het hoofd zien.
• Entropie-gestuurd Mechanisme: De introductie van een entropie-gebaseerde regularisatieterm om de balans te vinden tussen hardwarebeperkingen en de capaciteit van feature-representatie is een innovatieve bijdrage, die ervoor zorgt dat efficiëntiewinsten niet ten koste gaan van de cruciale segmentatienauwkeurigheid.
• Niet-repetitieve U-Net Architectuur: Het framework wijkt af van repetitieve blokontwerpen, waardoor flexibele, adaptieve architecturen mogelijk zijn waarbij operaties variëren over verschillende schalen.
• Uitgebreide Evaluatie: De methode wordt geëvalueerd over vijf verschillende edge-hardwareplatforms en tien diverse 2D live-cel imaging datasets van de Cell Tracking Challenge (CTC), variërend in modaliteiten (Bright-field, DIC, Fluorescence, Phase Contrast) en celtypen.

Resultaten

• Segmentatienauwkeurigheid: Op de CTC-datasets behaalde de voorgestelde methode concurrerende state-of-the-art prestaties in SEG (overlap) en DET (detectie) metrieken. Bijvoorbeeld, op de BF-C2DL-HSC subset behaalde het een SEG-score van 0.825 en een DET van 0.990, waarmee het andere NAS-gebaseerde modellen zoals NAS-UNet, BiX-NAS en Auto-DeepLab evenaart of overtreft.
• Hardware-efficiëntie: De voorgestelde modellen vertoonden aanzienlijk lagere latency en geheugengebruik vergeleken met standaardmodellen zoals nnU-Net en AdwU-Net. Op de Jetson Nano bereikte de methode inferentietijden rond de 58ms met een modelgrootte van slechts 10 MB, terwijl nnU-Net 278ms en 37 MB vereiste.
• Ablatie-studies:
  • Hardware-strafpunten: De studie bevestigde dat hardware-bewuste strafpunten overbodige parameters effectief wegknippen en het gebruik van de "None"-operator verhogen, waardoor de modelgrootte wordt verminderd zonder catastrofaal verlies van nauwkeurigheid.
  • Entropie-optimalisatie: De entropie-gestuurde term bleek de convergentie tijdens de zoekfase te versnellen en de uiteindelijke SEG-prestaties te verbeteren. Het compenseerde succesvol het verlies aan representatiecapaciteit veroorzaakt door hardwarebeperkingen, wat resulteerde in een model met een betere nauwkeurigheid dan dezelfde architectuur zonder entropie-optimalisatie, terwijl een vergelijkbare modelgrootte werd behouden.
  • LUT Validatie: De LUT-gebaseerde latency-estimator vertoonde een hoge consistentie met de daadwerkelijk gemeten hardware-latency (Spearman's $\rho > 0.94$ over alle apparaten), wat het gebruik ervan als een efficiënte proxy tijdens de zoektocht valideert.

Betekenis en Claims
De auteurs claimen dat hun framework erin slaagt de kloof te overbruggen tussen hoge-nauwkeurigheid celsegmentatie en de strikte middelenbeperkingen van edge-apparaten. Door hardwarebeperkingen direct in het zoekproces te integreren en entropie te gebruiken om de diversiteit van features te behouden, produceert de methode architecturen die zowel efficiënt als accuraat zijn. Het artikel positioneert dit werk als een oplossing voor real-time, gedistribueerde monitoring van cellulaire activiteiten in incubator-achtige omgevingen, waar afhankelijkheid van desktop-workstations of servers onpraktisch is vanwege bandbreedte en computationele beperkingen. De studie benadrukt dat de voorgestelde aanpak een gunstige afweging realiseert, wat betrouwbare, real-time celbeeldanalyse op diverse, laagvermogen hardwareplatforms mogelijk maakt zonder dat handmatige architectuurontwerpen nodig zijn.