NeuroRefiner: Morphology-Aware Multi-Agent Refinement for 3D Fluorescence Microscopy Neuron Segmentation

Technische Samenvatting: NeuroRefiner

Probleemstelling

Nauwkeurige 3D-neuronensegmentatie in fluorescentiemicroscopie is een kritieke bottleneck voor de neurowetenschap, met name voor het afleiden van neuronale skeletten voor kwantitatieve analyse. Bestaande segmentatiemethoden kampen met aanzienlijke uitdagingen door de schaarse en langgerekte morfologie van neuronen, die vaak gecorrumpeerd worden door substantiële ruis en een extreme signaal-schaarsheid vertonen in hoog-resolutie 3D-volumes.

Huidige state-of-the-art benaderingen vertrouwen doorgaans op sliding-window strategieën met beperkte receptieve velden. Dit staat het modelleren van langetermijnafhankelijkheden in de weg die essentieel zijn voor het behoud van de globale neuronale morfologie, wat vaak resulteert in gefragmenteerde segmentatie en topologische fouten (bijv. onderbroken verbindingen, vals positieven/negatieven). Bovendien opereren deze end-to-end modellen als "black boxes", zonder interpreteerbaarheid en zonder mechanisme om topologische fouten iteratief te corrigeren. Hoewel agent-gebaseerde biomedische beeldsegmentatiemethoden bestaan, vertrouwen deze vaak op foundation models (zoals MedSAM2) die 3D-volumes slice-voor-slice verwerken met 2D-encoders, wat ontoereikend is voor schaarse neuronale structuren, of ze missen de flexibiliteit voor iteratieve, instructie-gestuurde verfijning.

Methodologie: NeuroRefiner

Om deze beperkingen aan te pakken, stellen de auteurs NeuroRefiner voor, een nieuw LLM-gebaseerd multi-agent systeem ontworpen voor iteratieve, topologie-bewuste neuronensegmentatie. Het systeem imiteert het cognitieve paradigma van menselijke neurowetenschappers door af te wisselen tussen globale observatie en lokale verfijning.

1. Multi-Agent Collaboratief Framework

NeuroRefiner werkt via een closed-loop pipeline bestaande uit drie gespecialiseerde agents en een dedicated executietool:

• Global Inspector: Deze agent voert een holistische beoordeling uit van de initiële segmentatiemasker ($M^{(t)}$). Het maakt gebruik van Maximum Intensity Projection (MIP) langs de z-as om 2D-subblokken te creëren en berekent 0e-orde Betti-getallen ($\beta_0$) om topologische onregelmatigheden (bijv. het aantal verbonden componenten) te kwantificeren. Het identificeert subregio's die topologische priors schenden en categoriseert fouttypen (False Positives of False Negatives).
• Refinement Advisor: Na het identificeren van anomalieën genereert deze agent gestructureerde, morfologie-bewuste verfijningsinstructies ($t_i$). Het analyseert orthogonale projecties (xy- en yz-vlakken) om defecten langs de z-as te lokaliseren en formuleert natuurlijke taalinstructies (bijv. "verbind neuronen in het boven-links-posterieure gebied" of "verwijder geïsoleerde ruis").
• Change Validator: Deze agent fungeert als poortwachter en evalueert de output van de verfijningstool tegenover het originele masker en de gegenereerde instructie. Het accepteert verfijningen alleen als ze voldoen aan twee criteria: instructie-naleving (de bewerking komt overeen met de intentie) en topologische verbetering (verminderde fragmentatie/ruis zonder nieuwe artefacten). Als de validatie faalt, wordt de loop herhaald met een nieuwe instructie.

2. TopoRefineNet: De Executietool

Om de brug te slaan tussen hoogwaardige agent-redenering en laagwaardige voxel-operaties, introduceren de auteurs TopoRefineNet, een dedicated 3D U-Net-gebaseerde tool.

• Architectuur: Het behandelt segmentatieverfijning als een instructie-gestuurde beeldbewerkingstaak. Het neemt de afbeelding ($I_i$) en het ruizige masker ($M_i$) als input, gecodeerd door een visuele encoder. De natuurlijke taalinstructie ($t_i$) wordt ingebed via een frozen text encoder.
• Mechanisme: Het systeem maakt gebruik van cross-attention tussen de diepste visuele features en de tekst-embeddings om visuele features dynamisch te herkalibreren op basis van de in de instructie gespecificeerde bewerkingsoperaties.
• Trainingsstrategie: Er wordt een twee-fasen trainingsparadigma gehanteerd:
  1. Fase 1: Getraind op synthetische data waarbij ground-truth maskers zijn verstoord (erosie voor False Negatives, copy-paste/ruis voor False Positives) om cross-modale alignment te leren.
  2. Fase 2: Getraind op real-world segmentatie-outputs van diverse netwerken die representatieve topologische fouten bevatten, gesynthetiseerd met instructies gegenereerd door een VLM (Qwen3-VL) om generalisatie te verbeteren.

Belangrijkste Bijdragen

1. Eerste LLM-gebaseerd Multi-Agent Systeem voor Neuronensegmentatie: NeuroRefiner is het eerste framework dat een topologie-bewuste, iteratieve optimalisatie van segmentatieresultaten bereikt met behulp van een collaboratief agent-systeem, waarmee het verder gaat dan single-pass inferentie.
2. TopoRefineNet: Het ontwerp van een dedicated segmentatie-editing tool gekoppeld aan een op maat gemaakte twee-fasen trainingsstrategie die het gedrag van het model afstemt op structurele verfijningsinstructies, waardoor complexe, schaarse neuronale structuren effectief worden afgehandeld.
3. Verbeterde Interpreteerbaarheid en Robuustheid: Door redenering te ontkoppelen van voxel-niveau operaties via natuurlijke taal, biedt het systeem transparante, controleerbare diagnostische beslissingen en bereikt het state-of-the-art prestaties over diverse datasets.

Experimentele Resultaten

De auteurs evalueerden NeuroRefiner op drie benchmarks: BigNeuron, CWMBS en ZBFWB.

• Prestaties: NeuroRefiner presteerde beter dan state-of-the-art methoden, waaronder 3D U-Net, SwinUNETR, nnUNet en neuron-specifieke architecturen zoals GBP-Net en SGSNet.
  • Op de uitdagende ZBFWB dataset (gekenmerkt door laag contrast en langere axonale projecties), behaalde NeuroRefiner een verbetering van 3,02% in F1-score ten opzichte van de best presterende baseline (GBP-Net) en een verbetering van 13,19% ten opzichte van de initiële 3D U-Net segmentatie.
  • Op de CWMBS dataset verbeterde de methode de F1-scores met meer dan 10% op de subset met zwakke signalen vergeleken met de baseline segmentatiemaskers.
• Metrieken: De methode toonde superieure prestaties in topologische volledigheid (MES), ruimtelijke afstand (SD) en structurele gelijkenis (SSD), wat wijst op een betere preservatie van globale connectiviteit en minder fragmentatie.
• Ablatie-studies:
  • Het verwijderen van een van de drie agents (Global Inspector, Refinement Advisor, Change Validator) resulteerde in significante prestatiedalingen, wat de noodzaak van de synergetische samenwerking bevestigt.
  • Het systeem is robuust tegen de keuze van het foundation model (VLM); Qwen3-VL-8B vertoonde optimale prestaties, maar zelfs zwakkere modellen leverden significante winst op.
  • De twee-fasen trainingsstrategie voor TopoRefineNet bleek essentieel, aangezien een single-stage aanpak leidde tot hogere afwijzingspercentages en lagere F1-scores.

Betekenis en Claims

Het artikel claimt dat NeuroRefiner de kritieke bottleneck van topologische getrouwheid en interpreteerbaarheid in automatische neuronale reconstructie aanpakt. Door de workflow van een menselijke expert te formaliseren in een multi-agent loop, produceert het systeem segmentaties die niet alleen nauwkeuriger zijn, maar ook consistent met topologische priors.

De auteurs benadrukken dat hun framework agnostisch is aan het foundation model, wat ervoor zorgt dat het kan evolueren mee met de vooruitgang in Vision-Language Models (VLMs). Zij positioneren NeuroRefiner als een stap naar transparante, iteratieve en topologie-bewuste automatisering in de biomedische beeldanalyse, waarmee de beperkingen van "black box" end-to-end modellen die moeite hebben met de complexe, schaarse aard van neuronale structuren, worden overwonnen.

Beperkingen: De auteurs erkennen dat de huidige 2D MIP-gebaseerde aanpak diepte-informatie verliest in dichte regio's, wat de precieze 3D-foutlokalisatie kan hinderen. Zij suggereren dat toekomstig werk diepte-bewuste encoding kan incorporeren om occlusies op te lossen.