⚡ electrical engineering

Democratization of Real-time Multi-Spectral Photoacoustic Imaging: Open-Sourced System Architecture for OPOTEK Phocus & Verasonics Vantage Combination

Dit artikel introduceert een open-source hardware- en softwarearchitectuur die synchronisatieproblemen oplost bij real-time multi-spectrale fotoakoestische beeldvorming met OPOTEK Phocus-lasers en Verasonics Vantage-systemen, waardoor de toegang tot deze technologie wordt gedemocratiseerd.

Oorspronkelijke auteurs: Ryo Murakami, Yichuan Tang, Haichong K. Zhang

Gepubliceerd 2026-04-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ryo Murakami, Yichuan Tang, Haichong K. Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superkrachtige camera hebt die niet alleen foto's maakt, maar ook "luistert" naar hoe licht door weefsels reist. Dit noemen we Fotoakoestische Imaging. Het is als een mix van een camera en een sonar: je schijnt met licht (zoals een flits), en dat licht zorgt ervoor dat weefsels een klein geluidje maken. Die geluidjes worden opgevangen en omgezet in een beeld.

Het probleem? Soms wil je niet één kleur licht gebruiken, maar een snelle reeks van verschillende kleuren (zoals een regenboog die razendsnel voorbijkomt) om details te zien die normaal verborgen blijven. Dit heet Real-time Multi-Spectral Imaging.

De auteurs van dit paper, Ryo, Yichuan en Haichong, hebben een oplossing bedacht voor een specifiek probleem dat onderzoekers vaak tegenkomen met dure apparatuur. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Verkeerde Sfeer in de Keuken

Stel je voor dat je een chef-kok bent (de laser) die razendsnel van ingrediënten wisselt. Je hebt een assistent (de computer met de Verasonics-machine) die moet noteren welk ingrediënt er op welk moment wordt gebruikt.

Het probleem is dat de assistent werkt op een Windows-computer. Windows is als een drukke supermarkt: er gebeuren van alles tegelijk (e-mails, updates, andere programma's). Soms is de assistent even afgeleid door een rinkelende telefoon en mist hij een ingrediënt dat de chef net heeft gegooid.

Het gevolg: De assistent denkt dat hij ingrediënt A heeft, maar het was eigenlijk ingrediënt B. Als je later probeert een recept (een diagnose) te maken, is het resultaat verkeerd. De timing is niet perfect.

2. De Oplossing: De Onafhankelijke Klok

Om dit op te lossen, hebben de auteurs een kleine, onafhankelijke robot (een microcontroller, zoals een Arduino) toegevoegd.

De Analogie: In plaats van dat de drukke assistent (Windows) moet tellen, krijgt de robot de taak om de chef (de laser) in de gaten te houden. Deze robot doet niets anders dan tellen: "Eén, twee, drie..." en kijkt alleen naar de laser.
Waarom werkt dit? Omdat deze robot zo simpel is, kan hij niet afgeleid worden door e-mails of updates. Hij is 100% betrouwbaar. Hij telt elke flits van de laser en zegt tegen de assistent: "Op dit moment was het de 5e flits, dus dat was de kleur blauw."

3. De Data Stroom: Geen Opstoppingen in de Garage

Normaal gesproken slaat de assistent alle foto's eerst op in zijn eigen garage (de harde schijf van de computer) voordat hij ze verwerkt. Als de garage vol raakt of de deur te langzaam open gaat, loopt de hele lijn vast.

De auteurs hebben dit veranderd:

De Analogie: Ze hebben de garage weggehaald. In plaats daarvan sturen ze de foto's direct via een snelle pijplijn (internet/TCP) naar een tweede, speciaal ingerichte werkplaats (een aparte computer).
Het voordeel: De eerste computer hoeft niet meer te wachten tot hij iets opslaat. Hij kan blijven schieten. De tweede computer kan de foto's direct verwerken, zelfs met krachtige graphics-kaarten (GPU's) of slimme AI-programma's. Het is alsof je een fabriek hebt waar de band nooit stopt.

4. Waarom is dit zo belangrijk? (De Democratie)

Vroeger was dit soort snelle, nauwkeurige beeldvorming alleen mogelijk voor rijke universiteiten met dure, gesloten systemen die je niet zelf kon aanpassen.

De Open Source Filosofie: De auteurs hebben de blauwdrukken, de code en de instructies gratis online gezet (zoals een open receptenboek).
Het Doel: Ze willen dat iedereen, van studenten tot kleine ziekenhuizen, dit systeem kan bouwen en gebruiken. Ze hopen dat door samen te werken en ideeën te delen, de technologie goedkoper en toegankelijker wordt.

Samenvatting in één zin

Ze hebben een slimme, goedkope "teller" en een snelle "postbode" toegevoegd aan een duur medisch systeem, zodat het nooit meer de draad kwijtraakt, en ze hebben de instructies voor iedereen gratis beschikbaar gesteld zodat meer mensen dit kunnen gebruiken om ziektes sneller te detecteren.

Kortom: Ze hebben een dure, lastige machine makkelijker, betrouwbaarder en voor iedereen toegankelijk gemaakt door een beetje slimme techniek en veel samenwerking.

Probleemstelling

Real-time multi-spectrale fotoakoestische imaging (RT-mPAI) is een veelbelovende techniek voor intraoperatieve begeleiding en functionele imaging. Een veelgebruikte hardware-configuratie binnen de gemeenschap combineert de OPOTEK Phocus-lasers (bekend om hun snelle afstembaarheid van golflengte) met het Verasonics Vantage-data-acquisitieplatform.

Deze combinatie stuit echter op twee kritieke technische uitdagingen die de betrouwbaarheid van RT-mPAI in gevaar brengen:

Synchronisatie-instabiliteit: De Verasonics-systemen draaien op een niet-echt-tijd besturingssysteem (Windows) en communiceren met MATLAB. Dit leidt tot timing-afwijkingen, vooral bij grote beeldformaten, het opslaan van data of wanneer het host-systeem druk is. Hierdoor kunnen triggers van de laser gemist worden, wat resulteert in onnauwkeurige toewijzing van golflengten aan beeldframes.
Gebrek aan real-time feedback: De besturingssoftware van de OPOTEK Phocus laser biedt geen interface om de actuele golflengte in real-time op te vragen. Omdat de golflengtevolgorde vaststaat zodra deze naar de laser is gestuurd, is het onmogelijk om proactief aanpassingen te maken of fouten te corrigeren tijdens de acquisitie.

Zonder een robuuste synchronisatiemethode is het onmogelijk om de golflengte van elke laserpuls correct te koppelen aan het verkregen beeld, wat een strikte vereiste is voor spectrale analyse.

Methodologie

De auteurs stellen een open-source hardware-software architectuur voor die deze problemen oplost door een ontkoppelde client-server benadering en een onafhankelijke microcontroller te introduceren.

1. Hardware Synchronisatie (Microcontroller):

Een externe microcontroller (in dit geval een Arduino MEGA) wordt gebruikt om de lasertriggers onafhankelijk en deterministisch te monitoren.
De Arduino telt de triggers op basis van twee signalen: de Flashlamp out en de Q-switch out. Alleen wanneer beide signalen worden gedetecteerd, wordt de frame-teller verhoogd. Dit verhoogt de detectiestabiliteit.
De Verasonics-systemen worden getriggerd door het Flashlamp out-signaal.
Na het vastleggen van een frame vraagt het Verasonics-systeem de huidige tellerstand bij de Arduino op. Als de teller $\ge$ 2 is (om de eerste "dummy"-puls te negeren), wordt de data verpakt.

2. Data Streaming en Verwerking (Client-Server):

Server (Verasonics Host): De RF-data wordt niet lokaal opgeslagen op de Verasonics-host (wat een bottleneck zou zijn), maar via TCP-communicatie naar een aparte, onafhankelijke computer gestreamd.
Data Packaging: De server verpakt de data in twee mogelijke lay-outs: Block (sequentiële frames per golflengte) of Cyclic (verweven frames). De data wordt gestructureerd als een tensor (Axial $\times$ Lateral $\times$ Golflengten).
Shared Memory: De verwerkte data wordt direct naar een blok gedeeld geheugen geschreven voor snelle toegang.
Client (Onafhankelijke Computer): Een client-instantie (in dit geval MATLAB, maar ontworpen om uitbreidbaar te zijn naar Python/C++) pollt het gedeelde geheugen. Omdat de voorverwerking (gemiddelde berekening en golflengte-sortering) al door de server is gedaan, kan de client zich direct richten op zware taken zoals beamforming, spectrale ontbinding en AI-verwerking. Dit biedt volledige flexibiliteit qua besturingssysteem en programmeertaal.

Belangrijkste Bijdragen

Open-Source Architectuur: De volledige code en systeemarchitectuur zijn beschikbaar gesteld via GitHub, wat de drempel verlaagt voor onderzoekers om RT-mPAI te implementeren.
Robuuste Synchronisatie: Door de externe microcontroller te gebruiken, worden timing-problemen van het Windows/MATLAB-omgeving omzeild. Zelfs als de Verasonics-acquisitie vertraagt, blijft de teller van de Arduino nauwkeurig tellen, waardoor de golflengte-toewijzing correct blijft.
Ontkoppelde Data-Stream: Het verwijderen van lokale opslag op de Verasonics-host en het streamen naar een aparte computer stelt onderzoekers in staat om onbeperkt en stabiel data te verzamelen zonder buffer-overflows.
Flexibiliteit: De architectuur maakt het mogelijk om zware rekenkracht (zoals GPU-versnelling) en diverse programmeertalen (Python, C++) te integreren voor real-time verwerking.

Resultaten

De systeemvalidatie werd uitgevoerd met een fantoomexperiment waarbij blauwe en zwarte draden als punttargets dienden.

Validatie van Golflengte-toewijzing: De spectra verkregen met de nieuwe real-time pipeline (in snelle afstemmodus) toonden een uitstekende overeenkomst met de referentie-spectra verkregen via de standaard scanmodus (ground-truth).
Robuustheidstest: Er werden kunstmatige frame-verschuivingen ( $\pm1$ en $\pm2$ ) geïntroduceerd in de dataset. Dit resulteerde in duidelijke afwijkingen in de spectra, wat bevestigt dat de nauwkeurige synchronisatie via de hardware-teller essentieel is voor correcte spectrale analyse.
Stabiliteit: Er werden geen fouten in het tellen van triggers waargenomen op de Arduino-kant. Hoewel er soms frames werden gemist door de Verasonics-host, kon de server deze correct negeren zonder de structuur van de gemiddelde data te vernietigen.

Significantie en Toekomstperspectief

Dit paper draagt bij aan de democratisering van RT-mPAI. Door een betrouwbare, kosteneffectieve en open-source oplossing te bieden voor een veelgebruikte maar problematische hardware-combinatie, wordt het voor meer onderzoeksgroepen mogelijk om real-time multi-spectrale imaging toe te passen, zelfs met bestaande systemen.

Toekomstige ontwikkelingen omvatten:

Real-time compensatie voor puls-tot-puls laserenergie-variaties.
Compensatie van kleine vertragingen tussen de laser en de Verasonics-acquisitie.
Generalisatie van de pipeline voor andere ultrasound-probes.
Ontwikkeling van een C++-pipeline voor nog hogere prestaties.
Verdere validatie met een spectrometer voor puls-per-puls golflengte-verificatie.

Uiteindelijk hopen de auteurs dat deze initiatieven leiden tot een levendige open-source gemeenschap en dat toekomstige commerciële systemen deze externe synchronisatie-oplossingen zullen integreren in hun native architectuur.