FetalAgents: A Multi-Agent System for Fetal Ultrasound Image and Video Analysis

FetalAgents is het eerste multi-agent systeem dat door middel van een lichtgewicht coördinatieframework gespecialiseerde visuele experts dynamisch coördineert om een robuuste, end-to-end oplossing te bieden voor analyse, meting en rapportage van foetale echografiebeelden en -video's.

De kern

Stel je voor dat een zwangerschapsultrasone scan (echografie) een enorme, complexe puzzel is. Voor een arts is het vaak lastig om alle stukjes op de juiste plek te krijgen, vooral omdat er maar weinig gespecialiseerde specialisten zijn en de beelden soms wazig of verwarrend zijn.

Dit paper introduceert FetalAgents, een slimme digitale assistent die deze puzzel voor je oplost. In plaats van één enkele computerprogrammaatje dat maar één ding goed kan, is FetalAgents meer als een hoogopgeleid medisch team dat samenwerkt in een virtuele vergaderzaal.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Regisseur (De Coördinator)

Stel je een filmset voor. Je hebt duizenden acteurs (de verschillende AI-modellen), maar zonder regisseur is het een chaos.

• De Regisseur: In FetalAgents is er een slimme "Regisseur" (een taalmodel). Wanneer een arts een scan inlevert of een vraag stelt, kijkt deze Regisseur eerst: "Wat hebben we hier?"
• Het Plan: Hij herkent of het beeld een hersenen-afbeelding is, een buikje, of een been. Vervolgens roept hij precies de juiste specialisten op. Hij zegt niet: "Iedereen doe maar wat," maar: "Jij, de hersen-expert, kijk hier. Jij, de meet-expert, doe die metingen."

2. De Specialisten (De Experts)

In plaats van één alles-kunnende robot, heeft dit systeem een team van specialisten, elk met hun eigen gereedschapskist:

• De Klassificatie-expert: Deze kijkt naar het beeld en zegt: "Dit is een standaardbeeld van de hersenen."
• De Meet-expert: Deze tekent precies de contouren van het hoofdje of de buik en meet de omtrek.
• De Segmenteer-expert: Deze vult de vormen in, alsof ze een kleurplaat invullen, zodat de afmetingen exact zijn.
• Het Geniale aan FetalAgents: Als één expert twijfelt, kan de Regisseur een tweede expert erbij halen om het te controleren. Ze vergelijken hun antwoorden en komen tot één, zeer betrouwbaar resultaat. Het is alsof drie artsen samen naar dezelfde foto kijken en het eens worden voordat ze iets opschrijven.

3. Van Foto naar Video (De Samenvatter)

Tot nu toe konden computers alleen naar één statische foto kijken. Maar een echografie is eigenlijk een video die draait.

• Het Probleem: Een arts moet vaak minutenlang naar een scherm kijken, de beste momenten (de "keyframes") zelf selecteren en dan verslag uitbrengen. Dat is tijdrovend.
• De Oplossing: FetalAgents kan de hele video streamen. Het kijkt naar de video, pakt automatisch de beste beelden eruit (bijvoorbeeld: "Hier is het hoofdje goed te zien, hier de buik"), en maakt daar een samenvatting van.
• Het Verslag: Aan het einde schrijft het niet alleen de cijfers op, maar maakt het een volledig medisch verslag. Het vergelijkt de metingen met de verwachte groei (volgens de WHO-standaarden) en zegt bijvoorbeeld: "Het hoofdje past perfect bij de zwangerschapsduur van 20 weken."

Waarom is dit zo belangrijk?

Vroeger waren AI-tools als eenzame specialisten: één programma voor het tellen van de hartslag, een ander voor het meten van de buik. Als je een volledig verslag wilde, moest je die tools één voor één bedienen en de resultaten zelf in een tekst gieten.

FetalAgents is als een automatische secretaresse met een medische achtergrond:

1. Hij luistert naar wat de arts nodig heeft.
2. Hij roept het juiste team op.
3. Hij controleert of de metingen logisch zijn (bijvoorbeeld: "Wacht, als de buik zo groot is, moet het hoofdje ook zo groot zijn?").
4. Hij schrijft het verslag voor je.

Het Resultaat

In tests heeft dit systeem bewezen dat het nauwkeuriger is dan de beste losse programma's en zelfs slimmer dan de grote, algemene AI-modellen (zoals de nieuwste versies van ChatGPT of Gemini) die niet specifiek voor deze taak zijn getraind. Het is sneller, betrouwbaarder en helpt artsen om meer zwangere vrouwen veilig en goed te controleren, zelfs in gebieden waar er weinig specialisten zijn.

Kortom: FetalAgents is de digitale teamleider die ervoor zorgt dat elke ultrasone scan wordt geanalyseerd door het beste mogelijke team, zodat de arts zich kan focussen op de patiënt in plaats van op de computer.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "FetalAgents: A Multi-Agent System for Fetal Ultrasound Image and Video Analysis" in het Nederlands.

Probleemstelling

Fetale echografie (US) is de belangrijkste beeldvormende techniek voor prenatale screening, maar de interpretatie ervan is sterk afhankelijk van de expertise van de klinisch specialist. Hoewel er aanzienlijke vooruitgang is geboekt met diep learning en foundation-modellen, kampen bestaande geautomatiseerde hulpmiddelen met twee fundamentele beperkingen:

1. Gebrek aan alomvattende flexibiliteit: Bestaande modellen zijn vaak gespecialiseerd in één specifieke taak (bijv. alleen segmentatie of alleen classificatie) en kunnen niet het volledige klinische workflow ondersteunen.
2. Fragmentatie van de workflow: Klinici moeten handmatig verschillende tools selecteren, voorspellingen coördineren en deze vertalen naar gestructureerde rapporten. Er ontbreekt een systeem dat het dynamische, tijdsgebonden karakter van echografievideo's en de complexe, multi-stap redeneerprocessen van menselijke sonografisten nabootst.

Methodologie: FetalAgents

De auteurs stellen FetalAgents voor, het eerste multi-agent systeem voor uitgebreide analyse van fetale echografie. Het systeem is gebouwd op het AutoGen-framework en integreert gespecialiseerde visuele modellen met redenerende LLM-agenten (Large Language Models) om een holistische workflow te creëren.

Het systeem bestaat uit drie hoofdcomponenten:

1. Coördinator Agent (Coordinator):

   • Gebaseerd op GPT-5-mini.
   • Fungeert als intelligente centrale orkestrator.
   • Analyseert de gebruikersvraag en de invoer (afbeelding of video), classificeert de taak en identificeert het anatomische vlak (bijv. hersenen, abdomen).
   • Dynamisch verdeelt hij taken naar de juiste specialistische agenten.

2. Expert Agenten (Specialized Experts):

   • Dit zijn modulaire agenten die specifieke klinische taken uitvoeren door middel van ensembles van visuele modellen.
   • Vlakclassificatie: Gebruikt een ensemble van FetalCLIP, FU-LoRA, ResNet-50 en ViT.
   • Anatomische Segmentatie: Combineert modellen zoals nnU-Net, USFM en SAMUS (SAM voor echografie) voor het segmenteren van het hoofd, abdomen en maag.
   • Fetale Biometrie: Meet parameters zoals de Hoek van Progressie (AoP), Hoofdomvang (HC) en Buikomvang (AC) door middel van regressie en ellipse-fitting op de gegenereerde maskers.
   • Communicatie gebeurt uitsluitend via gestructureerde JSON-formaten om hallucinaties te minimaliseren.

3. Samenvatter Agent (Summarizer):

   • Aggregeert de gestructureerde output van de experten.
   • Genereert een samenhangend, menselijk leesbaar klinisch rapport.
   • Voert een consistentiecheck uit: vergelijkt biometrische metingen met de geschatte zwangerschapsduur (GA) aan de hand van WHO-groeidiagrammen. Bij afwijkingen wordt een reflectiestap uitgevoerd om uitschieters te corrigeren.

Video Samenvatting:
In tegenstelling tot statische beeldanalyse, ondersteunt FetalAgents ook end-to-end video stream samenvatting. Een geautomatiseerd module identificeert automatisch diagnostisch relevante sleutelbeelden (keyframes) uit een continue video, analyseert deze met de experts en synthetiseert de resultaten in een gestructureerd rapport, inclusief cross-referencing met patiëntmetadata (zoals de datum van de laatste menstruatie/LMP).

Belangrijkste Bijdragen

• Eerste Multi-Agent Systeem: Het introduceert een nieuw paradigma voor medische beeldanalyse dat gespecialiseerde modellen orkestreert in plaats van één monolithisch model te gebruiken.
• End-to-End Workflow: Het systeem bedekt de volledige keten van vlakherkenning, segmentatie, biometrie tot het genereren van een klinisch verslag, inclusief video-analyse.
• Dynamische Orkestratie: Het vermogen om dynamisch de juiste tools te selecteren op basis van de context (anatomisch vlak en vraag) en hallucinaties te beperken via gestructureerde output.
• Validatie op Realistische Data: Uitgebreide evaluatie op externe, multi-centrische datasets die de robuustheid in verschillende populaties aantonen.

Resultaten

FetalAgents werd geëvalueerd op acht klinische taken tegenover gespecialiseerde visiemodellen, foundation-modellen en multimodale grote taalmodellen (MLLMs). De resultaten tonen consistent superioriteit aan:

• Vlakclassificatie: Bereikte een nauwkeurigheid van 92,7% voor standaard vlakken (vs. 91,4% voor de beste standalone FetalCLIP) en 90,9% voor hersenvlakken.
• Anatomische Segmentatie:
  • Abdomen: DSC van 0,937 (vs. 0,902 voor FetalCLIP) en een drastische verbetering in HD95 (2,32 vs. 4,20).
  • Maag: DSC van 0,859, wat beter is dan nnU-Net en SAMUS.
• Fetale Biometrie:
  • AC (Buikomvang): Verminderde de gemiddelde absolute fout (MAE) van 9,94 mm naar 5,53 mm.
  • HC (Hoofdomvang): Bereikte een MRAE van 1,40%.
  • GA (Zwangerschapsduur) Voorspelling: Bereikte de hoogste validiteitsrate (84,93%) en de laagste MAE (1,23 weken).
• Kwalitatieve Evaluatie: Het systeem produceerde klinische rapporten die sterk overeenkwamen met die van menselijke experts, inclusief correcte identificatie van sleutelbeelden in video's en logische consistentiechecks tussen US-metingen en LMP-data.

Betekenis en Impact

FetalAgents markeert een verschuiving van geïsoleerde, taak-specifieke AI-modellen naar een geïntegreerd, workflow-georiënteerd systeem. Door de beperkingen van statische beeldanalyse te overwinnen en video-streams te kunnen verwerken, biedt het een oplossing die dichter bij de dagelijkse praktijk van een sonograaf ligt. Het systeem biedt niet alleen hogere nauwkeurigheid, maar ook auditabele en gestructureerde rapportage, wat essentieel is voor de implementatie van AI in de klinische zorg. Dit kan helpen om de kwaliteit van prenatale zorg te standaardiseren en de afhankelijkheid van schaarse, ervaren sonografen te verminderen.