Chest2Vec: A multipurpose text encoder conditioned by instructions for chest radiograph and computed tomography reports
Het artikel introduceert Chest2Vec, een veelzijdige, instructie-geconditioneerde tekstencoder beschikbaar in 0,6B en 4B parameters grootte die effectief zowel thoraxfoto- als CT-rapporten verwerkt voor taken zoals retrieval, classificatie en beeld-tekst supervisie, waarbij het een superieure prestatie op CT-rapporten demonstreert vergeleken met bestaande modellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van medische beeldvorming is een plaatje vaak meer waard dan duizend woorden, maar voor de computers die artsen helpen bij het lezen van die plaatjes, zijn de woorden net zo cruciaal. Wanneer een radioloog een borstkasfoto of een CT-scan onderzoekt, schrijft hij een rapport waarin hij beschrijft wat hij ziet: of de longen schoon zijn, of er vocht rond het hart zit, of een bot gebroken is. Deze rapporten zijn het primaire verslag van wat de afbeelding laat zien, en ze zijn de basis geworden voor het bouwen van kunstmatige intelligentiesystemen die kunnen assisteren bij de diagnose. Om een computer te leren deze afbeeldingen te begrijpen, moeten ingenieurs de computer eerst leren de taal van de rapporten te begrijpen. Hiervoor is een "tekstencoder" nodig, een gespecialiseerd computerprogramma dat menselijke zinnen vertaalt naar een wiskundig formaat dat de machine kan verwerken. Jarenlang werden deze programma's getraind op algemene taal of specifiek op borstkasfoto's, maar ze hadden moeite met de complexere en gedetailleerdere rapporten die worden gegenereerd door CT-scans van de borstkas, die een veel breder beeld geven van het binnenste van het lichaam.
Een team van onderzoekers heeft nu een nieuwe tool genaamd Chest2Vec ontwikkeld om dit gat te vullen. Dit systeem is ontworpen om de tekst van zowel borstkasfoto's als CT-scans van de borstkas te begrijpen, en fungeert als een universele vertaler voor deze twee verschillende soorten medische beeldvorming. De onderzoekers bouwden twee versies van deze tool, een kleinere en een grotere, en testten deze tegen bestaande programma's om te zien welke het beste de betekenis van medische rapporten kon vatten. Ze ontdekten dat hun nieuwe systeem, met name de grotere versie, aanzienlijk beter was in het begrijpen van de nuances van CT-scanrapporten dan welke andere beschikbare tool dan ook. Het kon nauwkeurig specifieke bevindingen in een rapport koppelen aan de uiteindelijke conclusie van de arts, subtiele fouten in de tekst opsporen en zelfs zijn aandacht richten op specifieke delen van het lichaam, zoals de longen of het hart, door simpelweg een instructie op te volgen. Dit werk suggereert dat door computers specifiek te trainen op de taal van borstkasbeeldvorming, in plaats van ze alleen maar groter te maken of algemene taalvaardigheden te gebruiken, we betrouwbaardere en nuttigere instrumenten kunnen creëren voor medische diagnose.
De uitdaging waarmee de onderzoekers werden geconfronteerd, was dat de taal die wordt gebruikt in CT-rapporten van de borstkas verschilt van de taal die wordt gebruikt bij borstkasfoto's. Hoewel beide dezelfde organen beschrijven, is een CT-rapport vaak langer en bevat het details over gebieden die een röntgenfoto niet kan zien, zoals de bovenbuik of de bloedvaten in de nek. Bestaande computerprogramma's waren ofwel te algemeen om deze medische specificaties te vangen, of werden alleen getraind op de eenvoudigere taal van röntgenfoto's. De onderzoekers hypotheseerden dat als ze een computermodel specifiek zouden trainen op de tekst van beide typen borstkasrapporten, het de betekenis van de woorden nauwkeuriger zou leren vertegenwoordigen dan een model dat getraind is op algemene taal of slechts één type scan. Ze begonnen met een krachtig basismodel en leerden het vervolgens met behulp van duizenden echte medische rapporten, waarbij de tekst werd gekoppeld aan instructies die de computer vertelden welke taak hij moest uitvoeren, zoals "vind de fout" of "vat de bevindingen samen".
Om hun creatie te testen, onderwierp het team Chest2Vec aan een reeks rigoureuze uitdagingen met gegevens van ziekenhuizen die de computer nog nooit eerder had gezien. In één test vroegen ze het systeem om de juiste uiteindelijke samenvatting van de toestand van een patiënt te vinden op basis van alleen de gedetailleerde lijst met bevindingen. Op CT-rapporten van de borstkas slaagde het nieuwe systeem erin de juiste samenvatting bijna 69 procent van de tijd te vinden, terwijl de op één na beste concurrent, een programma dat gespecialiseerd is in alleen röntgenfoto's, minder dan 58 procent van de tijd slaagde. In een andere test vroegen de onderzoekers de computer om te identificeren of een rapport subtiel was gewijzigd om een medische fout in te sluiten, zoals het veranderen van een negatieve bevinding in een positieve. Het nieuwe systeem identificeerde het ongewijzigde, correcte rapport meer dan 87 procent van de tijd, waarmee het andere tools ruim versloeg. Deze resultaten toonden aan dat de verbetering voortkwam uit de specifieke training op de tekst van borstkasbeeldvorming, en niet alleen uit de grootte van het computermodel.
De onderzoekers ontdekten ook dat het systeem de opdracht kon krijgen om zich op specifieke lichaamsdelen te richten zonder dat het opnieuw getraind hoefde te worden. Door simpelweg de instructie aan de computer te wijzigen, konden ze de computer laten prioriteit geven aan informatie over de longen, het hart of de botten, waardoor de aandacht effectief werd afgestemd op het gebied van belang. Deze flexibiliteit is waardevol omdat het één enkel computermodel meerdere doelen laat dienen, van het controleren op specifieke ziekten tot het helpen van artsen bij het vinden van vergelijkbare eerdere gevallen. Bovendien toonde het team aan dat deze tekstencoder de prestaties van beeldgestuurde AI kan verbeteren. Wanneer ze de nieuwe teksttool gebruikten om een computer te leren hoe hij CT-scans moet "zien", was het resulterende beeldherkenningssysteem nauwkeuriger dan systemen die getraind waren met oudere, minder gespecialiseerde teksttools.
Ondanks deze successen merkten de onderzoekers enkele beperkingen op. De trainingsdata voor CT-scans kwamen uit één enkele publieke bron, wat betekent dat het systeem mogelijk niet perfect is aangepast aan de rapportagestijlen van elk ziekenhuis of land. Daarnaast werd het systeem getest op Engelstalige rapporten, en het blijft te zien hoe het presteert in andere talen of in andere medische omgevingen. Het team wees er ook op dat de fouten die in hun tests werden gebruikt, door computers waren gecreëerd in plaats van natuurlijk voor te komen in echte rapporten, wat betekent dat het vermogen van het systeem om echte fouten te detecteren kan verschillen. Desalniettemin levert de studie sterk bewijs dat een gespecialiseerde, instructiegestuurde aanpak beter werkt dan algemene methoden voor het begrijpen van borstkasrapporten. Door hun tools en de gestructureerde gegevens die zij hebben gecreëerd vrij te geven, hopen de onderzoekers andere wetenschappers in staat te stellen nog geavanceerdere systemen te bouwen die kunnen assisteren bij het complexe en vitale werk van het interpreteren van medische beelden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.