CogAlign-CausalX: mask-grounded polyp analysis with closed-form explanation-alignment scoring

Elk jaar lopen miljoenen mensen het risico op dikkedarmkanker, een ziekte die vaak begint als een kleine, onschuldig lijkende groei genaamd een poliep in de dikdarm. Artsen gebruiken een procedure genaamd een coloscopie om in de dikdarm te kijken en deze groeien te verwijderen voordat ze gevaarlijk kunnen worden. Jarenlang hebben onderzoekers computers getraind om te helpen bij het opsporen van deze poliepen in de videobeelden die tijdens de procedure worden gemaakt. Deze computerprogramma's zijn erg goed geworden in het tekenen van een lijn rond een poliep, om deze te scheiden van het omliggende weefsel. Echter, een groot probleem blijft bestaan: hoewel de computer naar de poliep kan wijzen, kan hij niet gemakkelijk uitleggen waarom hij denkt dat dit een poliep is. In de medische wereld met hoge inzet moet een arts de redenering van de machine kunnen vertrouwen, niet alleen de uiteindelijke gok. Als een computer zegt "dit is een poliep", moet de arts weten of de machine naar de juiste kenmerken kijkt of dat hij slechts gokt op basis van een toevallig patroon.

Een team van onderzoekers heeft een nieuwe manier voorgesteld om dit vertrouwensprobleem op te lossen. In plaats van een complex systeem te bouwen dat eerst een gok doet en zich later pas probeert uit te leggen, hebben zij een computerpijplijn ontworpen waarbij de uitleg is ingebouwd in de allereerste stap van het denkproces. Hun methode, die ze CogAlign-CausalX noemen, werkt door de computer te dwingen de beslissing te nemen met behulp van uitsluitend het specifieke gebied dat hij al heeft geïdentificeerd. Stel je voor dat een arts naar een foto van een colon kijkt en alles behalve de verdachte plek afdekt met een stuk papier; de arts maakt vervolgens een oordeel op basis van wat er onder dat papier zichtbaar is. In dit systeem doet de computer hetzelfde. Het tekent eerst een masker, of een digitale omtrek, rond een potentiële poliep. Vervolgens gooit het de rest van de afbeelding weg en kijkt het alleen naar de pixels binnen die omtrek om te bepalen wat voor soort groei het is. Omdat de computer niets buiten die omtrek kan zien, wordt de omtrek zelf de uitleg. Als de computer het antwoord goed heeft, komt dat omdat hij het juiste gebied heeft geïdentificeerd om naar te kijken.

Om te controleren of deze aanpak daadwerkelijk werkt, hadden de onderzoekers een manier nodig om te meten hoe goed de omtrek van de computer was, niet alleen door ernaar te kijken, maar door er een score aan te geven. Ze ontwikkelden een nieuwe scoringsmethode die drie specifieke zaken controleert over de omtrek. Ten eerste controleert het of de omtrek van de computer grotendeels binnen de werkelijke poliep blijft. Ten tweede controleert het hoe nauw de vorm van de omtrek van de computer overeenkomt met de vorm die door een menselijke expert is getekend. Derde controleert het of de omtrek van de computer overvloeit in het gezonde weefsel rondom de poliep. Door deze drie controles samen te voegen tot één enkel getal, kunnen de onderzoekers in een fractie van een seconde bepalen hoe goed de "redenering" van de computer overeenkomt met de menselijke expertise. Dit is veel sneller dan oudere methoden die proberen het vertrouwen van de computer te raden door dezelfde afbeelding tientallen keren door het systeem te halen met kleine willekeurige veranderingen, een proces dat minuten in plaats van milliseconden duurt.

De onderzoekers testten hun systeem op een collectie van 1.000 echte colonbeelden die zorgvuldig zijn gecontroleerd en gelabeld door medische experts. Ze verdeelden deze beelden in groepen om de computer te trainen en vervolgens om te testen, waarbij ze ervoor zorgden dat de groepen elkaar niet overlapten. De resultaten toonden aan dat het systeem zeer effectief was. Het identificeerde de poliepen in de meeste gevallen succesvol, met een nauwkeurigheidsscore die boven verschillende oudere computermodellen lag, hoewel het nog iets achterliep op de nieuwste en krachtigste systemen die beschikbaar zijn. Belangrijker nog, het systeem bood een duidelijke, numerieke score voor zijn eigen verklaringen. De onderzoekers ontdekten dat wanneer de computer een fout maakte, dit meestal een kleine fout was, zoals het gokken dat de poliep iets groter of kleiner was dan hij in werkelijkheid was, in plaats van een volledige misvatting van waar hij naar keek.

De onderzoekers waren echter voorzichtig in het aanwijzen van een specifieke zwakte in hun nieuwe scoringsmethode. Ze ontdekten dat de score bedrogen kon worden door een zeer voorzichtige computer. Als de computer een kleine omtrek tekende die perfect binnen een grote poliep bleef maar het grootste deel van de werkelijke omvang van de poliep miste, zou de score nog steeds zeer hoog zijn. Dit komt omdat de score de computer beloont voor het binnen de veilige zone te blijven en niet over te vloeien in gezond weefsel, maar de computer niet zwaar straft voor het niet volledig dekken van de hele poliep. De onderzoekers lieten zien dat een computer twee derde van een poliep kon missen en toch een hoge score kon krijgen als hij heel voorzichtig was om het gezonde weefsel niet aan te raken. Deze bevinding is cruciaal, omdat het betekent dat de score niet alleen gebruikt kan worden om het systeem te beoordelen. Het moet altijd samen met een standaardmaatstaf worden bekeken die aangeeft hoeveel van de poliep daadwerkelijk is gevonden.

De studie benadrukte ook de beperkingen van wat deze specifieke test ons kon vertellen. De computer werd getraind en getest op een enkele set beelden, en de onderzoekers gebruikten slechts één specifieke opstelling voor hun experimenten. Ze merkten op dat het systeem niet snel genoeg was om in realtime te draaien tijdens een live medische procedure op de computers die zij gebruikten, wat betekent dat het momenteel beter geschikt is voor het beoordelen van beelden achteraf dan voor het helpen van een arts op het moment zelf. Bovendien waren de gebruikte beelden enkelvoudige, heldere stilstaande beelden, en geen bewegende, soms wazige video's zoals artsen die tijdens een daadwerkelijke procedure zien. De onderzoekers benadrukten dat hoewel hun methode een nieuwe manier biedt om vertrouwen in computer vision te meten, het geen afgewerkt product is dat klaar is voor de kliniek. Het is een bewijs van concept dat laat zien hoe een systeem gebouwd kan worden waarbij de uitleg onderdeel is van de beslissing, en het biedt een duidelijke routekaart voor wat er moet worden opgelost voordat een dergelijk systeem vertrouwd kan worden met echte patiënten.

Uiteindelijk gaat dit werk minder over het slimmer maken van de computer bij het vinden van poliepen en meer over het zichtbaar en meetbaar maken van het denkproces van de computer. Door de computer te dwingen alleen te vertrouwen op het gebied dat hij benadrukt, creëerden de onderzoekers een systeem waarbij het "waarom" even belangrijk is als het "wat". Ze bewezen dat je een machine kunt bouwen die zichzelf uitlegt door ontwerp, in plaats van door achteraf een aparte uitlegstap toe te voegen. Hoewel hun specifieke scoringsinstrument een blinde vlek heeft wat betreft hoeveel van een poliep er wordt gemist, biedt het kernidee — dat de uitleg de input moet zijn, niet de output — een veelbelovend pad vooruit. De onderzoekers hebben hun code en gegevens beschikbaar gesteld zodat anderen hun werk kunnen controleren, de cijfers kunnen verifiëren en hun bevindingen kunnen voortbouwen, om zo te garanderen dat de volgende generatie medische AI niet alleen accuraat, maar ook begrijpelijk is.