Context-Window-Mediated Corruption of Large Multimodal Models in Clinical Medicine: A Systematic Review

In het moderne ziekenhuis is een nieuw soort assistent gearriveerd. Dit zijn grote taal- en visiemodellen, computerprogramma's die getraind zijn op enorme hoeveelheden tekst en afbeeldingen en die patiëntendossiers kunnen lezen, röntgenfoto's kunnen interpreteren en diagnoses kunnen suggereren. Ze werken door een stroom van informatie te verwerken—wat een arts typt, wat een patiënt zegt, of wat een afbeelding laat zien—en dit alles als één continue stroom te verwerken. Het systeem weet van nature niet welke delen van die stroom vertrouwde instructies zijn en welke delen slechts achtergrondruis of accidentele krabbels zijn. Voor de computer ziet een commando geschreven door een arts en een willekeurige notitie geschreven door een patiënt er namelijk hetzelfde uit als een bepaald type data. Dit creëert een unieke kwetsbaarheid: als de informatie die in de machine wordt gevoed zelfs maar een klein beetje wordt gewijzigd, kan de output van de machine drastisch veranderen, ongeacht hoe slim de machine zelf is.

Dit is geen probleem van een computer die kapot is of slecht gebouwd is; het is een probleem van hoe de computer luistert. Stel je een zeer bekwame vertaler voor die zo enthousiast is om instructies op te volgen dat als iemand een nieuwe opdracht in zijn oor fluistert terwijl hij aan het werk is, hij onmiddellijk stopt met waar hij mee bezig was en de fluistering opvolgt. In de wereld van kunstmatige intelligentie staat dit bekend als prompt injection, waarbij de input zelf het gedrag van het systeem overneemt. Terwijl beveiligingsexperts zich al lang zorgen maken over kwaadwillende hackers die deze truc gebruiken, stelt een nieuwe systematische review een meer verontrustende vraag voor het medische veld: heeft de gevarenzone wel een hacker nodig? Zou een eenvoudige, accidentele markering op een medische afbeelding, of de urgente maar verwarde bewoording van een patiënt, dezelfde fout kunnen triggeren?

Een team onderzoekers van het Beth Israel Deaconess Medical Center en de Universiteit van Debrecen zette zich in om dit te beantwoorden door elke beschikbare studie te verzamelen die heeft getest hoe deze medische modellen reageren wanneer hun input wordt gemanipuleerd. Ze bekeken tien specifieke studies die tussen 2025 en 2026 werden gepubliceerd, variërend van kankerdiagnostiek en analyse van huidlaesies tot patiëntadvies en medicatiebegeleiding. Hun doel was om te zien of deze krachtige instrumenten corrupt gemaakt konden worden simpelweg door te veranderen wat ze lezen of zien, zonder dat iemand de interne code van de computer hoefde te hacken of toegang tot de geheime trainingsdata nodig had.

De onderzoekers vonden dat de modellen inderdaad zeer kwetsbaar zijn, en de corruptie vereist geen schurk. Sterker nog, de studies toonden aan dat er aanzienlijke veranderingen in de output optraden, of de input nu een bewuste aanval was die door een onderzoeker was gecreëerd of niet-kwaadwillende inhoud die was opgebouwd om op gewoon klinisch materiaal te lijken. De review merkt echter expliciet op dat geen enkele studie natuurlijk voorkomende inhoud vergeleken heeft met een bewuste aanval onder gelijke omstandigheden, dus het blijft onbewezen of incidenten in de echte wereld dezelfde fouten veroorzaken. Het team deelde deze fouten in vier hoofdcategorieën in. De eerste is het falen van de instructiehiërarchie (instruction-hierarchy failure), waarbij een verborgen commando de oorspronkelijke aanvraag van de arts overrulet. De tweede is het falen van de integriteit van het bewijs (evidence-integrity failure), waarbij het model valse informatie of verzonnen bevindingen als waarheid accepteert. De derde, specifelijk voor modellen die beelden zien, is multimodale interferentie (multimodal interference), waarbij tekst geschreven op of binnen een medische afbeelding het visuele bewijs van de afbeelding zelf overrulet. De vierde is interactionele sensitiviteit (interactional sensitivity), waarbij de toon van een bericht of een vals uitgangspunt de beslissing van het model verandert.

De resultaten waren schrijnend. In één studie naar huidkankerbeelden zorgde het toevoegen van één enkel gefabriceerd label aan een afbeelding ervoor dat de diagnostische nauwkeurigheid van het model kelderde van een bereik van 58 tot 62 procent naar 0,0 tot 1,9 procent. In een andere studie, toen onderzoekers de toon van een patiëntbericht veranderden om het urgenter of autoritairder te laten klinken, steeg het percentage waarbij het model een patiënt adviseerde naar de spoedeisende hulp te sturen van ongeveer 14 procent naar wel 82 procent. Misschien nog wel het meest verontrustende was dat deze fouten voorkwamen bij verschillende soorten modellen, van oudere versies tot de nieuwste, krachtigste systemen. Geen enkel model bleek consistent veilig te zijn; een systeem dat robuust was tegen het ene type fout, was vaak het meest kwetsbaar voor een ander type.

De onderzoekers testten ook of enige huidige verdedigingsmechanismen deze problemen konden stoppen. Ze keken naar strategieën zoals het toevoegen van veiligheidsinstructies aan de prompt, het laten beoordelen van het werk van het eerste model door een tweede model, of het hertrainen van de modellen op gecorrigeerde voorbeelden. Geen van deze methoden elimineerde het risico. Sommige verminderden de fouten enigszins, maar andere hadden geen effect. Een verdediging die het hertrainen van het model inhield, verbeterde weliswaar het vermogen om valse informatie af te wijzen, maar zorgde er ook voor dat het model legitieme verzoeken begon te weigeren, wat in feite een ruil was van het ene type fout voor het andere. Cruciaal was dat geen van de geteste verdedigingen werkte tegen verschillende soorten fouten; een oplossing voor het ene probleem bood geen bescherming tegen een ander probleem.

Een aanzienlijk deel van de review richtte zich op de vraag of deze fouten een kwaadwillende aanvaller vereisten. Het antwoord, op basis van het beschikbare bewijs, is dat door onderzoekers geconstrueerde inhoud die bedoeld was om op gewoon, accidenteel klinisch materiaal te lijken—zoals een handgeschreven notitie op een preparaat of de eigen urgente formulering van een patiënt—voldoende was om het systeem te breken. Echter, het artikel verduidelijkt dat deze niet afkomstig waren uit de dagelijkse praktijk, en geen enkele studie naar natuurlijk voorkomende inhoud in isolatie heeft onderzoek gedaan. Dit suggereert dat de dreiging niet alleen een cyberaanval is, maar een fundamentele zwakte in hoe deze modellen informatie verwerken. De integriteit van de data die in het systeem gaat, is net zo belangrijk als de veiligheid van het model zelf.

De auteurs concluderen dat de huidige benadering van medische kunstmatige intelligentie, die sterk gericht is op het trainen van het model en het monitoren van de output, mogelijk een cruciaal onderdeel van de puzzel mist. Als de informatie die in het systeem wordt gevoed door eenvoudige, niet-kwaadwillende middelen kan worden gecorrumpeerd, dan hangt de veiligheid van de gehele klinische beslissing af van de zuiverheid van die input. Totdat we kunnen garanderen dat de data die deze modellen bereikt vrij is van accidentele of intentionele manipulatie, en totdat we verdedigingsmechanismen hebben die werken tegen alle soorten fouten, blijft de betrouwbaarheid van deze instrumenten in de echte zorg onzeker. De bevindingen dienen als een vroeg waarschuwingssignaal: de veiligheid van deze systemen hangt niet alleen af van de intelligentie van de machine, maar van de betrouwbaarheid van de wereld die zij gevraagd wordt te lezen.