💻 computer science

In-Context Learning for Wound Classification with Small Multimodal Language Models

Deze studie toont aan dat kleine multimodale taalmodellen effectief wondbeeldclassificatie zonder training kunnen uitvoeren via retrieval-gebaseerd in-context leren, waarbij een hoge nauwkeurigheid op publieke datasets wordt bereikt door gebruik te maken van query-geconditioneerde ondersteunende voorbeelden en maximal marginal relevance herordening zonder de noodzaak voor taakspecifieke hertraining.

Oorspronkelijke auteurs: George Martvel, Oskar Gustafsson, John Pavia, Ernst Ahlberg

Gepubliceerd 2026-07-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: George Martvel, Oskar Gustafsson, John Pavia, Ernst Ahlberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om verschillende soorten wonden te herkennen, zoals een schaafwond, een brandwond of een diepe snee. Normaal gesproken moet je een robot hiervoor duizenden gelabelde afbeeldingen laten zien en hem dwingen ze te memoriseren via een proces dat "training" wordt genoemd. Het is alsof je een student wekenlang laat studeren voor één enkel examen. Maar wat als de robot slechts een paar voorbeelden kan bekijken vlak voor het examen en het ter plekke kan uitzoeken? Dit is het idee achter "In-Context Learning" (ICL). Denk aan het overhandigen van een spiekbriefje aan een student met drie perfecte voorbeelden van een "brandwond" en een "snede" vlak voordat hij een nieuwe foto ziet. Hij hoeft niet het hele tekstboek te memoriseren; hij hoeft alleen maar naar de voorbeelden te kijken en te zeggen: "Oh, deze nieuwe lijkt op het voorbeeld van de brandwond."

Stel je nu voor dat deze robot klein is en op een laptop of telefoon past, in plaats van op een gigantische supercomputer in de cloud. Dit worden "Small Multimodal Language Models" (SMLMs) genoemd. Ze zijn geweldig voor de privacy, omdat je je privé medische foto's niet naar een grote server hoeft te sturen; de robot kan het denken direct op je eigen apparaat doen. De grote vraag die wetenschappers zich hebben gesteld is: kunnen deze kleine, lokale robots het met slechts een paar voorbeelden goed doen, of hebben ze de gigantische supercomputers en enorme hoeveelheden trainingsdata nodig om het goed te krijgen?

Dit artikel onderzoekt dat idee. De onderzoekers wilden zien of ze deze kleine, lokale AI-modellen konden gebruiken om wondafbeeldingen te classificeren zonder ze telkens opnieuw te trainen. Ze zetten een experiment op met behulp van twee publieke collecties wondfoto's: één met ongeveer 1.469 afbeeldingen en een andere met 560. In plaats van de AI alleen te vragen om te gokken (wat "zero-shot" wordt genoemd en vaak tot wilde gokken leidt), probeerden ze het de AI te geven met een "spiekbriefje" van voorbeelden. Maar hier is de truc: ze kozen niet zomaar willekeurige voorbeelden. Ze gebruikten een slim zoeksysteem om de voorbeelden te vinden die het meest lijken op de nieuwe wondafbeelding.

De resultaten waren erg opwindend voor de kleine robots. Wanneer de AI werd voorzien van een slim gekozen set voorbeelden (specifiek 10 voorbeelden gevonden door een zoeksysteem genaamd kNN, en soms verfijnd met een methode genaamd MMR om ervoor te zorgen dat de voorbeelden divers zijn), werd hij veel beter in zijn werk. Op de grotere dataset bereikte het beste kleine model, een 27-miljard parameters tellende versie van Qwen 3.5, een nauwkeurigheid van 0,872. Dat betekent dat hij de diagnose in meer dan 87% van de gevallen correct stelde. Op de lastigere, kleinere dataset behaalde het nog steeds een nauwkeurigheid van ongeveer 68%.

De studie vond ook dat de grootte van de robot ertoe deed. De grotere kleine modellen (zoals de 27B en 9B versies) waren in staat om de voorbeelden te gebruiken om hun gokken aanzienlijk te verbeteren, waarbij ze vaak zelfs een standaard computerprogramma versloegen dat simpelweg stemt op basis van de dichtstbijzijnde match. Echter, de allerkleinste modellen hadden het iets moeilijker; ze kopieerden soms gewoon de voorbeelden zonder echt de nuance te begrijpen. De onderzoekers ontdekten ook dat je geen enorme spiekbrief nodig hebt; het toevoegen van meer dan 8 tot 10 voorbeelden hielp niet veel meer en maakte het proces alleen maar trager.

Cruciaal is dat het artikel laat zien dat deze aanpak werkt zonder dat er telkens opnieuw getraind hoeft te worden voor elke nieuwe taak. Als artsen besluiten om de labels of de soorten wonden waar ze naar kijken te veranderen, hoeven ze alleen de voorbeelden in de prompt te vervangen en past het model zich direct aan. Hoewel de prestaties niet perfect zijn en sterk afhangen van het hebben van goede voorbeelden en een degelijk groot model, suggereert de studie dat kleine, lokale AI-modellen een praktische, privacyvriendelijke manier kunnen zijn om helpen bij het classificeren van wonden, wat een flexibel alternatief biedt voor de zware, data-hongerige systemen van het verleden.

Technische Samenvatting: In-Context Learning voor Wondclassificatie met Kleine Multimodale Taalmodellen

Probleemdefinitie
Wondbeeldclassificatie wordt traditioneel behandeld als een taakspecifiek supervised learning-probleem. Dit paradigma vereist aanzienlijke hoeveelheden handmatig gelabelde data en maakt hertraining noodzakelijk wanneer de labelruimte of de context van implementatie verandert. Dergelijke vereisten zijn bijzonder belastend in medische omgevingen waar expertlabels schaars zijn, privacybeperkingen het delen van gegevens beperken en klinische definities snel evolueren. Hoewel Large Multimodal Language Models (LMLMs) over zero-shot capaciteiten beschikken, vereisen ze vaak inferentie aan de serverzijde, wat privacyzorgen oproept voor gevoelige patiëntgegevens. Daartegenover staan Small Multimodal Language Models (SMLMs) die geschikt zijn voor lokale of edge-implementatie, maar die vaak moeite hebben met complexe medische taken zonder fine-tuning. Deze studie onderzoekt of SMLMs een praktisch, privacybewarend alternatief kunnen dienen voor wondclassificatie via retrieval-gebaseerd in-context learning (ICL), waardoor taakspecifieke hertraining wordt vermeden.

Methodologie
De studie evalueerde elf SMLMs uit de Qwen 3.5, Ministral 3 en Gemma 4 families, variërend van 0,8B tot 27B parameters. Experimenten werden uitgevoerd op twee publieke datasets: de Kaggle wonddataset (1.469 afbeeldingen, 10 klassen) en de Medetec dataset (560 afbeeldingen, 9 klassen).

De kernmethodologie omvatte het construeren van prompts voor de SMLMs met behulp van drie strategieën voor het selecteren van ondersteunende voorbeelden (few-shot context):

Zero-shot: Geen ondersteunende voorbeelden verstrekt.
Random Few-shot: Ondersteunende voorbeelden uniform gesampled uit de dataset.
Retrieval-gebaseerde ICL: Ondersteunende voorbeelden geselecteerd via embedding-gebaseerde retrieval met behulp van een bevroren OpenAI CLIP ViT-B/32 encoder. Twee retrieval-strategieën werden getest:
- kNN: Het selecteren van de $K$ dichtstbijzijnde buren op basis van cosinus-gelijkenis.
- kNN+MMR: Het selecteren van buren met behulp van Maximal Marginal Relevance om een balans te vinden tussen relevantie en diversiteit.

Om de bijdrage van het redeneervermogen van het model te isoleren van het retrieval-mechanisme zelf, vergeleken de auteurs de prestaties van de SMLM met een retrieval-only weighted-kNN baseline. Daarnaast beoordeelde de studie de impact van de grootte van de support set (het reduceren van de pool naar 7stelling, 50% en 25%) en de grootte van de support context (variërend van $K$ = 2 tot 20) op prestaties en inferentiekosten. Supervised baselines (ViT, ConvNeXt, EfficientNet, ResNet) met volledige fine-tuning, LoRA en head-only tuning werden eveneens geëvalueerd voor vergelijking.

Belangrijkste Resultaten

Retrieval is cruciaal: Query-geconditioneerde retrieval (kNN en kNN+MMR) presteerde consistent beter dan zowel zero-shot als random few-shot prompting. Op de Kaggle-dataset bereikte het beste model (Qwen 3.5 27B met kNN+MMR) een nauwkeurigheid van 0,872, vergeleken met 0,580 voor zero-shot. Op de meer uitdagende Medetec-dataset bereikte dezelfde configuratie een nauwkeurigheid van 0,678 tegenover 0,367 voor zero-shot.
Modelschaal en Redeneren: Grotere modellen (bijv. Qwen 3.5 27B, 9B; Gemma 4 26B) presteerden significant beter dan de retrieval-only weighted-kNN baseline. Statistische analyse (McNemar-testen) bevestigde dat deze modellen niet louter de retrieved voorbeelden "naboorden" (parroting), maar interne kennis gebruikten om fouten te corrigeren die door de retrieval-only controle werden gemaakt. Bijvoorbeeld, op Kaggle behield Qwen 3.5 27B 96% van de correcte voorspellingen van de controle, terwijl het 61,6% van de fouten van de controle "redde". Kleinere modellen (bijv. Qwen 3.5 0,8B) faalden vaak om de retrieval-only baseline te overtreffen, wat suggereert dat zij niet de capaciteit hebben om de retrieved context effectief te integreren.
Robuustheid tegen Datatekort: Retrieval-gebaseerde ICL demonstreerde robuustheid bij gereduceerde support sets. Hoewel de prestaties afnamen naarmate de support pool kromp, presteerden de beste SMLMs met ICL beter dan de supervised baselines getraind op dezelfde gereduceerde fracties data. Bijvoorbeeld, op de Medetec-dataset met slechts 25% van de support data, bereikte de beste SMLM (Qwen 3.5 27B) een nauwkeurigheid van ~0,53, waarmee de beste supervised model (ConvNeXt-Tiny) die naar ~0,41 zakte, overtrof.
Contextgrootte en Kosten: Het vergroten van de support context leidde tot positieve maar afnemende rendementen. De meeste prestatiewinsten verzadigden tussen 8 en 10 ondersteunende afbeeldingen. Voorbij dit punt waren de winsten in nauwkeurigheid minimaal, terwijl de inferentielatentie en token-aantallen lineair toenamen.

Betekenis en Claims
Het artikel claimt dat retrieval-gebaseerde ICL SMLMs in staat stelt om adaptieve wondbeeldclassificatie uit te voeren zonder de noodzaak voor taakspecifieke hertraining of fine-tuning. Deze aanpak biedt een levensvatbaar compromis tussen taakadaptiviteit, computationele kosten en classificatieprestaties, met name in privacygevoelige omgevingen waar gegevens niet naar externe cloudproviders kunnen worden verzonden.

De auteurs benadrukken dat hoewel SMLMs niet noodzakelijkerwijs beter presteren dan grote remote modellen of volledig gefinetunede systemen in alle scenario's, ze een "bruikbaar privacybewarend compromis" bieden. De studie toont aan dat compacte, retrieved contexten de praktische implementatie op lokale hardware kunnen ondersteunen, mits de model schaal en de retrieval-strategie goed zijn afgestemd op de moeilijkheidsgraad van de taak. Het werk benadrukt dat de keuze van de ondersteunende voorbeelden centraal staat voor effectieve ICL, en dat grotere SMLMs effectief de retrieved context kunnen benutten om eenvoudige nearest-neighbor voting te overtreffen, wat hen een flexibele oplossing maakt voor medische beeldvormingstaken waarbij de labelsets en definities kunnen veranderen.

Meer zoals dit