💻 computer science

Contrastive Learning under Noisy Temporal Self-Supervision for Colonoscopy Videos

Dit artikel stelt een ruisbewust contrastief leerkader voor dat de inherente temporale structuur van colonoscopievideo's benut om robuuste polyprepresentaties te leren zonder kostbare handmatige annotaties, en dat state-of-the-art prestaties bereikt op meerdere downstream-taken met een lichtgewicht encoder die is getraind op een klein dataset.

Oorspronkelijke auteurs: Luca Parolari, Pietro Gori, Lamberto Ballan, Carlo Biffi, Loic Le Folgoc

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Luca Parolari, Pietro Gori, Lamberto Ballan, Carlo Biffi, Loic Le Folgoc

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren verschillende mensen te herkennen in een drukke kamer, maar je hebt geen naambordjes. Je hebt alleen een continu filmpje van de kamer.

In de wereld van colonoscopieën (een medische camera-procedure om naar het binnenste van de dikke darm te kijken) zijn de "mensen" poliepen (kleine uitstulpingen die kanker kunnen worden), en is de "kamer" het binnenste van de dikke darm van een patiënt. De video is een lange, rommelige stroom waarin de camera beweegt, het licht verandert en de poliepen wiebelen of bedekt raken door afval.

Hier is hoe het artikel het probleem oplost van het leren aan de computer om deze poliepen te herkennen zonder dat een menselijke arts elke individuele eenheid moet labelen.

Het Probleem: De "Labeling" Bottleneck

Normaal gesproken, om een computer iets te leren herkennen, heb je een leraar nodig. In dit geval zou een menselijk expert het volledige filmpje moeten bekijken, elke poliep vinden, er een kader omheen tekenen en vervolgens zeggen: "Dit kader om 0:05 is dezelfde poliep als het kader om 0:15."

Het artikel betoogt dat dit te langzaam, te duur is en te veel tijd van experts vergt. Het is alsof je probeert een kind te leren zijn vrienden te herkennen door een ouder een briefje te laten schrijven voor elke foto die het kind maakt.

De Oplossing: "Tijd is de Leraar"

De auteurs beseften dat colonoscopie-video's een natuurlijk ritme hebben. Een arts kijkt naar een poliep, verwijdert deze misschien, en gaat dan naar de volgende. Ze springen meestal niet willekeurig heen en weer.

De Analogie: Stel je voor dat je een film bekijkt. Als je op minuut 10 een personage op het scherm ziet, en ze vervolgens weer op minuut 10:05, is het bijna zeker hetzelfde personage. Als je ze op minuut 10 ziet en vervolgens weer op minuut 45, kan het hetzelfde personage zijn, maar is het minder zeker (misschien zijn ze weggegaan en teruggekomen, of is het misschien een ander persoon die er hetzelfde uitziet).

Het artikel gebruikt deze tijdsafstand als een "zelftoezicht"-signaal.

De Veilige Wager: Als twee video-clips direct naast elkaar in de tijd liggen, zijn ze waarschijnlijk dezelfde poliep.
De Risicovolle Wager: Als twee clips ver uit elkaar liggen in de tijd, kunnen ze dezelfde poliep zijn, maar ze kunnen ook twee verschillende poliepen zijn die op elkaar lijken.

De Innovatie: De "Ruimte-gevoelige" Filter

Hier zit het lastige deel: De "Risicovolle Wager" is vaak verkeerd. Als de computer ervan uitgaat dat twee verre clips dezelfde poliep zijn terwijl ze eigenlijk verschillend zijn, raakt hij in de war en leert hij het verkeerde. Dit wordt "ruisachtige data" genoemd.

De auteurs hebben een speciale Noise-Aware Loss (een wiskundige regel voor leren) uitgevonden.

De Metafoor: Stel je een leraar voor die het huiswerk van een leerling nakijkt. Normaal gesproken, als een leerling een antwoord verkeerd heeft, maakt de leraar een streepje. Maar in dit nieuwe systeem is de leraar slim genoeg om te zeggen: "Ik weet dat deze vraag lastig is en dat het antwoordblad misschien verkeerd is. Ik zal de leerling niet te hard straffen voor het verkeerd hebben, maar ik zal hen wel belonen voor het goed hebben van de makkelijke, voor de hand liggende vragen."
Hoe het werkt: Het systeem maakt "zakken" met video-clips. Het begint met clips die zeer dicht bij elkaar in de tijd liggen (zeer veilig). Naarmate de training vordert, begint het langzaam clips toe te voegen die verder uit elkaar liggen in de tijd (riskanter). De "Noise-Aware" regel vertelt de computer: "Focus op de sterke overeenkomsten, maar laat de zwakke, mogelijk verkeerde overeenkomsten je leerproces niet verpesten."

De Resultaten: Klein Team, Grote Overwinningen

Het team trainde hun systeem met een zeer kleine hoeveelheid data: slechts 27 video's.

De Vergelijking: Ze vergeleken hun systeem met:
- Andere AI die probeert te leren zonder labels (Zelftoezicht).
- AI die is getraind met volledige menselijke labels (Toezicht).
- Massale "Foundation Models" (enorme AI-geesten getraind op miljoenen afbeeldingen, zoals de "Dino"-modellen).
De Uitkomst: Hun kleine, lichtgewicht systeem sloeg de andere "zonder-label" methoden met een enorme marge. Het kwam ook overeen met of versloeg zelfs de massale, zware Foundation Models bij taken zoals:
- Retrieval: Het opnieuw vinden van dezelfde poliep in een ander deel van de video.
- Re-identificatie: Bepalen of twee clips dezelfde poliep tonen.
- Grootte-inschatting: Raden of een poliep klein of groot is.
- Histologie: Raden of een poliep waarschijnlijk kankerachtig (adenoom) is of niet.

Waarom Het Belangrijk Is

Het artikel beweert dat dit een "lichtgewicht" oplossing is. Het is alsof je een zeer efficiënte, slimme motort bouwt die draait op een kleine hoeveelheid brandstof (27 video's), maar net zo goed presteert als een enorme, brandstofverslindende motor (de enorme Foundation Models). Dit betekent dat het potentieel op kleinere apparaten kan draaien of makkelijker in echte ziekenhuizen kan worden gebruikt zonder supercomputers of legers artsen nodig te hebben om data te labelen.

Kortom: Ze leerden een computer om colon-poliepen te herkennen door de stroom van tijd als leidraad te gebruiken, maar ze voegden een veiligheidsfilter toe zodat de computer niet in de war raakte wanneer de tijdsaanwijzingen misleidend waren. Ze deden dit met zeer weinig data en versloegen veel grotere, complexere systemen.

Technische Samenvatting: Contrastief Leren onder Ruisachtige Temporele Zelftoezicht voor Colonoscopievideo's

Probleemstelling

Robuust representatieleren van polyp-tracklets (reeksen van opeenvolgende detecties van dezelfde polyp) is essentieel voor diverse door AI ondersteunde colonoscopietoepassingen, waaronder polypkarakterisering, geautomatiseerde rapportage en laesieherwinning. Hoewel toezichtgevend contrastief leren bewezen effectief is, is het afhankelijk van annotaties van "polypentiteiten" – labels die detecties koppelen aan dezelfde onderliggende polyp gedurende een video. Het genereren van deze labels is kostbaar, tijdrovend en vereist gespecialiseerde klinische expertise, wat de schaalbaarheid van toezichtgevende benaderingen beperkt.

Bestaande zelftoezichtgevende methoden proberen dit te omzeilen door tracklets in disjuncte segmenten op te splitsen of ze te clusteren. Deze benaderingen slagen er echter vaak niet in de volledige semantische consistentie van een polypentiteit over een video heen vast te leggen. Omgekeerd bereiken recente toezichtgevende methoden die expliciete entiteitsannotaties gebruiken superieure prestaties, wat een aanzienlijke kloof tussen toezichtgevend en zelftoezichtgevend leren benadrukt. De uitdaging is om deze kloof te verkleinen zonder te vertrouwen op handmatige entiteitsannotaties, ondanks de sterk variabele visuele omgeving van colonoscopie (veranderingen in gezichtshoek, schaal, verlichting, bewegingsonscherpte en occlusie).

Methodologie

Het voorgestelde kader maakt gebruik van de inherente sequentiële workflow van colonoscopieprocedures om zelftoezichtgevende associaties af te leiden uit de temporele structuur. De kernaanname is dat waarnemingen die dicht bij elkaar in de tijd worden vastgelegd, waarschijnlijk dezelfde polypentiteit weergeven.

1. Temporele Structuur als Zelftoezicht

De methode construeert een dataset van tracklets $\{x_i\}$ uit grondwahrheid-polypdetecties. Voor elke anker-tracklet $i$ binnen een video $v_i$ wordt een "zak" van kandidaat-positieve tracklets samengesteld uit andere tracklets in dezelfde video ( $v_j = v_i$ ).

Ranking: Tracklets worden gesorteerd op hun temporele afstand tot het anker.
Zakconstructie: In plaats van alleen de temporeel dichtstbijzijnde tracklets te selecteren (wat redundante weergaven oplevert), steekt de methode $K$ verschillende rangen uit een exponentiële verdeling $P_\tau(r) \propto \exp(-r/\tau)$ . De temperatuurparameter $\tau$ controleert de diversiteit van de zak: een lage $\tau$ selecteert nauwe buren (hoge gelijkenis, lage ruis), terwijl een hoge $\tau$ verre buren selecteert (hoge diversiteit, hoger risico op onjuiste associaties).
Curriculum Learning: Om de afweging tussen weergavediversiteit en associatiecorrectheid in evenwicht te brengen, wordt een curriculumvariabele $c \in [0, 1]$ geïntroduceerd. De temperatuur $\tau$ wordt geleidelijk verhoogd van een minimum naar een maximumwaarde gedurende de training met behulp van een cosinusschema. Dit stelt het model in staat om te beginnen met veilige, zeer gelijke associaties en geleidelijk te leren van meer diverse, potentieel ruisachtigere temporele associaties.

2. Ruisbewust Contrastief Verlies

Omdat temporele nabijheid niet garandeert dat twee tracklets tot dezelfde polyp behoren (bijvoorbeeld twee verschillende polyps die snel achter elkaar verschijnen), kunnen de resulterende "zakken" "onzuivere" samples bevatten (tracklets van verschillende polyps). Het behandelen van alle samples in een zak als positieven kan representatieleren verslechteren.

De auteurs stellen een ruisbewust contrastief verlies voor dat de standaard contrastieve beperking versoepelt. In plaats van te vereisen dat alle positieve samples in een zak gelijkaardig zijn aan het anker, dwingt het verlies dat minstens één tracklet in de zak meer gelijkaardig is aan het anker dan enig tracklet in de zak aan enig ander anker.

Wiskundige Formulering: De verliesfunctie maakt gebruik van een log-sum-exp-benadering van de max-operator. Het maximaliseert de gelijkenis tussen het anker en de best passende positieve in de zak, terwijl het de gelijkenis tussen het anker en negatieven van andere ankers minimaliseert.
Effect: Deze formulering stelt het model in staat om effectief ruisachtige (onjuiste) temporele associaties binnen een zak te " negeren", waardoor wordt voorkomen dat ze de geleerde inbeddingsruimte verslechteren.

3. Architectuur

Het kader maakt gebruik van een lichtgewicht encoder bestaande uit een ResNet-50 voor het extraheren van frame-inbeddingen, gevolgd door een stapel van drie transformer-encoderlagen om globale trackletrepresentaties te aggregeren. Het verlies kan worden toegepast op de uiteindelijke tracklet-inbedding, per-frame-inbeddingen, of beide.

Belangrijkste Bijdragen

Zelftoezichtgevend Kader: Een nieuwe aanpak die de sequentiële workflow van colonoscopie exploiteert om zelftoezichtgevende signalen te construeren uit temporele structuur, waardoor de behoefte aan handmatige polypentiteitsannotaties wordt geëlimineerd.
Ruisbewust Contrastief Verlies: Een verliesfunctie die is ontworpen om de impact van ruisachtige temporele associaties te mitigeren door ervoor te zorgen dat alleen de meest consistente positieve samples binnen een zak het leerproces drijven.
Uitgebreide Evaluatie: Een uitgebreide evaluatie over vier publieke datasets (REAL-Colon, SUN, PolypSize, PolypsSet) op meerdere downstream-taken, waarbij prestaties worden aangetoond die recente foundationmodellen evenaren of overtreffen.

Resultaten

De methode werd getraind op slechts 27 video's (85 polyps) uit de REAL-Colon-dataset en geëvalueerd op vier downstream-taken:

Polypherwinning: Gemeten door middel van mean Average Precision (mAP) en Hit Rate.
Re-identificatie (ReID): Gemeten door middel van AUROC en AUPR.
Schatting van Grootte: Binaire classificatie (diminutief vs. niet-diminutief) via niet-lineaire probing.
Histologieclassificatie: Binaire classificatie (adenoom vs. niet-adenoom) via niet-lineaire probing.

Prestatiehoogtepunten:

T.o.v. Zelftoezichtgevende Baselines: De voorgestelde methode presteerde aanzienlijk beter dan eerdere zelftoezichtgevende benaderingen (bijv. TPC, MVE, SFE), inclusief een relatieve verbetering van 23,69% in retrieval-mAP en een verbetering van 24,4% in histologie-accuraatheid.
T.o.v. Volledig Toezichtgevende Baselines: De methode behaalde consequent superieure of vergelijkbare prestaties dan volledig toezichtgevende baselines (die afhankelijk zijn van dure entiteitsannotaties). Bijvoorbeeld, het verbeterde de AUPR met 18,56% ten opzichte van de beste toezichtgevende baseline in ReID.
T.o.v. Foundationmodellen: De lichtgewicht encoder (25,6M parameters), getraind op 27 video's, evenaarde of overtrof grote algemene foundationmodellen (bijv. DinoV2-giant met 1136M parameters) en endoscopie-specifieke foundationmodellen over alle taken.
Ablatiestudies: De studie bevestigde dat zowel de exponentiële ranggebaseerde steekproefneming als de curriculumleerstrategie bijdragen aan prestatiewinst. Het toepassen van het verlies op zowel frame- als tracklet-inbeddingen leverde de beste algemene resultaten op.

Betekenis en Claims

Het artikel stelt dat dit werk schaalbaar representatieleren in colonoscopie mogelijk maakt door de afhankelijkheid van handmatige annotaties aanzienlijk te verminderen terwijl hoge prestaties op klinische toepassingen worden behouden. Door de procedurele structuur van colonoscopievideo's te benutten en een mechanisme in te voeren om de inherente ruis in temporeel zelftoezicht te hanteren, tonen de auteurs aan dat robuuste polyp-trackletrepresentaties efficiënt kunnen worden geleerd. Het vermogen om de prestaties van enorme foundationmodellen te evenaren of te overtreffen met een lichtgewicht architectuur die is getraind op een kleine dataset, suggereert een praktische weg naar het implementeren van door AI ondersteunde hulpmiddelen in klinische omgevingen waar middelen voor data-annotatie beperkt zijn.