💻 computer science

Contrastive Learning under Noisy Temporal Self-Supervision for Colonoscopy Videos

Dieser Artikel schlägt ein rauschbewusstes kontrastives Lernframework vor, das die inhärente zeitliche Struktur von Koloskopievideos nutzt, um robuste Polypenrepräsentationen ohne kostspielige manuelle Annotationen zu erlernen, und erreicht mit einem leichten Encoder, der auf einem kleinen Datensatz trainiert wurde, eine state-of-the-art-Leistung über mehrere nachgelagerte Aufgaben hinweg.

Ursprüngliche Autoren: Luca Parolari, Pietro Gori, Lamberto Ballan, Carlo Biffi, Loic Le Folgoc

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Luca Parolari, Pietro Gori, Lamberto Ballan, Carlo Biffi, Loic Le Folgoc

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, verschiedene Personen in einem überfüllten Raum zu erkennen, aber Sie haben keine Namensschilder. Sie haben lediglich ein kontinuierliches Video des Raums.

In der Welt der Koloskopien (ein medizinisches Kameraverfahren zur Betrachtung des Inneren des Dickdarms) sind die „Personen" Polypen (kleine Wucherungen, die zu Krebs werden können), und der „Raum" ist das Innere des Dickdarms eines Patienten. Das Video ist ein langer, unübersichtlicher Datenstrom, in dem sich die Kamera bewegt, das Licht wechselt und die Polypen wackeln oder von Ablagerungen verdeckt werden.

So löst die Arbeit das Problem, dem Computer beizubringen, diese Polypen zu erkennen, ohne dass ein menschlicher Arzt jeden einzelnen markieren muss.

Das Problem: Der „Markierungs"-Engpass

Normalerweise benötigen Sie einen Lehrer, um einem Computer beizubringen, Dinge zu erkennen. In diesem Fall müsste ein menschlicher Experte das gesamte Video ansehen, jeden Polypen finden, einen Rahmen darum ziehen und dann sagen: „Dieser Rahmen bei 0:05 ist derselbe Polyp wie der Rahmen bei 0:15."

Die Arbeit argumentiert, dass dies zu langsam, zu teuer ist und zu viel Expertenzeit erfordert. Es ist so, als würde man einem Kind beibringen, seine Freunde zu erkennen, indem ein Elternteil für jedes einzelne Foto, das das Kind macht, eine Notiz schreibt.

Die Lösung: „Die Zeit ist der Lehrer"

Die Autoren stellten fest, dass Koloskopie-Videos einen natürlichen Rhythmus haben. Ein Arzt betrachtet einen Polypen, entfernt ihn vielleicht und bewegt sich dann zum nächsten. Sie springen normalerweise nicht zufällig hin und her.

Die Analogie: Stellen Sie sich vor, Sie schauen einen Film. Wenn Sie eine Figur bei Minute 10 auf dem Bildschirm sehen und sie dann bei Minute 10:05 wieder sehen, ist es mit fast absoluter Sicherheit dieselbe Figur. Wenn Sie sie bei Minute 10 sehen und dann wieder bei Minute 45, könnte es dieselbe Figur sein, aber es ist weniger sicher (vielleicht ist sie gegangen und zurückgekommen, oder vielleicht ist es eine andere Person, die ähnlich aussieht).

Die Arbeit nutzt diese Zeitlücke als Signal zur „Selbstüberwachung".

Die sichere Wette: Wenn zwei Videoclips direkt nebeneinander in der Zeit liegen, handelt es sich wahrscheinlich um denselben Polypen.
Die riskante Wette: Wenn zwei Clips weit auseinander in der Zeit liegen, könnten sie denselben Polypen zeigen, aber sie könnten auch zwei verschiedene, ähnlich aussehende Polypen sein.

Die Innovation: Der „Rauschbewusste" Filter

Hier kommt der knifflige Teil: Die „riskante Wette" ist oft falsch. Wenn der Computer annimmt, dass zwei weit entfernte Clips denselben Polypen zeigen, obwohl sie tatsächlich unterschiedlich sind, gerät er in Verwirrung und lernt falsche Dinge. Dies wird als „verrauschte Daten" bezeichnet.

Die Autoren erfanden eine spezielle Rauschbewusste Verlustfunktion (eine mathematische Regel zum Lernen).

Die Metapher: Stellen Sie sich einen Lehrer vor, der die Hausaufgaben eines Schülers korrigiert. Normalerweise setzt ein Lehrer einen Abzug, wenn ein Schüler eine Antwort falsch hat. Aber in diesem neuen System ist der Lehrer so schlau, dass er sagt: „Ich weiß, dass diese Frage knifflig ist und der Lösungsschlüssel falsch sein könnte. Ich werde den Schüler nicht zu hart für eine falsche Antwort bestrafen, aber ich werde ihn trotzdem für das Lösen der einfachen, offensichtlichen Fragen belohnen."
Wie es funktioniert: Das System erstellt „Taschen" von Videoclips. Es beginnt mit Clips, die zeitlich sehr nah beieinander liegen (sehr sicher). Während des Trainings beginnt es langsam, Clips hinzuzufügen, die zeitlich weiter auseinander liegen (riskanter). Die „rauschbewusste" Regel sagt dem Computer: „Konzentriere dich auf die starken Ähnlichkeiten, aber lass die schwachen, möglicherweise falschen Ähnlichkeiten dein Lernen nicht ruinieren."

Die Ergebnisse: Kleines Team, große Erfolge

Das Team trainierte sein System mit einer sehr kleinen Datenmenge: nur 27 Videos.

Der Vergleich: Sie verglichen ihr System mit:
- Anderer KI, die versucht, ohne Markierungen zu lernen (Selbstüberwacht).
- KI, die mit vollständigen menschlichen Markierungen trainiert wurde (Überwacht).
- Massiven „Fundamentmodellen" (riesige KI-Gehirne, die auf Millionen von Bildern trainiert wurden, wie die „Dino"-Modelle).
Das Ergebnis: Ihr kleines, leichtgewichtiges System schlug die anderen „ohne-Markierungen"-Methoden mit großer Deutlichkeit. Es entsprach oder übertraf sogar die massiven, schweren Fundamentmodelle bei Aufgaben wie:
- Wiederauffinden: Den gleichen Polypen an einer anderen Stelle des Videos wiederzufinden.
- Re-Identifikation: Zu entscheiden, ob zwei Clips denselben Polypen zeigen.
- Größenschätzung: Zu schätzen, ob ein Polyp klein oder groß ist.
- Histologie: Zu schätzen, ob ein Polyp wahrscheinlich bösartig (Adenom) ist oder nicht.

Warum es wichtig ist

Die Arbeit behauptet, dies sei eine „leichtgewichtige" Lösung. Es ist so, als würde man einen hocheffizienten, intelligenten Automotor bauen, der mit einer winzigen Menge Kraftstoff (27 Videos) läuft, aber genauso gut performt wie ein massiver, kraftstofffressender Motor (die riesigen Fundamentmodelle). Das bedeutet, dass er potenziell auf kleineren Geräten laufen oder in realen Krankenhäusern einfacher eingesetzt werden könnte, ohne dass Supercomputer oder Armeen von Ärzten benötigt werden, um Daten zu markieren.

Kurz gesagt: Sie haben einem Computer beigebracht, Dickdarm-Polypen zu erkennen, indem sie den Zeitfluss als Leitfaden nutzten, fügten jedoch einen Sicherheitsfilter hinzu, damit der Computer nicht verwirrt wird, wenn die Zeithinweise irreführend sind. Sie haben dies mit sehr wenig Daten erreicht und dabei viel größere, komplexere Systeme geschlagen.

Technische Zusammenfassung: Kontrastives Lernen unter verrauschter temporaler Selbstüberwachung für Koloskopie-Videos

Problemstellung

Die robuste Repräsentationslernung von Polyp-Tracklets (Sequenzen aufeinanderfolgender Detektionen desselben Polypen) ist für verschiedene KI-gestützte Koloskopie-Anwendungen unerlässlich, darunter die Polypencharakterisierung, die automatisierte Berichterstattung und die Läsionswiederauffindung. Obwohl überwachtes kontrastives Lernen als wirksam erwiesen hat, ist es auf Annotationen von „Polyp-Entitäten" angewiesen – Labels, die Detektionen mit derselben zugrunde liegenden Polypenentität über ein Video hinweg verknüpfen. Die Generierung dieser Labels ist kostspielig, zeitaufwendig und erfordert spezialisierte klinische Expertise, was die Skalierbarkeit überwachter Ansätze begrenzt.

Bestehende selbstüberwachte Methoden versuchen dies zu umgehen, indem sie Tracklets in disjunkte Segmente aufteilen oder sie clustern. Diese Ansätze scheitern jedoch häufig daran, die volle semantische Konsistenz einer Polypenentität über ein Video hinweg zu erfassen. Umgekehrt erreichen neuere überwachte Methoden, die explizite Entitätsannotationen nutzen, überlegene Leistungen, was eine signifikante Lücke zwischen überwachtem und selbstüberwachtem Lernen aufzeigt. Die Herausforderung besteht darin, diese Lücke zu schließen, ohne auf manuelle Entitätsannotationen zurückzugreifen, trotz der hochvariablen visuellen Umgebung der Koloskopie (Änderungen der Blickrichtung, Skalierung, Beleuchtung, Bewegungsunschärfe und Okklusion).

Methodik

Der vorgeschlagene Rahmen nutzt den inhärenten sequenziellen Arbeitsablauf von Koloskopieverfahren, um selbstüberwachte Assoziationen aus der temporalen Struktur abzuleiten. Die Grundannahme ist, dass Beobachtungen, die zeitlich nahe beieinander erfasst werden, wahrscheinlich dieselbe Polypenentität darstellen.

1. Temporale Struktur als Selbstüberwachung

Die Methode konstruiert einen Datensatz von Tracklets $\{x_i\}$ aus Ground-Truth-Polypendetektionen. Für jedes Anker-Tracklet $i$ innerhalb eines Videos $v_i$ wird ein „Beutel" (Bag) von Kandidaten-positiven Tracklets aus anderen Tracklets desselben Videos konstruiert ( $v_j = v_i$ ).

Ranking: Tracklets werden nach ihrer temporalen Distanz zum Anker sortiert.
Beutel-Konstruktion: Anstatt nur die zeitlich nächsten Tracklets auszuwählen (was redundante Ansichten liefert), werden $K$ verschiedene Ränge aus einer Exponentialverteilung $P_\tau(r) \propto \exp(-r/\tau)$ gesampelt. Der Temperaturparameter $\tau$ steuert die Vielfalt des Beutels: Ein niedriges $\tau$ wählt nahe Nachbarn aus (hohe Ähnlichkeit, geringes Rauschen), während ein hohes $\tau$ entfernte Nachbarn auswählt (hohe Vielfalt, höheres Risiko falscher Assoziationen).
Curriculum Learning: Um den Kompromiss zwischen Ansichtsvielfalt und Assoziationskorrektheit auszugleichen, wird eine Curriculum-Variable $c \in [0, 1]$ eingeführt. Die Temperatur $\tau$ wird während des Trainingsverlaufs mit einem Cosine-Schedule schrittweise von einem Minimum auf einen Maximalwert erhöht. Dies ermöglicht es dem Modell, mit sicheren, hochähnlichen Assoziationen zu beginnen und schrittweise aus vielfältigeren, potenziell verrauschteren temporalen Assoziationen zu lernen.

2. Rauschbewusste Kontrastverlust-Funktion

Da zeitliche Nähe nicht garantiert, dass zwei Tracklets zum selben Polypen gehören (z. B. zwei verschiedene Polypen, die in schneller Folge auftreten), können die resultierenden „Beutel" „unreine" Proben enthalten (Tracklets von verschiedenen Polypen). Die Behandlung aller Proben in einem Beutel als Positivs kann das Repräsentationslernen verschlechtern.

Die Autoren schlagen einen rauschbewussten kontrastiven Verlust vor, der die Standardkontrastbedingung lockert. Anstatt zu verlangen, dass alle positiven Proben in einem Beutel dem Anker ähnlich sind, erzwingt der Verlust, dass mindestens ein Tracklet in dem Beutel dem Anker ähnlicher ist als irgendein Tracklet in dem Beutel zu irgendeinem anderen Anker.

Mathematische Formulierung: Die Verlustfunktion verwendet eine Log-Sum-Exp-Näherung des Max-Operators. Sie maximiert die Ähnlichkeit zwischen dem Anker und dem am besten passenden Positiv im Beutel, während sie die Ähnlichkeit zwischen dem Anker und Negativen von anderen Ankern minimiert.
Wirkung: Diese Formulierung ermöglicht es dem Modell, verrauschte (falsche) temporale Assoziationen innerhalb eines Beutels effektiv zu „ignorieren" und zu verhindern, dass diese den gelernten Einbettungsraum verschlechtern.

3. Architektur

Der Rahmen verwendet einen leichten Encoder, der aus einem ResNet-50 zur Extraktion von Frame-Einbettungen besteht, gefolgt von einem Stapel aus drei Transformer-Encoder-Schichten zur Aggregation globaler Tracklet-Repräsentationen. Der Verlust kann auf die finale Tracklet-Einbettung, pro-Frame-Einbettungen oder beides angewendet werden.

Hauptbeiträge

Selbstüberwachter Rahmen: Ein neuartiger Ansatz, der den sequenziellen Arbeitsablauf der Koloskopie nutzt, um Selbstüberwachungssignale aus der temporalen Struktur zu konstruieren, wodurch manuelle Polypen-Entitätsannotationen überflüssig werden.
Rauschbewusste Kontrastverlust-Funktion: Eine Verlustfunktion, die entwickelt wurde, um die Auswirkungen verrauschter temporaler Assoziationen zu mindern, indem sichergestellt wird, dass nur die konsistentesten positiven Proben innerhalb eines Beutels den Lernprozess vorantreiben.
Umfassende Evaluation: Eine ausführliche Evaluation über vier öffentliche Datensätze (REAL-Colon, SUN, PolypSize, PolypsSet) hinweg für mehrere nachgelagerte Aufgaben, die Leistungen zeigt, die mit jüngsten Foundation-Modellen übereinstimmen oder diese übertreffen.

Ergebnisse

Die Methode wurde nur auf 27 Videos (85 Polypen) aus dem REAL-Colon-Datensatz trainiert und auf vier nachgelagerte Aufgaben evaluiert:

Polypen-Wiederauffindung: Gemessen durch mittlere Average Precision (mAP) und Hit Rate.
Re-Identifikation (ReID): Gemessen durch AUROC und AUPR.
Größenschätzung: Binäre Klassifikation (diminutiv vs. nicht-diminutiv) mittels nicht-linearer Probing.
Histologie-Klassifikation: Binäre Klassifikation (Adenom vs. nicht-Adenom) mittels nicht-linearer Probing.

Leistungshighlights:

vs. Selbstüberwachte Baselines: Die vorgeschlagene Methode übertraf frühere selbstüberwachte Ansätze (z. B. TPC, MVE, SFE) mit signifikanten Margen, einschließlich einer relativen Verbesserung der Retrieval-mAP um 23,69 % und einer Verbesserung der Histologie-Genauigkeit um 24,4 %.
vs. Vollständig überwachte Baselines: Die Methode erzielte konsistent überlegene oder vergleichbare Leistungen im Vergleich zu vollständig überwachten Baselines (die auf teuren Entitätsannotationen beruhen). Beispielsweise verbesserte sie den AUPR um 18,56 % gegenüber der besten überwachten Baseline in der ReID.
vs. Foundation-Modelle: Der leichte Encoder (25,6 Mio. Parameter), trainiert auf 27 Videos, entsprach oder übertraf große allgemeine Purpose-Foundation-Modelle (z. B. DinoV2-giant mit 1136 Mio. Parametern) und endoskopie-spezifische Foundation-Modelle in allen Aufgaben.
Ablationsstudien: Die Studie bestätigte, dass sowohl die exponentielle rangbasierte Sampling als auch die Curriculum-Learning-Strategie zu Leistungssteigerungen beitragen. Die Anwendung des Verlusts auf sowohl Frame- als auch Tracklet-Einbettungen erzielte die besten Gesamtergebnisse.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass sie skalierbares Repräsentationslernen in der Koloskopie ermöglicht, indem sie die Abhängigkeit von manuellen Annotationen erheblich reduziert und gleichzeitig hohe Leistungen bei klinischen Anwendungen beibehält. Durch die Nutzung der prozeduralen Struktur von Koloskopie-Videos und die Einführung eines Mechanismus zur Handhabung des inhärenten Rauschens in der temporalen Selbstüberwachung demonstrieren die Autoren, dass robuste Polyp-Tracklet-Repräsentationen effizient gelernt werden können. Die Fähigkeit, die Leistung massiver Foundation-Modelle mit einer leichten Architektur zu erreichen oder zu übertreffen, die auf einem kleinen Datensatz trainiert wurde, deutet auf einen praktischen Weg hin zur Bereitstellung KI-gestützter Werkzeuge in klinischen Umgebungen, in denen Ressourcen für Datenannotation begrenzt sind.