💻 computer science

CPS4: Class Prompt driven Semi-Supervised Spine Segmentation with Class-specific Consistency Constraint

Das Paper schlägt CPS4 vor, ein neuartiges, textgesteuertes semi-überwachtes Framework zur Wirbelsäulensegmentierung, das klassenspezifische Konsistenzbeschränkungen während des VLM-Pretrainings nutzt, um hochwertige Pseudo-Labels zu generieren und dabei mit nur 5 % gelabelten Daten eine überlegene Leistung zu erzielen.

Ursprüngliche Autoren: Qingtao Pan, Hongzan Sun, Bing Ji, Shuo Li

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qingtao Pan, Hongzan Sun, Bing Ji, Shuo Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, jede einzelne Wirbel und Bandscheibe einer menschlichen Wirbelsäule in einer MRT-Aufnahme zu identifizieren und zu umranden. Das ist ein schwieriger Job, da die Wirbelsäule viele Teile hat, die sich sehr ähnlich sehen, und das Markieren jedes einzelnen Pixels in einem medizinischen Bild so ist, als würde man Sandkörner an einem Strand zählen – es dauert ewig und erfordert einen hochqualifizierten Experten.

Dieses Paper stellt eine neue Methode namens CPS4 vor, um dieses Problem zu lösen. Sie ist darauf ausgelegt, selbst dann zu funktionieren, wenn der Roboter nur über wenige „beschriftete“ Beispiele verfügt (bei denen ein Mensch bereits die Umrisse gezeichnet hat) und einen riesigen Stapel „unbeschrifteter“ Bilder besitzt (bei denen niemand etwas gezeichnet hat).

So funktioniert CPS4, aufgeschlüsselt in einfache Konzepte:

Das Problem: Der Roboter wird verwirrt

Normalerweise versuchen Roboter, aus unbeschrifteten Bildern zu lernen, indem sie Umrisse (sogenannte „Pseudo-Labels“) erraten und dann aus ihren eigenen Vermutungen lernen. Das Problem ist: Wenn der Roboter frühzeitig einen kleinen Fehler macht, wiederholt er diesen Fehler immer und immer wieder, wodurch es immer schlimmer wird. Es ist wie ein Schüler, der versucht, Mathematik zu lernen, indem er die Antworten von einem Freund abschreibt, der selbst die Antworten auch nicht weiß.

Die Lösung: Ein „Text-Leitfaden“

Die Autoren haben erkannt, dass der Roboter zwar schlecht im Raten ist, aber eigentlich ziemlich gut darin ist, Sprache zu verstehen. Sie haben sich entschieden, Text-Prompts (wie das Schreiben von „Dies ist der Lendenwirbel 1“) zu verwenden, um dem Roboter zu helfen, sich zu konzentenrieren.

Stellen Sie sich den Roboter als einen sehr klugen, aber leicht ablenkbaren Künstler vor. Wenn man dem Künstler nur sagt: „Zeichne eine Wirbelsäule“, zeichnet der Künstler vielleicht einen unordentlichen Klecks. Aber wenn man dem Künstler eine spezifische Anweisungskarte in die Hand drückt, auf der steht: „Konzentriere dich nur auf den Lendenwirbel 1“, kann der Künstler diesen spezifischen Teil viel genauer zeichnen.

Wie CPS4 funktioniert (Der Zwei-Schritte-Tanz)

Die Methode nutzt einen zweistufigen Trainingsprozess, den die Autoren CPS4 nennen:

Stufe 1: Die Phase des „Strengen Lehrers“ (Pretraining)
Bevor der Roboter beginnt, auf unbeschrifteten Bildern zu raten, muss er lernen, den Textanweisungen perfekt zu folgen.

Die Analogie: Stellen Sie sich einen Lehrer vor, der einem Schüler ein Bild eines bestimmten Knochens zeigt und sagt: „Das ist der T12-Wirbel.“ Der Schüler muss lernen, genau auf diesen Knochen zu zeigen und alles andere zu ignorieren.
Die Innovation: Die Autoren haben zwei spezielle „Regeln“ (Loss-Funktionen) erstellt, um den Roboter zum Aufpassen zu zwingen:
1. Token-Level Attention (Aufmerksamkeit auf Token-Ebene): Dies stellt sicher, dass der Roboter weiß, welches Wort im Satz zu welchem Teil des Bildes gehört. Es ist, als würde man sicherstellen, dass das Wort „T12“ im Geist des Roboters fest mit dem T12-Knochen verklebt ist.
2. Pixel-Level Attention (Aufmerksamkeit auf Pixel-Ebene): Dies stellt sicher, dass der Roboter nicht nur vage auf den Knochen zeigt, sondern den gesamten Knochen präzise abdeckt und nicht nur eine winzige Ecke davon.
Das Ergebnis: Der Roboter lernt, die Textbeschreibung eng mit dem tatsächlichen Bildteil zu koppeln.

Stufe 2: Die „Helfer“-Phase (Semi-supervised Segmentation)
Nun ist der Roboter bereit, die unbeschrifteten Bilder anzugehen.

Der Prozess: Für jedes unbeschriftete Wirbelsäulenbild verwendet der Roboter seinen trainierten „Text-Leitfaden“, um eine separate Karte für jeden Typ von Wirbelsäulen-Teil zu erstellen (z. B. eine Karte für T10, eine für T11 usw.).
Die Magie: Er kombiniert all diese einzelnen Karten zu einer einzigen, hochwertigen „Master-Karte“. Diese Master-Karte ist viel besser als eine bloße Vermutung, da sie durch die Text-Prompts geleitet wurde.
Die Schleife: Der Roboter nutzt diese „text-geführte Karte“, um sich selbst zu unterrichten, seine eigenen Fehler zu korrigieren und schneller zu lernen, als er es allein könnte.

Die Ergebnisse: Ein großer Sieg mit wenig Daten

Die Forscher haben ihre Methode an einem öffentlichen Wirbelsäulen-Datensatz getestet.

Die Herausforderung: Sie haben versucht, den Roboter mit nur 5 % der beschrifteten Daten zu trainieren (eine winzige Menge).
Das Ergebnis: Selbst mit so wenig Daten erreichte CPS4 einen Dice-Score von 80,44 %.
Vergleich: Dies war besser als alle anderen populären Methoden, einschließlich derer, die Text verwenden (Vision-Language Models), und derer, die keinen verwenden. Es bewies, dass die Verwendung von Text-Prompts zur Führung des Roboters die „Vermutungen“ viel genauer macht.

Visueller Beweis

Das Paper zeigt Bilder (Figuren 3 und 5), die ihre Methode mit anderen vergleichen.

Andere Methoden: Werden oft verwirrt, vermischen verschiedene Wirbel oder lassen Teile ganz aus.
CPS4: Die „Attention Maps“ (der interne Fokus des Roboters) zeigen, dass er genau weiß, wohin er schauen muss. Wenn der Text „L5“ sagt, ist der Fokus des Roboters perfekt auf den L5-Wirbel fixiert und ignoriert den Rest der Wirbelsäule.

Zusammenfassung

Kurz gesagt ist CPS4 ein System, das einem Computer beibringt, Wirbelsäulen zu segmentieren, indem es Textbeschreibungen als Scheinwerfer verwendet. Indem es den Computer zuerst trainiert, genau zu verstehen, welcher Text zu welchem Knochen gehört, und indem es dieses Verständnis nutzt, um bessere Übungsbeispiele für sich selbst zu generieren, kann das System Wirbelsäulen sehr genau abbilden, selbst wenn Menschen nicht viele Beispiele bereitgestellt haben, um zu starten.

Technisches Resümee: CPS4 – Klassengestützte, Prompt-gesteuerte semi-überwachte Wirbelsäulensegmentierung mit klassenspezifischer Konsistenzbeschränkung

Problemstellung

Die automatische Wirbelsäulensegmentierung, insbesondere die Multi-Klassen-Segmentierung von Wirbelkörpern (Vertebral Bodies, VBs) und Bandscheiben (Intervertebral Discs, IVDs) in der MRT, ist entscheidend für die orthopädische Diagnose und die chirurgische Planung. Obwohl Deep-Learning-Methoden signifikante Fortschritte gemacht haben, sind sie stark auf pixelgenaue Annotationen angewiesen, die arbeitsintensiv sind und Expertenwissen erfordern. Semi-überlearning (SSL) bietet eine Lösung, indem es begrenzte gelabelte Daten zusammen mit reichlich vorhandenen ungelabelten Daten nutzt. Bestehende SSL-Methoden, die sich typischerweise auf Konsistenzregularisierung und Pseudo-Labeling verlassen, leiden jedoch häufig unter qualitativ minderwertigen Pseudo-Labels. Diese verrauschten Labels führen zu einer fehlerhaften Überwachung, wodurch Modelle sich auf irrelevante Merkmale konzentrieren und die effektive Nutzung ungelabelter Daten behindert wird.

Obwohl Vision-Language Models (VLMs) Potenzial zeigen, die Qualität von Pseudo-Labels durch die Nutzung textueller Klassen-Prompts zur Generierung von Segmentierungs-Maps zu verbessern, mangelt es aktuellen VLMs an expliziten Beschränkungen, um die Konsistenz zwischen Klassen-Prompts und spezifischen Bildobjekten sicherzustellen. Dieser Mangel führt zu einer schwachen klassenspezifischen semantischen Bindung und Kreuzklassen-Interferenzen, was in einer unbefriedigenden Leistung bei der Generierung von Multi-Klassen-Segmentierungs-Maps resultiert.

Methodik

Die Autoren schlagen CPS4 vor, ein neuartiges Framework, das Klassen-Prompts durch eine zweistufige Trainingsstrategie in die semi-überwachte Wirbelsäulensegmentierung integriert.

Stufe 1: Klassenspezifische Konsistenzbeschränkte VLM-Vortrainierung

Bestehende VLMs (z. B. CLIP, MedCLIP) führen eine kreuzmodale Ausrichtung auf Bildebene durch, was jedoch nicht sicherstellt, dass unterschiedliche Klassen-Prompts auf ihre entsprechenden Objekte fokussieren. Um dies zu adressieren, führt CPS4 eine Vortrainingsphase unter Verwendung eines Vision-Language-Models (speziell unter Verwendung von ViT für die Vision und BioClinicalBERT für den Text) mit zwei neuartigen Verlustfunktionen ein, um die Konsistenz zwischen Klassen-Prompts und Wirbelsäuleneinheiten zu erzwingen:

Token-Level Attention Loss ( $L_{token}$ ): Dieser Verlust optimiert die Ausrichtung zwischen einem Klassen-Prompt-Token ( $F_{T,i}$ ) und den entsprechenden Bild-Patch-Tokens ( $F_I$ ). Er berechnet einen Ähnlichkeitswert, um eine grobe Attention-Map ( $A_i$ ) zu generieren und aggregiert Aktivierungen hin zum vorhergesagten Wirbelsäuleneinheits-Region ( $B_i$ ). Das Ziel ist es, den textuellen Prompt eng mit der Ziel-Wirbelsäuleneinheit im semantischen Raum zu koppeln.
Pixel-Level Attention Loss ( $L_{pixel}$ ): Um zu verhindern, dass das Modell die Aufmerksamkeit nur auf bestimmte Teilregionen einer Ziel-Einheit übermäßig aggregiert, wird ein Pixel-Level Cross-Entropy-Ziel hinzugefügt. Dies stellt sicher, dass die Attention-Map die gesamte Ziel-Wirbelsäuleneinheit gleichmäßig abdeckt.

Der gesamte Vortrainingsverlust ist der Durchschnitt aus $L_{token}$ und $L_{pixel}$ .

Stufe 2: Klassengestützte Semi-Überwachte Wirbelsäulensegmentierung

In dieser Stufe werden die vortrainierten Vision-Text-Encoder verwendet, um den Pseudo-Labeling-Prozess für ungelabelte Daten zu verbessern.

Klassen-Prompt-Gesteuerte Segmentierungs-Map-Generierung: Für jedes ungelabelte Wirbelsäulenbild generiert das System eine binäre Segmentierungs-Map für jede Klasse (z. B. „Lumbar Vertebra 1“), indem das Skalarprodukt zwischen Bild-Patch-Tokens und Klassen-Prompt-Tokens berechnet wird. Diese Maps werden hochskaliert und mittels der OTSU-Automatikmethode in binäre Masken umgewandelt. Alle klassenspezifischen Maps werden zu einer einheitlichen Multi-Klassen-Segmentierungs-Map ( $y^{text}$ ) gestapelt.
Pseudo-Label-Generierung & Optimierung: Das Framework verwendet eine Mean-Teacher (MT) Architektur mit einem Student- und einem Teacher-Netzwerk. Das Teacher-Netzwerk generiert Pseudo-Labels ( $y^t_u$ $y_{u}^{t}$ ) für ungelabelte Bilder via Exponential Moving Average (EMA).
- Supervised Loss ( $L_{sup}$ ): Berechnet zwischen den Student-Vorhersagen auf gelabelten Daten und der Ground Truth.
- Semi-Supervised Loss ( $L_{semi}$ ): Besteht aus zwei Teilen:
  1. $L^{text}_{semi}$ : Konsistenzverlust zwischen der Student-Vorhersage auf ungelabelten Daten und der Klassen-Prompt-generierten Map ( $y^{text}$ ).
  2. $L^{enhance}_{semi}$ : Konsistenzverlust zwischen der Student-Vorhersage und einem verbesserten Pseudo-Label, das durch die Integration des Teacher-Pseudo-Labels ( $y^t_u$ ) und der Klassen-Prompt-Map ( $y^{text}$ ) erstellt wurde.

Zentrale Beiträge

Erster Text-gestützter SSL für die Wirbelsäulensegmentierung: Diese Arbeit ist die erste, die textuelle Klassen-Prompts einführt, um die Qualität der Pseudo-Labels in der semi-überwachten Wirbelsäulensegmentierung zu verbessern.
Neuartige Klassenspezifische Konsistenzbeschränkung: Die Autoren schlagen einen spezifischen Vortrainingsmechanismus unter Verwendung von Token- und Pixel-Level Attention-Losses vor, um explizite Beschränkungen zu erzwingen, die eine enge semantische Kopplung zwischen jedem Klassen-Prompt und seiner Ziel-Wirbelsäuleneinheit gewährleisten.
State-of-the-Art Performance: Die Methode demonstriert eine überlegene Leistung über verschiedene Anteile gelabelter Daten hinweg, insbesondere in Szenarien mit geringer Datenmenge.

Experimentelle Ergebnisse

Die Methode wurde auf dem MRSpineSeg Datensatz evaluiert, der T2-gewichtete MRT-Volumina von 215 Probanden mit 20 Kategorien (19 Wirbelsäulenstrukturen und Hintergrund) enthält.

Leistung: Mit nur 5 % gelabelten Daten erreichte CPS4 einen Dice-Score von 80,44 % und ein mIoU von 70,63 %.
Vergleich: Diese Ergebnisse übertreffen populäre semi-überwachte Lernmethoden (z. B. MT, BCP, SS-Net) sowie bestehende VLM-basierte Ansätze (z. B. CLIP, MedCLIP, MGCA, EGMA).
- Im Vergleich zur suboptimalen GraphCL-Methode mit Text-Prompts bei 5 % gelabelten Daten verbesserte CPS4 den mDice um 2,23 % und das mIoU um 2,42 %.
Robustheit: Ablationsstudien bestätigten, dass sowohl die Token-Level als auch die Pixel-Level Losses signifikant zur Leistung beitragen. Die Methode zeigte stabile Leistungssteigerungen, wenn der Anteil gelabelter Daten von 5 % auf 50 % anstieg, wobei sie die MT-Baseline deutlich übertraf.
Visualisierung: Die von CPS4 generierten Attention-Maps zeigten eine starke Ausrichtung mit den Ziel-Wirbelsäuleneinheiten, während Baseline-VLMs (wie MedCLIP) gestreute Aktivierungen und eine schwache semantische Bindung aufwiesen.

Bedeutung

Das Paper behauptet, dass CPS4 das Problem der Datenknappheit bei der Wirbelsäulensegmentierung effektiv mildert, indem es die semantische Kraft von Text nutzt, um die Generierung hochwertiger Pseudo-Labels zu steuern. Durch die explizite Beschränkung der Konsistenz zwischen Klassen-Prompts und Wirbelsäuleneinheiten während des Vortrainings überwindet das Framework die Einschränkungen aktueller VLMs in medizinischen Bildgebungsaufgaben. Die Ergebnisse legen nahe, dass dieser Ansatz eine zuverlässigere klassen-prompt-gesteuerte Pseudo-Label-Generierung ermöglicht und somit die Effektivität des semi-überwachten Lernens in Szenarien mit begrenzten annotierten Daten signifikant verbessert. Die Autoren merken an, dass ihr Code zur Erleichterung weiterer Forschung verfügbar gemacht wird.