💻 computer science

Learning to Label: A Reinforced Self-Evolving Framework for Semi-supervised Referring Expression Segmentation

Dieser Artikel schlägt Learning to Label (L2L) vor, ein verstärktes sich selbst entwickelndes Framework, das multimodale große Sprachmodelle für semantisch-räumliche Priors nutzt und die Auswahl von Pseudo-Labels als einen adaptiven Entscheidungsprozess formuliert, um die halbüberwachte Segmentierung von Referenzausdrücken unter begrenzter Annotation zu verbessern.

Ursprüngliche Autoren: Runlong Cao, Ying Zang, Chuanwei Zhou, Tianrun Chen, Tong Zhang, Zhen Cui, Chunyan Xu

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Runlong Cao, Ying Zang, Chuanwei Zhou, Tianrun Chen, Tong Zhang, Zhen Cui, Chunyan Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, spezifische Objekte auf einem Foto basierend auf einem von Ihnen gegebenen Satz zu finden, wie etwa „der Hund mit dem roten Halsband" oder „das Pizzastück links". Diese Aufgabe wird als Segmentierung von Referenzausdrücken (Referring Expression Segmentation) bezeichnet. Der Roboter muss eine perfekte Umrandung genau um dieses Objekt zeichnen.

Normalerweise benötigen Sie, um einen Roboter so gut zu unterrichten, Tausende von Fotos, auf denen ein Mensch diese Umrandungen mühsam von Hand gezeichnet hat. Dies ist teuer und langsam. Semi-überwachtes Lernen ist ein Abkürzungsweg: Sie geben dem Roboter ein paar Fotos mit perfekten Umrandungen (gelabelte Daten) und einen riesigen Haufen Fotos ohne Umrandungen (ungelabelte Daten), in der Hoffnung, dass der Roboter den Rest selbst herausfinden kann.

Das Problem? Wenn der Roboter versucht, die Umrandungen für die ungelabelten Fotos zu erraten, gerät er oft in Verwirrung. Er könnte einen Kreis um den ganzen Hund ziehen, anstatt nur um das Halsband, oder er könnte sich von einem ähnlich aussehenden Objekt ablenken lassen. Wenn Sie dem Roboter einfach sagen: „Okay, vertraue deinen eigenen Vermutungen", lernt er oft aus seinen eigenen Fehlern und erzeugt einen Teufelskreis der Fehler.

Diese Arbeit stellt ein neues Framework namens Learning to Label (L2L) vor. Stellen Sie es sich als intelligentes, selbstkorrigierendes Tutorensystem vor. So funktioniert es, aufgeteilt in drei einfache Teile:

1. Der „Super-Beobachter" (MLLM)

Zunächst bringt das System einen „Super-Beobachter" ins Spiel – ein massives, vortrainiertes KI-Modell (ein Multimodales Großes Sprachmodell oder MLLM), das sehr gut darin ist, Sprache und Bilder zu verstehen, aber nicht perfekt ist.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine bestimmte Person in einem überfüllten Stadion zu finden. Sie bitten einen superklugen Freund (das MLLM) um Hilfe. Ihr Freund sagt: „Ich denke, es ist der Mann mit dem blauen Hut." Aber Ihr Freund könnte manchmal falsch liegen oder vielleicht schauen sie auf die falsche Person.
Die Behauptung der Arbeit: Das System nutzt diesen Super-Beobachter, um einen „Entwurf" dafür zu erhalten, wo sich das Objekt befinden könnte. Es vertraut diesem Entwurf nicht blind; es nutzt ihn lediglich als ersten Hinweis.

2. Die „Kalibrierungsstation" (SPM)

Nun hat das System zwei Meinungen: den groben Entwurf des Super-Beobachters und die eigene Vermutung des Roboters. Manchmal stimmen sie überein; manchmal widersprechen sie sich heftig.

Die Analogie: Stellen Sie sich vor, Sie und Ihr Freund schauen beide auf eine Karte. Ihr Freund sagt: „Biegen Sie links ab", aber Sie sagen: „Biegen Sie rechts ab." Wenn Sie einfach eine auswählen, könnten Sie sich verirren. Stattdessen fungiert dieses System wie eine Kalibrierungsstation. Es betrachtet, wie sicher jeder von euch ist. Wenn Ihr Freund zu 95 % sicher ist, Sie aber nur zu 25 %, neigt es zu Ihrem Freund. Wenn Sie jedoch zu 98 % sicher sind und Ihr Freund nur zu 40 %, vertraut es Ihnen.
Die Behauptung der Arbeit: Das System mischt diese beiden Meinungen zusammen und gewichtet sie basierend darauf, wie sicher jede Quelle ist. Dies erzeugt einen „kalibrierten" Leitfaden, der zuverlässiger ist als jede einzelne Quelle allein.

3. Der „Smarte Filter" (RPLE)

Dies ist der einzigartigste Teil. Normalerweise verwenden Computer eine feste Regel, um zu entscheiden, welche Vermutungen gut genug sind, um für das Training verwendet zu werden (z. B. „Vertraue nur Vermutungen, die zu 80 % sicher sind").

Die Analogie: Stellen Sie sich einen strengen Lehrer vor, der sagt: „Ich akzeptiere nur Hausaufgaben, wenn Sie 80 % richtig hatten." Das ist schlecht, weil manchmal eine schwierige Frage 100 % Einsatz wert ist, auch wenn Sie nur 60 % erreicht haben, und manchmal eine einfache Frage ein Zufallstreffer ist.
Die Behauptung der Arbeit: Anstelle einer festen Regel verwendet L2L einen verstärkenden Lernagenten (wie einen Videospielcharakter, der durch Versuch und Irrtum lernt). Dieser Agent fungiert als Smarter Filter. Er überwacht den Trainingsprozess und fragt: „Ist diese Vermutung gerade nützlich?"
- Wenn der Roboter bei einem schwierigen Bild kämpft, könnte der Filter sagen: „Seien wir etwas nachsichtiger und nutzen diese Vermutung, um dem Roboter beim Lernen zu helfen."
- Wenn der Roboter zuversichtlich ist, aber die Vermutung verrauscht ist, sagt der Filter: „Nein, ignorieren Sie dies."
- Der Filter lernt, seine eigene „Strenge" dynamisch anzupassen, belohnt den Roboter für gute Fortschritte und bestraft ihn dafür, aus schlechten Daten zu lernen.

Das Ergebnis: Eine sich selbst entwickelnde Schleife

Das gesamte System arbeitet in einer Schleife:

Der Roboter macht eine Vermutung.
Der Super-Beobachter gibt einen Hinweis.
Die Kalibrierungsstation verschmilzt sie.
Der Smarte Filter entscheidet, welche Teile dieser Verschmelzung vertrauenswürdig genug sind, um dem Roboter beizubringen.
Der Roboter lernt aus den gefilterten Daten, wird besser, und der Zyklus wiederholt sich.

Was die Arbeit herausfand:
Die Autoren testeten dies an drei Standard-Datensätzen (RefCOCO, RefCOCO+ und RefCOCOg) mit sehr wenigen gelabelten Daten (so wenig wie 0,1 % der gesamten Bilder).

Die Behauptung: Ihre Methode (L2L) übertraf bestehende Methoden konsistent. Selbst mit fast keinen gelabelten Daten schnitt sie besser ab als „Zero-Shot"-Methoden (Modelle, die versuchen, die Aufgabe ohne jegliche Trainingsbeispiele zu lösen).
Das Fazit: Indem die Auswahl der Trainingsdaten als eine „Lernentscheidung" und nicht als feste Regel behandelt wird und indem ein Super-Beobachter zur Steuerung des Prozesses eingesetzt wird, kann das System lernen, sich selbst viel genauer und zuverlässiger zu labeln.

Kurz gesagt behauptet die Arbeit, dass wir durch das Beibringen an den Computer, wie er seine eigenen Trainingsbeispiele auswählt, unter Verwendung eines intelligenten, adaptiven Filters und eines hilfreichen (aber unvollkommenen) KI-Assistenten, bessere Sehsysteme mit weit weniger menschlichem Aufwand entwickeln können.

Technische Zusammenfassung: Learning to Label (L2L)

Problemstellung

Die semi-supervidierte Segmentierung von Referenz-Expressions (SS-RES) zielt darauf ab, eine präzise pixelgenaue Sprachverankerung unter Verwendung eines kleinen Satzes von gelabelten Bild-Text-Paaren und eines großen Pools an ungelabelten Daten zu erreichen. Während bestehende semi-supervidierte Segmentierungsmethoden auf Pseudo-Labeling und Konsistenz-Regularisierung setzen, ist die direkte Anwendung dieser Paradigmen auf SS-RES aufgrund von referenzieller Mehrdeutigkeit, Okklusion und der Notwendigkeit langreichweitiger kontextueller Schlussfolgerungen herausfordernd. Diese Faktoren führen häufig zu Unsicherheiten an den Grenzen und instabilen Pseudo-Masken.

Aktuelle Ansätze filtern Pseudo-Label typischerweise mithilfe eines festen Konfidenzschwellenwerts. Dieser Heuristik ist jedoch spröde: Zu strenge Schwellenwerte verwerfen informative Stichproben, während lockere Schwellenwerte verrauschte Supervision einführen, die das Training kontaminiert. Darüber hinaus nutzen neuere Arbeiten Multimodale Large Language Models (MLLMs) und Foundation-Modelle (z. B. SAM), um externe Priors zu generieren. Doch diese Priors sind nicht immer zuverlässig; MLLMs können halluzinieren oder unter Verankerungsdrift leiden, und Segmentierungsmodelle können über-segmentieren oder abgelenkt werden. Entscheidend ist, dass oft eine signifikante, stichprobenabhängige Diskrepanz zwischen der Konfidenz des MLLM-Priors und den eigenen Vorhersagen des Segmentierungsmodells besteht, wodurch Strategien mit festen Schwellenwerten unwirksam werden.

Methodik

Die Autoren schlagen Learning to Label (L2L) vor, ein verstärktes, sich selbst entwickelndes Framework, das den Aufbau von Pseudo-Labels als einen lernbaren Entscheidungsprozess neu fasst. Das Framework operiert in einer geschlossenen Schleife, in der multimodale Priors, die Auswahl von Pseudo-Labels und das Segmentierungsnetzwerk gemeinsam evolvieren. Die Architektur besteht aus drei Kernkomponenten:

1. Semantisch-räumlicher Prior mit MLLM (SPM)

Um weiche Segmentierungsvorschläge zu initialisieren, nutzt L2L ein parametrisch eingefrorenes MLLM, um semantische Verankerungshinweise für ungelabelte Bild-Text-Paare zu extrahieren. Diese Hinweise veranlassen SAM2, dichte, weiche Segmentierungsvorschläge ( $P^\dagger_i$ ) zu generieren und dabei Unsicherheit zu bewahren.

Unsicherheitsbewusste Kalibrierung: In Anerkennung dessen, dass externe Priors und Modellvorhersagen ( $P^w_i$ $P_{i}^{w}$ ) im Konflikt stehen können, fusioniert SPM diese im Logit-Raum unter Verwendung eines pixeladaptiven Gewichts $\lambda(u)$ $λ (u)$ . Dieses Gewicht wird basierend auf berechnet:
- Pixelweise Gewissheit: Ein margenbasierter Score $C(p)$ , der zunimmt, wenn Vorhersagen sich von der Mehrdeutigkeit (0,5) entfernen.
- Stichprobenübergreifende Übereinstimmung: Ein globaler Konsistenzscore $W$ , der die Übereinstimmung zwischen der schwachen Vorhersage und dem externen Prior misst.
Fusion: Der kalibrierte Prior $\tilde{P}^\dagger_i$ wird durch Gewichtung der Logits des externen Priors und der Modellvorhersage generiert. Dies stellt sicher, dass das Modell stärker auf den externen Prior zurückgreift, wenn es unsicher ist, den Prior jedoch unterdrückt, wenn das Modell konfident ist oder wenn die globale Übereinstimmung gering ist.

2. Selbstentwickelndes Segmentierungsmodul (SESM)

SESM integriert den kalibrierten Prior in ein hierarchisches Segmentierungsnetzwerk. Anstelle einer statischen Fusion setzt es einen stufenadaptiven Gating-Mechanismus ein, um semantische und strukturelle Anleitung einzuspeisen.

Duale Anleitung: Das Modul kombiniert ein semantisches Feld ( $S$ ) vom Text-Encoder und ein strukturelles Feld ( $G_j$ ), das vom pixelweisen Prior abgeleitet ist.
Dynamisches Gating: Ein einheitliches Konditionierungssignal $M_j$ wird durch lernbare stufenweise Gating-Faktoren ( $\alpha_j, \beta_j$ ) synthetisiert, die eine hochrangige semantische Disambiguierung und eine niedrigrangige strukturelle Verfeinerung ausbalancieren.
Stufenabhängige Interaktion: Für flache Stufen wird das strukturelle Feld über eine strikte lokale Projektion angewendet, um die räumliche Korrespondenz zu bewahren. Für tiefe Stufen wird globale relationale Schlussfolgerung über Cross-Attention ermöglicht.
Selbstentwicklung: Die strukturelle Anleitung wird iterativ aktualisiert, während sich die schwachen Vorhersagen des Modells verbessern, wodurch Rauschen progressiv reduziert und die Zuverlässigkeit erhöht wird.

3. Verstärkte Pseudo-Label-Erkundung (RPLE)

Um die Suboptimalität fester Schwellenwerte zu adressieren, formuliert RPLE die Annahme von Pseudo-Labels als einen Reinforcement-Learning (RL)-Entscheidungsprozess.

Zustandsrepräsentation: Der Zustand $s_t$ umfasst statistische Merkmale der fusionierten Vorhersage (Mittelwert, Standardabweichung), die Anteile von Vordergrund-/Hintergrund-/ignorierten Pixeln und den stichprobenübergreifenden Übereinstimmungsscore.
Policy-Sucher: Ein Actor-Netzwerk ( $\pi_\phi$ ) gibt adaptive Konfidenzschwellenwerte für Vordergrund und Hintergrund ( $\tau_{fg}, \tau_{bg}$ ) für jede Stichprobe aus.
Critic & Reward: Ein Critic-Netzwerk ( $Q_\phi$ $Q_{ϕ}$ ) bewertet die ausgewählten Pseudo-Labels. Die Belohnung ist definiert als Instruktionsgewinn ( $\Delta\Phi_t$ $Δ Φ_{t}$ ), bestehend aus drei Komponenten:
- Trennbarkeitsgewinn ( $\Delta M$ ): Misst den kontrastiven Rand zwischen Vordergrund und Hintergrund.
- Konsistenzgewinn ( $\Delta K$ ): Misst die Übereinstimmung zwischen der Modellvorhersage und dem kalibrierten Prior.
- Abdeckungsge winn ( $\Delta C$ ): Misst den Anteil der ausgewählten Pixel.
- Eine Stabilitätsstrafe wird angewendet, um erratiche Schwellenwertänderungen zu verhindern.
Optimierung: Die Policy wird über deterministische Policy-Gradienten optimiert, um den erwarteten kumulativen Qualitätscore zu maximieren und dabei während des Trainings präzise und Abdeckung dynamisch auszubalancieren.

Hauptbeiträge

Learning-to-Label-Framework: Die Autoren stellen L2L vor, das den Aufbau von Pseudo-Labels von einem statischen Schwellenwertprozess in einen lernbaren, stichprobenadaptiven Entscheidungsprozess verwandelt und so eine zuverlässigere Gewinnung von pixelgenauer Supervision unter spärlichen Annotationen ermöglicht.
MLLM-gesteuerte Priors und Kalibrierung: Die Arbeit führt MLLM-gesteuerte semantisch-räumliche Priors ein, um weiche Segmentierungen zu initialisieren, und schlägt einen verstärkten Selektionsmechanismus vor, der hochnutzbringende Supervision durch Fusion multimodaler Priors mit Modellvorhersagen adaptiv identifiziert.
Empirische Validierung: Umfassende Experimente auf RefCOCO, RefCOCO+ und RefCOCOg zeigen konsistente Verbesserungen gegenüber bestehenden semi-supervidierten und Baseline-Methoden über verschiedene Label-Budgets (0,1 % bis 10 %).

Experimentelle Ergebnisse

Leistung: L2L erzielt state-of-the-art-Ergebnisse über alle Datensätze und Label-Budgets hinweg. Bemerkenswert ist, dass L2L unter dem extrem niedrigen Label-Regime (0,1 % gelabelte Daten) Zero-Shot-Gegenstücke und bestehende semi-supervidierte Baselines (z. B. RESMatch, SemiRES) übertrifft.
Ablationsstudien:
- Das individuelle Entfernen von SPM, SESM oder RPLE führt zu Leistungsverschlechterungen und bestätigt die Notwendigkeit einer unsicherheitsbewussten Fusion, hierarchischer Anleitung und adaptiver Schwellenwertsetzung.
- Die Gewichtungstrategie in SESM (dynamisches Gating) übertrifft die Fusion mit festen Gewichten und validiert die Notwendigkeit, semantische und strukturelle Hinweise dynamisch auszubalancieren.
- RPLE übertrifft die statische Schwellenwertsetzung signifikant, was sich als hochsensibel gegenüber der Wahl der Schwellenwertwerte erweist.
Robustheit: Die Methode ist robust gegenüber Variationen in der Wahl der Foundation-Modelle (z. B. SAM vs. SAM2, verschiedene MLLM-Backbones) und bleibt effektiv, selbst wenn MLLM-Priors durch Nicht-MLLM-Lehrer ersetzt werden (z. B. CARIS, CGFormer).
Effizienz: Die durch L2L eingeführten zusätzlichen trainierbaren Parameter sind bescheiden (~9,3 Mio.), und die RL-Komponenten sind leichtgewichtig, was zu vernachlässigbaren Inferenzzeit-Kosten führt, da die Foundation-Modelle eingefroren bleiben.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass L2L eine robuste Lösung für den Aufbau dateneffizienter Referenz-Segmentierungssysteme unter extrem niedrigen Annotationskosten bietet. Indem Pseudo-Labeling als ein verstärkter, sich selbst entwickelnder Prozess behandelt wird, mildert das Framework effektiv die Sprödigkeit von Schwellenwert-Heuristiken und die Unzuverlässigkeit externer Priors. Die Autoren behaupten, dass ihr Ansatz die gemeinsame Optimierung des Segmentierungsmodells und der Pseudo-Labels ermöglicht und die Zuverlässigkeit der Labels progressiv verbessert. Die Arbeit wird als Schritt hin zu generalisierbaren SS-RES-Systemen präsentiert, die die Schlussfolgerungsfähigkeiten von MLLMs nutzen können, ohne durch deren potenzielle Halluzinationen oder Verankerungsdrifts behindert zu werden.