Technisches Resümee: Lernen aus unsicherheitsabhängig fehlenden Labels für die semi-überwachte Klassifikation

1. Problemstellung

In der semi-überwachten Klassifikation werden fehlende Labels traditionell als eine Quelle des Informationsverlusts betrachtet, die die Effizienz verringert und die Inferenz erschwert. In vielen praktischen Szenarien – wie etwa in der medizinischen Bildgebung, dem Active Learning oder der Online-Moderation – sind Labels jedoch nicht zufällig fehlen (Missing at Random, MAR) im Sinne eines passiven Prozesses. Stattdessen hängt die Wahrscheinlichkeit, dass ein Label fehlt, oft von den beobachteten Merkmalen ($Y$) und entscheidend von der posterioren Klassifikationsunsicherheit ab, die aus dem Label-Modell selbst abgeleitet wird.

Das zentrale Problem, das adressiert wird, ist die Frage, wie der Informationsgehalt solcher unsicherheitsabhängig fehlenden Labels charakterisiert werden kann. Während die klassische Informationstheorie besagt, dass die Beobachtung einer reduzierten Version eines vollständigen Experiments die Information eines augmentierten Vollständigkeits-Experiments nicht erhöhen kann, untersucht diese Arbeit, ob der Indikator für das Fehlen ($M$) selbst, wenn er durch einen unsicherheitsabhängigen Mechanismus generiert wurde, als beobachtbares Signal fungieren kann, das die Schätzung und die Klassifikationsleistung im Vergleich zu Standard-Baselines mit vollständiger Beschriftung oder nicht-informativen partiellen Beschriftungen unter einem festen Budget verbessert.

2. Methodik

2.1 Statistischer Rahmen

Die Autoren betrachten eine Klassifikationssituation mit $g$ Klassen, Merkmalen $Y$ und Labels $Z$. Der Indikator für das Fehlen $M \in \{0, 1\}$ bezeichnet, ob ein Label beobachtet ($M=0$) oder fehlend ($M=1$) ist. Der Mechanismus des Fehlens wird als modelliert:
$$r_{\theta,\xi}(Y) = \Pr(M=1 \mid Y; \theta, \xi) = h\{\eta_{\theta,\xi}(Y)\}$$
wobei $h$ eine inverse Link-Funktion ist und $\eta_{\theta,\xi}(Y)$ ein Prädiktor ist, der von den Parametern des Label-Modells $\theta$, den Mechanismus-Parametern $\xi$ und einer Zusammenfassung der posterioren Klassifikationsunsicherheit $u(Y; \theta)$ abhängt. Beispiele für $u(Y; \theta)$ sind die posteriore Shannon-Entropie, die negative Log-Entropie oder die posteriore Varianz.

Die beobachtete Likelihood wird konstruiert als:
$$L(\theta, \xi) = \prod_{j=1}^n \{p_\theta(Y_j, Z_j)[1 - r_{\theta,\xi}(Y_j)]\}^{1-M_j} \{p_\theta(Y_j)r_{\theta,\xi}(Y_j)\}^{M_j}$$
wobei der erste Term gilt, wenn Labels beobachtet werden, und der zweite (marginale Merkmalsdichte), wenn sie fehlen.

2.2 Informationszerlegung

Der methodische Kernbeitrag ist eine auf der Likelihood basierende Informationstheorie, die die beobachtete Fisher-Information $I_{obs}(\theta)$ zerlegt.

Korrekt spezifizierter Fall:
Unter Verwendung von Louis' Identität für die beobachtete Information leiten die Autoren eine Zerlegung her, die die Information in eine Komponente der partiellen Beschriftung und einen Mechanismus-Krümmungsterm aufteilt:
$$I_{obs}(\theta) = \underbrace{I_{CC}(\theta) - I_{CC}^{(miss,r)}(\theta, \xi)}_{\text{Partielle Beschriftungskomponente}} + \underbrace{I_{mech}(\theta, \xi)}_{\text{Mechanismus-Krümmung}}$$

• $I_{CC}(\theta)$: Vollständige Daten-Fisher-Information.
• $I_{CC}^{(miss,r)}(\theta, \xi)$: Gewichteter Informationsverlust durch das Fehlen.
• $I_{mech}(\theta, \xi)$: Ein positiv semidefiniter Term, der die Krümmung quantifiziert, die durch die beobachteten Indikatoren des Fehlens $M_j$ beigetragen wird. Für logistische Links hängt dieser Term von der Varianz der Wahrscheinlichkeit des Fehlens und dem Gradienten der Unsicherheitszusammenfassung ab.

Fehlspezifizierter Fall:
In Anerkennung dessen, dass sowohl das Label-Modell als auch der Mechanismus in der Praxis fehl spezifiziert sein können, erweitern die Autoren das Framework auf das Godambe–Ecker–Huber–White (Sandwich)-Kovarianz-Framework. Sie leiten die Sensitivitäts- und Sandwich-Kovarianz-Partitionen für die gemeinsame Schätzung von $(\theta, \xi)$ her und zeigen, dass die strukturelle Zerlegung (partielle Beschriftung + Mechanismus-Krümmung) auch unter Fehlspezifikation bestehen bleibt, wenngleich sich die Unsicherheitsquantifizierung von der inversen Fisher-Information zur Sandwich-Kovarianz verschiebt.

2.3 Theoretische Schranken

Die Arbeit klärt die Beziehung zwischen dem beobachteten, teilweise beschrifteten Experiment und dem „augmentierten“ Experiment, bei dem sowohl Labels als auch Mechanismus-Indikatoren beobachtet werden. Sie beweist, dass eine unsicherheitsabhängige Fehlstellen-Struktur zwar vorteilhaftes Fehlen (größere Information als eine budgetangepasste, nicht-informative Baseline) bewirken kann, aber die Informationsschranke des augmentierten Experiments $(Y, Z, M)$ nicht überschreiten kann. Die beobachteten Daten $(Y, M, Z_{obs})$ sind eine Vergröberung der augmentierten Daten und erfüllen die Standard-Informationsungleichheiten.

2.4 Risikoanalyse

Für Plug-in-Klassifikatoren verbinden die Autoren die Informationszerlegung mit randbasierten Excess-Risk-Schranken (Exzess-Risiko-Schranken). In regulären Zwei-Komponenten-Mischungsszenarien zeigen sie, dass das Exzess-Risiko mit der parametrischen Rate $O_p(n^{-1})$ konvergiert. Die Konstanten in dieser Rate werden durch die durch Störgrößen bereinigte Information in den Diskriminanzrichtungen bestimmt, was impliziert, dass eine vorteilhafte Krümmung die asymptotische Varianz der Entscheidungsgrenze reduzieren kann.

3. Wesentliche Beiträge

1. Informationszerlegung: Herleitung einer auf der Fisher-Information basierenden Zerlegung, die explizit einen nichtnegativen „Mechanismus-Krümmungsterm“ isoliert. Dieser Term erklärt, wie der Indikator für das Fehlen, wenn er von der posterioren Unsicherheit abhängt, zusätzliche Informationen über den Klassifikator trägt.
2. Robustheit unter Fehlspezifikation: Erweiterung der Zerlegung auf das Sandwich-Kovarianz-Framework unter gemeinsamer Fehlspezifikation des Label-Modells und des Mechanismus des Fehlens, was eine rigorose Basis für die Inferenz in praktischen Szenarien bietet, in denen Arbeitsmodelle verwendet werden.
3. Exzess-Risiko-Raten: Etablierung von randbasierten Exzess-Risiko-Schranken für Plug-in-Klassifikatoren unter unsicherheitsabhängigem Fehlen, was zeigt, dass vorteilhaftes Fehlen zu einer verbesserten Klassifikationsleistung (geringerer asymptotischer Varianz) unter festen Beschriftungsbudgets führt.
4. Klärung von „Vorteilhaftem Fehlen“: Eine rigorose Definition und ein Beweis, dass vorteilhaftes Fehlen einen relativen Gewinn gegenüber gewöhnlichen, vollständig beschrifteten oder budgetangepassten, nicht-informativen Baselines darstellt, aber keine Verletzung der klassischen Informationsungleichheiten bezüglich des augmentierten Vollständigkeits-Experiments ist.

4. Ergebnisse

4.1 Numerische Illustrationen (Gaußsche Mischungen)

• Informationsgewinn: In einem Zwei-Komponenten-Gaußschen Mischungsszenario zeigen Monte-Carlo-Simulationen, dass unsicherheitsabhängige Fehlstellen-Mechanismen im Vergleich zu einer nicht-informativen (MCAR) Baseline mit derselben Fehlstellenrate eine Verdreifachung der Fisher-Information entlang der Diskriminanzrichtung bewirken können.
• Regime-Abhängigkeit: Der Informationsgewinn ist nicht-monoton in Bezug auf die Fehlstellenrate und die Design-Sensitivität. Er wird maximiert, wenn es eine moderate Klassenüberlappung gibt, eine nicht übermäßige Fehlstellenrate vorliegt und ein Mechanismus, der empfindlich genug ist, um das Fehlen in der Nähe von hoher Unsicherheit zu konzentrieren, ohne zu sättigen.
• Kosten-Nutzen-Analyse: Unter einem festen Gesamtbudget (Abwägung zwischen Kosten für Merkmalserhebung und Beschriftungskosten) steigt die optimale Fehlstellenrate mit den relativen Beschriftungskosten. Unsicherheitsabhängige Designs ermöglichen größere Stichprobenumfänge der Merkmale, während sie die Schätzungs-Effizienz im Vergleich zu voll überwachten Designs halten oder verbessern.

4.2 Fallstudie (Medizinische Diagnose)

Das Framework wurde auf einen Datensatz aus der Gastroenterologie (Koloskopie-Videos) angewendet, bei dem die Labels aus dem Konsens von Endoskopikern abgeleitet wurden.

• Validierung des Mechanismus: Die Daten bestätigten, dass das Fehlen von Labels (mangelnder Konsens) stark mit höherer posteriorer Entropie (Unsicherheit) assoziiert war.
• Leistung: Semi-überwachte Modelle (SSL) auf Basis der Entropie übertrafen ein überwachtes Benchmark-Modell, das nur auf den 35 verfügbaren beschrifteten Fällen trainiert wurde.
  • Das SSLlogit-Modell erreichte die niedrigste Fehlerrate (0.1325) im Vergleich zum überwachten Benchmark (0.1775).
  • Die SSL-Modelle wiesen größere gefittete Fisher-Informationsmatrizen auf, was auf eine höhere Schätzungs-Effizienz durch den Mechanismus-Krümmungsterm hindeutet.

5. Bedeutung und Behauptungen

Das Paper behauptet, einen Likelihood-basierten Rahmen bereitzustellen, um zu verstehen, wie unsicherheitsabhängiges Fehlen die Informationsgeometrie des semi-überwachten Lernens umgestaltet. Seine Bedeutung liegt in:

• Neubewertung des Fehlens: Den Blickwinkel auf fehlende Labels von einem zu imputierenden oder zu ignorierenden Störfaktor hin zu einem strukturierten Signal zu verschieben, das explizit modelliert werden kann, um die Inferenz zu verbessern.
• Lösung des Paradoxons: Die Klärung, dass „vorteilhaftes Fehlen“ nicht gegen die klassische Informationstheorie verstößt, sondern die Tatsache ausnutzt, dass der Indikator für das Fehlen $M$ eine beobachtbare Variable ist, die durch einen Mechanismus generiert wurde, der mit der Unsicherheit des Klassifikators verknüpft ist.
• Praktischer Nutzen: Der Nachweis, dass die explizite Modellierung des Fehlmechanismus (z. B. durch entropieabhängiges Maskieren) zu messbaren Verbesserungen sowohl bei der Parameterschätzung (durch Erhöhung der Fisher-Information) als auch bei der Klassifikationsgenauigkeit (durch Reduzierung des Exzess-Risikos) unter festen Ressourcenbeschränkungen führen kann.
• Robustheit: Die Bereitstellung einer theoretischen Grundlage (via Sandwich-Schätzer), die auch dann gültig bleibt, wenn die Arbeitsmodelle für die Label-Verteilung oder den Mechanismus des Fehlens unvollkommen sind, was in realen Anwendungen typisch ist.

Die Autoren kommen zu dem Schluss, dass die Gewinne zwar lokal und regimespezifisch sind, das Framework jedoch eine fundierte Methode bietet, Selektionseffekte bei der Datenerhebung für effizienteres semi-überwachtes Lernen zu nutzen.