Technische Samenvatting: Leren van Onzekerheidsafhankelijke Ontbrekende Labels voor Semi-Supervised Classificatie

1. Probleemstelling

In semi-supervised classificatie worden ontbrekende labels traditioneel beschouwd als een bron van informatieverlies, wat de efficiëntie vermindert en inferentie bemoeilijkt. Echter, in veel praktische scenario's—zoals medische beeldvorming, active learning en online moderatie—zijn labels niet willekeurig ontbrekend (Missing At Random, MAR) in passieve zin. In plaats daarvan hangt de waarschijnlijkheid dat een label ontbreekt vaak af van de geobserveerde kenmerken ($Y$) en, cruciaal, van de posterieure classificatie-onzekerheid die wordt afgeleid van het labelmodel zelf.

Het centrale probleem dat wordt aangepakt, is hoe men de informatieve inhoud van dergelijke onzekerheidsafhankelijke ontbrekende labels kan karakteriseren. Hoewel de klassieke informatietheorie voorschrijft dat het observeren van een gereduceerde versie van een volledig experiment de informatie niet kan vergroten ten opzichte van het uitgebreide volledige experiment, onderzoekt dit artikel of de ontbrekende indicator ($M$) zelf, wanneer deze door een onzekerheidsafhankelijk mechanisme is gegenereerd, kan fungeren als een observeerbaar signaal dat de schattings- en classificatieprestaties verbetert ten opzichte van standaard volledig gelabelde of niet-informatieve gedeeltelijk gelabelde baselines onder een vast budget.

2. Methodologie

2.1. Statistisch Kader

De auteurs beschouwen een classificatiesetting met $g$ klassen, kenmerken $Y$, en labels $Z$. De ontbrekende indicator $M \in \{0, 1\}$ geeft aan of een label geobserveerd is ($M=0$) of ontbreekt ($M=1$). Het mechanisme van ontbrekende labels wordt gemodelleerd als:
$$r_{\theta,\xi}(Y) = \Pr(M=1 \mid Y; \theta, \xi) = h\{\eta_{\theta,\xi}(Y)\}$$
waarbij $h$ een inverse link-functie is, en $\eta_{\theta,\xi}(Y)$ een predictor is die afhangt van de parameters van het labelmodel $\theta$, de parameters van het mechanisme $\xi$, en een samenvatting van de posterieure classificatie-onzekerheid $u(Y; \theta)$. Voorbeelden van $u(Y; \theta)$ zijn de posterieure Shannon-entropie, negatieve log-entropie of de posterieure variantie.

De geobserveerde-data likelihood wordt geconstrueerd als:
$$L(\theta, \xi) = \prod_{j=1}^n \{p_\theta(Y_j, Z_j)[1 - r_{\theta,\xi}(Y_j)\}^{1-M_j} \{p_\theta(Y_j)r_{\theta,\xi}(Y_j)\}^{M_j}$$
waarbij de eerste term van toepassing is wanneer labels geobserveerd zijn en de tweede (marginale kenmerkendichtheid) wanneer zij ontbreken.

2.2. Informatie-decompositie

De kernbijdrage van de methodologie is een likelihood-gebaseerde informatietheorie die de geobserveerde Fisher-informatie $I_{obs}(\theta)$ decomponereert.

Correct gespecificeerd geval:
Met behulp van de identiteit van Louis voor de geobserveerde informatie, leiden de auteurs een decompositie af die de informatie scheidt in een component van gedeeltelijke labeling en een mechanisme-krommingsterm:
$$I_{obs}(\theta) = \underbrace{I_{CC}(\theta) - I_{CC}^{(miss,r)}(\theta, \xi)}_{\text{Component van gedeeltelijke labeling}} + \underbrace{I_{mech}(\theta, \xi)}_{\text{Mechanisme-kromming}}$$

• $I_{CC}(\theta)$: Complete-data Fisher-informatie.
• $I_{CC}^{(miss,r)}(\theta, \xi)$: Gewogen informatieverlies door ontbrekende data.
• $I_{mech}(\theta, \xi)$: Een positief semidefiniete term die de kromming kwantificeert die wordt bijgedragen door de geobserveerde ontbrekende indicatoren $M_j$. Voor logistische links hangt deze term af van de variantie van de waarschijnlijkheid van ontbrekende labels en de gradiënt van de onzekerheids-samenvatting.

Misgespecificeerd geval:
In erkenning van het feit dat zowel het labelmodel als het mechanisme in de praktijk misgespecificeerd kunnen zijn, breiden de auteurs het kader uit naar het Godambe–Eicker–Huber–White (sandwich) covariantie-kader. Ze leiden de sensitiviteits- en sandwich-covariantie-partities af voor de gezamenlijke schatting van $(\theta, \xi)$, waarbij zij aantonen dat de structurele decompositie (gedeeltelijke labeling + mechanisme-kromming) standhoudt, zelfs onder misspecificatie, hoewel de onzekerheidskwantificering verschuift van de inverse Fisher-informatie naar de sandwich-covariantie.

2.3. Theoretische Grenzen

Het artikel verheldert de relatie tussen het geobserveerde gedeeltelijk gelabelde experiment en het "uitgebreide" experiment waarbij zowel labels als mechanisme-indicatoren worden geobserveerd. Het bewijst dat, hoewel onzekerheidsafhankelijke ontbrekende labels kunnen leiden tot gunstige ontbrekende labels (grotere informatie dan een budget-gematchte niet-informatieve baseline), dit niet de informatiegrens kan overschrijden van het uitgebreide experiment $(Y, Z, M)$. De geobserveerde data $(Y, M, Z_{obs})$ vormen een vergroving (coarsening) van de uitgebreide data en voldoen aan de standaard informatie-ongelijkheden.

2.4. Risicoanalyse

Voor plug-in classifiersilen de auteurs de informatie-decompositie te verbinden met marge-gebaseerde excess-risk bounds. In reguliere twee-componenten mengverdelingen stellen zij vast dat het excess-risico convergeert met de parametrische snelheid $O_p(n^{-1})$. De constanten in deze snelheid worden bepaald door de nuisance-gecorrigeerde informatie in discriminantrichtingen, wat impliceert dat een gunstige mechanisme-kromming de asymptotische variantie van de beslissingsgrens kan verminderen.

3. Belangrijkste Bijdragen

1. Informatie-decompositie: Afleiding van een Fisher-informatie-decompositie die expliciet een niet-negatieve "mechanisme-kromming" isoleert. Deze term verklaart hoe de ontbrekende indicator, wanneer deze afhankelijk is van de posterieure onzekerheid, extra informatie draagt over de classifier.
2. Robuustheid onder Misspecificatie: Uitbreiding van de decompositie naar het sandwich-covariantiekader onder gezamenlijke misspecificatie van het labelmodel en het mechanisme van ontbrekende labels, wat een rigoureus fundament biedt voor inferentie in praktische settings waar werkmodellen worden gebruikt.
3. Excess-Risico Snelheden: Vaststelling van marge-gebaseerde excess-risico grenzen voor plug-in classifiers onder onzekerheidsafhankelijke ontbrekende labels, waarbij wordt aangetoond dat gunstige ontbrekende labels leiden tot verbeterde classificatieprestaties (lagere asymptotische variantie) onder een vast labelbudget.
4. Verheldering van "Gunstige Ontbrekende Labels": Een rigoureuze definitie en bewijs dat gunstige ontbrekende labels een relatieve winst is ten opzichte van gewone volledig gelabelde of budget-gematchte niet-informatieve baselines, en geen schending vormt van klassieke informatie-ongelijkheden met betrekking tot het uitgebreide volledige-data experiment.

4. Resultaten

4.1. Numerieke Illustraties (Gaussische Mengverdelingen)

• Informatiewinst: In een twee-componenten Gaussische mengverdeling laten Monte Carlo-simulaties zien dat entropie-afhankelijke mechanismen voor ontbrekende labels een driedubbele toename in Fisher-informatie langs de discriminantrichting kunnen opleveren vergeleken met een niet-informatieve (MCAR) baseline met dezelfde ontbrekende ratio.
• Regime-afhankelijkheid: De informatiewinst is niet-monotoon met betrekking tot de ontbrekende ratio en de gevoeligheid van het ontwerp. De winst is maximaal bij matige klasse-overlap, een niet-excessieve ontbrekende ratio, en een mechanisme dat gevoelig genoeg is om ontbrekende labels te concentreren nabij observaties met hoge onzekerheid zonder te verzadigen.
• Kosten-Batenanalyse: Onder een vast totaalbudget (balans tussen kosten voor kenmerkverzameling en labelkosten) neemt de optimale ontbrekende ratio toe met de relatieve kosten van labeling. Onzekerheidsafhankelijke ontachten maken grotere steekproeven van kenmerken mogelijk terwijl de schattings-efficiëntie behouden blijft of zelfs verbetert ten opzichte van volledig gesuperviseerde ontachten.

4.2. Casestudy (Medische Diagnose)

Het kader werd toegepast op een gastro-intestinale dataset (colonoscopie video's) waarbij labels werden afgeleid van consensus tussen endoscopisten.

• Mechanisme Validatie: De data bevestigden dat het ontbreken van labels (gebrek aan consensus) sterk geassocieerd was met hogere posterieure entropie (onzekerheid).
• Prestaties: Entropie-gebaseerde semi-supervised modellen (SSL) presteerden beter dan een gesuperviseerde benchmark die alleen getraind was op de 35 beschikbare gelabelde gevallen.
  • Het SSLlogit model bereikte de laagste foutmarge in voorspelling (0.1325) vergeleken met de gesuperviseerde benchmark (0.1775).
  • De SSL-modellen vertoonden grotere gefitteerde Fisher-informatie matrices, wat wijst op een hogere schattings-efficiëntie gedreven door de mechanisme-krommingsterm.

5. Betekenis en Claims

Het artikel claimt een likelihood-gebaseerd kader te bieden voor het begrijpen van hoe onzekerheidsafhankelijke ontbrekende labels de informatiegeometrie van semi-supervised leren vormgeven. De betekenis ligt in:

• Herformulering van Ontbrekende Labels: Het perspectief verschuiven van ontbrekende labels als een hinderlijke factor (nuisance) die geïmputeerd of genegeerd moet worden, naar een gestructureerd signaal dat expliciet gemodelleerd kan worden om inferentie te verbeteren.
• Het Paradox Oplossen: Verduidelijken dat "gunstige ontbrekende labels" de klassieke informatietheorie niet schenden; het benut juist het feit dat de ontbrekende indicator $M$ een observeerbare variabele is die door een mechanisme wordt gegenereerd dat gekoppeld is aan de onzekerheid van de classifier.
• Praktisch Nut: Aantonen dat het expliciet modelleren van het mechanisme van ontbrekende labels (bijv. via entropie-afhankelijke masking) kan leiden tot tastbare verbeteringen in zowel parameter-schatting (via verhoogde Fisher-informatie) als classificatie-nauwkeurigheid (via verminderd excess-risico) onder vaste middelenrestricties.
• Robuustheid: Een theoretische basis bieden (via de sandwich-schatter) die geldig blijft, zelfs wanneer de werkmodellen voor de labelverdeling of het mechanisme van ontbrekende labels imperfect zijn, wat gebruikelijk is in de echte wereld.

De auteurs concluderen dat hoewel de winsten lokaal en regime-afhankelijk zijn, het kader een principiële manier biedt om selectie-effecten in dataverzameling te benutten voor efficiënter semi-supervised leren.