📊 statistiek

Informative Label Missingness in Multiclass Classification: Information Geometry and Excess Risk

Dit artikel ontwikkelt een likelihood-gebaseerde theorie die aantoont dat in multiclass-classificatie informatieve ontbrekende labels de asymptotische excess risk kunnen verminderen door de informatiewinst uit het ontbrekende patroon af te stemmen op perturbaties van de beslissingsgrens, zelfs wanneer volledige classificatie een hogere globale Fisher-informatie behoudt.

Oorspronkelijke auteurs: Fariborz Setoudehtazangi, Geoffrey McLachlan

Gepubliceerd 2026-09-23

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fariborz Setoudehtazangi, Geoffrey McLachlan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van machine learning leren computers patronen te herkennen door voorbeelden te bestuderen. Stel je voor dat een leraar een student duizenden foto's van katten en honden laat zien, en vertelt welke welke is. De student leert de kenmerken te herkennen die de een van de ander onderscheiden. Dit proces, bekend als classificatie, leunt zwaar op het hebben van correcte labels voor elke afzonderlijke afbeelding. Echter, in de echte wereld is data vaak rommelig. Soms vergeet een leraar een foto te labelen, of besluit een menselijke expert dat een afbeelding te verwarrend is om te classificeren en laat deze leeg. Decennialang werkten statistici volgens een eenvoudige regel: een label hebben is altijd beter dan geen label hebben. Als je een foto van een kat hebt maar niet weet dat het een kat is, wordt die foto als minder nuttig beschouwd dan een waarbij het label duidelijk erop staat. De ontbrekende informatie werd gezien als een puur verlies, een gat in de data dat de taak van de student moeilijker maakte.

Maar wat als de reden dat een label ontbreeft je juist iets belangrijks vertelt? Wat als de expert alleen de foto's heeft overgeslagen die het moeilijkst te onderscheiden waren? In die gevallen is het feit dat een label ontbreekt niet slechts een gat; het is een aanwijzing. Het signaleert dat de afbeelding zich precies op de vage grens tussen twee categorieën bevindt. Deze subtiele mogelijkheid — dat het patroon van ontbrekende data zelf informatie bevat — is een onderwerp van groeiende belangstelling geweest, maar bleef moeilijk te begrijpen in complexe situaties waarbij meer dan twee categorieën betrokken zijn. Een nieuwe studie door onderzoekers Fariborz Setoudehtazangi en Geoffrey McLachlan verkent dit fenomeen, waarbij ze verder gaan dan eenvoudige vergelijkingen om in kaart te brengen wanneer en waarom ontbrekende labels een computer soms beter kunnen laten leren dan wanneer alle labels aanwezig zouden zijn.

De onderzoekers concentreerden zich op een scenario waarin een computer probeert data in drie of meer groepen te sorteren, een taak die veel complexer is dan een eenvoudige keuze tussen twee opties. Ze ontwikkelden een wiskundig kader om te volgen hoe informatie stroomt wanneer labels ontbreken op een specifieke, niet-willekeurige manier. Hun werk onthult dat de waarde van een dataset niet alleen bepaald wordt door hoeveel labels je hebt, maar door waar die ontbrekende labels zich bevinden. Als de ontbrekende labels zich concentreren rond de moeilijkste beslissingspunten — de gebieden waar de computer het meest verward is — kan het patroon van afwezigheid de computer er daadwerkelijk toe leiden een nauwkeuriger begrip te krijgen van de grenzen tussen groepen.

Om dit te testen, construeerde het team een gedetailleerde simulatie met behulp van een systeem met drie klassen, waarbij de groepen werden gedefinieerd door kromme, complexe grenzen in plaats van eenvoudige rechte lijnen. Ze creëerden een scenario waarin de waarschijnlijkheid dat een label ontbrak volledig afhankelijk was van hoe onzeker de computer was over dat specifieke datapunt. In hun referentieopstelling verwijderden ze dertig procent van de labels. Wanneer deze ontbrekende labels willekeurig werden verdeeld, nam de prestatie van de computer af, zoals verwacht. Echter, wanneer de ontbrekende labels geconcentreerd waren in de regio's van de hoogste onzekerheid, verbeterde de prestatie van de computer. Sterker nog, het model dat getraind was op deze gedeeltelijk gelabelde, informatieve data, maakte minder fouten dan het model dat getraind was op de volledige dataset waarbij elk label bekend was.

Dit contra-intuïtieve resultaat gebeurt omdat het mechanisme van het ontbreken fungeert als een secundaire bron van informatie. Wanneer de computer ziet dat een label ontbreekt op een specifieke plek, leert hij dat deze plek een plek van grote verwarring tussen de klassen is. Dit extra signaal helpt de computer om de vorm van de beslissingsgrens nauwkeuriger te verfijnen dan hij dat alleen door naar de gelabelde data zou kunnen. De onderzoekers toonden aan dat dit voordeel niet vereist dat de ontbrekende data meer totale informatie biedt dan de volledige data. In plaats daarvan hangt het af van de uitlijning van die informatie. De ontbrekende labels moeten aanwijzingen geven in de specifieke richtingen die er het meest toe doen voor het trekken van de lijnen tussen de groepen. Als de ontbrekende labels verspreid zijn in richtingen die de beslissingsgrens niet beïnvloeden, bieden ze geen hulp.

De studie onderzocht ook hoe dit voordeel ontstaat naarmate het patroon van ontbreken afhankelijker wordt van onzekerheid. Ze vonden dat het voordeel niet onmiddellijk is. Als de verbinding tussen ontbrekende labels en onzekerheid zwak is, schaadt het verlies van de werkelijke labels de computer meer dan de nieuwe aanwijzingen hem helpen. Het systeem wordt aanvankelijk slechter. Pas wanneer de afhankelijkheid sterk genoeg wordt, overwint het nuttige signaal van het patroon van ontbreken de kosten van de ontbrekende labels. Dit creëert een kantelpunt, een specifieke drempel van informatieve waarde waar de strategie omslaat van schadelijk naar gunstig. De onderzoekers brachten deze drempels in kaart en lieten zien dat het exacte punt waarop de omschakeling plaatsvindt, afhangt van hoe goed de groepen van elkaar gescheiden zijn en hoe gebalanceerd de data is.

Om te waarborgen dat deze bevindingen niet slechts theoretisch waren, voerde het team uitgebreide computerexperimenten uit met eindige hoeveelheden data, waarbij realistische steekproefomvang werd nagebootst. Ze bevestigden dat de theoretische voorspellingen ook met beperkte data standhielden. De modellen die getraind waren op de informatieve ontbrekende data presteerden consequent beter dan die getraind op willekeurig ontbrekende data en, in de specifieke condities die zij testten, zelfs beter dan de modellen die getraind waren op de volledige dataset. Ze pasten hun methode ook toe op een real-world dataset met betrekking tot medische metingen van de menselijke wervelkolom, waarbij patiënten in drie categorieën werden ingedeeld: normaal, spondylolisthesis of discushernia. Door kunstmatig labels te verwijderen op basis van onzekerheid en vervolgens dit verwijderingsproces te modelleren, vonden ze dat het expliciet rekening houden met het mechanisme van het ontbreken de bekwaamheid van het model om waarschijnlijkheden te voorspellen verbeterde, zelfs als de uiteindelijke foutmarge niet altijd lager was dan die van de volledige data.

Het werk daagt de langgekoesterde aanname uit dat meer gelabelde data altijd beter is. Het suggereert dat in situaties waarin experts of systemen selectief labels weglaten bij de meest ambigue gevallen, het negeren van dat selectieproces een fout is. Door het patroon van ontbreken te behandelen als een bron van data in plaats van slechts een overlast, kunnen statistici betere classifiers bouwen. De onderzoekers benadrukken dat dit geen universele regel is; het is een regime-afhankelijk fenomeen. Het werkt alleen wanneer het ontbreken informatief en sterk genoeg is om de verloren labels te compenseren. Als het ontbreken willekeurig of zwak is, blijft de traditionele aanpak van het verwerpen van incomplete data de beste weg.

Uiteindelijk biedt deze studie een nieuwe manier om naar de geometrie van leren te kijken. Het laat zien dat de waarde van informatie niet uniform is; het hangt ervan af waar die informatie zich bevindt ten opzichte van de beslissingsgrenzen. Een ontbrekend label in een duidelijke, gemakkelijke regio is een verspilling, maar een ontbrekend label in een verwarrende regio is een wegwijzer. Door deze uitlijning te begrijpen, kunnen onderzoekers betere leersystemen ontwerpen die weten hoe ze de stilte tussen de datapunten moeten lezen, waardoor hiaten in de registratie worden omgezet in gidsen voor de toekomst.

Technische Samenvatting: Informatieve Ontbrekende Labels in Multiclass Classificatie: Informatiegeometrie en Excess Risk

Probleemstelling
In multiclass classificatie ontstaat gedeeltelijk gelabelde data wanneer feature-vectoren worden waargenomen, maar de klassenlidmaatschappen voor sommige observaties ontbreken. Terwijl standaard semi-supervised learning vaak aanneemt dat labels Missing Completely at Random (MCAR) zijn, bevatten veel praktische scenario's informatieve ontbrekendeheid, waarbij de waarschijnlijkheid dat een label ontbreekt afhangt van de geobserveerde kenmerken en de classificatiemodellparameters. Een contra-intuïtief fenomeen, eerder geïdentificeerd in binaire homoscedastische Gaussische settings, suggereert dat onder specifieke informatieve ontbrekendeheidsmechanismen, een gedeeltelijk gelabelde steekproef een lagere asymptotische classificatierisico kan opleveren dan een volledig gelabelde steekproef. De theoretische onderbouwing van dit fenomeen in algemene multiclass problemen blijft echter beperkt. Bestaande resultaten leunen zwaar op binaire structuren, waardoor ze niet in staat zijn de complexe geometrie van multiclass Bayes-grenzen te verklaren, die actieve paarwijze vlakken en hogere-orde knooppunten omvatten. Bovendien vertalen globale verbeteringen in de Fisher-informatie niet noodzakelijkerwijs naar verbeterde classificatieprestaties, aangezien het risico afhangt van hoe schattingsfouten de beslissingsgrens verstoren.

Methodologie
De auteurs ontwikkelen een algemene likelihood-gebaseerde theorie voor informatieve ontbrekende labels in parametrische multiclass classificatie, waarbij de link tussen informatiegeometrie en classificatierisico wordt gelegd.

Efficiënte Informatie-decompositie:
De paper leidt een decompositie af van de efficiënte Fisher-informatie voor de classificatieparameters ( $\theta$ ) na het elimineren van nuisance-parameters die specifiek zijn voor het ontbrekendeheidsmechanisme ( $\xi$ ). De effectieve informatie onder partiële classificatie ( $I_{PC}^{eff}$ ) wordt uitgedrukt als:
$I_{PC}^{eff} = I_{CC} - E[q(Y)I_{Z|Y}(Y)] + I_{M}^{eff}$
waarbij $I_{CC}$ de informatie is van een volledige steekproef, de tweede term de informatie vertegenwoordigt die verloren gaat door ontbrekende labels (gewogen door de ontbrekendeheidskans $q(Y)$ ), en $I_{M}^{eff}$ de efficiënte informatie is die door de ontbrekendeheidsindicatoren zelf wordt bijgedragen. Deze decompositie benadrukt dat de kosten van ontbrekende labels afhangen van waar ze in de feature-ruimte voorkomen, en niet alleen van de marginale proportie.
Excess Risk Geometrie:
De auteurs leiden een lokale kwadratische expansie af voor het excess classificatierisico van een plug-in Bayes classifier. Ze tonen aan dat de leidende term van het risico wordt bepaald door de kromming van de actieve paarwijze Bayes-vlakken (oppervlakken waar twee klassen gelijk zijn in de maximale posterieure waarschijnlijkheid en alle anderen strikt overtreffen). Drievoudige en hogere-orde knooppunten dragen alleen bij aan hogere-orde termen onder regulariteits- en transversaliteitscondities. Het excess risico wordt gegeven door:
$E[R(\hat{\theta})] - R^* = \frac{1}{2n} \text{tr}(H_R V) + o(n^{-1})$
waarbij $V$ de asymptotische covariantie-matrix van de estimator is, en $H_R$ een krommingmatrix is geïnduceerd door de actieve vlakken.
Classificatie-gewogen Vergelijking:
Door de informatie- en risico-expansies te combineren, stelt de paper een criterium vast voor het vergelijken van volledige en partiële classificatie. Het verschil in de leidende excess risk hangt af van de trace van het product van de krommingmatrix en het verschil in inverse informatieratrices:
$\Delta R = \text{tr}[H_R (A^{-1} - J^{-1})]$
waarbij $A$ en $J$ de informatieratrices zijn voor volledige en partiële classificatie. Met behulp van een gegeneraliseerde eigenwaarde-decompositie laten de auteurs zien dat $\Delta R > 0$ (voorkeur voor partiële classificatie) optreedt wanneer winsten in informatie geconcentreerd zijn in richtingen die de actieve beslissingsgrenzen significant verstoren, zelfs als de partiële classificatie de volledige classificatie globaal niet domineert in termen van Fisher-informatie ( $J \not\succeq A$ ).
Lokale Analyse nabij MCAR:
De paper analyseert de transitie van MCAR naar informatieve ontbrekendeheid. Het demonstreert dat het herverdelen van ontbrekende labels op basis van classificatie-onzekerheid het verlies aan klasse-label informatie in de eerste orde verandert, terwijl de informatiewinst uit het ontbrekendeheidspatroon pas in de tweede orde verschijnt. Bijgevolg kan zwakke informatieve ontbrekendeheid de classificatieprestaties aanvankelijk verslechteren voordat het gunstig wordt naarmate de afhankelijkheid sterker wordt.

Belangrijkste Resultaten

Directionele Uitlijning: Gunstige informatieve ontbrekendeheid is een fenomeen van directionele uitlijning. Een gedeeltelijk geclassificeerde steekproef kan een volledige presteren als de informatie gewonnen uit het ontbrekendeheidspatroon uitgelijnd is met de parameterrichtingen die cruciaal zijn voor de beslissingsgrens, zelfs als er informatie verloren gaat in andere richtingen.
Faseovergangen: In een drieklasse Gaussian Quadratic Discriminant Analysis (QDA) model met ongelijke covarianties identificeren de auteurs een "faseovergang". Naarmate de sterkte van de afhankelijkheid tussen ontbrekendeheid en classificatie-onzekerheid toeneemt (terwijl de marginale ontbrekendeheidsgraad constant blijft), beweegt het systeem van een ongunstig regime (waar partiële classificatie slechter is) naar een gunstig regime.
Geometrie Afhankelijkheid: De omvang en het teken van het classificatievoordeel zijn gevoelig voor de onderliggende geometrie. Ernstige klasse-overlap kan het voordeel tenietdoen, en sterke prior-imbalans kan het omkeren. Echter, het voordeel blijft bestaan over een reeks covariantie-heterogeniteiten.
Finite-Sample Validatie: Monte Carlo-experimenten bevestigen dat de asymptotische voorspellingen standhouden in eindige steekproeven. De empirische excess risico's en covariantie-matrices komen overeen met de theoretische limieten, en de ordening van prestaties (Informatieve Partiële Classificatie < Volledige Classificatie < MCAR) wordt gereproduceerd.
Toepassing op Real-World Data: Een semi-synthetische toepassing op de Vertebral Column dataset (drie klassen: disk hernia, spondylolisthesis, normal) illustreert dat het expliciet modelleren van het informatieve ontbrekendeheidmechanisme de probabilistische voorspelling (log loss, Brier score) verbetert vergeleken met het negeren van het mechanisme, hoewel de verbetering in 0-1 error bescheiden en regime-afhankelijk is.

Betekenis en Claims
De paper claimt een algemeen kader te bieden dat verklaart hoe en wanneer informatieve ontbrekendeheid van labels vertaalt naar verbeteringen in classificatierisico. De primaire bijdrage is niet de ontdekking dat informatieve ontbrekendeheid gunstig kan zijn (een fenomeen dat al bekend was in binaire settings), maar de ontwikkeling van een multiclass theorie die:

De informatie die verloren gaat door labels scheidt van de informatie die wordt gewonnen uit het ontbrekendeheidspatroon.
Deze informatieveranderingen koppelt aan de specifieke geometrie van de actieve Bayes-beslissingsgrens.
Aantoont dat globale Fisher-informatie dominantie geen noodzakelijke voorwaarde is voor classificatieverbetering; in plaats daarvan is de uitlijning van informatiewinsten met grens-relevante richtingen de kritieke factor.
Verduidelijkt dat het voordeel niet universeel is maar afhangt van het regime (sterkte van de afhankelijkheid, klasse-scheiding, prior-imbalans).

De auteurs concluderen dat de statistische waarde van een gedeeltelijk gelabelde steekproef niet uitsluitend kan worden bepaald door de proportie geobserveerde labels of ongegewogen Fisher-informatievergelijkingen alleen. In plaats daarvan is een analyse vereist van hoe informatiewinsten en -verliezen uitlijnen met de geometrie van het classificatieprobleem.

Meer zoals dit